Das Zeitalter der Inferenz künstlicher Intelligenz ermöglicht Anwendungen wie die Echtzeitanalyse von Daten, die die Gesundheitsforschung beschleunigt, und Assistenten, die Tausende Kundenanfragen gleichzeitig lösen. Grundlage dieser Dienste ist eine Infrastruktur, die kontinuierlich arbeitende Intelligenz sowie die intelligenten Endpunkte von IoT- und Verbrauchergeräten unterstützt. Verzögerungen, Engpässe und Energieverschwendung wirken sich auf die Folgen für Menschen und die Betriebskosten aus.
Die Tatsache, dass Inferenz-Workloads kontinuierlich, geografisch verteilt und zeitkritisch sind, erfordert, Leistung, Speicherbandbreite, Speicherübertragungsrate und Netzwerk gemeinsam zu konzipieren. Laut Jim McGregor, Gründer und Chefanalyst von Tirias Research, ist künstliche Intelligenz kein einzelner Workload, sondern besteht aus Tausenden, Millionen und Milliarden verschiedener Workloads. Die Optimierung beruht neben der Rechenleistung auch auf der Koordination von Speicher, Datenspeicherung und Netzwerk.
Das Hinzufügen moderner KI-Systeme zu veralteter Infrastruktur reicht nicht aus; erforderlich sind skalierbare, robuste und effiziente Architekturen. Speicher und Datenspeicherung rücken ins Zentrum des Systems; die Datenpipeline muss Daten aufnehmen, bereinigen, umwandeln, speichern, transportieren und bereitstellen. Unternehmen müssen Leistung mit Kosten, Flexibilität, Skalierbarkeit, Effizienz pro Watt, ökologischem Fußabdruck und Zukunftssicherheit in Einklang bringen und Engpässe beseitigen, ohne das Wachstum zu begrenzen.
Begriff: Inferenz
Inferenz ist die Erzeugung einer Antwort auf eine neue Eingabe durch ein trainiertes Modell; im Gegensatz zum Training entstehen dabei bei jeder Nutzung erneut Kosten.