L’era dell’inferenza dell’intelligenza artificiale rende possibili applicazioni come l’analisi dei dati in tempo reale, che accelera la ricerca sanitaria, e gli assistenti che risolvono simultaneamente migliaia di richieste dei clienti. Alla base di questi servizi si trova un’infrastruttura che supporta un’intelligenza sempre attiva e gli endpoint intelligenti di IoT e dei dispositivi consumer. Latenza, colli di bottiglia e sprechi energetici influiscono sui risultati per le persone e sui costi operativi.
Il fatto che i carichi di lavoro di inferenza siano continui, distribuiti geograficamente e sensibili ai tempi di risposta richiede una progettazione congiunta di prestazioni, larghezza di banda della memoria, velocità di trasferimento dello storage e rete. Secondo Jim McGregor, fondatore e chief analyst di Tirias Research, l’intelligenza artificiale non è un singolo carico di lavoro, ma è costituita da migliaia, milioni e miliardi di carichi di lavoro diversi. L’ottimizzazione dipende non solo dalla potenza di calcolo, ma anche dal coordinamento di memoria, storage e rete.
Aggiungere sistemi di intelligenza artificiale moderni a un’infrastruttura obsoleta non è sufficiente: servono architetture scalabili, resilienti ed efficienti. Memoria e storage si collocano al centro del sistema; la pipeline dei dati deve acquisire, ripulire, trasformare, archiviare, trasferire e fornire i dati. Le organizzazioni devono bilanciare le prestazioni con i costi, la flessibilità, la scalabilità, l’efficienza per watt, l’impronta ambientale e la preparazione al futuro; devono eliminare i colli di bottiglia senza limitare la crescita.
Termine: inferenza
L’inferenza è la produzione di una risposta a un nuovo input da parte di un modello addestrato; a differenza dell’addestramento, genera nuovamente un costo a ogni utilizzo.