La era de la inferencia de AI permite aplicaciones como el análisis de datos en tiempo real, que acelera la investigación sanitaria, y los asistentes que resuelven miles de solicitudes de clientes simultáneamente. En la base de estos servicios se encuentra una infraestructura que respalda la inteligencia siempre activa y los puntos finales inteligentes de IoT y de los dispositivos de consumo. La latencia, los cuellos de botella y el desperdicio de energía afectan a los resultados humanos y a los costes operativos.
El hecho de que las cargas de trabajo de inferencia sean continuas, estén distribuidas geográficamente y sean sensibles al tiempo de respuesta exige diseñar conjuntamente el rendimiento, el ancho de banda de memoria, la velocidad de transferencia del almacenamiento y la red. Según Jim McGregor, fundador y analista jefe de Tirias Research, la inteligencia artificial no es una única carga de trabajo, sino que está compuesta por miles, millones y miles de millones de cargas de trabajo diferentes. La optimización depende no solo de la capacidad de procesamiento, sino también de la coordinación de la memoria, el almacenamiento y la red.
Añadir sistemas modernos de AI a una infraestructura antigua resulta insuficiente, mientras que se necesitan arquitecturas escalables, resilientes y eficientes. La memoria y el almacenamiento se sitúan en el centro del sistema; la canalización de datos debe recibir, limpiar, transformar, almacenar, transportar y entregar los datos. Las organizaciones deben equilibrar el rendimiento con el coste, la flexibilidad, la escalabilidad, la eficiencia por vatio, la huella medioambiental y la preparación para el futuro; asimismo, deben eliminar los cuellos de botella sin limitar el crecimiento.
Término: inferencia
La inferencia es la generación de una respuesta por parte de un modelo entrenado ante una nueva entrada; a diferencia del entrenamiento, genera un coste adicional con cada uso.