L’ère de l’inférence de l’intelligence artificielle rend possibles des applications telles que l’analyse des données en temps réel, qui accélère la recherche médicale, et les assistants capables de traiter simultanément des milliers de demandes de clients. À la base de ces services se trouve une infrastructure qui prend en charge une intelligence fonctionnant en continu ainsi que les points d’extrémité intelligents de l’IoT et des appareils grand public. La latence, les goulets d’étranglement et le gaspillage d’énergie ont une incidence sur les résultats humains et les coûts d’exploitation.
Le fait que les charges de travail d’inférence soient continues, géographiquement distribuées et sensibles au temps de réponse exige de concevoir conjointement les performances, la bande passante mémoire, le débit de transfert du stockage et le réseau. Selon Jim McGregor, fondateur et analyste en chef de Tirias Research, l’intelligence artificielle ne constitue pas une charge de travail unique, mais se compose de milliers, de millions et de milliards de charges de travail différentes. L’optimisation repose non seulement sur la puissance de calcul, mais aussi sur la coordination de la mémoire, du stockage et du réseau.
L’ajout de systèmes d’intelligence artificielle modernes à une infrastructure ancienne étant insuffisant, des architectures évolutives, résilientes et efficaces sont nécessaires. La mémoire et le stockage s’installent au cœur du système ; le pipeline de données doit recevoir, nettoyer, transformer, stocker, transporter et fournir les données. Les organisations doivent trouver un équilibre entre les performances et les coûts, la flexibilité, l’évolutivité, l’efficacité par watt, l’empreinte environnementale et la préparation à l’avenir ; elles doivent éliminer les goulets d’étranglement sans limiter la croissance.
Terme : inférence
L’inférence est la production, par un modèle entraîné, d’une réponse à une nouvelle entrée ; contrairement à l’entraînement, elle entraîne un nouveau coût à chaque utilisation.