La quête de confidentialité, de personnalisation et de faibles coûts accroît l’intérêt pour les modèles d’intelligence artificielle capables de fonctionner sur du matériel local. [Tim] a développé un modèle de génération d’images capable de fonctionner sur le microcontrôleur RP2350. Le système installé sur la carte de développement Waveshare RP2350 ne génère que des visages humains ; la résolution est de 128×128 et le temps nécessaire par image est d’environ vingt secondes. La sortie peut être récupérée via USB ou affichée à l’aide d’une carte adaptatrice VGA. Au lieu de générer directement l’image, le modèle produit une distribution dans l’espace latent ; le décodeur de l’autoencodeur variationnel la convertit en image. Le transformateur de diffusion à flux latent construit progressivement l’image à partir du bruit. [Tim] a quantifié en entiers sur 8 bits deux modèles, l’un plus grand et l’autre plus rapide ; les deux modèles ainsi que le programme d’inférence tiennent dans une mémoire flash de 4 MB.
Pourquoi c’est important
Ce travail montre que la génération d’images ne dépend pas uniquement de cartes graphiques puissantes ou de serveurs distants et qu’elle peut également être réalisée, dans un cadre limité, sur des microcontrôleurs disposant de ressources restreintes. Le traitement effectué sur l’appareil pourrait intéresser les utilisateurs en quête de confidentialité et souhaitant fonctionner indépendamment d’une connexion, puisqu’il n’est pas nécessaire d’envoyer les images de visages générées vers le cloud. Les faibles besoins en mémoire et en stockage indiquent qu’une limite technique a pu être franchie pour adapter le modèle à du matériel compact et embarqué. Toutefois, le fait que le système ne génère que des visages, qu’il reste limité à une faible résolution et qu’il nécessite environ vingt secondes pour une image restreint son champ d’utilisation. La question reste donc de savoir si une approche similaire pourrait être appliquée à des contenus plus variés et à des temps de génération plus courts.