Ces dernières semaines, les dirigeants de certaines grandes entreprises d’intelligence artificielle ont averti que la technologie qu’ils développent était dangereuse. Le CEO d’Anthropic, Dario Amodei, a déclaré qu’il fallait ralentir les progrès, tandis que le CEO d’OpenAI, Sam Altman, a indiqué qu’il partageait son avis sur la nécessité d’ajuster le rythme des travaux « frontier ».
Le chercheur Jacob Coxon, qui a quitté Anthropic, a accusé Anthropic et OpenAI, où il avait auparavant travaillé, de ne pas se comporter de manière responsable. Coxon a écrit que les personnes qui développent l’intelligence artificielle pensent que celle-ci pourrait tuer l’humanité tout entière d’ici la fin de la décennie. Le salarié d’Anthropic Evan Hubinger a également partagé ce point de vue, déclarant qu’il estimait la probabilité à « >10 % » pour la prochaine décennie.
L’une des préoccupations est que l’intelligence artificielle aide à concevoir des armes biologiques telles que des virus mortels ciblant les gènes humains, des champignons qui détruiraient l’agriculture ou des toxines pouvant être ajoutées à l’eau sans être détectées. En 2022, des chercheurs de Collaborations Pharmaceuticals ont montré qu’un générateur de molécules qu’ils avaient développé avait produit, en moins de six heures, 40 000 molécules susceptibles d’être des agents de guerre chimique ; certaines avaient été conçues pour être plus toxiques que les agents neurotoxiques connus.
David Magnus, de Stanford, a trouvé cela très effrayant. Selon Dunja Sabra, chercheuse en biosecurity à l’Université de Hambourg, les bots d’intelligence artificielle peuvent fournir des connaissances scientifiques, des instructions expérimentales et des tutoriels vidéo. La généralisation de l’édition génétique, de la biologie synthétique et des laboratoires domestiques accroît le risque.
Des analyses de DNA, le « red-teaming », le « blue-teaming » et des mesures de sécurité de l’intelligence artificielle existent déjà ; toutefois, Sabra estime qu’une personne déterminée pourrait finir par réussir.
Pourquoi c’est important
Cette discussion montre que la sécurité de l’intelligence artificielle ne se limite pas à la manière dont les systèmes se comportent, mais qu’elle englobe également la possibilité d’un détournement de menaces biologiques et chimiques dès la phase de conception. Même si les analyses de DNA existantes, les méthodes de contrôle entre équipes et les autres mesures de sécurité visent à réduire le risque, la question de savoir si elles suffisent à empêcher l’initiative d’une personne déterminée reste ouverte. La question centrale est donc de savoir non seulement comment ajuster le rythme du développement, mais aussi à quelle étape appliquer les contrôles de sécurité et dans quelle mesure les considérer comme suffisants. Le sujet concerne directement les dirigeants et les employés des entreprises d’intelligence artificielle, ainsi que les chercheurs qui s’intéressent à l’édition génétique, à la biologie synthétique et aux laboratoires domestiques.
Terme : agent
Un agent d’intelligence artificielle est un logiciel qui appelle des outils et exécute des tâches en plusieurs étapes pour atteindre un objectif, au lieu de produire une seule réponse.