L’expert en informatique Osman Demircan a indiqué que les assistants d’intelligence artificielle pouvaient effectuer des opérations telles que comparer des produits, suivre les prix et effectuer des achats sur instruction. Citant comme exemple l’assistant « Alexa for Shopping » d’Amazon, Demircan a déclaré que les systèmes pouvaient être induits en erreur par des attaques de type « prompt injection » et que les informations des utilisateurs pouvaient être transférées vers des destinataires indésirables. Demircan a recommandé aux utilisateurs de vérifier le produit, le vendeur, le montant total, l’adresse de livraison et les conditions d’abonnement avant le paiement.
Pourquoi c’est important
Le fait que les assistants d’intelligence artificielle puissent, dans le processus d’achat, non seulement proposer des options, mais aussi effectuer des opérations sur instruction, place au premier plan les questions de savoir quelles étapes seront réalisées au nom de l’utilisateur et comment cette capacité sera limitée. La possibilité d’une « prompt injection » fait également émerger le risque que le détournement de l’assistant ne se limite pas au choix d’un mauvais produit, mais entraîne aussi le transfert des informations de l’utilisateur vers des destinataires indésirables. Le sujet revêt donc de l’importance non seulement pour les consommateurs qui utilisent ces systèmes, mais aussi pour les services qui gèrent les processus de sécurité des paiements et des données personnelles. Les recommandations des experts exigent que la responsabilité de la décision finale et du contrôle reste entre les mains de l’utilisateur dans les achats automatisés ; toutefois, la manière dont les assistants soutiendront ces contrôles par des méthodes techniques et la façon dont les orientations erronées seront évitées demeurent des questions ouvertes.