In diesem Frühjahr stellten US-Beamte fest, dass die Informationen, auf deren Grundlage eine bewaffnete Operation gegen ein Schiff in chinesischem Besitz eingeleitet worden war, von einem KI-Chatbot erfunden worden waren. Die Operation wurde abgebrochen, während sich Militärflugzeuge bereits in der Luft befanden, und verhinderte in letzter Minute einen möglichen Konflikt mit China, wie CNN am Freitag berichtete. Der Bericht wurde am 18. September 2026 veröffentlicht.
In einem während des Krieges mit Iran in Umlauf gebrachten Bericht wurde behauptet, das Schiff transportiere Teile für ein Atomwaffenprogramm. Die Falschinformation entstand, nachdem ein Analyst beim Special Operations Command den Chatbot genutzt hatte, um Open-Source-Daten mit geheimer Signalaufklärung zu kombinieren. Der Bot identifizierte das Frachtmanifest des Schiffs falsch. Anschließend nutzte der Analyst das Tool erneut, um die fehlerhaften Erkenntnisse in eine offiziell wirkende Zusammenfassung umzuwandeln, und das Dokument wurde über die Befehlskanäle weitergegeben.
Der Vorfall ereignete sich zu einer Zeit, in der das US-Militär KI rasch einführte, um die Entscheidungsfindung zu beschleunigen und seine Überlegenheit gegenüber China zu wahren. Das Pentagon erklärt, die Technologie beschleunige die „Tötungskette“; eine unzureichende menschliche Kontrolle kann jedoch dazu führen, dass sich Fehler innerhalb der Befehlskette fortsetzen.
Der GovAI-Forscher und ehemalige US-Army-Offizier Jake Steckler erklärte, insbesondere beim Zielen, bei der Analyse von Geheimdienstinformationen und bei der Operationsplanung müsse die Unsicherheit von LLMs verstanden werden. Steckler wertete den Vorfall nicht als Aufforderung, KI zu meiden, sondern als Aufruf, stärkere Sicherheitsvorkehrungen einzuführen. Wenn man Geschwindigkeit über Sicherheitsvorkehrungen stellt, kann dies das Vertrauen der Soldaten in die Systeme verringern.
Warum das wichtig ist
Der Vorfall zeigt, dass KI nicht nur als technische Unterstützung in militärische Entscheidungsprozesse Einzug gehalten hat, sondern auch als Faktor, der die Befehlskette beeinflussen kann. Werden die von Systemen zur Zielerfassung, Geheimdienstanalyse und Operationsplanung erzeugten Informationen nicht einer menschlichen Kontrolle unterzogen, kann dies dazu führen, dass fehlerhafte Daten offiziellen Charakter erhalten und die Entscheidungsträger erreichen. Dies rückt insbesondere für Soldaten, die unter Bedingungen mit hohem Risiko wie Spannungen mit China und einem Krieg mit Iran im Einsatz sind, die Frage in den Vordergrund, wie das Gleichgewicht zwischen Geschwindigkeit und Überprüfung hergestellt werden soll. Offen bleibt, wie das Militär bei der weiteren Nutzung von KI die Sicherheitsvorkehrungen zur Erkennung fehlerhafter Inhalte und die Verantwortlichkeitskette stärken wird.