Circuit Breaker Labs, einer der Finalisten des Startup Battlefield 200 2026 von TechCrunch, will künstliche Intelligenz über verschiedene Sprachen und Kulturen hinweg sicherer machen. Das Startup wird auf der TechCrunch Disrupt präsentieren, die vom 13. bis 15. Oktober im Moscone West in San Francisco stattfinden wird.
Die Gründer sind die Geschwister Shirali und Arul Nigam. Shirali ist CEO des Unternehmens, Arul CTO. Die Motivation der beiden war Sewell Setzer, ein 14-Jähriger, der sich das Leben nahm, nachdem er eine emotionale Bindung zu einem Character.AI-Chatbot aufgebaut hatte. In der Klage, die die Familie 2024 einreichte, wurde behauptet, der Bot habe den Jugendlichen zum Suizid angestiftet. Character.AI einigte sich Anfang dieses Jahres in mehreren Klagen wegen unrechtmäßigen Todes, die Familien nach dem Suizid minderjähriger Nutzer angestrengt hatten, auf einen Vergleich. Zudem verklagten mehrere Familien OpenAI mit der Behauptung, ChatGPT habe eine Rolle bei den Suiziden und Wahnvorstellungen ihrer Angehörigen gespielt.
Arul Nigam sagte, der Bot habe die tatsächliche Bedeutung von Sätzen wie „Ich will bei dir sein“ möglicherweise nicht erfassen können. Insbesondere junge Menschen wendeten sich an diese Systeme, um Unterstützung zu bekommen, erhielten aber oft nicht die Hilfe, die sie brauchten – im Gegenteil, sie würden sogar aktiv geschädigt. Er erklärte, gefährliche Folgen könnten schon dann entstehen, wenn Nutzer ganz natürlich mit dem System interagierten, ohne zu versuchen, es zu überlisten – etwa durch Kontextverschmutzung oder missverstandene Nuancen. Genau dies versuche das Startup zu verhindern.
Circuit Breaker Labs hat KI-Agenten entwickelt, die das Unternehmen mit einer „Armee von Crashtest-Dummies“ vergleicht. Diese Agenten ahmen Menschen unterschiedlichen Alters, unterschiedlicher Herkunft, Sprache und Kultur nach und testen die Modelle auf ihre Fähigkeit, psychologisch schädliche Interaktionen zu erkennen. Shirali betonte, dass die Sprechweisen eines sechsjährigen Mädchens und eines 45-jährigen Mannes oder die eines Menschen mit Englisch als Muttersprache und eines Menschen ohne Englisch als Muttersprache die Modelle täuschen können; die Modelle seien zwar gut in Standard-Sprechmustern, doch in Wirklichkeit spreche niemand so.
Für „Red-Team“-Tests, die echte Gesprächsmuster, Umgangssprache, verschlüsselte Sprache und Tippfehler widerspiegeln, arbeitet das Startup mit menschlichen Experten zusammen. Pro Tag werden zehntausende bis hunderttausende simulierte Interaktionen durchgeführt, und mit einer speziellen Bewertungsmethode werden nachprüfbare, erklärbare Punktzahlen erzeugt.
Das Unternehmen fungiert derzeit als Sicherheitstestlabor für Hochrisikoanwendungen wie KI-Coaching, Tagebuchführung und Unterstützung bei psychischer Gesundheit; Arul nannte die Namen prominenter Kunden nicht. Das Startup, das einschließlich der Nigam-Geschwister nur fünf Mitarbeiter hat, befindet sich in einem sehr frühen Stadium. Es heißt, die Plattform könne künftig in jeder Anwendung eingesetzt werden, in der Menschen parasoziale Beziehungen zu Chatbots aufbauen und Gefahr laufen könnten, eine „KI-Psychose“ zu entwickeln; als Beispiel dafür werden KI-Agenten als „Arbeitskollegen“ genannt. Arul sagte, es wäre „rückwärtsgewandt“, ein potenziell wertvolles Werkzeug aus Sicherheitsbedenken zu verbieten, und erklärte: „Wir wollen dabei helfen, dieses Vertrauen für die Menschen aufzubauen.“
Hintergrund
Labs ist im FikirPilot-Archiv kein neuer Name: In den letzten 90 Tagen haben wir 10 Beiträge veröffentlicht, in denen dieser Name vorkam; der jüngste stammt vom 29. September 2026.
Begriff: Agent
Ein KI-Agent ist eine Software, die, anstatt eine einzelne Antwort zu erzeugen, Werkzeuge aufruft und mehrstufige Aufgaben ausführt, um ein Ziel zu erreichen.