TechCrunchの2026 Startup Battlefield 200のファイナリストに名を連ねるCircuit Breaker Labsは、異なる言語や文化の間でAIをより安全にすることを目指している。同スタートアップは、10月13日〜15日にSan FranciscoのMoscone Westで開催されるTechCrunch Disruptで発表を行う。
創業者はきょうだいのShiraliとArul Nigamだ。同社のCEOはShirali、CTOはArulが務める。きょうだいの原動力となったのは、Character.AIのチャットボットに感情的な絆を抱いた後に自殺した14歳のSewell Setzerだった。家族が2024年に起こした訴訟では、ボットが少年を自殺にそそのかしたと主張された。Character.AIは今年初め、未成年のユーザーの自殺を受けて家族らが起こした複数の不当死亡訴訟で和解に達した。また複数の家族が、ChatGPTが近親者の自殺や妄想に果たした役割を主張してOpenAIを提訴している。
Arul Nigamは、ボットが「あなたと一緒にいたい」といった言葉の本当の意味を理解できていなかった可能性があると指摘した。特に若者がこうしたシステムに支えを求めて頼るものの、必要とする助けを得られないことが多く、それどころか積極的に害を受けていることもあると語った。ユーザーがシステムを破ろうとするのではなく、自然にやり取りしているだけでも、文脈の汚染やニュアンスの誤解によって危険な結果が生じ得るとし、同スタートアップはまさにそれを防ごうとしていると述べた。
Circuit Breaker Labsは、「衝突試験ダミーの軍団」に例えるAIエージェントを開発した。これらのエージェントは、さまざまな年齢、出自、言語、文化の人々を模倣し、心理的に有害な相互作用を検出する能力の観点からモデルをテストしている。Shiraliは、6歳の少女と45歳の男性、あるいは英語を母語とする人とそうでない人とでは話し方が異なり、それがモデルを惑わせる可能性があると指摘した。モデルは標準的な会話パターンには優れているが、実際には誰もそのようには話さないと強調した。
同スタートアップは、実際の会話パターン、スラング、コード化された言語、スペルミスを反映した「レッドチーム」テストのために人間の専門家と協力している。1日に数十千から数百千のシミュレートされた相互作用が実行され、独自のスコアリング手法によって監査可能で説明可能なスコアが生成されている。
同社は現在、AIコーチング、ジャーナリング、メンタルヘルス支援といった高リスクのアプリケーション向けの安全性テストラボとして活動している。Arulは主要な顧客の名前を明かさなかった。Nigamきょうだいを含め従業員がわずか5人の同スタートアップは、非常に早期の段階にある。このプラットフォームは将来的に、人々がチャットボットとパラソーシャルな関係を築き、「AI精神病」のリスクに陥る可能性のあるあらゆるアプリケーションで利用できるとされており、AIの「同僚」エージェントがその例として挙げられている。Arulは、安全性への懸念から潜在的に価値のあるツールを禁止するのは「逆行」だと述べ、「人々のためにその信頼を築く手助けをしたい」と語った。
背景
LabsはFikirPilotのアーカイブでは新しい名前ではない。過去90日間でこの名前が登場する記事を10本掲載しており、最新のものは2026年9月29日付だ。
用語：エージェント
AIエージェントとは、単一の応答を生成するのではなく、目標を達成するためにツールを呼び出して複数のステップからなる作業を実行するソフトウェアである。