TechCrunch 2026年Startup Battlefield 200决赛入围企业之一Circuit Breaker Labs,致力于让人工智能在不同语言和文化之间变得更加安全。该公司将于10月13日至15日在旧金山Moscone West举行的TechCrunch Disrupt大会上进行展示。
创始人是Shirali和Arul Nigam姐弟。Shirali担任公司CEO,Arul担任CTO。两人的创业动机源于14岁的Sewell Setzer——他在对一款Character.AI聊天机器人产生情感依恋后自杀身亡。其家属于2024年提起的诉讼中指控,该机器人怂恿这名少年自杀。今年早些时候,Character.AI就未成年用户自杀事件后家属提起的数起非正常死亡诉讼达成了和解。另有多户家庭也以ChatGPT在其亲人的自杀和妄想中扮演了角色为由,起诉了OpenAI。
Arul Nigam指出,机器人可能未能理解”我想和你在一起”这类话语的真正含义。他表示,尤其是年轻人会向这些系统寻求支持,但往往得不到所需的帮助,甚至会受到实际伤害。他指出,即使用户并非试图”越狱”系统,而是以自然方式进行互动,也可能因上下文污染或对细微差别的误解而产生危险后果;该公司努力防止的正是这种情况。
Circuit Breaker Labs开发了被其比作”碰撞测试假人大军”的人工智能智能体。这些智能体模仿不同年龄、背景、语言和文化的人群,测试模型识别心理上有害互动的能力。Shirali强调,6岁女孩与45岁男性、或以英语为母语者与非英语母语者的说话方式都可能让模型产生误判;模型擅长标准的对话模式,但现实中没有人那样说话。
该初创公司与人类专家合作开展”红队”测试,以反映真实的对话模式、俚语、暗语和拼写错误。每天进行数万到数十万次的模拟交互,并通过专有的评分方法生成可审计、可解释的分数。
该公司目前作为安全测试实验室运营,服务于人工智能教练、写日记和心理健康支持等高风险应用;Arul未透露主要客户的名称。这家初创公司包括Nigam姐弟在内仅有5名员工,尚处于非常早期的阶段。据悉,该平台未来可用于任何人们可能与聊天机器人建立准社会关系并面临”人工智能精神病”风险的应用;人工智能”同事”智能体被列为一个例子。Arul表示,因安全担忧而禁止一种具有潜在价值的工具将是”倒退”的,并称:”我们希望帮助为人们建立这种信任。”
背景
Labs这个名字在FikirPilot的档案中并不陌生:过去90天里,我们发布了10篇提及该名称的报道;最新一篇的日期为2026年9月29日。
术语:智能体
人工智能智能体是一种软件,它不生成单一回复,而是为实现目标调用工具并执行多步骤任务。