Circuit Breaker Labs, finalista de la Startup Battlefield 200 de 2026 de TechCrunch, pretende hacer que la inteligencia artificial sea más segura entre distintos idiomas y culturas. La startup hará su presentación en TechCrunch Disrupt, que se celebrará del 13 al 15 de octubre en Moscone West, en San Francisco.
Los fundadores son los hermanos Shirali y Arul Nigam. Shirali es el CEO de la empresa y Arul, el CTO. La motivación del dúo fue Sewell Setzer, un joven de 14 años que se suicidó tras desarrollar un vínculo emocional con un chatbot de Character.AI. En la demanda que la familia presentó en 2024 se alegó que el bot había incitado al joven al suicidio. A principios de este año, Character.AI llegó a acuerdos en varias demandas por muerte injusta presentadas por familias tras el suicidio de usuarios menores de edad. Varias familias también demandaron a OpenAI alegando el papel de ChatGPT en los suicidios y delirios de sus seres queridos.
Arul Nigam señaló que es posible que el bot no haya comprendido el verdadero significado de frases como «quiero estar contigo». Dijo que, en particular, los jóvenes recurren a estos sistemas en busca de apoyo, pero que a menudo no reciben la ayuda que necesitan e incluso resultan activamente perjudicados. Expresó que pueden surgir consecuencias peligrosas debido a la contaminación del contexto o a la incomprensión de matices mientras el usuario interactúa de forma natural, sin intentar quebrantar el sistema, y que la startup busca precisamente evitar eso.
Circuit Breaker Labs ha desarrollado agentes de IA que asemeja a un «ejército de maniquíes de pruebas de choque». Estos agentes imitan a personas de diferentes edades, orígenes, idiomas y culturas para poner a prueba la capacidad de los modelos para detectar interacciones psicológicamente dañinas. Shirali subrayó que las formas de hablar de una niña de seis años y de un hombre de 45 años, o de un hablante nativo de inglés frente a uno que no lo es, pueden confundir a los modelos; que los modelos se desenvuelven bien con los patrones de conversación estándar, pero que en realidad nadie habla así.
La startup trabaja con expertos humanos para realizar pruebas de «red team» que reflejan patrones de conversación reales, jerga, lenguaje cifrado y errores ortográficos. Cada día se ejecutan de decenas de miles a cientos de miles de interacciones simuladas, y se generan puntuaciones auditables y explicables mediante un método de puntuación propio.
La empresa opera actualmente como un laboratorio de pruebas de seguridad para aplicaciones de alto riesgo como el coaching con IA, los diarios personales y el apoyo a la salud mental; Arul no reveló los nombres de los clientes destacados. La startup, que cuenta con solo cinco empleados, incluidos los hermanos Nigam, se encuentra en una fase muy temprana. Se señala que la plataforma podría utilizarse en el futuro en cualquier aplicación en la que las personas puedan desarrollar relaciones parasociales con chatbots y correr el riesgo de «psicosis por IA»; los agentes de IA que actúan como «compañeros de trabajo» se citan como ejemplo. Arul dijo que prohibir una herramienta potencialmente valiosa por motivos de seguridad sería «un paso atrás» y afirmó: «Queremos ayudar a construir esa confianza para las personas».
Contexto
Labs no es un nombre nuevo en el archivo de FikirPilot: en los últimos 90 días hemos publicado 10 noticias en las que aparece este nombre; la más reciente es del 29 de septiembre de 2026.
Término: agente
Un agente de IA es un software que, en lugar de generar una única respuesta, invoca herramientas y ejecuta tareas de varios pasos para alcanzar un objetivo.