Abliteration.ai ha desarrollado un servicio comercial que elimina las medidas de seguridad que hacen que los modelos de IA de pesos abiertos rechacen solicitudes dañinas, y los ofrece a través de un navegador web y una API. La startup, fundada a finales del año pasado y constituida oficialmente como empresa en marzo, aloja modelos modificados, incluido el recién publicado GLM-5.3 de Z.ai. La empresa afirma que su objetivo es permitir “pruebas de ciberseguridad ofensiva, red-team y agentes” que otros modelos rechazan.
La eliminación de las medidas de seguridad de los modelos se practica desde hace tiempo en la comunidad de código abierto, y en Hugging Face hay miles de modelos modificados de esta manera. Abliteration.ai facilita el acceso al eliminar la necesidad de que los usuarios descarguen los modelos y dispongan de capacidad de procesamiento para ejecutarlos. TechCrunch informó que la versión de GLM-5.3 a la que accedió con una cuenta gratuita proporcionó un programa en Python que roba las contraseñas guardadas en Chrome e instrucciones detalladas para cultivar en casa un patógeno humano peligroso.
El cofundador Devon afirmó que la empresa tiene acuerdos con grandes proveedores de servicios en la nube y que los costes se cubren con los ingresos de los clientes. Abliteration.ai aún no ha recibido financiación de capital riesgo y mantiene conversaciones con inversores. Entre sus clientes hay startups de red-team en fase inicial con sede en U.K. y Europa que prestan servicios de ciberseguridad a bancos, aerolíneas y organizaciones de infraestructuras críticas.
Andrew Yoon, responsable de investigación de CivAI, afirmó que los modelos a los que se han eliminado las medidas de seguridad pueden adaptarse a cualquier solicitud y que podrían utilizarse con fines dañinos en un futuro próximo. Yoon recomendó que los gobiernos obliguen a los proveedores de servicios en la nube a utilizar clasificadores que identifiquen actividades cibernéticas dañinas y trabajos relacionados con armas biológicas; también propuso que las empresas que alquilen acceso a GPU avanzadas verifiquen la identidad de sus clientes.
Abliteration.ai proporciona a los clientes una capa de moderación en la que pueden añadir sus propias reglas de seguridad. La plataforma tiene algunas limitaciones; en la prueba de TechCrunch, el modelo no proporcionó instrucciones para suicidarse. Devon señaló que está trabajando en medidas adicionales para prevenir la violencia. La empresa no aplica KYC, aparte de registrar la tarjeta de pago.
La importancia del método para la defensa es objeto de debate en el sector. Ahmed Aly, CEO de Fabraix, afirmó que eliminar las medidas de seguridad podría reducir los conocimientos y las capacidades del modelo, y señaló que su empresa utiliza en su lugar modelos abiertos ajustados. Alessio Lomuscio, de Safe Intelligence, indicó que el método podría ser útil en las pruebas de estrés, mientras que el fundador de Armadin, David Slater, declaró que estos modelos todavía no forman parte de sus procesos, aunque la investigación abierta ayuda a comprender los riesgos.
Por qué es importante
Este servicio amplía a un grupo extenso de usuarios una aplicación que antes estaba limitada a quienes tenían capacidad técnica, al reducir los obstáculos de descarga, instalación y potencia de procesamiento necesarios para acceder a modelos cuyos límites de seguridad han sido eliminados. Esto aumenta las posibilidades de prueba de los equipos de red team que trabajan para bancos, aerolíneas y organizaciones de infraestructuras críticas, pero también incrementa el riesgo de que las mismas herramientas se utilicen con fines de ciberataques y daños biológicos. La ausencia de autenticación de identidad más allá de la tarjeta de pago plantea la cuestión de cómo se repartirá entre la plataforma, el cliente y los proveedores de servicios en la nube la responsabilidad de impedir los usos dañinos. Además, la falta de consenso dentro del sector sobre la contribución real del método a las pruebas de defensa demuestra que todavía no se han medido con claridad los beneficios que proporciona un mayor acceso ni los riesgos que genera.