PrismML sostiene que los grandes modelos de lenguaje de alto rendimiento y capaces de razonar no tienen por qué ser necesariamente grandes. La empresa, fundada por investigadores de Caltech, busca reducir estos modelos hasta que quepan en PC y teléfonos inteligentes. El CEO de la empresa es el profesor de Caltech Babak Hassibi; Ion Stoica, uno de los cofundadores de Databricks y director del Berkeley Sky Computing Lab, también actúa como asesor. PrismML cuenta con el respaldo de Khosla Ventures, Cerberus Capital y Caltech. La inversión semilla de la empresa hasta ahora se sitúa en $22.25 millones.
PrismML publicó el modelo Bonsai 2 27B el 17 de septiembre de 2026. El modelo comprime el modelo de código abierto Qwen3.8 27B de Alibaba hasta un tamaño de 5,9 GB. Esto supone una reducción de 9x a 10x en memoria respecto al modelo original y permite que el modelo quepa en un PC, posiblemente en un teléfono inteligente de gama alta. Hassibi no comentó las afirmaciones de que la empresa podría estar en conversaciones con Apple.
Bonsai 2 alcanza el 98 % de las puntuaciones totales de benchmark de Qwen. En el primer modelo Bonsai, publicado en marzo, esta tasa era del 95 %. Según la empresa, el primer modelo fue descargado más de 11 millones de veces, mientras que los modelos PrismML más pequeños fueron descargados 2,6 millones de veces. Hassibi señala que la compresión podría no preservar completamente el rendimiento, pero que una pérdida del 2 % podría no ser determinante en el uso real.
PrismML reduce los «pesos» que contienen la información aprendida por los modelos durante el entrenamiento. Normalmente, cada peso requiere 16 bits, pero el enfoque «ternary» de la empresa los reduce a tres valores:
- +1
- −1
- 0
La empresa planea aplicar el mismo método a modelos más grandes, en el rango de varios cientos de miles de millones de parámetros, durante los próximos meses. Hassibi afirmó que comprimir modelos grandes preservando su inteligencia podría ser más fácil. Según Stoica, la tecnología podría permitir que los modelos avanzados funcionen en los dispositivos de los usuarios, lo que también podría hacerlos gratuitos y más privados, ya que no se enviarían datos a la nube.
Por qué es importante
Este enfoque plantea la posibilidad de que los modelos de lenguaje avanzados no necesiten una conexión constante a la nube ni una potente infraestructura de centros de datos para funcionar. Que los modelos funcionen en los dispositivos de los usuarios podría ofrecer una modalidad de uso diferente en términos de privacidad, ya que los datos no se enviarían a la nube; sin embargo, no está claro en qué dispositivos, con qué velocidad y con qué consumo energético sería posible. La pérdida limitada observada en los resultados de benchmark no elimina la necesidad de evaluar hasta qué punto los modelos comprimidos seguirán siendo suficientes en el uso práctico. La aplicación del método ternary a modelos más grandes mostrará si la tecnología seguirá limitada a un solo modelo. Por ello, la cuestión principal es cómo se equilibrará el ahorro de memoria con el rendimiento y la facilidad de uso en la experiencia real con los dispositivos.