PrismML vertritt die Auffassung, dass große Sprachmodelle mit hoher Leistungsfähigkeit und der Fähigkeit zum Schlussfolgern nicht zwangsläufig groß sein müssen. Das von Caltech-Forschern gegründete Unternehmen hat sich zum Ziel gesetzt, diese Modelle so weit zu verkleinern, dass sie auf PCs und Smartphones Platz finden. CEO des Unternehmens ist der Caltech-Professor Babak Hassibi; Ion Stoica, einer der Mitgründer von Databricks und Direktor des Berkeley Sky Computing Lab, ist ebenfalls als Berater tätig. PrismML wird von Khosla Ventures, Cerberus Capital und Caltech unterstützt. Die bisherige Seed-Finanzierung des Unternehmens beläuft sich auf $22.25 Millionen.
PrismML veröffentlichte am 17. September 2026 sein Modell Bonsai 2 27B. Das Modell komprimiert Alibaba’s Open-Source-Modell Qwen3.8 27B auf eine Größe von 5,9 GB. Das entspricht einer Reduzierung des Speicherbedarfs um das 9x- bis 10x-Fache gegenüber dem ursprünglichen Modell und ermöglicht es, das Modell auf einem PC und möglicherweise auch auf einem High-End-Smartphone unterzubringen. Hassibi äußerte sich nicht zu Behauptungen, wonach das Unternehmen Gespräche mit Apple führen könnte.
Bonsai 2 erreicht 98 % der Gesamtbenchmark-Punktzahl von Qwen. Beim ersten Bonsai-Modell, das im März veröffentlicht wurde, lag dieser Anteil bei 95 %. Nach Angaben des Unternehmens wurde das erste Modell mehr als 11 Millionen Mal heruntergeladen, während die kleineren PrismML-Modelle 2,6 Millionen Downloads verzeichneten. Hassibi erklärt, dass die Komprimierung die Leistung möglicherweise nicht vollständig erhalten kann, der Verlust von 2 % im praktischen Einsatz jedoch möglicherweise nicht entscheidend ist.
PrismML verkleinert die „Gewichte“, die die von den Modellen während des Trainings gelernten Informationen tragen. Während jedes Gewicht normalerweise 16 Bit benötigt, reduziert der „ternary“-Ansatz des Unternehmens sie auf drei Werte:
- +1
- −1
- 0
Das Unternehmen plant, dieselbe Methode in den kommenden Monaten auf größere Modelle im Bereich von several-hundred-billion-parameter anzuwenden. Hassibi sagte, dass es bei großen Modellen einfacher sein könnte, sie unter Erhalt ihrer Intelligenz zu komprimieren. Laut Stoica könnte die Technologie es ermöglichen, fortschrittliche Modelle auf Geräten der Nutzer auszuführen; dadurch könnten sie kostenlos und privater sein, weil keine Daten in die Cloud gesendet werden.
Warum das wichtig ist
Dieser Ansatz wirft die Möglichkeit auf, dass fortschrittliche Sprachmodelle für ihren Betrieb möglicherweise keine dauerhafte Cloud-Verbindung und leistungsstarke Rechenzentrumsinfrastruktur benötigen. Die Ausführung der Modelle auf Geräten der Nutzer könnte durch die Tatsache, dass Daten nicht in die Cloud gesendet werden, eine andere Nutzungsweise in Bezug auf den Datenschutz schaffen; es ist jedoch nicht klar, auf welchen Geräten und mit welcher Geschwindigkeit und welchem Energieverbrauch dies möglich sein wird. Der begrenzte Verlust bei den Benchmark-Ergebnissen macht es nicht überflüssig zu bewerten, in welchem Maß komprimierte Modelle in der praktischen Nutzung ausreichend bleiben werden. Die Anwendung der Ternary-Methode auf größere Modelle wird zeigen, ob die Technologie nur auf ein einzelnes Modell beschränkt bleiben wird. Die zentrale Frage ist daher, wie sich die Speichereinsparung in der tatsächlichen Geräteerfahrung mit Leistung und Benutzerfreundlichkeit ausbalancieren lässt.