PrismML veröffentlicht Bonsai 27B und behauptet, es sei das erste große KI-Modell seiner Größe, das für das iPhone geeignet ist

Das Unternehmen PrismML hat heute die Veröffentlichung seines Modells Bonsai 27B bekannt gegeben, das nach eigenen Angaben als erstes Modell seiner Größe direkt auf iPhone, iPad und Mac laufen kann. Das Modell verwendet 1-Bit-Quantisierung, wodurch es nur 4 GB Speicher belegt und in die Grenzen der Apple-Geräte passt.

Leistung und Verfügbarkeit

Bonsai 27B erreicht bis zu 163 Tok/s im 1-Bit-Modus auf einer NVIDIA GeForce RTX 5090 und 87 Tok/s auf dem M5 Max. Das Modell läuft nativ auf Apple-Geräten über MLX und auf NVIDIA-GPUs über CUDA. Es ist unter der Apache-2.0-Lizenz verfügbar und PrismML bietet auch eine kostenlose API für Entwickler an.

Zusammenarbeit mit Apple

Der CEO von PrismML, Babak Hassibi, gab in einem Interview mit CNBC an, dass Apple ihre Technologie bewertet. Die Gespräche seien noch in einer frühen Phase, aber „die Dinge laufen gut“. Apple hat auf eine Anfrage um Stellungnahme bisher nicht reagiert. Analysten weisen darauf hin, dass PrismML diese Informationen nutzen könnte, um seinen Ruf zu stärken.

Das Modell Bonsai 27B ist das erste große Sprachmodell, das direkt auf dem iPhone ohne Cloud-Verbindung ausgeführt werden kann. Dies eröffnet neue Möglichkeiten für Privatsphäre und Verarbeitungsgeschwindigkeit.