PrismML vydává Bonsai 27B, tvrdí že je to první velký AI model své velikosti vhodný pro iPhone

Společnost PrismML dnes oznámila vydání svého modelu Bonsai 27B, který podle ní jako první model své velikosti dokáže běžet přímo na iPhonu, iPadu a Macu. Model využívá 1bitovou kvantizaci, díky čemuž zabírá pouze 4 GB paměti a vejde se do limitů, které Apple zařízení nabízejí.

Výkon a dostupnost

Bonsai 27B dosahuje až 163 tok/s v 1bitovém režimu na NVIDIA GeForce RTX 5090 a 87 tok/s na M5 Max. Model běží nativně na Apple zařízeních přes MLX a na NVIDIA GPU přes CUDA. Je k dispozici pod licencí Apache 2.0 a PrismML nabízí i bezplatné API pro vývojáře.

Spolupráce s Applem

Generální ředitel PrismML Babak Hassibi uvedl v rozhovoru pro CNBC, že Apple hodnotí jejich technologii. Diskuse jsou prý v rané fázi, ale „věci postupují dobře“. Apple zatím na žádost o komentář nereagoval. Analytici upozorňují, že PrismML může tyto informace využívat k posílení svého renomé.

Model Bonsai 27B je prvním velkým jazykovým modelem, který lze spustit přímo na iPhonu bez nutnosti cloudového připojení. To otevírá nové možnosti pro soukromí a rychlost zpracování.