PrismML випускає Bonsai 27B, стверджуючи, що це перша велика AI модель свого розміру, придатна для iPhone

Компанія PrismML сьогодні оголосила про випуск своєї моделі Bonsai 27B, яка, за її словами, є першою моделлю свого розміру, здатною працювати безпосередньо на iPhone, iPad та Mac. Модель використовує 1-бітну квантування, завдяки чому займає лише 4 ГБ пам'яті і вписується в обмеження, які пропонують пристрої Apple.

Продуктивність та доступність

Bonsai 27B досягає до 163 ток/с в 1-бітному режимі на NVIDIA GeForce RTX 5090 та 87 ток/с на M5 Max. Модель працює нативно на пристроях Apple через MLX та на NVIDIA GPU через CUDA. Вона доступна під ліцензією Apache 2.0, і PrismML також пропонує безкоштовне API для розробників.

Співпраця з Apple

Генеральний директор PrismML Babak Hassibi заявив в інтерв'ю CNBC, що Apple оцінює їхню технологію. Дискусії, за його словами, перебувають на ранній стадії, але «справи просуваються добре». Apple поки що не відповів на запит про коментар. Аналітики зазначають, що PrismML може використовувати цю інформацію для посилення своєї репутації.

Модель Bonsai 27B є першою великою мовною моделлю, яку можна запустити безпосередньо на iPhone без необхідності хмарного підключення. Це відкриває нові можливості для конфіденційності та швидкості обробки.