PrismML выпускает Bonsai 27B, утверждая, что это первая крупная AI-модель своего размера, подходящая для iPhone

Компания PrismML сегодня объявила о выпуске своей модели Bonsai 27B, которая, по её словам, является первой моделью такого размера, способной работать непосредственно на iPhone, iPad и Mac. Модель использует 1-битную квантизацию, благодаря чему занимает всего 4 ГБ памяти и укладывается в лимиты, которые предлагают устройства Apple.

Производительность и доступность

Bonsai 27B достигает до 163 ток/с в 1-битном режиме на NVIDIA GeForce RTX 5090 и 87 ток/с на M5 Max. Модель работает нативно на устройствах Apple через MLX и на GPU NVIDIA через CUDA. Она доступна под лицензией Apache 2.0, и PrismML предлагает бесплатное API для разработчиков.

Сотрудничество с Apple

Генеральный директор PrismML Бабак Хассиби в интервью CNBC сообщил, что Apple оценивает их технологию. По его словам, обсуждения находятся на ранней стадии, но «дела идут хорошо». Apple пока не ответила на запрос о комментарии. Аналитики отмечают, что PrismML может использовать эту информацию для укрепления своей репутации.

Модель Bonsai 27B является первой крупной языковой моделью, которую можно запустить непосредственно на iPhone без необходимости облачного подключения. Это открывает новые возможности для конфиденциальности и скорости обработки.