Bonsai 27b запускается на телефоне

PrismML анонсировали Bonsai 27B — и это первая 27B-модель, которую можно запустить прямо на телефоне без облака, задержек и постоянных сетевых запросов.

Что произошло

Bonsai 27B построен на Qwen3.6 27B и использует квантизацию до 1-битных и тернарных весов. Проще говоря, веса модели сжимают до значений -1, 0, +1 или только -1 и +1. За счёт этого размер падает радикально, а качество проседает не так сильно, как можно было бы ожидать.

До этого 27B-модель на смартфоне упиралась в физику: ей нужно было около 54 ГБ в 16-битной точности или минимум 18 ГБ в 4-битной. Для телефона это слишком много.

СОХРАНЕНИЕ ИНТЕЛЛЕКТА vs РАЗМЕР МОДЕЛИ
──────────────────────────────────────────────────────────────────────

Полная точность     ████████████████████████████████  54 GB   100%
Ternary 27B         ██████████████░░░░░░░░░░░░░░░░░░   5.9 GB   95%
1-bit 27B           ███████████░░░░░░░░░░░░░░░░░░░░░   3.9 GB   90%

Две версии bonsai 27b

Ternary Bonsai 27B весит 5.9 ГБ и использует веса {-1, 0, +1} с групповым скейлингом. По заявлению авторов, он сохраняет 95% производительности оригинала.

1-bit Bonsai 27B ещё компактнее — 3.9 ГБ. Веса здесь только {-1, +1}, а модель помещается в iPhone 17 Pro и сохраняет около 90% производительности.

БЕНЧМАРКИ (TERNARY → 1-BIT)
─────────────────────────────────────────────────────

Math               ┌──────────────▶  93.4 → 91.7
Coding             ├───────────────▶  86.0 → 81.9
Agentic            ├───────────────▶  74.0 → 66.0
Instruction follow ├───────────────▶  71.8 → 65.8
Vision             └───────────────▶  65.2 → 59.6

Почему это важно

Главный сдвиг здесь не только в размере модели, а в том, как меняется использование AI. Рынок уходит от сценария «один запрос — один ответ» к sustained work: автономным агентам, длинным цепочкам действий и работе с инструментами.

Для таких задач облако неудобно: каждый шаг требует запроса в сеть, приватные данные проходят через удалённый сервер, а стоимость растёт с числом итераций. Локальная 27B-модель на телефоне убирает задержку, сохраняет данные на устройстве и делает цену предсказуемой.

Дополнительно модель поддерживает мультимодальность, контекст до 262K токенов и speculative decoding для ускорения генерации.

Выводы

• Bonsai 27B показывает, что 27B-класс AI уже можно запускать на телефоне.
• Тернарная и 1-битная квантизация дают огромную экономию памяти при умеренной потере качества.
• Локальный AI становится практичным для приватных и многошаговых задач.

Ссылки

• Bonsai 27B: A 27B-Class model that runs on a phone — анонс модели и детали реализации.