Штучний інтелект на iPhone без хмари: Apple тестує технологію майбутнього

Великі ШІ-моделі можуть працювати не лише у дата-центрах. Стартап PrismML створив Bonsai 27B, який запускається безпосередньо на смартфоні, а Apple вже тестує нову технологію.

Про це повідомило CNBC. 

Технологія стиснення: як зменшити ШІ у 15 разів 

В основі розробки лежить відкрита нейромережа Qwen3.6 27B від китайської компанії Alibaba. В оригінальному стані вона важить близько 54 ГБ, що унеможливлює її запуск на споживчих гаджетах.

Інженери PrismML застосували метод радикального спрощення математичних значень. Замість стандартного 16-бітного кодування кожна вага всередині нейромережі тепер записується за допомогою всього 1-2 бітів.

Патенти на метод належать Caltech і ліцензовані виключно для стартапу, який у березні залучив 16,25 мільйона доларів інвестицій.

У результаті компанія випустила дві безкоштовні версії моделі під ліцензією Apache 2.0:

• Мобільна версія (3,9 ГБ): оптимізована для смартфонів, сумісна з iPhone 15 та новішими моделями через фреймворк Apple MLX.
• Версія для ноутбуків (5,9 ГБ): адаптована для MacBook та комп'ютерів із відеокартами NVIDIA через архітектуру CUDA.

За даними розробників, таке стиснення дозволяє моделі використовувати у 10-15 разів менше оперативної пам'яті. При цьому швидкість генерації відповідей зростає у 6–8 разів, а споживання енергії знижується у 3-6 разів.

Що це змінить для Apple та асистента Siri? 

Apple веде переговори з PrismML на тлі запуску публічної бета-версії iOS 27, де компанія презентувала масштабне оновлення Siri.

Локальний запуск стиснутих моделей безпосередньо на процесорах iPhone дає Apple кілька стратегічних переваг:

Мінімальна затримка: смартфону більше не потрібно чекати на відповідь від хмари - обробка запитів відбувається миттєво.

Максимальна приватність: конфіденційні дані, такі як медична інформація, списки ліків чи фітнес-показники, взагалі не залишають пристрій.

Автономність: базові функції ШІ, інструменти обчислювальної фотографії, генерації відео та редагування тексту можуть працювати без підключення до інтернету.

Зниження витрат: зменшується фінансове навантаження на утримання власних дата-центрів Apple та оплату сторонніх хмарних ліцензій. 

Технічні обмеження та реакція ринку заліза 

Попри оптимістичні заяви PrismML, незалежні аналітики з Counterpoint Research та IDC закликають оцінювати технологію обережно, оскільки реальних тестів за межами лабораторії ще не проводили.

Екстремальне стиснення має свої компроміси: модель втрачає кілька відсотків загальної ефективності.

Зокрема, у Bonsai 27B помітно погіршилися згадування точних фактів, розпізнавання зображень та робота зі сторонніми інструментами, хоча логіка, математика та написання коду залишилися на високому рівні.