ШІ-стартап PrismML випустив Bonsai 2 27B — компактну версію моделі Qwen3.8 27B від Alibaba. Модель з 27 мільярдами параметрів вдалося вмістити у 5,9 ГБ. За тестами PrismML, вона зберігає 98,2% результатів оригіналу.
Про це розповідає TechCrunch.
Повнорозмірна Qwen3.8 27B у 16-бітному форматі потребує приблизно 54 ГБ пам’яті. PrismML скоротила цей обсяг більш ніж у дев’ять разів. Для цього компанія використала тернарні ваги. Ваги — це числові значення, у яких модель зберігає те, що «вивчила» під час тренування. Замість великих чисел PrismML представляє їх лише трьома можливими значеннями: −1, 0 або +1. Завдяки цьому модель займає значно менше місця.
Також PrismML заявляє, що Bonsai 2 27B показує 98,2% результату оригінальної Qwen3.8 27B у сукупності тестів на логічне мислення, математику, програмування, виконання інструкцій, роботу із зображеннями та використання інструментів ШІ-агентами. Утім, це власні бенчмарки PrismML, а не незалежне тестування.
Модель підтримує контекст до 262 000 токенів, вміє працювати із текстом і зображеннями та доступна за відкритою ліцензією Apache 2.0. Її можна запускати через CUDA, а також на пристроях з Apple Silicon. Тепер стартап хоче взятися за ще більші моделі — із кількома сотнями мільярдів параметрів. CEO PrismML Бабак Хассібі розповів TechCrunch, що перші такі моделі компанія планує показати протягом найближчих місяців.
Раніше dev.ua писав про TurboQuant від Google — технологію, яка має скоротити обсяг пам’яті, потрібної для роботи великих мовних моделей, без помітної втрати точності.
