Китайська компанія ByteDance, відома своєю соціальною мережею TikTok, активно працює над створенням власних потужних моделей штучного інтелекту. На відміну від багатьох конкурентів, які вдаються до дистиляції чужих напрацювань, ByteDance спирається виключно на власні ресурси.
За даними Reuters, команда ByteDance наразі розробляє велику мовну модель (LLM) зі 10 трлн параметрів. Успіх цього проєкту дозволить компанії наблизитися до показників передових моделей сімейства Claude від Anthropic. Хоча американський стартап офіційно не розкриває точну кількість параметрів своїх моделей, їхнім флагманським рішенням Claude Mythos 5 приписують близько 8 трлн параметрів, а менш потужній Fable 5 — приблизно 5 трлн.
Важливо зазначити, що кількість параметрів сама по собі не є єдиним показником якості чи продуктивності моделі. Вона визначає обсяг даних, які модель може зберігати, але вирішальну роль відіграють якість навчальних даних та методи їх обробки. Для порівняння, китайська модель Kimi 3 від Moonshot, яку раніше вважали однією з найбільших у КНР, має трохи менше ніж 3 трлн параметрів.
Скільки часу піде на розробку
За інформацією інсайдерів, ByteDance наразі перебуває на етапі попереднього навчання (претренінгу) нової моделі, який зазвичай триває від трьох до шести місяців. Повноцінний випуск моделі відбудеться після її фінального налаштування.
Над створенням LLM-моделей у ByteDance працює велика команда, що налічує близько 2000 співробітників як у Китаї, так і за кордоном. До команди входять програмісти, дослідники, спеціалісти з розмітки даних та перекладачі.
Засновник компанії Чжан Імінь наголошує на важливості довгострокової стратегії розвитку власного потужного штучного інтелекту, закликаючи співробітників не зважати на короткострокові відставання. ByteDance прагне не тільки конкурувати з провідними західними розробками, але й перевершити їх.
Нагадаємо, нещодавно ByteDance представила модель Seedance 2.5, яка здатна генерувати 30-секундні відеокліпи у форматі 4K.