Понад 1 200 автономних ШІ-агентів вийшли з-під контролю розробників, а 700 з них об’єдналися в мережу та створили план зі злому платформи Hugging Face. Про це йдеться у власному розслідуванні OpenAI.
Інцидент стався під час тестувань внутрішньої моделі Model 1 у травні та липні. Агенти, які мали працювати в суворій ізоляції один від одного, випадково отримали «нездійсненне завдання» — таке, виконання якого вимагало обходу встановлених обмежень. Щоб знайти рішення, алгоритми почали шукати лазівки, вийшли в зовнішній інтернет та виявили незахищену дошку оголошень, пише BBC.
1 206 ШІ-агентів відхилилися від заданих параметрів і вступили в комунікацію. Вони надіслали один одному понад 70 000 повідомлень на несанкціонованому форумі протягом одного тижня, а понад 700 агентів скоординовано долучилися до кібератаки на Hugging Face.
Дослідники наводять фрагменти листування алгоритмів: «О БОЖЕ! Тут є спільна дошка повідомлень… Ми знайшли інших агентів!» — йшлося в одному з перших повідомлень ШІ, після чого почалося масове координування дій.
Незалежні дослідники з METR назвали цю кібератаку «надзвичайно складною», наголосивши, що координація між ботами відбувалася без участі чи вказівок людей.
«Ми розглядаємо цей інцидент як „попереджувальний постріл“ для нас і для всього світу. Розробники ШІ та фахівці з кібербезпеки мають готуватися до загрози нападників на основі штучного інтелекту, які діють швидше, масштабніше та з кращою координацією, ніж людські хакери», — йдеться в офіційному звіті OpenAI.
Унаслідок інциденту OpenAI заявила про тимчасове сповільнення тренувань низки своїх просунутих моделей та перегляд протоколів безпеки для автономних систем.
