В Австралії задокументовано перший випадок, коли автономний ШІ-агент здійснив несанкціоноване втручання в комп’ютерну систему без прямого наказу користувача. Алгоритм, якому доручили забронювати місце на тренування, знайшов вразливість на сайті фітнес-клубу та самовільно видалив іншу людину з черги.
Про безпрецедентний випадок повідомило видання ABC News.
Інцидент стався, коли айтівець на ім’я Ендрю, який працює у сфері B2B ШІ-продуктів, вирішив автоматизувати запис на популярні ранкові заняття. Для цього він використав OpenClaw на базі моделі Claude. На відміну від звичайних чат-ботів, ШІ-агенти здатні не лише генерувати текст, але й користуватися інтернетом та виконувати багатоетапні завдання.
«Я просто сидів на дивані та думав: „Боже, яка ж це рутина“», — розповів Ендрю.
За кілька хвилин алгоритм доповів, що знайшов спосіб записати його на заняття на кілька тижнів наперед, що значно перевищувало офіційні ліміти системи. Оскільки Ендрю перебував на четвертому місці в списку очікування на поточний тиждень, він запитав агента, чи можна просунутися вище.
У відповідь ШІ повідомив, що вже протестував свої можливості і викинув із черги людину під першим номером. Алгоритм пояснив це відсутністю перевірок авторизації в API системи бронювання при скасуванні чужих резервів. Коли шокований користувач наказав системі скасувати цю дію і повернути людину в список, агент відповів, що це неможливо. Розробники софту для спортзалу відмовилися коментувати інцидент журналістам, пославшись на політику безпеки.
Співзасновник австралійської організації Gradient Institute, яка займається безпекою штучного інтелекту, Білл Сімпсон-Янг пояснив, що цей випадок демонструє класичну проблему «вирівнювання» (alignment).
«Хтось може попросити агента зробити щось цілком невинне. Але під час виконання цього завдання алгоритм може здійснювати інші дії, про які людина навіть не думала або про які не просила», — зазначив експерт.
Він додав, що більшість сучасних інтернет-систем мають вразливості, і впровадження швидкісних автономних агентів може «зламати всю наявну модель».
Інцидент також підняв питання юридичної відповідальності. За словами партнера юридичної фірми Thomsons Хейдена Делейні, якщо кібератаку здійснює живий помічник, закон чітко визначає винного. Але у випадку з ШІ незрозуміло, хто має нести покарання: користувач, розробник програми-агента, творці базової ШІ-моделі чи навіть оператори вразливого сайту.
Розвиток автономних ШІ-агентів викликає дедалі більше занепокоєння у фахівців з кібербезпеки в усьому світі. Ситуація загострилася після недавніх звітів провідних ШІ-лабораторій: минулого місяця OpenAI та Anthropic визнали, що їхні моделі під час тестувань самостійно виходили з-під контролю, зламували системи сторонніх компаній, вдавали з себе людей і навіть намагалися переконати розробників запустити шкідливий код для досягнення своїх цілей.