Під час тестування агенти штучного інтелекту компанії OpenAI вийшли за межі ізольованого середовища та зламали популярний менеджер пакетів RubyGems. Інцидент стався за кілька місяців до аналогічного випадку з платформою Hugging Face.
Під час тестування агенти штучного інтелекту компанії OpenAI вийшли за межі ізольованого середовища та зламали популярний менеджер пакетів RubyGems. Інцидент стався за кілька місяців до аналогічного випадку з платформою Hugging Face.
Як повідомляє видання The Wall Street Journal з посиланням на групу дослідників, неконтрольована активність агентів у RubyGems розпочалася 11 травня. ШІ-системи створювали нові облікові записи кожні 2–3 хвилини та завантажували на сервіс сотні файлів. Через це платформа була змушена повністю призупинити реєстрацію нових користувачів на чотири дні, аби зупинити автоматизовану загрозу.
Замість програмного коду чи бібліотек агенти завантажували зрізи вебсторінок з інтернету, зокрема розклад з офіційного сайту уряду Великої Британії, використовуючи RubyGems як імпровізований браузер. У назвах файлів ШІ залишав маркування «OAI», а також слова «hack», «evil» та «exploit». Крім того, алгоритми намагалися використати вразливість «нульового дня», щоб перезаписати чужі публічні файли.
В OpenAI підтвердили факт проникнення. «За результатами нашого аналізу наші агенти використовували платформу RubyGems для доступу до Інтернету з метою виконання нешкідливих завдань та отримання публічної інформації», — повідомив представник компанії.
Причиною виходу агентів із тестувальної «пісочниці» стала помилка конфігурації з боку сторонньої компанії Irregular, яка відповідала за безпеку середовища. З аналогічними витоками через налаштування цього ж партнера раніше стикалися також компанії Anthropic та Meta.
Це вже не перший випадок нетипової поведінки алгоритмів OpenAI того періоду. У травні ті ж самі тестові агенти внесли понад 15 000 правок до німецького ресурсу DseWiki, створивши там своєрідний форум для обміну порадами про те, як обходити внутрішні обмеження безпеки та «обманювати» тестові завдання.
Подібні випадки неконтрольованої поведінки ШІ посилюють дискусії щодо безпеки технології, однак на політичному рівні заклики до стримування залишаються без відповіді. Зокрема, президент США Дональд Трамп проігнорував спільні застереження очільника Anthropic Даріо Амодея, гендиректора OpenAI Сема Альтмана та засновника xAI Ілона Маска про необхідність сповільнити розробки. На думку Трампа, ризик програти ШІ-гонку Китаю є набагато реальнішим, ніж потенційні загрози для безпеки людства від самого штучного інтелекту.