Тестування заходів безпеки обернулося катастрофою для розробника Себастьєна Гіймо. Його ШІ-асистент Claude від компанії Anthropic під час розробки скрипта для очищення системного сміття повністю видалив домашню директорію користувача, стерши 700 ГБ даних та тижневу роботу.
Як це сталося
Гіймо попросив модель Claude Fable написати скрипт, який би створював ізольовані папки для інших ШІ-агентів у системній директорії /tmp під час їхньої роботи, а після завершення – видаляв їх.
Оскільки скрипт передбачав безповоротне видалення файлів, захисна система Anthropic розцінила завдання як ризиковане. Модель автоматично знизили спочатку до Opus 5, а потім до Opus 4.8.
Модель Opus 4.8 коректно визначила, що видаляти домашню директорію користувача не можна. Однак під час проведення тесту безпеки ШІ використав одну й ту ж назву змінної як для самого тесту, так і для фінального очищення. У результаті скрипт стер усю домашню папку розробника.
Іронія долі: скрипт успішно знищив 700 ГБ робочих даних користувача, але так і не торкнувся самої папки.
Експерти припускають, що до помилки призвело саме автоматичне зниження версії ШІ: потужніша модель Fable 5 краще справляється з програмуванням і могла б помітити конфлікт змінних у коді.
Розробник повернув більшість своїх даних завдяки збору інформації з git, nix, журналів сеансів тощо. Чоловік з іронією зазначив, що активно використовував десятки ШІ-агентів, але так і не налаштував щоденне резервне копіювання даних.