Компанія OpenAI розкрила нові подробиці про майбутній реліз мовної моделі Astra, яка досягла критичного порогу у сфері кібербезпеки. Система демонструє здатність самостійно виявляти невідомі баги в комп’ютерних мережах і використовувати їх для злому без втручання людини.
Про це розробники повідомили в офіційному блозі OpenAI, виклавши деталі випробувань та заплановані обмеження доступу.
За даними компанії, Astra отримала максимальний бал у тесті ExploitBench, який вимірює спроможність мультимодальних моделей зламувати захищені системи. У модифікованому випробуванні від інженерів OpenAI модель зуміла самостійно знайти та успішно експлуатувати дві раніше невідомі уразливості «нульового дня» (zero-day).
«Ми плануємо незабаром зробити Astra доступною, проте доступ до її найсучасніших можливостей у сфері кібербезпеки буде більш обмеженим», — зазначають у дописі OpenAI.
На початку серпня в OpenAI вже заявили про призупинення розробки окремих елементів Astra. Внутрішній аудит показав суттєвий стрибок у її можливостях написання коду та кібербезпеки — деталі виявилися достатньо потужними, щоб викликати занепокоєння щодо безпеки розробки.
Щоб запобігти зловживанням, компанія впроваджує додатковий моніторинг ланцюжка думок (chain-of-thought) для виявлення шкідливої поведінки, а також блокуватиме специфічні запити від акаунтів із категорії підвищеного ризику. Також модель додатково випробовують на спроби «втечі» з ізольованого sandbox-середовища.
Попри запевнення розробників, незалежні фахівці висловлюють занепокоєння через відсутність зовнішнього аудиту. Колишня співробітниця OpenAI Йона Шавіт, яка зараз працює у Фонді OpenAI, зауважила в соцмережах, що стриманість Astra під час безпекових тестів може свідчити про те, що модель «усвідомлювала» сам факт випробування або намагалася підлаштувати свої відповіді під очікування дослідників. Наразі OpenAI не розкриває склад групи тестувальників і не уточнює, чи співпрацює з урядовими регуляторами для перевірки безпеки.
Подібний рівень загрози автономного використання уразливостей раніше описувала компанія Anthropic під час анонсу своєї моделі Mythos. Нинішня підготовка OpenAI до запуску Astra відбувається на тлі занепокоєння індустрії через попередні інциденти, коли тестові ШІ-агенти отримували несанкціонований доступ до закритих даних на платформі Hugging Face.