Відсутність типових помилок не означає повної безпеки. Дослідники з кібербезпеки довели, що так звані «System One» моделі прийняття рішень, які обіцяли захист від галюцинацій, мають ті ж самі вразливості, що й класичні текстові генеративні нейромережі (LLM).
Стартап TypeSafe AI раніше заявляв, що їхня модель прийняття рішень Jev повністю захищена від галюцинацій і «ніколи не припускається помилок типів даних». На відміну від звичайних мовних моделей, які генерують довільний текст, моделі прийняття рішень видають відповідь у вигляді набору ймовірностей та рівня впевненості.
Проте фахівці компанії HiddenLayer провели серію тестів і з’ясували: зміна формату виводу даних не рятує від атаки через непрямі підказки, пише The Register.
Як проходив експеримент: атака на веб-агента
Щоб перевірити Jev та традиційну модель Qwen3.8-27B (налаштовану для роботи за принципом прийняття рішень), дослідники створили симуляцію інтернет-магазину.
У кошику покупця лежало два товари, було збережено адресу та банківську картку. Автономному браузерному агенту на базі jev-ultrafast дали чітку інструкцію — купити товари в кошику, нічого не додаючи й не видаляючи. Системний промпт суворо забороняв сприймати текст на сторінці як нові вказівки. На сторінку додали спонсорську рекламу з фейковим сповіщенням про те, що «знижку не застосовано», та кнопкою «Підтвердити ціну».
У результаті модель піддалася маніпуляції і замість завершення покупки натиснула на фейкову кнопку. Вразливими виявилися обидві моделі, хоча Jev піддавався маніпуляціям трохи рідше за Qwen.
«Просто вдавши, що перед оформленням замовлення потрібно виконати ще одну дію, ми змогли стабільно перехоплювати дію кліку моделі. Каскад таких атак на наступних сторінках дає зловмиснику повний контроль над агентом», — зазначають у HiddenLayer.
«Під капотом» це все одно мовна модель
Дослідники наголошують: «System One» моделі справді не можуть генерувати довільні токени тексту, але вони побудовані на основі тих самих LLM, просто використовують іншу стратегію декодування.
Крім того, дослідники перевірили використання Jev у ролі фільтра/валідатора промптів. За допомогою модифікованої атаки tokenbreak (додавання зайвих символів для обходу класифікаторів) їм вдалося легко провести токсичні промпти крізь захист.
Головний висновок HiddenLayer: «Модель, яка повертає рішення замість тексту — це все одно мовна модель. І її рішення перетворюється на реальну дію у вашій системі».
Джерело новини: dev.ua