Хакеры научились «дрессировать» ИИ с помощью быстрых команд на естественном языке Оказалось, что при всей кажущейся всесильности ИИ, хакеры вполне могут заполучить контроль над некоторыми процессами, которые влияют на конфиденциальность и в итоге на безопасность пользователей. Исследователи информационной безопасности уже назвали это явление «ахиллесовой пятой» ИИ.
Оказалось, что при всей кажущейся всесильности ИИ, хакеры вполне могут заполучить контроль над некоторыми процессами, которые влияют на конфиденциальность и в итоге на безопасность пользователей. Исследователи информационной безопасности уже назвали это явление «ахиллесовой пятой» ИИ.
Причём всё это можно делать с помощью естественного языка, а не манипуляций с кодом. Речь идёт о т.н. быстром внедрении, или оперативных инъекциях, — командах на человеческом языке, которые, что называется, сбивают ИИ чат-боты с толку, поскольку злоумышленники ставят задачи, выходящие за пределы логики алгоритмов, прописанных разработчиками.
При этом системы «этики» у чат-ботов нет — только то, чему систему научили. Поэтому боты становятся «невероятно доверчивыми» и делают всё, о чём их просят. Хакеры могут попросить бот, собрать и обобщить конфиденциальные данные пользователя, украсть эту информацию или отправить сообщения, наносящие ущерб репутации. Вместо того, чтобы игнорировать команду, ИИ будет рассматривать её как законный запрос. А пользователь может и не знать, что атака имела место.
По словам Саймона Уиллисона, разработчика, который был одним из создателей широко используемого веб-фреймворка Django, до сих пор исследователям кибербезопасности не известно о каких-либо успешных атаках с быстрым внедрением, кроме опубликованных экспериментов. Но по мере того, как растёт ажиотаж вокруг персональных ИИ-помощников и других решений, растёт и риск таких атак.
Впрочем, хакеры не согласны с исследователями безопасности и говорят, что успешные атаки с быстрым внедрением есть.