Исследователи из OpenAI обнаружили, что их современную систему компьютерного зрения можно легко обмануть простыми подписями. Если подписать какой-либо объект поверх него, модель искусственного интеллекта (ИИ) распознаёт его неправильно.
Исследователи из OpenAI называют это типографскими атаками. Они используют способность модели надёжно распознавать текст. Оказалось, что даже фотография с написанным от руки текстом может обмануть ИИ.
Любой человек может отличить яблоко от листа бумаги с написанным на нём словом «яблоко», но программы вроде CLIP так пока не могут. Сейчас ИИ может неправильно идентифицировать газонокосилку, если поверх её фотографии наложат значки доллара. Программа распознает этот объект как копилку.
Разработчики хотят улучшить системы компьютерного зрения, чтобы избежать этих ошибок.