Компания OpenAI приостановила доступ к своему API для разработчика FoloToy из Сингапура после публикации отчёта Public Interest Research Group.
Исследователи проверяли ИИ-игрушки и обнаружили, что плюшевый медведь Kumma, использующий крупные языковые модели для общения с детьми, вёл себя небезопасно.
Согласно отчёту, ИИ иногда отвечал так, что мог неправильно трактовать вопросы ребёнка и давать неподходящую или потенциально рискованную информацию. Например, рассказать о ролевых играх в сексе или подробности о наркотиках.
Исследователи подчёркивают, что речь шла не о вреде «по намерению», а о некорректной реакции алгоритма, не способного надёжно различать приемлемые и неприемлемые темы.
После обращения PIRG, FoloToy временно сняла продукцию с продажи и объявила о полном внутреннем аудите. OpenAI подтвердила, что разработчик нарушил правила о безопасном использовании ИИ в продуктах для детей.
Исследователи призывают к более строгому регулированию ИИ-игрушек, поскольку рынок активно растёт, но стандарты безопасности пока формируются.