Согласно результатам исследования, проведенного Университетом Пердью, чат-бот ChatGPT компании OpenAI более чем в половине случаев дает неправильные ответы на вопросы по программированию.
Анализ ответов на 517 запросов к Stack Overflow показал, что 52% ответов ChatGPT были неверными, а 77% – неоднозначными. Однако, несмотря на это, участники все равно предпочитали ответы ChatGPT в 39,34% случаев из-за его хорошо сформулированного стиля изложения.
Исследование показало, что вежливый язык и исчерпывающие ответы чат-бота часто маскировали неточности и даже обманывали треть участников.
ChatGPT признает, что может выдавать неточную информацию, но, как показало исследование, его уверенное изложение и авторитетный стиль часто заставляют пользователей доверять его ответам, даже если они ошибочны.