Группа ученых из университета Пердью выяснила, что ChatGPT, допускает значительные ошибки при ответах на вопросы о программировании. В своей статье, опубликованной в рамках конференции CHI по человеческим факторам в компьютерных системах, они описали, как тестировали ChatGPT на вопросах с сайта StackOverflow и измеряли точность его ответов.
Группа также представила свои результаты на конференции CHI 2024. ChatGPT и другие подобные чат-боты стали очень популярны среди пользователей, однако, помимо полезной информации, они часто дают неверные ответы, причем это не всегда сразу заметно.
Ученые отметили, что многие студенты программирования начали использовать чат-ботов не только для помощи в написании кода, но и для получения ответов на вопросы о программировании. Они проверили точность ответов ChatGPT на 517 вопросах с StackOverflow и обнаружили, что он дал правильный ответ всего в 52% случаев. К тому же ответы оказались более длинными, чем ответы экспертов-людей.
Также, исследование показало, что участники исследования предпочитали ответы ChatGPT в 35% случаев, и часто не замечали ошибок — ошибочные ответы игнорировались в 39% случаев.