В Испании группа ученых из Политехнического университета Валенсии провела исследование, показавшее, что с увеличением размера и сложности языковых моделей (LLM) они становятся менее склонными признавать свою неосведомленность. Статья, опубликованная в журнале Nature.
Исследование возникло на фоне растущей популярности LLM, используемых для написания сочинений, стихотворений, решения математических задач и других задач. Ученые решили выяснить, становятся ли LLM более точными с каждым обновлением и как они реагируют, когда дают неправильный ответ. Для тестирования точности были заданы тысячи вопросов, которые варьировались по темам, включая математику, науку, анаграммы и географию.
Результаты показали общую тенденцию к улучшению точности с каждым новым обновлением, однако с ростом сложности вопросов точность снижалась. Интересно, что в новых версиях LLM реже признавали, что не знают ответ. Вместо этого они чаще делали предположения, что приводило к большему количеству как правильных, так и неправильных ответов.
Исследователи также отметили, что большинство участников не смогли выявить неверные ответы, что подчеркивает проблему надежности современных языковых моделей.