Учёные из Массачусетского технологического института (MIT) опубликовали в архиве препринтов ночных работ arXiv исследование, которое рассматривает нервные и поведенческие последствия использования больших языковых моделей (LLM) для написания эссе. Учёные отметили, что мозговая активность и критическое мышление снижаются.
Участники экспериментов были разделены на три группы, использовавшие для написания эссе LLM, поисковую систему Google и только собственные знания. Для оценки когнитивной нагрузки использовалась энцефалография (ЭЭГ), а эссе анализировалось с помощью НЛП и преподавателей-людей, а также ИИ.
Все участники писали эссе на тему филантропии в течение 20 минут. В ходе исследований в каждой группе наблюдалась внутригрупповая однородность.
ЭЭГ выявила различия в связях мозга: пользователи LLM продемонстрировали наиболее слабую нейронную связь и снижение критического мышления, пользователи поисковых систем — умеренную, а пользователи, писавшие текст самостоятельно, — наиболее сильные и распределённые нейронные сети.
Вердиктом исследования стало очевидное снижение когнитивной активности при использовании LLM для написания творческого текста.
Причём была ещё и сессия 4, которую закончили 18 человек, использовавших LLM. Эти пользователи продемонстрировали снижение альфа- и бета-связи, указывающее на недостаточную вовлечённость. Самостоятельные участники показали самую высокую скорость запоминания и активацию затылочно-теменной и префронтальной областей мозга.
Самооценка владения эссе при анкетировании была самой низкой в группе, использовавшей ИИ, и самой высокой в группе, работавшей самостоятельно. При этом пользователи LLM старались точно цитировать свои собственные работы.
В и тоге исследователи пришли к выводу, что использование LLM для образования имеет потенциальные когнитивные издержки, причём с далекоидущими последствиями.