Учёные из MIT провели исследование, которое показало, что современные языковые модели ИИ, такие как GPT-4, не понимают настоящих «правил» окружающего мира.
Это несмотря на их способность генерировать текст, который кажется осмысленным и интеллектуальным.
Согласно исследованию, такие ИИ-системы просто прогнозируют вероятные слова в ответ на запросы, не обладая настоящим пониманием сложных систем.
Исследователи из MIT разработали новые метрики для проверки способностей ИИ к навигации и логическому мышлению.
Для этого они использовали детерминированные конечные автоматы (DFA) — задачи с фиксированными правилами. Тест включал навигацию по улицам Нью-Йорка и игру в «Отелло».
В этих сценариях модели ИИ хорошо справлялись, пока не возникали сложности: на картах Нью-Йорка добавили объезды и модели начали генерировать нелогичные маршруты.
Таким образом, исследование подтверждает, что даже самые передовые ИИ пока не могут «понять» мир, а лишь угадывают, основываясь на данных, и требуют дальнейшего развития.