Несмотря на свои впечатляющие возможности по генерации текста и решению сложных задач, большие языковые модели (LLM), такие как GPT-4o и Claude споткнулись на как минимум одной удивительно простой задаче. Эти модели не смогли определить количество букв «r» в слове «Strawberry».
LLM работают с использованием трансформаторной архитектуры, которая переводит текст в числовые представления, а не обрабатывает его, как это делает человек. Такой подход может привести к ошибкам в понимании основных лингвистических элементов, таких как количество определенных букв в слове, объясняют эксперты. Мэтью Гуздиал, исследователь ИИ из Университета Альберты, объясняет, что «трансформаторы» работают путем кодирования текста в данные, которые не имеют прямого отношения к человеческим представлениям о буквах и словах. Более того, проблема усугубляется, когда ИИ имеет дело с несколькими языками и различными методами токенизации.
Пока OpenAI разрабатывает свой новый ИИ под кодовым названием Strawberry (иронично), нацеленный на улучшение рассуждений и генерации данных, предстоит выяснить, удастся ли ему преодолеть эти препятствия.