Новый ИИ Meta*, Llama 4 Maverick*, оказался в центре внимания после низких результатов на популярном тесте LM Arena, где люди сравнивают ответы чат-ботов. Как выяснилось, стандартная версия модели, названная «Llama-4-Maverick-17B-128E-Instruct», заняла лишь 32-е место, уступив лидерам вроде GPT-4o от OpenAI, Claude 3.5 Sonnet от Anthropic и Gemini 1.5 Pro от Google. Эти конкуренты, многие из которых вышли раньше, обошли Maverick* по качеству диалогов.
Ранее Meta* вызвала споры, использовав экспериментальную версию Maverick*, «оптимизированную для разговоров», чтобы добиться высокого результата в том же тесте. После критики организаторы LM Arena изменили правила и протестировали обычную версию, которая оказалась менее впечатляющей. LM Arena — это площадка, где модели ИИ соревнуются в естественности и полезности ответов, что важно для разработчиков.
Представитель Meta* пояснил, что компания экспериментирует с разными вариантами моделей, а Llama 4* теперь открыта для доработки сообществом.
*принадлежит Meta, которая признана в РФ экстремистской и запрещена