Команда математиков и исследователей искусственного интеллекта (ИИ)из Microsoft Asia разработала компактную языковую модель (SLM), способную решать математические задачи.
За последние несколько лет крупнейшие технологические компании активно улучшали свои большие языковые модели (LLM), что привело к быстрому внедрению таких продуктов в повседневную жизнь. Однако такие модели требуют огромных вычислительных мощностей, что ведет к высокому потреблению электроэнергии и значительным затратам на их поддержку.
В ответ на эту проблему исследователи стали обращаться к меньшим моделям, называемым SLM, которые являются менее ресурсоемкими и могут работать даже на локальных устройствах. Одним из главных способов использования SLM является их узкая специализация: вместо того чтобы отвечать на любые вопросы, они решают задачи в узкой области, такой как математика. Новый инструмент от Microsoft не только решает задачи, но и обучен логически рассуждать для поиска решений.
Модель rStar-Math, как отмечают разработчики, использует метод Монте-Карло для имитации человеческого подхода к решению задач поэтапно. Это позволяет модели разбирать задачу на составляющие, чтобы найти решение. Интересно, что rStar-Math выводит свой процесс размышлений как на естественном языке, так и в виде кода на Python.
Команда утверждает, что их модель успешно прошла несколько тестов и показала хорошие результаты.
arXiv