Исследователи из Высшей школы экономики в Санкт-Петербурге предложили новый метод уменьшения размеров нейронных сетей. В его основе лежат принципы статистической физики, что позволяет проводить оптимизацию быстро и без ущерба для качества работы искусственного интеллекта.
Подход был успешно протестирован на моделях для классификации данных, обработки естественного языка и компьютерного зрения. Расчеты показали, что метод ускоряет процесс оптимизации нейросетей в диапазоне от 10 до 500 раз по сравнению с традиционными способами. Это решает проблему требований к объему оперативной памяти, которая необходима для работы больших языковых моделей с миллиардами параметров.
Ученые заметили, что нейросети со множеством параметров похожи на сложные физические системы, такие как магнитные материалы. Это позволило применить соответствующие методы для быстрого определения оптимального размера модели.
Разработка опубликована в открытом доступе.