Спрос на искусственный интеллект растет, и для его обучения нужны всё более мощные компьютеры. Учёные из Университета Иллинойса, Anyscale и Snowflake разработали систему SuperOffload. Она делает обучение больших языковых моделей (LLM) значительно быстрее и эффективнее.
Обычные видеокарты часто не справляются с огромными моделями из-за нехватки памяти. SuperOffload решает эту проблему: система умно распределяет данные между графическим процессором (GPU), центральным процессором (CPU) и другими видами памяти. Это особенно полезно для NVIDIA Grace Hopper, где GPU и CPU объединены и связаны сверхбыстрой шиной с пропускной способностью 900 ГБ/с.
Главное новшество SuperOffload — адаптивное управление весами модели: система сама определяет, где лучше хранить данные в данный момент, чтобы ускорить обучение. В неё встроен также оптимизированный алгоритм, специально разработанный для процессора Grace.
Результаты: обучение стало до 2,5 раза быстрее, а на одном суперчипе теперь можно обучить модель на 25 миллиардов параметров — это в семь раз больше, чем позволяет только GPU. Объединив четыре таких суперчипа, можно работать уже с моделями на 50 миллиардов параметров.