Компания Apple выпустила несколько крупномасштабных языковых моделей (LLM) с открытым исходным кодом.
Их особенность – работа непосредственно на устройстве пользователя без обращения к облачным серверам. Проект под названием OpenELM (Open-source Efficient Language Models) доступен на Hugging Face Hub – платформе для обмена кодом в сфере искусственного интеллекта.
Согласно технической документации, выпущено восемь моделей OpenELM. Четыре из них предварительно обучены с использованием библиотеки CoreNet, и еще четыре дообучены на инструкциях.
Apple применяет стратегию послойного масштабирования, направленную на повышение точности и эффективности моделей.
Вместо предоставления лишь конечного результата, Apple опубликовала код, журналы обучения и разные версии моделей. Исследователи надеются, что это ускорит прогресс и приведет к повышению надежности результатов в сфере ИИ естественного языка.
Apple заявляет, что публикация моделей OpenELM призвана расширить возможности исследовательского сообщества, предоставив доступ к передовым языковым моделям.
Открытый исходный код позволит исследователям изучать риски, связанные с данными и предубеждениями моделей. Разработчики и компании смогут использовать модели в исходном виде или адаптировать под свои нужды.