Xiaomi выпустила OmniVoice. ИИ для клонирования голоса работает с 646 языками, включая «самые редкие, для которых почти нет данных». И разработка в открытом доступе.
Модель использует большие языковые модели (как у ChatGPT) для того, чтобы правильно произносить сложные слова. Разработчики собрали 50 открытых наборов голосовых данных — 580 тыс. часов записи на 646 языках.
OmniVoice может копировать голос с любого образца (например, записать, как говорит человек, и заставить этот голос говорить на другом языке). Также можно:
Описать желаемый голос словами («мужчина, средних лет, низкий голос»).
Добавить смех, вздохи или шёпот.
Исправлять неправильное произношение.
Чистить шумы в записи.
Код, обучающие данные и готовые веса доступны на GitHub и Hugging Face. Там же можно попробовать демо-версию без установки.