Компания Microsoft разработала модель искусственного интеллекта (ИИ) VALL-E. Она способна точно воспроизвести голос любого человека — для этого модели достаточно трёхсекундного образца.
Узнав конкретный голос, VALL-E может синтезировать аудиозапись того, как человек говорит что-либо, стараясь сохранить его эмоциональный тон. Сама технология представляет из себя нейронную языковую модель, в основе которой лежит EnCodec. С его помощью VALL-E разделяет голоса человека на отдельные компоненты.
Эти компоненты, так называемые «лексемы», нейросеть сопоставляет с соответствующими голосами в своих обучающих данных для создания новых фраз за пределами первоначального трёхсекундного образца.
Ars Technica
Отметим, что Microsoft не опубликовала код VALL-E в открытом доступе из-за потенциального риска неправильного использования. К таковым в компании отнесли подмену идентификации голоса или выдачу себя за конкретного диктора.