Глава NVIDIA Дженсен Хуанг представил новую разработку компании — технологию ACE for Games. Она позволяет «оживить» персонажей в видеоиграх с помощью натуральных разговоров на естественном языке.
Более того, свежая разработка также может преобразовывать речь в выражения лица и наоборот.
Хуанг продемонстрировал игровую демонстрацию, где NPC по имени Jin, владелец азиатской забегаловки, взаимодействовал с игроком, отвечая на задаваемые вопросы голосом и давая реалистичные ответы, соответствующие истории персонажа.
Сообщается, что ACE for Games предлагает быстрый доступ к трём основным компонентам. Первый — NVIDIA NeMo, фреймворк, который включает NeMo Guardrails, предназначенный для предотвращения неприемлемых разговоров с искусственным интеллектом.
Второй — NVIDIA Riva. Это решение преобразует речь в текст и обратно. В демонстрации ACE for Games, геймер задавал вопрос в микрофон, а Riva преобразовывал его в текст, который передавался лингвистической ИИ-модели.
Последним шагом в рабочем процессе свежепредставленной технологии является NVIDIA Omniverse Audio2Face. Он позволяет персонажам иметь выражения лица, соответствующие их речи.