Ученые Сургутского государственного университета (СурГУ) разработали новый инструмент для анализа ошибок онлайн-переводчиков. Программа позволяет выявлять слабые места переводов и повышать качество работы таких сервисов. Результаты исследования получили патент.
Современные онлайн-переводчики часто работают нестабильно. Стандартные метрики, такие как BLEU, оценивают переводы лишь по дословным совпадениям и не учитывают нюансы смысла и грамматики. Новая разработка объединяет несколько методов оценки и анализирует переводы на уровне слов, смысла и синтаксической структуры.
Программа автоматически выделяет предложения с низкими оценками по любому из критериев и формирует подробный отчет. Такой подход позволяет не просто оценивать общую точность перевода, но и выявлять конкретные типы ошибок: лексические, грамматические или смысловые.
В ходе экспериментов были протестированы популярные онлайн-сервисы и коммерческие нейросети. Исследование показало, что многие системы хорошо справляются с подбором слов, но испытывают сложности с передачей сложных грамматических конструкций.
Основой инструмента стала программа на Python с использованием библиотек nltk и Stanza. Они помогают разбирать текст на предложения и слова, проводить грамматический анализ и определять роль каждого слова в предложении.