Группа исследователей из Markswebb изучили количество успешно обрабатываемых запросов, получаемых чат-ботами разных банков. На основании этого они составили список лучших из них.
Так, каждый чат-бот, участвовавший в исследовании проверялся на способность поддержать разговор (CUI) и выполнить 50 запросов по шести блокам пользовательских задач. Это навигация, предоставление общей и персонализированной информации, подбор продукта, выполнение действий, приём жалоб.
По итогу робот, используемый Альфа-банком смог ответить на 49 из 50 запросов. При этом он был единственным среди всех остальных, кто смог распознать два отдельных запроса сразу, ответив на них двумя разными сообщениями.
В то же время у данного бота есть и недостатки. Например, он не совсем точно распознает фразы с ошибками и не позволяет вернуться на шаг назад в диалоге.
В свою очередь помощник ВТБ обрабатывает 86% популярных запросов. Он чаще даёт ответ с первого раза, не прося пользователя переформулировать свой запрос. Также он чаще всего лишён такого недостатка, как повторение ответов в одном диалоге.
Из минусов данного решения можно отметить плохое распознавание негатива и определение только части жалоб.
Также в числе лучших оказался и бот Сбера. Он лучше остальных в группе обрабатывает запросы.
В числе «молодцов» также оказались проекты Росбанка, Тинькофф Банка, банка Хоум Кредит, Почта Банка и Совкомбанка. Отметили специалисты и чат-ботов МТС Банка, Банка Открытие и Ак Барс Банка.