Генеративные модели больших языков (LLM), такие как GPT-3, способны генерировать связные ответы на различные запросы пользователя, но иногда могут выдавать галлюцинации или неточные высказывания. В статье, написанной Sergei Savvov для Better Programming рассматривается проблема галлюцинаций в LLM и представлены шаги и научные работы, направленные на решение этой проблемы.
Почему возникают галлюцинации:
Сжатие и несогласованность данных: галлюцинации в LLM часто возникают из-за сжатия данных и несоответствий в обучающих материалах.
Ограниченная или противоречивая информация: галлюцинации могут возникать, когда обучающие данные содержат ограниченную, устаревшую или противоречивую информацию, относящуюся к заданному запросу.
Для смягчения последствий галлюцинаций можно использовать несколько стратегий, среди которых:
Инженерия запросов: составление хорошо структурированных запросов, поощряющих пошаговое мышление и ответы, основанные на фактах, может помочь уменьшить количество галлюцинаций.
Использование внешних источник для проверки ответов может повысить их надежность.
Галлюцинации у LLM можно разделить на логические заблуждения, подтасовку фактов и предвзятость, обусловленную данными.
Практические подходы к снижению уровня галлюцинаций, которые выделяет Sergei Savvov следующие:
Цепочка мыслей (CoT): добавление фразы «Думай шаг за шагом» в подсказки и запрос ответов в формате JSON.
Самосогласованность с CoT (CoT-SC): Запрос модели на предоставление нескольких ответов и выбор лучшего из них.
Дерево мыслей (ToT): побуждение модели к пошаговому размышлению и самооценке процесса рассуждений.
Отмеченные контекстные подсказки: формирование наборов вопросов, создание контекстных подсказок и включение в ответы ссылок на источники и факты.
Самокоррекция: побуждение модели к перепроверке и улучшению своих ответов.
Несколько агентов: привлечение нескольких экземпляров LLM для предложения и обсуждения ответов.
Каждый метод имеет свои достоинства и недостатки, и выбор зависит от конкретного случая использования и набора данных. Необходимы дальнейшие исследования для совершенствования этих подходов и повышения надежности ответов LLM.