Недавнее исследование, проведенное Австралийской комиссией по ценным бумагам и инвестициям (ASIC), показало, что модели искусственного интеллекта, в частности Llama2−70B*, не справляются с резюмированием сложных документов по сравнению с человеческими экспертами.
Исследование, проведенное в сотрудничестве с Amazon Web Services, показало, что резюме, созданные ИИ, были значительно слабее по связности, целенаправленности и длине, набрав в среднем 7 баллов из 15, по сравнению с резюме человека, которые набрали 12,2 балла.
Исследование было посвящено обобщению материалов, представленных на запрос Объединенного парламентского комитета, с акцентом на ссылки на ASIC, рекомендации по конфликту интересов и предложения по регулированию. Несмотря на усилия по оптимизации моделей ИИ, результаты оказались слабыми. ИИ с трудом понимал нюансы, выдавал «общие» резюме и даже генерировал фактически неверную информацию.
ASIC признала, что быстрая разработка более крупных и совершенных моделей, таких как GPT-4 и Llama3*, может привести к улучшениям в будущем. Однако эксперты подчеркивают существующие ограничения в использовании ИИ для решения сложных задач.
*принадлежит Meta, которая признана в РФ экстремистской и запрещена