Какого цвета цифра три? Какой цвет у гнева? Каким цветом может быть выдуманное слово «грикер»? В недавнем эксперименте исследователи задавали подобные вопросы как людям, так и большой языковой модели (LLM), которая никогда не «видела» ничего, кроме огромных массивов текста.
Целью было выяснить, как люди и искусственный интеллект интерпретируют цвета. Насколько это основано на языке, а насколько — на зрительном опыте? Иными словами, нужно ли визуально воспринимать цвет, чтобы понять его, или достаточно просто прочитать о нем? Ответ на этот вопрос, часто формулируемый как спор между «телесным» и «статистическим» взглядами, позволяет изучить, насколько близко генеративный искусственный интеллект может воспроизвести образ мышления человека.
Результаты, опубликованные в журнале Cognitive Science, неоднозначны. «Они указывают на необходимость объединения этих точек зрения, — говорит Дуглас Гильбо, профессор организационного поведения в Стэнфордской высшей школе бизнеса. — Статистические выводы о цвете могут дать удивительно много, но очевидно, что телесный опыт также является важнейшей частью человеческого познания».
Гильбо и коллеги провели серию экспериментов, изучая цветовые метафоры, ассоциации и смысловые связи определенных оттенков. Они отобрали более 500 мужчин с нормальным зрением и более 150 с дальтонизмом, а также профессиональных художников. (Такой выбор обусловлен тем, что у мужчин наблюдается более высокий уровень дальтонизма. Это позволило избежать противоречия из-за потенциальных различий в восприятии цвета между полами.) Далее участникам дали список десятка цветов и попросили выбрать те, что наиболее и наименее точно соответствуют различным понятиям. Исследователи также предложили GPT-3.5, популярной большой языковой модели, разработанной OpenAI, ответить на каждый из одних и тех же вопросов более 100 раз.
Некоторые слова, например, «трава» или «кровь» обладают общими ассоциациями, которые и так понятны. В то же время у других слов нет стандартной цветовой ассоциации. Это касается эмоций, например, стыда или желания, различных наук, например, математики или социологии, чисел от одного до пяти (записанных с помощью букв или цифр), а также придуманных слов, таких как «эмбуз» или «смикс».
Во всех трех группах наблюдалось поразительное совпадение мнений о том, какие цвета связаны с абстрактными понятиями. Примерно от 20% до 40% участников с нормальным зрением и дальтонизмом выбрали один и тот же цвет для обозначения разных терминов. (Вероятность случайного выбора составляла 8%). Например, цвет, чаще всего ассоциируемый с «математикой», был синим, а для «грикера» люди чаще всего выбирали серый.
«Меня удивили столь явные признаки синестезии у обычных людей», — говорит Гильбо, имея в виду тенденцию автоматически связывать сенсорные сигналы, такие как музыка или слова, с цветом. Он считает, что это открытие подтверждает телесную точку зрения: «Тот факт, что в рассуждениях и познании существует такая устойчивая закономерность, пока необъясним. Это практически неисследованная область».
Раскраска по номерам
По словам Гильбо, еще более поразительно, что языковая модель также выявила устойчивую закономерность ассоциаций между словами и цветами, даже когда она не была очевидна в данных, на которых ее обучали. Модель ассоциировала слово «математика» с синим сильнее, чем люди, но подавляющее большинство раз называла зеленый подходящим цветом для слова «грикер».
«Непонятно, как у GPT-3.5, чисто на статистических данных, может возникнуть своего рода синестезия», — говорит Гильбо. Как отмечает ученый, сам факт такой синестезии предполагает, что телесное понимание цвета — это фундаментальная часть познания, скрытая в том, как люди говорят и пишут: «Должно быть, это заложено в языке на самом фундаментальном уровне».
Однако языковая модель смогла лишь приблизиться к человеческому пониманию цвета. У людей с дальтонизмом и с нормальным зрением было больше общих ассоциаций, чем если сравнивать человека и GPT-3.5. Это позволяет предположить, что даже ограниченное телесное восприятие цвета является ключом к пониманию его значения.
«Языковая модель точно определяла цветовые связи, только если ответ чисто статистический, — объясняет соавтор работы Итан Надлер, профессор астрономии Калифорнийского университета в Сан-Диего, получивший докторскую степень по физике в Стэнфорде. — На самом деле, она не дотягивает до уровня людей, поскольку человеческое мышление основано на восприятии мира. Наши результаты указывают на ограниченность вычислительных моделей разума».
Когда ученые предлагали найти противоположный цвет для понятия, ответы языковой модели расходились с ответом участников еще сильнее. Например, люди часто выбирали розовый, как цвет, противоположный математике. А ИИ выбирал фиолетовый. «Его ответы часто бессмысленны, — говорит Гильбо. — ИИ не имеет четкого представления о том, что значит быть противоположным цвету, потому что нет данных, которые могли бы это подтвердить. В то время как люди справляются с этим, потому что мы действительно понимаем, что это значит».
Во второй части эксперимента исследователи попросили как участников, так и языковую модель объяснить причины, по которым они выбирают тот или иной цвет. На этот раз в группу людей вошли профессиональные художники. «Люди чаще использовали телесные стратегии, и это было наиболее выражено среди художников, — говорит Гильбо, — что еще раз подтверждает важность непосредственного восприятия цвета. Если телесность помогает понимать цвет, это должно быть более заметно у художников, которые чаще взаимодействуют с цветами и гораздо больше размышляют о том, что за ними стоит».
Пока неясно, смогут ли языковые модели значительно улучшить навыки рассуждения о цвете и других понятиях с сенсорным компонентом. Гильбо считает, что одного лишь дополнительного текстового обучения недостаточно, отмечая, что GPT-3.5 уже обучался практически по всему интернету.
По его словам, добавление изображений, видео или данных с датчиков может повысить эффективность работы ИИ. Тем не менее исследования его команды свидетельствуют о том, что языковая модель никогда не сможет полностью приблизиться к человеческому мышлению. «Возможно, воспроизведение телесных аспектов человеческого познания только с помощью языка ограничено», — говорит Гильбо.
Сообщение Зеленый «грикер»: ИИ определяет цвет абстрактных понятий появились сначала на Идеономика – Умные о главном.