«Лучший курс — это полный вперед, даже если все погибнут» «ИИ, скорее всего, приведет к концу света, но в то же время появятся великие компании», — сказал однажды генеральный директор OpenAI Сэм Альтман. Он шутил. Скорее всего. Компания Альтмана, OpenAI, занимается сбором непостижимых сумм денег для создания мощных революционных систем искусственного интеллекта. «Риски могут оказаться огромными, — написал он в своем блоге в феврале. —
Сообщение «Лучший курс — это полный вперед, даже если все погибнут» появились сначала на Идеономика – Умные о главном.
«ИИ, скорее всего, приведет к концу света, но в то же время появятся великие компании», — сказал однажды генеральный директор OpenAI Сэм Альтман. Он шутил. Скорее всего.
Компания Альтмана, OpenAI, занимается сбором непостижимых сумм денег для создания мощных революционных систем искусственного интеллекта. «Риски могут оказаться огромными, — написал он в своем блоге в феврале. — Неправильно устроенный сверхинтеллектуальный ИИ может нанести серьезный вред миру; автократический режим под руководством сверхинтеллекта тоже может это сделать». Тем не менее его общий вывод таков: OpenAI должен двигаться вперед.
Всякий раз, когда Альтман говорит об экзистенциальных рисках, связанных с ИИ, проявляется принципиальная странность, которая особенно заметна в его последней записи в блоге «Управление сверхразумом» где в качестве соавторов указаны президент OpenAI Грег Брокман и главный научный сотрудник Илья Суцкевер.
Странность заключается в следующем: Альтман не до конца убежден в том, что ИИ может уничтожить жизнь на Земле, но он относится к этому очень серьезно. Большая часть его статей и размышлений посвящена проблемам безопасности ИИ. Его сообщения в блоге ссылаются на авторитетных аналитиков безопасности ИИ, таких как Холден Карнофски. Он часто вступает в довольно глубокие разногласия с исследователями безопасности по вопросам стоимости аппаратного обеспечения на этапе разработки мощных систем и его влияния на «скорость взлета» — скорость, с которой усовершенствование мощных систем ИИ приведет к разработке более мощных систем ИИ.
По крайней мере, его трудно обвинить в недальновидности.
Но многие люди, если бы они думали, что их работа способна уничтожить мир, вероятно, перестали бы ею заниматься. Джеффри Хинтон оставил свою работу в Google, когда убедился, что опасности, исходящие от ИИ, реальны и потенциально неизбежны. Ведущие деятели в области ИИ призывают замедлить разработки, пока мы не выясним, как оценивать системы на предмет безопасности и управлять их развитием.
Альтман заявил, что OpenAI сбавит темп или изменит курс, если поймет, что движется к катастрофе. Но сейчас он считает, что, даже если все могут погибнуть от усовершенствованного ИИ, лучший курс — это полный вперед, потому что более быстрая разработка ИИ делает его более безопасным и потому что в противном случае его могут разработать другие, более жестокие игроки.
Кажется, что Альтман идет по странной дорожке. Кое-кто из его окружения считает, что вопрос безопасности ИИ в принципе несерьезен и не будет проблемой. Другие считают, что безопасность — это проблема с самыми высокими ставками, с которой когда-либо сталкивалось человечество. Компания OpenAI не хотела бы оттолкнуть ни тех, ни других. Сохранить баланс — сложная задача.
«Некоторые специалисты в области искусственного интеллекта считают риски, связанные с ОИИ (и последующими системами), вымышленными, — пишет Альтман в блоге, — Мы будем рады, если они окажутся правы, но мы будем действовать так, как если эти риски реальны».
И по мере того, как нарастает импульс к регулированию ИИ, растут опасения (особенно в техно-оптимистической, футуристической Кремниевой долине), что смутная угроза всеобщей гибели приведет к тому, что ценные, важные технологии, которые могут значительно улучшить состояние человека, будут пресечены в зародыше.
Существуют некоторые очевидные компромиссы между обеспечением безопасного развития ИИ и его быстрым развитием. Регулирующая политика, позволяющая заметить, если системы ИИ чрезвычайно опасны, вероятно, увеличит затраты на создание мощных систем ИИ, и будет означать, что мы будем двигаться медленнее по мере того, как наши системы будут становиться все более опасными. Сложно поверить, что от этого компромисса можно полностью отказаться. Но также очевидно, что регулирование может быть гораздо менее эффективным, чем это необходимо, и может уничтожить большую ценность при минимальном влиянии на безопасность.
Все это кажется попыткой в очередной раз станцевать на канате: призывать к регулированию, которое будет адекватным для предотвращения буквального конца жизни на Земле (и других катастроф), и отгораживаться от регулирования, которое кажется глупым, дорогостоящим и вредным для мира.
Вот почему так называемая дорожная карта управления для сверхразума содержит параграфы с предупреждением: «Сегодняшние системы будут создавать огромную ценность в мире, и, хотя у них есть риски, уровень этих рисков соизмерим с другими интернет-технологиями, и вероятные методы общества представляются подходящими. В отличие от них, системы, о которых мы беспокоимся, будут обладать мощностью, превосходящей все уже созданные технологии, и мы должны быть осторожными, чтобы не ослаблять внимание к ним, применяя аналогичные стандарты к технологиям гораздо ниже этой планки».
Иначе это звучит так: «регулировать прогресс в какой-то неопределенный момент в будущем, а не сегодня!». Чуть менее цинично: оба чувства, которые Альтман пытается передать в этих словах, глубоко ощущаются в Кремниевой долине прямо сейчас. Люди напуганы тем, что ИИ — это нечто мощное, опасное и меняющее мир. К нему стоит подходить иначе, чем как к типичному стартапу в области потребительского программного обеспечения. Но есть опасения, что многие возможные предложения по регулированию будут душить процветание на корню.
Но проблема с «регулированием опасных, мощных будущих систем ИИ, а не нынешних безопасных» заключается в том, что, поскольку системы ИИ, которые были разработаны с помощью современных методов обучения, плохо изучены, на самом деле не ясно, не пропустим ли мы момент, когда появятся «опасные и мощные» системы. И всегда есть коммерческая выгода не говорить, что система безопасна, хотя это не так.
Есть замечательные конкретные предложения по привязке регулирования к конкретным возможностям: установить более высокие стандарты для систем, способных совершать крупномасштабные самостоятельные действия, систем, обладающих высокой степенью манипуляции и убеждения, систем, способных давать инструкции для террористических актов, и так далее. Но чтобы продвинуться дальше, разговор должен быть конкретным. Что делает систему достаточно мощной, чтобы ее регулирование было важным? Как мы узнаем риски современных систем, и как мы поймем, когда эти риски становятся слишком высокими, чтобы с ними мириться? Именно на эти вопросы должен ответить план «управления сверхинтеллектом».
Сообщение «Лучший курс — это полный вперед, даже если все погибнут» появились сначала на Идеономика – Умные о главном.
