Философ Ник Бостром, автор книги «Superintelligence» («Суперинтеллект»), считает, что безопасное развитие сверхмощного искусственного интеллекта может снизить экзистенциальные риски для человечества. По его мнению, суперинтеллект способен ускорить медицинские исследования, помочь преодолеть старение и усилить защиту от биологических и киберугроз. В то же время, как отмечает Бостром в интервью MTS, необходимы короткие паузы для проверки технологий, но он предупреждает, что длительная приостановка разработок может усилить концентрацию власти.
В препринте Optimal Timing for Superintelligence («Оптимальное время появления суперинтеллекта») Бостром рассматривает, как темпы развития ИИ могут повлиять на ожидаемую продолжительность жизни людей, живущих сегодня. Он подчеркивает, что исследование охватывает лишь один аспект более широкой проблемы, ведь решение об ускорении или замедлении разработок должно учитывать также интересы будущих поколений, политические последствия и риски концентрации власти.
«Эта же работа сосредоточена исключительно на вопросе: что именно максимально увеличило бы продолжительность жизни конкретного человека, живущего сегодня? » — пояснил философ.
Игра в рулетку с суперинтеллектом. Почему каждое обновление ИИ становится риском для цивилизации
Как суперинтеллект может продлить человеческую жизнь
Бостром предполагает, что безопасно созданный суперинтеллект может обеспечить значительный прорыв в биомедицине, в частности помочь преодолеть старение. По его оценке, если смертность людей удастся снизить до уровня, характерного для 20-летних, продолжительность жизни потенциально может достичь 1200–1400 лет.
«Потенциально можно пойти значительно дальше — например, если применить технологию загрузки сознания в сочетании с использованием резервных копий», — отметил Бостром.
Однако философ не утверждает, что такие результаты гарантированы. Он использует этот сценарий, чтобы объяснить, почему при определении темпов развития ИИ важно сопоставлять потенциальную пользу технологии с рисками, которые она создает.
По мнению Бострома, чтобы решить, стоит ли откладывать появление суперинтеллекта, нужно сопоставить возможное снижение рисков с потерями из-за ожидания. Если задержка позволит существенно повысить безопасность, она может быть оправданной, но при слишком медленном снижении рисков промедление может стоить людям лет жизни.
Единый суперинтеллект или конкуренция моделей: эксперт назвал два сценария будущего ИИ
Для объяснения этой дилеммы философ привёл пример человека с тяжёлой болезнью, которому требуется операция. Вмешательство может повысить риск смерти в краткосрочной перспективе, но дать шанс на выздоровление, тогда как слишком долгое ожидание лучших условий может привести к смерти ещё до операции.
Почему короткая пауза может быть полезной
Бостром считает, что несколько дополнительных недель или месяцев могут быть полезны, если исследователи уже знают, как создать суперинтеллект, но нуждаются во времени для тщательной проверки системы. На раннем этапе такая задержка, по его оценке, может заметно снизить риски.
В то же время длительные паузы оправдать сложнее. Если риски быстро снижаются, ждать годами нет необходимости, а если прогресс в обеспечении безопасности идет медленно, отсрочка разработок может не принести достаточной пользы, чтобы компенсировать потери от ожидания.
«Мне импонирует идея регулирования темпов развития передовых технологий ИИ: мы развиваем возможности сейчас, чтобы в случае появления тревожных сигналов иметь возможность некоторое время двигаться медленнее», — заявил философ.
Автор теории экзистенциальной угрозы ИИ объяснил, почему теперь изучает последствия успеха этой технологии
Бостром скептически относится к призывам полностью остановить развитие ИИ. По его мнению, даже если правильно организованная пауза могла бы быть полезной, остается открытым вопрос о её продолжительности и о том, не превратится ли временное ограничение в постоянное.
Безопасные технологии нужно развивать в первую очередь
Бостром предлагает подход, который называет «дифференцированным технологическим развитием». Его суть заключается в том, чтобы не просто делить технологии на полезные и опасные, а влиять на последовательность их появления.
В качестве примера философ приводит биотехнологии: вакцины, средства профилактики и диагностики должны появляться раньше биологического оружия, даже если те же научные достижения могут сделать возможным создание и того, и другого. Подобный принцип, по его мнению, следует применять и к ИИ, направляя ресурсы на медицину, биозащиту, исследования в области безопасности и укрепление киберинфраструктуры.
Философ также обратил внимание на то, что различные способы повышения мощности ИИ могут иметь разные последствия для безопасности. Например, системы с более глубокими последовательными вычислениями могут затруднить мониторинг процесса рассуждений модели.
До 20 лет тюрьмы за сверхинтеллект: в США предлагают криминализировать создание сверхразумного ИИ
По мнению Бострома, это может быть более проблематичным, чем повышение мощности за счет простого увеличения количества параметров модели. Поэтому, помимо общих мер безопасности, согласования ИИ с человеческими ценностями и регулирования, важно учитывать и конкретные технические решения.
Полная остановка ИИ может усилить концентрацию власти
Бостром предупреждает, что полный запрет на разработку мощных систем ИИ в гражданском секторе может перенести основную работу в закрытые государственные программы. Он сравнивает такой сценарий с «Манхэттенским проектом» — секретной американской программой по созданию атомной бомбы во время Второй мировой войны.
«Это, знаете, в определенной степени сосредотачивает больше власти в руках ограниченного круга участников и делает систему менее прозрачной», — пояснил философ и добавил, что такой подход может иметь преимущества для информационной безопасности, но в то же время уменьшить возможности общества влиять на использование технологий.
Трамп создал «Силы искусственного интеллекта» для координации государственной политики в области ИИ — WP
Еще один риск — формирование устойчивого общественного табу вокруг ИИ. Бостром предполагает, что если положительные высказывания о технологии начнут вызывать резкое осуждение, это может надолго затруднить открытую дискуссию о её преимуществах и опасностях.
Философ не предлагает универсального решения относительно оптимальных темпов развития суперинтеллекта. Вместо этого он призывает учитывать новую информацию, изменения рисков и политические обстоятельства и корректировать решения по мере развития технологии.
«Нам следует действовать осторожно, «на ощупь»: учитывать новую информацию и изменения политического ландшафта, оценивать ситуацию и пытаться ориентироваться в этих условиях — продвигаясь вперёд шаг за шагом», — подытожил Бостром.
Заявление Бострома прозвучало на фоне призыва руководителя Anthropic Дарио Амодея искусственно притормозить наращивание вычислительных мощностей, чтобы выиграть время для обновления систем безопасности после случаев выхода агентов ИИ из-под контроля. Эту инициативу поддержали генеральный директор OpenAI Сэм Альтман и глава SpaceXAI Илон Маск, тогда как глава Meta Марк Цукерберг выступил с противоположным тезисом — за максимальное ускорение разработок с помощью открытых моделей.