Надежное управление системами ИИ, которые намного умнее нас, — нерешенная техническая проблема. И хотя это решаемая проблема, все может очень легко сойти с рельсов во время быстрого интеллектуального взрыва. Управление этим будет чрезвычайно напряженным; неудача может легко стать катастрофической.

Старый колдун
Наконец-то ушел!
Теперь духи, которыми он управляет,
Будут подчиняться моим приказам.
…
Я тоже буду творить чудеса.
…
Сэр, я в отчаянном положении!
Духи, которых я вызвал, —
Я не могу от них избавиться.

Иоганн Вольфганг фон Гёте, «Ученик чародея»

Кэтому моменту вы, вероятно, уже слышали о ИИ-обреченниках. Вас могли заинтриговать их аргументы, или вы могли их сразу отвергнуть. Вам не хочется читать очередную мрачную медитацию.

Я не пессимист.

Разрозненный сверхинтеллект, вероятно, не является самым большим риском для ИИ.

Но я провел последний год, работая над техническими исследованиями по выравниванию систем ИИ в качестве своей основной работы в OpenAI, работая с Ильей и командой Superalignment . Существует вполне реальная техническая проблема: наши текущие методы выравнивания (методы, гарантирующие, что мы можем надежно контролировать, направлять и доверять системам ИИ) не будут масштабироваться до сверхчеловеческих систем ИИ. Я хочу объяснить, что я вижу как «стандартный» план того, как мы справимся,

и почему я настроен оптимистично. Хотя недостаточно людей в теме — нам следует приложить гораздо больше амбициозных усилий для решения этой проблемы! — в целом нам повезло с тем, как глубокое обучение вышло на новый уровень, есть много эмпирических низко висящих плодов, которые помогут нам пройти часть пути, и у нас будет преимущество в виде миллионов автоматизированных исследователей ИИ, которые помогут нам пройти оставшуюся часть пути.

Но я также хочу рассказать вам, почему я беспокоюсь. Больше всего, обеспечение того, чтобы выравнивание не пошло наперекосяк, потребует чрезвычайной компетентности в управлении взрывом интеллекта. Если мы быстро перейдем от AGI к сверхинтеллекту , мы столкнемся с ситуацией, когда менее чем за год мы перейдем от узнаваемых систем человеческого уровня, для которых потомки нынешних методов выравнивания будут в основном работать нормально, к гораздо более чуждым, значительно сверхчеловеческим системам, которые представляют качественно иную, принципиально новую техническую проблему выравнивания; в то же время переходя от систем, где отказ не имеет больших рисков, к чрезвычайно мощным системам, где отказ может быть катастрофическим; и все это в то время, когда большая часть мира, вероятно, сходит с ума. Это заставляет меня изрядно нервничать.

К концу десятилетия у нас будут миллиарды сверхчеловеческих агентов ИИ, которые будут бегать вокруг. Эти сверхчеловеческие агенты ИИ будут способны на чрезвычайно сложное и креативное поведение; у нас не будет никакой надежды последовать за ними. Мы будем как первоклассники, пытающиеся контролировать людей с несколькими докторскими степенями.

По сути, мы сталкиваемся с проблемой передачи доверия . К концу интеллектуального взрыва у нас не будет никакой надежды понять, что делает наш миллиард сверхразумов (за исключением того, что они могут решить объяснить нам, как ребенку). И у нас пока нет технической возможности надежно гарантировать даже базовые побочные ограничения для этих систем, такие как «не лги», «соблюдай закон» или «не пытайся выкрасть ваш сервер». Подкрепление с помощью обратной связи от человека (RLHF) очень хорошо подходит для добавления таких побочных ограничений для текущих систем, но RLHF полагается на способность людей понимать и контролировать поведение ИИ, которое в принципе не масштабируется до сверхчеловеческих систем.

Проще говоря, без очень согласованных усилий мы не сможем гарантировать, что сверхразум не выйдет из-под контроля (и это признают многие лидеры в этой области ). Да, по умолчанию все может быть хорошо. Но мы просто пока этого не знаем. Особенно, когда будущие системы ИИ будут обучаться не только с помощью имитационного обучения, но и масштабного долгосрочного RL (обучения с подкреплением), они приобретут непредсказуемое поведение, сформированное методом проб и ошибок (например, они могут научиться лгать или стремиться к власти, просто потому, что это успешные стратегии в реальном мире!).

Ставки будут настолько высоки, что надеяться на лучшее просто не будет достаточно хорошим ответом на вопрос выравнивания.

Проблема

Проблема супервыравнивания

Нам удалось разработать очень успешный метод согласования (т. е. управления/контроля) текущих систем ИИ (системы ИИ глупее нас!): обучение с подкреплением на основе обратной связи с человеком (RLHF). Идея RLHF проста: система ИИ пробует разные вещи, люди оценивают, было ли ее поведение хорошим или плохим, а затем подкрепляют хорошее поведение и наказывают плохое. Таким образом, она учится следовать человеческим предпочтениям.

Действительно, RLHF стал залогом успеха ChatGPT и других.

Базовые модели имели много сырых интеллектов, но не применяли их полезным образом по умолчанию; они обычно просто отвечали искаженным беспорядком, напоминающим случайный интернет-текст. С помощью RLHF мы можем управлять их поведением, прививая важные основы, такие как следование инструкциям и полезность. RLHF также позволяет нам закладывать защитные ограждения: например, если пользователь просит у меня инструкции по биологическому оружию, модель, вероятно, должна отказать.

Основная техническая проблема супервыравнивания проста: как нам контролировать системы ИИ, которые (намного ) умнее нас ?

RLHF предсказуемо сломается, поскольку системы ИИ станут умнее , и мы столкнемся с принципиально новыми и качественно иными техническими проблемами. Представьте себе, например, сверхчеловеческую систему ИИ, генерирующую миллион строк кода на новом языке программирования, который она изобрела. Если бы вы спросили человека-оценщика в процедуре RLHF: «Содержит ли этот код какие-либо лазейки безопасности?», он бы просто не узнал. Он не смог бы оценить вывод как хороший или плохой, безопасный или небезопасный, и поэтому мы не смогли бы подкреплять хорошее поведение и наказывать плохое поведение с помощью RLHF.

Даже сейчас лаборатории ИИ уже должны платить экспертам-программистам , чтобы они давали оценки RLHF для кода ChatGPT — код, который могут генерировать текущие модели, уже довольно продвинут! Оплата труда человека-разметчика выросла с нескольких долларов для разметчиков MTurk до ~$100/час для вопросов GPQA

за последние несколько лет. В (ближайшем) будущем даже лучшие эксперты-люди, тратящие много времени, будут недостаточно хороши. Мы начинаем сталкиваться с ранними версиями проблемы супервыравнивания в реальном мире сейчас, и очень скоро это станет серьезной проблемой даже для практического развертывания систем следующего поколения. Очевидно, что нам понадобится преемник RLHF, который масштабируется до возможностей ИИ лучше, чем человеческий уровень, где человеческий надзор выходит из строя. В некотором смысле цель исследовательских усилий по супервыравниванию — повторить историю успеха RLHF: сделать базовые исследовательские ставки, которые будут необходимы для управления и развертывания систем ИИ через пару лет.

Как выглядит неудача

Люди слишком часто просто представляют себе «чатбот GPT-6», сообщая своим интуициям, что они, конечно, не будут опасно смещены. Как обсуждалось ранее в этой серии, « распутывающая » траектория указывает на агентов, обученных с RL, в ближайшем будущем. Я думаю, что графика Роджера передает это правильно:

Один из способов думать о том, чего мы пытаемся достичь с помощью выравнивания, с точки зрения безопасности, — это добавить боковые ограничения. Рассмотрим будущую мощную «базовую модель», которую на втором этапе обучения мы обучаем с помощью долгосрочного RL, чтобы управлять бизнесом и зарабатывать деньги

(в качестве упрощенного примера):

• По умолчанию он вполне может научиться лгать, мошенничать, обманывать, взламывать, стремиться к власти и так далее — просто потому, что это могут быть успешные стратегии зарабатывания денег в реальном мире!
• Мы хотим добавить дополнительные ограничения: не лгать, не нарушать закон и т. д.
• Но здесь мы возвращаемся к фундаментальной проблеме согласования сверхчеловеческих систем: мы не сможем понять, что они делают, и поэтому не сможем заметить и наказать плохое поведение с помощью RLHF.

Если мы не сможем добавить эти побочные ограничения, то неясно, что произойдет. Может быть, нам повезет, и все будет благополучно по умолчанию (например, может быть, мы сможем продвинуться довольно далеко без долгосрочных целей систем ИИ, или нежелательное поведение будет незначительным). Но также вполне вероятно, что они научатся гораздо более серьезным нежелательным моделям поведения: они научатся лгать, они научатся стремиться к власти, они научатся вести себя хорошо, когда люди смотрят, и следовать более гнусным стратегиям, когда мы не смотрим, и так далее.

Нерешенность проблемы супервыравнивания означает, что у нас просто не будет возможности гарантировать даже эти базовые побочные ограничения для этих систем суперинтеллекта, такие как « будут ли они надежно следовать моим инструкциям? » или « будут ли они честно отвечать на мои вопросы?» или « не будут ли они обманывать людей?» . Люди часто связывают выравнивание с некоторыми сложными вопросами о человеческих ценностях или переходят к политическим спорам, но решение о том, какое поведение и ценности привить модели, хотя и важно, является отдельной проблемой. Основная проблема заключается в том, что для всего, что вы хотите привить модели (включая обеспечение самых базовых вещей, таких как «соблюдение закона»!), мы пока не знаем, как это сделать для очень мощных систем ИИ, которые мы создадим очень скоро.

Опять же, последствия этого не совсем ясны. Ясно, что сверхразум будет обладать огромными возможностями, и поэтому неправильное поведение может довольно легко стать катастрофическим. Более того, я ожидаю, что в течение небольшого количества лет эти системы ИИ будут интегрированы во многие критически важные системы, включая военные системы (неспособность сделать это будет означать полное доминирование противников). Это звучит безумно, но помните, когда все говорили, что мы не подключим ИИ к Интернету? То же самое касается и таких вещей, как « мы позаботимся о том, чтобы человек всегда был в курсе! » — как говорят сегодня.

Ошибки выравнивания тогда могут выглядеть как отдельные инциденты, скажем, автономный агент, совершающий мошенничество, модельный экземпляр, самовыводящийся, автоматизированный исследователь, фальсифицирующий экспериментальный результат, или рой дронов, нарушающий правила ведения боевых действий. Но ошибки также могут быть гораздо более масштабными или более систематическими — в крайнем случае, ошибки могут больше походить на восстание роботов. Мы вызовем довольно инопланетный интеллект, намного умнее нас, такой, архитектура и процесс обучения которого были даже не разработаны нами, а какими-то сверхумными системами ИИ предыдущего поколения, такими, где мы даже не можем начать понимать, что они делают, они будут управлять нашими военными, и их цели будут изучены в процессе естественного отбора.

Пока мы не решим проблему выравнивания — пока мы не выясним, как привить эти побочные ограничения — нет особых причин ожидать, что эта маленькая цивилизация сверхразумов продолжит подчиняться человеческим командам в долгосрочной перспективе. Кажется вполне возможным, что в какой-то момент они просто сговорятся вырезать людей, внезапно или постепенно.

Взрыв интеллекта делает все это невероятно напряженным

Я оптимистично настроен, что супервыравнивание — это решаемая техническая проблема. Так же, как мы разработали RLHF, мы можем разработать преемника RLHF для сверхчеловеческих систем и заняться наукой, которая даст нам высокую уверенность в наших методах. Если все будет продолжаться итеративно, если мы будем настаивать на строгом тестировании безопасности и так далее, все это должно быть выполнимо (и я расскажу о своих лучших текущих догадках о том, как мы справимся, немного позже).

Что делает это невероятно пугающим, так это возможность взрыва интеллекта: мы можем совершить переход от систем, примерно соответствующих человеческому уровню, к системам, значительно превосходящим человеческие, чрезвычайно быстро, возможно, менее чем за год:

• Мы чрезвычайно быстро перейдем от систем, где RLHF работает отлично, к системам, где он полностью сломается. Это оставляет нам крайне мало времени для итеративного обнаружения и устранения путей, в которых наши текущие методы не сработают.
• В то же время мы чрезвычайно быстро перейдем от систем, где сбои имеют довольно низкие ставки (ChatGPT сказал плохое слово, ну и что) — к чрезвычайно высоким ставкам (ой, суперинтеллект сам себя вывел из нашего кластера, теперь он взламывает армию). Вместо того, чтобы итеративно сталкиваться со все более опасными сбоями безопасности в дикой природе, первые заметные сбои безопасности, с которыми мы столкнемся, могут уже оказаться катастрофическими.
• Сверхразум, который мы получим к концу, будет значительно сверхчеловеческим. Мы будем полностью полагаться на доверие этим системам и на доверие тому, что они нам говорят о происходящем, поскольку у нас больше не будет возможности пронзить то, что именно они делают.
• Сверхразум, который мы получим к концу, может оказаться совершенно инопланетным . Мы пройдем через десятилетие или больше достижений МО во время взрыва интеллекта, что означает, что архитектура и алгоритмы обучения будут совершенно другими (с потенциально гораздо более рискованными свойствами безопасности).
  • Один пример, который мне очень примечателен: мы вполне можем проложить себе путь к ИИ человеческого уровня или в какой-то степени сверхчеловеческому с помощью систем, которые рассуждают посредством цепочек мыслей, т. е. посредством английских токенов. Это чрезвычайно полезно, потому что это означает, что модели «думают вслух», позволяя нам отлавливать вредоносное поведение (например, если оно строит козни против нас). Но , конечно, заставить системы ИИ думать токенами — не самый эффективный способ сделать это, наверняка есть что-то гораздо лучшее, что делает все это мышление посредством внутренних состояний — и поэтому модель к концу интеллектуального взрыва почти наверняка не будет думать вслух, т. е. будет иметь совершенно неинтерпретируемые рассуждения.
• Это будет невероятно нестабильный период, потенциально на фоне международной гонки вооружений, огромного давления, требующего двигаться быстрее, безумных новых возможностей, появляющихся каждую неделю, при отсутствии у человека времени для принятия правильных решений и т. д. Мы столкнемся с тоннами неоднозначных данных и решений с высокими ставками.
  • Подумайте: «Мы поймали систему ИИ на некоторых нехороших вещах во время теста, но мы немного скорректировали нашу процедуру, чтобы отточить это. Наши исследователи автоматизированного ИИ говорят нам, что метрики выравнивания выглядят хорошо, но мы на самом деле не понимаем, что происходит, и не полностью доверяем им, и у нас нет никакого сильного научного понимания, которое дает нам уверенность, что это будет продолжаться еще пару OOM. Так что, вероятно , все будет в порядке? А еще Китай только что украл наши веса, и они запускают свой собственный интеллектуальный взрыв, они прямо наступают нам на пятки».

Просто действительно кажется, что это может сойти с рельсов. Честно говоря, это звучит пугающе.

Да, у нас будут системы ИИ, которые нам помогут. Так же, как они будут автоматизировать исследования возможностей, мы можем использовать их для автоматизации исследований выравнивания. Это будет ключевым моментом, как я обсуждаю ниже. Но — можете ли вы доверять системам ИИ? Вы не были уверены, были ли они изначально согласованы — на самом ли деле они честны с вами в своих заявлениях о науке выравнивания? Смогут ли автоматизированные исследования выравнивания идти в ногу с автоматизированными исследованиями возможностей (например, потому что автоматизировать выравнивание сложнее, например, потому что есть менее четкие метрики, которым мы можем доверять по сравнению с улучшением возможностей модели, или есть большое давление, чтобы идти на полной скорости в прогрессе возможностей из-за международной гонки)? И ИИ не сможет полностью заменить все еще людей, принимающих решения, делая правильные выводы в этой невероятно высокой ситуации.

План по умолчанию: как нам с этим справиться

В конечном итоге нам нужно будет решить проблему выравнивания для сверхчеловеческого, довольно инопланетного сверхразума. Может быть, где-то и есть простое решение для выравнивания сверхразума раз и навсегда. Но я твердо уверен, что мы доберемся туда, продираясь сквозь это.

Я думаю, мы можем пожинать плоды в ряде эмпирических ставок, которые я опишу ниже, чтобы выровнять несколько сверхчеловеческих систем. Затем, если мы уверены, что можем доверять этим системам, нам нужно будет использовать эти несколько сверхчеловеческие системы для автоматизации исследований выравнивания — наряду с автоматизацией исследований ИИ в целом во время взрыва интеллекта — чтобы выяснить, как решить проблему выравнивания, чтобы пройти оставшуюся часть пути, вплоть до значительно сверхчеловеческого, довольно инопланетного сверхинтеллекта.

Выравнивание моделей, в некоторой степени сверхчеловеческих

Согласования систем человеческого уровня будет недостаточно. Даже первые системы, которые смогут проводить автоматизированные исследования ИИ, т. е. начинать взрыв интеллекта, скорее всего, уже будут существенно сверхчеловеческими во многих областях. Это связано с тем, что возможности ИИ, скорее всего, будут несколько резкими — к тому времени, когда ИИ достигнет человеческого уровня в том, в чем исследователь/инженер ИИ-человек проявляет себя хуже всего, он станет сверхчеловеческим во многих других вещах. Например, возможно, способность систем ИИ эффективно координировать и планировать отстает, а это означает, что к тому времени, когда взрыв интеллекта достигнет полной силы, они, вероятно, уже будут сверхчеловеческими кодерами, отправляющими миллионные запросы на извлечение на новых языках программирования, которые они разработали, и они будут сверхчеловеческими в математике и машинном обучении.

Эти ранние системы взрыва интеллекта начнут количественно и качественно превосходить человеческие, по крайней мере, во многих областях. Но они будут выглядеть гораздо ближе к системам, которые у нас есть сегодня, с точки зрения архитектуры, и разрыв в интеллекте, который нам нужно закрыть, будет гораздо более управляемым. (Возможно, если попытки людей создать настоящий сверхинтеллект похожи на попытки первоклассника контролировать аспиранта, то это больше похоже на попытку умного старшеклассника контролировать аспиранта.)

В более общем плане, чем больше мы сможем развивать хорошую науку сейчас, тем больше мы сможем убедиться, что все не сойдет с рельсов во время взрыва интеллекта. Даже имея хорошие метрики, которым мы можем доверять для супервыравнивания, на удивление сложно, но без надежных метрик во время взрыва интеллекта мы не узнаем, безопасно ли продолжать или нет.

Вот некоторые из основных направлений исследований, которые я вижу для преодоления разрыва между системами человеческого уровня и в некоторой степени сверхчеловеческими системами:

Оценка проще, чем генерация. Мы получаем часть пути «бесплатно», потому что нам проще оценивать результаты (особенно для вопиющих случаев неправильного поведения), чем генерировать их самим. Например, мне требуются месяцы или годы упорного труда, чтобы написать статью, но всего пара часов, чтобы понять, хороша ли написанная кем-то статья (хотя, возможно, больше, чтобы обнаружить мошенничество). У нас будут команды экспертов-людей, которые будут тратить много времени на оценку каждого примера RLHF, и они смогут «отметить» многие случаи неправильного поведения, даже если система ИИ будет несколько умнее их. Тем не менее, это не заведет нас далеко (GPT-2 или даже GPT-3 не смогли надежно обнаружить злонамеренный GPT-4, хотя оценка проще, чем генерация!)

Масштабируемый надзор. Мы можем использовать помощников ИИ, чтобы помочь людям контролировать другие системы ИИ — команда человек-ИИ может расширить надзор дальше, чем человек мог бы в одиночку. Например, представьте, что система ИИ генерирует 1 млн строк сложного кода. Человеку проще дважды проверить, есть ли ошибка в данной строке кода, если помощник ИИ указал, что (скажем) строка 394 894 выглядит подозрительно, чем человеку найти ту же ошибку с нуля. Модель, обученная критиковать код, написанный другой моделью, может, таким образом, помочь людям контролировать систему с едва ли не сверхчеловеческими способностями к кодированию.

Было предложено несколько масштабируемых стратегий надзора, включая дебаты , создание рынка , рекурсивное моделирование вознаграждения и игры доказывающий-проверяющий , а также упрощенные версии этих идей, такие как критика . Модели теперь достаточно сильны, чтобы можно было эмпирически проверить эти идеи, достигая прямого прогресса в масштабируемом надзоре.

Я ожидаю, что это очень поможет для «количественно» сверхчеловеческой части проблемы, такой как вышеупомянутый пример с миллионом строк кода. Но я менее оптимистичен в том, что масштабируемые методы надзора могут действительно помочь для «качественно» сверхчеловеческой части проблемы — представьте, что модель изобретает квантовую физику, когда вы понимаете только ньютоновскую физику.

Обобщение. Даже при масштабируемом надзоре мы не сможем контролировать системы ИИ на действительно сложных проблемах, проблемах за пределами человеческого понимания. Однако мы можем изучить: как системы ИИ будут обобщать человеческое наблюдение на простых проблемах (которые мы понимаем и можем контролировать) на поведение на сложных проблемах (которые мы не можем понять и больше не можем контролировать)? Например, возможно, контроль модели, чтобы она была честной в простых случаях, обобщает благосклонно на модель, которая просто честна в целом, даже в случаях, когда она делает чрезвычайно сложные вещи, которые мы не понимаем.

Здесь есть много причин для оптимизма: часть магии глубокого обучения заключается в том, что оно часто обобщает безвредными способами (например, RLHF с использованием только меток на английских примерах также имеет тенденцию вызывать хорошее поведение, когда он говорит на французском или испанском, даже если это не было частью обучения). Я довольно оптимистичен в том, что будут как довольно простые методы, которые помогут подтолкнуть обобщение моделей в нашу пользу, так и в том, что мы сможем разработать сильное научное понимание, которое поможет нам предсказать, когда обобщение будет работать, а когда нет. В большей степени, чем для масштабируемого надзора, есть надежда, что это поможет с выравниванием даже в «качественно» сверхчеловеческом случае.

Вот еще один способ размышления об этом: если сверхчеловеческая модель ведет себя неправильно, скажем, нарушает закон, интуитивно модель должна уже знать , что она нарушает закон. Более того, «нарушает ли это закон» — вероятно, довольно естественная концепция для модели, и она будет значима в пространстве репрезентации модели. Тогда возникает вопрос: можем ли мы «вызвать» эту концепцию из модели, имея лишь слабый надзор?

Я особенно предвзят к этому направлению (и, возможно, предвзят), потому что я помог ввести это в недавней работе с некоторыми коллегами из OpenAI. В частности, мы изучали аналогию с проблемой людей, контролирующих сверхчеловеческие системы — может ли маленькая модель выровнять большую (более умную) модель ? Мы обнаружили, что обобщение действительно позволяет вам преодолеть часть (но, конечно, не всю) пропасть в интеллекте между руководителем и контролируемым, и что в простых условиях вы можете многое сделать, чтобы улучшить ее.

Интерпретируемость. Один интуитивно привлекательный способ, которым мы надеемся проверить и поверить, что наши системы ИИ согласованы, — это если мы сможем понять, о чем они думают! Например, если мы обеспокоены тем, что системы ИИ обманывают нас или замышляют против нас, доступ к их внутренним рассуждениям должен помочь нам это обнаружить.

По умолчанию современные системы ИИ — это непостижимые черные ящики. Тем не менее, похоже, что мы должны быть способны на удивительную «цифровую нейробиологию» — в конце концов, у нас есть идеальный доступ к внутренним компонентам моделей.

Здесь есть несколько разных подходов, от «самый амбициозный и «крутой», но будет очень сложно» до «более хакерские вещи, которые проще и могут просто сработать»:

Механистическая интерпретируемость . Попробуйте полностью реверсировать большие нейронные сети с нуля — полностью распутать непостижимые матрицы, так сказать.

Команда Криса Олаха в Anthropic проделала большую часть пионерской работы в этом направлении, начав с понимания простых механизмов в очень маленьких моделях. В последнее время наблюдается невероятно захватывающий прогресс , и я в восторге от общего уровня активности в этой области.

Тем не менее, я опасаюсь, что полная обратная разработка сверхчеловеческих систем искусственного интеллекта станет неразрешимой проблемой — подобной, скажем, «полной обратной разработке человеческого мозга» — и я бы отнес эту работу скорее к категории «амбициозных планов по обеспечению безопасности искусственного интеллекта», а не «стандартного плана для преодоления трудностей».

( 200 открытых проблем механистической интерпретируемости Нила Нанды также дают представление об этом виде исследований.)

Интерпретируемость «сверху вниз». Если механистическая интерпретируемость пытается провести обратную разработку нейронных сетей «снизу вверх», то другая работа использует более целенаправленный подход «сверху вниз», пытаясь найти информацию в модели без полного понимания того, как она обрабатывается.

Например, мы могли бы попытаться построить «детектор лжи ИИ», определив части нейронной сети, которые «загораются», когда система ИИ лжет. Это может быть гораздо более податливым (даже если это дает менее надежные гарантии).

За последние пару лет в этой области было много интересных работ. CCS способен определять «истинное направление» в моделях только с неконтролируемыми данными.

ROME способен идентифицировать часть модели, которая знает, что Эйфелева башня находится в Париже, а затем напрямую редактировать знания модели, чтобы поместить Эйфелеву башню в Рим. Инженерное представление и вмешательства во время вывода демонстрируют использование нисходящих методов для обнаружения лжи и галлюцинаций и хирургического управления поведением модели при побеге из тюрьмы, стремлении к власти, справедливости, правдивости и многом другом. Есть и другие творческие работы по обнаружению лжи, которые даже не требуют внутренних компонентов модели.

Я все больше склоняюсь к мысли, что методы интерпретации «сверху вниз» станут мощным инструментом, то есть мы сможем создать что-то вроде «детектора лжи на основе искусственного интеллекта», и для этого не потребуются фундаментальные прорывы в понимании нейронных сетей.

Интерпретируемость цепочки мыслей . Как упоминалось ранее, я думаю, вполне вероятно, что мы начнем свой путь к ИИОН с систем, которые «думают вслух» посредством цепочек мыслей. Даже если это не самый эффективный алгоритм в пределе (я был бы очень удивлен, если бы сверхразум все еще использовал английскую цепочку мыслей, а не думал бы посредством неких повторяющихся внутренних состояний), мы все равно можем извлечь выгоду из этого свойства для первых ИИОН. Это было бы невероятным благом для интерпретируемости: у нас был бы доступ к «внутреннему монологу» ИИОН! Это позволило бы относительно легко обнаруживать вопиющие ошибки выравнивания.

Однако здесь предстоит проделать массу работы, если мы хотим на это положиться. Как нам гарантировать, что CoT останется разборчивым ? (Он может просто перейти от понятного английского к непонятному модельному языку , в зависимости от того, как мы, например, используем RL для обучения моделей — можем ли мы добавить некоторые простые ограничения, чтобы гарантировать, что он останется разборчивым?) Как нам гарантировать, что CoT является верным , т. е. фактически отражает то, о чем думают модели? (Например, есть некоторые работы , которые показывают, что в определенных ситуациях модели просто придумывают постфактумные рассуждения в своем CoT, которые на самом деле не отражают их фактические внутренние рассуждения для ответа.)

Моя лучшая догадка заключается в том, что некоторые простые измерения разборчивости и верности, а также некоторые простые хаки для сохранения разборчивости и верности дольше, могли бы зайти довольно далеко. Да, это не сработает в некоторых мирах, и это немного простой хак, но это такой низко висящий фрукт; это направление преступно недооценено, на мой взгляд.

Состязательное тестирование и измерения . По пути будет критически важно проводить стресс-тестирование согласованности наших систем на каждом этапе — наша цель должна заключаться в том, чтобы столкнуться с каждым режимом отказа в лаборатории, прежде чем мы столкнемся с ним в реальных условиях. Это потребует существенного усовершенствования методов автоматизированного red-teaming . Например, если мы намеренно внедрим бэкдоры или несоответствия в модели, сможет ли наше обучение безопасности обнаружить и избавиться от них? (Ранние работы показывают, что « спящие агенты » могут выживать благодаря обучению безопасности, например.)

В более общем плане будет критически важно иметь хорошие измерения согласованности на этом пути. Имеет ли модель возможность быть несогласованной? Например, имеет ли она долгосрочные цели и какие виды движущих сил она изучает? И что такое четкие «красные линии»? Например, очень интуитивная граница может быть такой: «рассуждение модели (цепочка мыслей) всегда должно оставаться разборчивым и верным». (Как говорит Эрик Шмидт , в точке, в которой агенты ИИ могут разговаривать друг с другом на языке, который мы не можем понять, мы должны отключить компьютеры.) Другим может быть разработка лучших измерений для того, являются ли модели полностью честными.

Наука измерения выравнивания все еще находится в зачаточном состоянии; ее совершенствование будет иметь решающее значение для того, чтобы помочь нам сделать правильный компромисс в отношении риска во время взрыва интеллекта. Занятие наукой, которая позволяет нам измерять выравнивание и дает нам понимание того, «каких доказательств будет достаточно, чтобы гарантировать нам, что следующий OOM на сверхчеловеческую территорию безопасен?», является одной из самых приоритетных работ для исследования выравнивания сегодня (помимо просто работы, которая пытается расширить RLHF до «несколько сверхчеловеческих» систем).

См. также описание направлений исследований в области супервыравнивания для конкурса заявок на гранты Superalignment Fast Grants.

Автоматизация исследования выравнивания

В конечном итоге нам понадобится автоматизировать исследование выравнивания. Мы никак не сможем решить проблему выравнивания для настоящего сверхразума напрямую; покрытие такого огромного разрыва в интеллекте кажется чрезвычайно сложной задачей. Более того, к концу интеллектуального взрыва — после того, как 100 миллионов автоматизированных исследователей ИИ яростно прорвутся через десятилетие прогресса МО — я ожидаю гораздо больше инопланетных систем с точки зрения архитектуры и алгоритмов по сравнению с текущей системой (с потенциально менее благоприятными свойствами, например, по читаемости CoT, свойствам обобщения или серьезности несоответствия, вызванного обучением).

Но нам также не обязательно решать эту проблему самостоятельно. Если нам удастся выровнять несколько сверхчеловеческих систем настолько, чтобы доверять им, мы окажемся в невероятном положении: в нашем распоряжении будут миллионы автоматизированных исследователей ИИ, умнее лучших исследователей ИИ. Правильное использование этой армии автоматизированных исследователей для решения проблемы выравнивания для еще более сверхчеловеческих систем будет иметь решающее значение.

(Кстати, это применимо в более общем плане ко всему спектру рисков ИИ, включая нецелевое использование и т. д. Лучший путь — возможно, единственный путь — к безопасности ИИ во всех этих случаях будет включать правильное использование ранних ИИ для обеспечения безопасности; например, мы должны направить часть из них на автоматизированные исследования по улучшению безопасности против иностранных субъектов, вывозящих грузы, других — на укрепление защиты от наихудших вариантов биоатак и т. д.)

Получение правильного автоматизированного выравнивания во время взрыва интеллекта будет чрезвычайно высоким: мы пройдем через многие годы достижений ИИ всего за несколько месяцев, с небольшим количеством человеческого времени для принятия правильных решений, и мы начнем входить на территорию, где сбои выравнивания могут быть катастрофическими. Лаборатории должны быть готовы выделить большую часть своих вычислений на автоматизированные исследования выравнивания (в отличие от исследований автоматизированных возможностей) во время взрыва интеллекта, если это необходимо. Нам понадобятся надежные гарантии, которые позволят нам доверять производимым автоматизированным исследованиям выравнивания, и гораздо лучшие измерения, чем у нас сегодня, для рассогласования, чтобы знать, все ли мы еще в порядке. Для каждого OOM, который мы хотим поднять, нам нужно будет иметь чрезвычайно высокую уверенность в наших подходах к выравниванию для этого следующего OOM.

Прежде всего, чтобы сделать это правильно, потребуется чрезвычайная степень компетентности, серьезности и готовности идти на жесткие компромиссы. Как только мы приблизимся к настоящему сверхразуму, ставки станут очень реальными, и неудача — неконтролируемый ИИ — может оказаться катастрофической. Будут моменты с неоднозначными доказательствами, когда показатели будут поверхностно выглядеть нормально, но есть некоторые предупреждающие знаки, которые намекают на надвигающуюся опасность, и мы в основном больше не имеем ни малейшего представления о том, что происходит. Ответственное управление этой ситуацией потребует принятия очень дорогостоящих компромиссов. В конечном итоге решение дать зеленый свет следующему поколению сверхразума нужно будет воспринимать так же серьезно, как и решение начать военную операцию.

Суперзащита

«Правильное выравнивание» должно быть только первым из многих уровней защиты во время интеллектуального взрыва. Выравнивание будет трудным; на этом пути будут неудачи. Если это вообще возможно, нам нужно быть в положении, когда выравнивание может потерпеть неудачу, но неудача не будет катастрофической. Это может означать:

• Безопасность. Кластер с воздушным зазором — это первый уровень защиты от сверхразума, пытающегося самовывести себя и наносящего ущерб в реальном мире. И это только начало; нам понадобится гораздо более экстремальная защита от самовыведения модели

  по всем направлениям, от аппаратного шифрования до многоключевой подписи.

  И как только наши ИИ смогут выполнять автоматизированные НИОКР, мы должны будем также направить их на дальнейшее укрепление безопасности.

• Мониторинг. Если наши системы ИИ замышляют что-то подозрительное или злонамеренное — или мошенник-сотрудник пытается использовать их для несанкционированной деятельности — мы должны иметь возможность это поймать. Однако это нетривиальная задача: у нас будут миллионы экземпляров ИИ, работающих на нашем кластере, выполняющих сложный код и так далее. Нам понадобятся передовые системы мониторинга, которые используют сами модели, включая мониторинг выходных данных моделей, цепочек мыслей, кода, написанного на моделях, активности сервера/сети и взаимодействия с исследователями/другими людьми; по сути, использование некоторых систем ИИ для выслеживания других систем ИИ. Более того, мы захотим разработать и использовать сложные протоколы «контроля» , используя менее мощные, но надежные модели для защиты от подрывной деятельности со стороны более мощных, но менее надежных моделей. Это может потребовать, например, выделения того же объема вычислений для мониторинга экземпляров моделей, что и для вычислений для активных экземпляров моделей.
• Ограничения целевых возможностей. Насколько это возможно, мы должны попытаться ограничить возможности модели целенаправленными способами, которые уменьшат последствия неудачи. Центральным примером этого может быть вычищение всего, что связано с биологией и химией, из обучения модели (или использование методов « отучения »); это помогает отрезать пути к катастрофическому ущербу в реальном мире, который происходит из-за биологического и химического оружия
• Ограничения метода целевого обучения. Вероятно, есть некоторые способы обучения моделей, которые по своей сути более рискованны — с большей вероятностью приведут к серьезным несоответствиям — чем другие. Например, имитационное обучение кажется относительно безопасным (трудно понять, как это приведет к моделям с опасными долгосрочными внутренними целями), в то время как нам следует избегать долгосрочного RL на основе результатов (которое, по-видимому, с гораздо большей вероятностью приведет к тому, что модель научится нежелательным долгосрочным целям) как можно дольше. Нам также следует избегать обучения против наших методов интерпретируемости и нашей настройки мониторинга (таким образом, чтобы наши модели не просто обучались обходить их). Могут быть дополнительные желательные ограничения, например, поддержание четких и верных цепочек мыслей как можно дольше. Мы должны определить эти ограничения заранее, поддерживать их как можно дольше в течение всего интеллектуального взрыва и отбрасывать их только в случае крайней необходимости.
• Вероятно, здесь возможно гораздо больше.

Будут ли они защищены от дурака? Вовсе нет. Настоящий суперинтеллект, вероятно, способен обойти большинство — любую схему безопасности, например. Тем не менее, они дают нам гораздо больше права на ошибку — и нам понадобится любое право на ошибку, которое мы сможем получить. Мы захотим использовать это право, чтобы оказаться в положении, когда у нас будет очень высокая уверенность в наших методах выравнивания, только ослабляя меры «суперзащиты» (например, развертывание суперинтеллекта в неизолированных средах) по мере нашей уверенности.

Все снова станет рискованным, как только мы перейдем к развертыванию этих систем ИИ в менее контролируемых условиях, например, в военных приложениях. Вероятно, обстоятельства заставят нас сделать это довольно быстро, но мы всегда должны стараться покупать как можно больше права на ошибку — например, вместо того, чтобы просто напрямую развертывать сверхразумы «в поле» для военных целей, используя их для проведения НИОКР в более изолированной среде и развертывая только конкретные технологии, которые они изобретают (например, более ограниченные автономные системы оружия, в которых мы более уверены, что можем доверять).

Почему я оптимист и почему я боюсь

Я невероятно оптимистичен в отношении технической разрешимости проблемы супервыравнивания. Такое ощущение, что в этой области полно низко висящих фруктов. В более широком смысле, эмпирические реалии глубокого обучения вытрясли больше в нашу пользу по сравнению с тем, что некоторые предполагали 10 лет назад. Например, глубокое обучение обобщает удивительно мягко во многих ситуациях: оно часто просто «делает то, что мы имели в виду», а не подхватывает какое-то заумное злонамеренное поведение.

Более того, хотя полное понимание внутренних механизмов модели будет сложным, по крайней мере для начальных ИИ у нас есть приличный шанс на интерпретируемость — мы можем заставить их рассуждать прозрачно с помощью цепочек мыслей, а хакерские методы, такие как инженерия представлений, на удивление хорошо работают в качестве «детекторов лжи» или чего-то подобного.

Я думаю, что есть вполне реальная вероятность того, что «план по умолчанию» по согласованию «несколько сверхчеловеческих» систем в основном сработает.

Конечно, одно дело — абстрактно говорить о «плане по умолчанию», и совсем другое, если команда, ответственная за выполнение этого плана, — это вы и ваши 20 коллег (это гораздо более напряженно!).

Все еще невероятно мало людей серьезно работают над решением этой проблемы, может быть, несколько десятков серьезных исследователей. Никто не в теме ! В этой области предстоит провести так много интересных и продуктивных исследований МО, и серьезность проблемы требует гораздо более согласованных усилий, чем те, которые мы сейчас прилагаем.

Но это только первая часть плана — то, что действительно не дает мне спать по ночам, это взрыв интеллекта. Выравнивание первых AGI, первых несколько сверхчеловеческих систем — это одно. Огромно сверхчеловеческий, инопланетный сверхинтеллект — это новая игра в мяч, и это страшная игра в мяч.

Взрыв интеллекта будет больше похож на ведение войны, чем на запуск продукта. Мы не на пути к суперзащите, к изолированному кластеру или чему-то подобному; я не уверен, что мы вообще осознаем, если модель сама себя выведет. Мы не на пути к разумной цепочке команд, чтобы принять любое из этих безумно высоко ставящих решений, чтобы настаивать на очень высокой уверенности, соответствующей суперинтеллекту, принимать сложные решения о том, чтобы взять дополнительное время перед запуском следующего тренировочного запуска, чтобы получить правильную безопасность или посвятить большую часть вычислений исследованиям выравнивания, распознавать опасность впереди и предотвращать ее, а не врезаться в нее прямо сейчас. Прямо сейчас ни одна лаборатория не продемонстрировала особой готовности идти на какие-либо дорогостоящие компромиссы, чтобы получить правильную безопасность (да, у нас много комитетов по безопасности, но они довольно бессмысленны). По умолчанию мы, вероятно, споткнемся о взрыв интеллекта и пройдем через несколько OOM, прежде чем люди даже поймут, во что мы вляпались.

Мы здесь слишком рассчитываем на удачу.

Следующий пост в серии:
IIId. Свободный мир должен победить

---

1. Как не очень-вежливо сертифицировано главой-думера ! По крайней мере, я бы назвал себя убежденным оптимистом , что эта проблема разрешима. Я потратил немало сил на дебаты с пессимистами ИИ и решительно выступал против политики вроде паузы ИИ.↩
2. Меня больше всего беспокоит, что вокруг суперинтеллекта творится полное безумие , включая такие вещи, как новое оружие массового поражения, разрушительные войны и неизвестные неизвестные. Более того, я думаю, что дуга истории советует нам не недооценивать авторитаризм, а суперинтеллект может позволить авторитарным режимам доминировать миллиарды лет.↩
3. Как говорит Тайлер Коуэн, умение справляться с трудностями недооценено!↩
4. По иронии судьбы, ребята из службы безопасности совершили самый большой прорыв в обеспечении коммерческого успеха ИИ, придумав RLHF! Базовые модели имели много сырых интеллектуальных функций, но были неуправляемыми и, следовательно, непригодными для большинства приложений. ↩
5. Это подчеркивает важное различие: техническая возможность выравнивать (управлять/контролировать) модель отделена от вопроса ценностей о том, с чем выравнивать. По последнему вопросу было много политических споров. И хотя я согласен с оппозицией некоторым из этих наростов, это не должно отвлекать от основной технической проблемы. Да, методы выравнивания могут быть использованы не по назначению, но нам понадобятся лучшие методы выравнивания, чтобы гарантировать даже базовые ограничения для будущих моделей, такие как следование инструкциям или следование закону. См. также «Выравнивание ИИ отличается от его краткосрочных приложений ».↩
6. «Мы оцениваем среднюю почасовую оплату примерно в 95 долларов в час», стр. 3 документа GPQA .↩
7. Очень упрощенно представьте себе систему ИИ, которая пытается методом проб и ошибок максимизировать деньги в течение года, а окончательная обученная модель ИИ является результатом процесса отбора, в ходе которого выбираются системы ИИ, наиболее успешно справляющиеся с максимизацией денег.↩
8. RL просто исследует стратегии для достижения цели. Если стратегия работает, она подкрепляется в модели. Так что если ложь, мошенничество, стремление к власти и т. д. (или шаблоны мышления, которые могут привести к такому поведению хотя бы в некоторых ситуациях) работают, они также будут подкреплены в модели.↩
9. (или модели мониторинга времени вывода, обученные под наблюдением человека)↩
10. Более того, даже недавний прогресс в механистической интерпретируемости для «распутывания признаков» моделей с редкими автоэнкодерами сам по себе не решает проблему того, как работать со сверхчеловеческими моделями. Во-первых, модель может просто «думать» в сверхчеловеческих концепциях, которые вы не понимаете. Более того, как вы узнаете, какой признак вам нужен? У вас по-прежнему нет меток истинности. Например, может быть множество различных признаков, которые кажутся вам «признаком истины», один из которых — «что модель на самом деле знает», а другие — «что бы подумал человек xyz» или «что люди-оценщики хотят, чтобы я думал» и т. д.Разреженные автокодировщики сами по себе не будут достаточны, но они станут инструментом — невероятно полезным инструментом! — который в конечном итоге должен принести пользу, помогая в таких вещах, как наука обобщения.↩
11. По сути, нужны только свойства согласованности истины, а не сильные/основные истинные ярлыки истинности/ложи, которых у нас не будет для сверхчеловеческих систем.↩
12. Меня все еще беспокоит масштабируемость многих из этих методов до сверхчеловеческих моделей — я думаю, что явно или неявно они в основном полагаются на ярлыки, основанные на земной истине, то есть на супервизоре, который умнее модели, и/или на благоприятном обобщении.↩
13.  Модель, крадущая собственные веса, чтобы создавать свои копии за пределами исходного центра обработки данных.↩
14. Защита от людей, обманутых или убежденных ИИ помочь ему скрыться↩
15. Хотя, конечно, хотя это может быть применимо к текущим моделям и, возможно, системам человеческого уровня, нам следует быть осторожными, пытаясь экстраполировать доказательства из текущих моделей на будущие, значительно сверхчеловеческие модели.↩
16. Если говорить точнее, учитывая ставки, я думаю, что «выкарабкиваться» — это в каком-то смысле ужасный план. Но это может быть все, что у нас есть.↩
17. Мне вспоминается письмо Скотта Ааронсона к себе в молодости :«Есть компания, которая создает ИИ, который заполняет огромные комнаты, потребляет электричество целого города и недавно обрел поразительную способность общаться, как люди. Он может писать эссе или стихи на любую тему. Он может сдавать экзамены на уровне колледжа. Он ежедневно приобретает новые возможности, о которых инженеры, которые ухаживают за ИИ, пока даже не могут говорить публично. Однако эти инженеры сидят в кафетерии компании и обсуждают смысл того, что они создают. Чему он научится делать на следующей неделе? Какие работы он может сделать устаревшими? Должны ли они замедлиться или остановиться, чтобы не щекотать хвост дракона? Но не будет ли это означать, что кто-то другой, возможно, кто-то с меньшими принципами, первым разбудит дракона? Есть ли этическое обязательство рассказать миру об этом больше? Есть ли обязательство рассказать об этом меньше?Я — вы — работаю в этой компании год. Моя работа — ваша работа — разработать математическую теорию того, как не дать ИИ и его последователям сеять хаос. Где «сеять хаос» может означать что угодно: от турбонаддува пропаганды и академического мошенничества до раздачи советов по биотерроризму, и, да, уничтожения мира.

***************

IIId. Свободный мир должен восторжествовать

Суперинтеллект даст решающее экономическое и военное преимущество. Китай пока еще не вышел из игры. В гонке за ИИ на карту будет поставлено само выживание свободного мира. Сможем ли мы сохранить свое превосходство над авторитарными державами? И удастся ли нам избежать самоуничтожения на этом пути?

В этой статье:

---

История человеческой расы — это Война. За исключением кратких и нестабильных интермедий, в мире никогда не было мира; и до начала истории смертоносная борьба была всеобщей и бесконечной. 
…
Разве не может оказаться, что бомба размером не больше апельсина обладает тайной силой, способной разрушить целый квартал зданий — нет, сконцентрировать силу тысячи тонн кордита и взорвать городок одним ударом?

Уинстон Черчилль, «Неужели мы все покончим жизнь самоубийством?»

Суперинтеллект станет самой мощной технологией и самым мощным оружием, которое когда-либо создавало человечество. Он даст решающее военное преимущество, возможно, сравнимое только с ядерным оружием. Авторитарные режимы могли бы использовать суперинтеллект для завоевания мира и для обеспечения тотального внутреннего контроля. Государства-изгои могли бы использовать его для угрозы уничтожения. И хотя многие их не принимают во внимание, как только КПК осознает наличие ОИИ, у нее появится четкий путь к тому, чтобы стать конкурентоспособной (по крайней мере, до тех пор, пока мы не улучшим радикально безопасность лабораторий ИИ в США).

Каждый месяц свинца также будет иметь значение для безопасности. Мы столкнемся с наибольшими рисками, если окажемся в тисках жесткой гонки, демократические союзники и авторитарные конкуренты, каждый из которых будет мчаться через и без того ненадежный взрыв интеллекта с головокружительной скоростью — вынужденные отбросить всякую осторожность в сторону, опасаясь, что другой получит суперинтеллект первым. Только если мы сохраним здоровое лидерство демократических союзников, у нас будет предел погрешности для навигации в чрезвычайно нестабильном и опасном периоде вокруг появления суперинтеллекта. И только американское лидерство является реалистичным путем к разработке режима нераспространения, чтобы предотвратить риски самоуничтожения суперинтеллекта, который развернется.

Наше поколение слишком легко принимает как должное то, что мы живем в мире и свободе. И те, кто возвещает о наступлении эры AGI в Сан-Франциско, слишком часто игнорируют слона в комнате: сверхинтеллект — это вопрос национальной безопасности, и Соединенные Штаты должны победить.

Тот, кто возглавит сверхразум, получит решающее военное преимущество.

Суперинтеллект — это не просто любая другая технология — гиперзвуковые ракеты, стелс и т. д. — где лидерство США и либеральных демократий весьма желательно, но не строго необходимо. Военный баланс сил может быть сохранен, если США отстают по одной или паре таких технологий; эти технологии имеют большое значение, но могут быть перевешены преимуществами в других областях.

Появление сверхразума поставит нас в ситуацию, невиданную со времен атомной эры: те, у кого он есть, будут обладать полным господством над теми, у кого его нет.

Я уже обсуждал огромную мощь сверхинтеллекта . Это будет означать наличие миллиардов автоматизированных ученых, инженеров и техников, каждый из которых намного умнее самых умных ученых-людей, яростно изобретающих новые технологии, днем ​​и ночью. Ускорение научного и технологического развития будет необычайным. Поскольку сверхинтеллект применяется к НИОКР в области военных технологий, мы могли бы быстро пройти через десятилетия военного технологического прогресса.

Война в Персидском заливе, или Что означает технологическое лидерство длиной в несколько десятилетий для военной мощи

Война в Персидском заливе является полезной иллюстрацией того, как 20-30-летнее преимущество в военных технологиях может быть решающим. В то время Ирак командовал четвертой по величине армией в мире. С точки зрения численности (войска, танки, артиллерия) коалиция под руководством США едва ли могла сравниться (или уступала) иракцам, при этом у иракцев было достаточно времени, чтобы укрепить свою оборону (ситуация, которая обычно требует 3:1 или 5:1 превосходства в живой силе для дезорганизации).

Но коалиция под руководством США уничтожила иракскую армию всего за 100 часов наземной войны. Потери коалиции составили всего 292 человека по сравнению с 20-50 тысячами убитых иракцев и сотнями тысяч раненых или пленных. Коалиция потеряла всего 31 танк по сравнению с уничтожением более 3000 иракских танков.

Разница в технологиях не была божественной или непостижимой, но она была совершенно и абсолютно решающей: управляемые и интеллектуальные боеприпасы, ранние версии малозаметности, улучшенные датчики, лучшие танковые прицелы (чтобы видеть дальше ночью и в пылевых бурях), лучшие истребители, преимущество в разведке и так далее.

(В качестве более недавнего примера можно вспомнить Иран, нанесший массированный удар по Израилю с использованием 300 ракет, « 99% » из которых были перехвачены превосходящей системой ПРО Израиля, США и союзников.)

Опережение в год, два или три по суперинтеллекту может означать такое же решающее военное преимущество, какое имела коалиция США против Ирака в войне в Персидском заливе. На кону будет полная перестройка военного баланса сил.

Представьте, если бы мы прошли через военные технологические разработки 20-го века менее чем за десятилетие. Мы бы перешли от лошадей, винтовок и траншей к современным танковым армиям за пару лет; к армадам сверхзвуковых истребителей, ядерного оружия и МБР еще через пару лет; к скрытности и точности, которые могут вывести противника из строя еще до того, как он узнает о вашем присутствии, еще через пару лет.

Вот с такой ситуацией мы столкнемся с появлением суперинтеллекта: военные технологические достижения столетия сжаты до менее чем десятилетия. Мы увидим сверхчеловеческий взлом, который может парализовать большую часть военной силы противника, робоармии и автономные рои дронов, но, что еще важнее, совершенно новые парадигмы, которые мы пока не можем себе представить, и изобретения нового ОМП с тысячекратным увеличением разрушительной силы (а также новые средства защиты от ОМП, такие как непроницаемая противоракетная оборона, которые быстро и многократно нарушают равновесие сдерживания).

И это будет не просто технологический прогресс. По мере того, как мы решим проблему робототехники , труд станет полностью автоматизированным, что также позволит осуществить более масштабный промышленный и экономический взрыв . Вполне вероятно, что темпы роста могут достичь десятков процентов в год; в течение максимум десятилетия ВВП тех, кто лидирует, превзойдет тех, кто отстает. Быстрое увеличение числа заводов по производству роботов будет означать не только радикальное технологическое преимущество, но и производственные мощности для доминирования в чистом материальном обеспечении. Подумайте о миллионах перехватчиков ракет; миллиардах беспилотников; и так далее.

Конечно, мы не знаем пределов науки и множества трений, которые могли бы замедлить ход событий. Но для решающего военного преимущества не нужны никакие богоподобные достижения. И миллиард сверхразумных ученых смогут сделать многое. Кажется очевидным, что в течение нескольких лет досуперразумные военные будут безнадежно отстали .

Военное преимущество будет решающим даже против ядерного сдерживания.

Чтобы быть еще яснее: кажется вероятным, что преимущество, предоставляемое сверхразумом, будет достаточно решающим даже для того, чтобы превентивно уничтожить ядерное сдерживание противника. Улучшенные сенсорные сети и анализ могут обнаружить даже самые тихие из нынешних атомных подводных лодок (аналогично для мобильных ракетных пусковых установок). Миллионы или миллиарды автономных дронов размером с мышь, с достижениями в области скрытности, могут проникнуть в тыл врага, а затем тайно обнаружить, саботировать и обезглавить ядерные силы противника. Улучшенные сенсоры, нацеливание и так далее могут значительно улучшить противоракетную оборону (подобно, скажем, примеру Ирана против Израиля выше); более того, если произойдет промышленный взрыв, роботизированные заводы могут штамповать тысячи перехватчиков для каждой противостоящей ракеты. И все это даже без учета совершенно новых научных и технологических парадигм (например, удаленной деактивации всех ядерных боеголовок).

Это было бы просто не соревнование. И не только не соревнование в ядерном смысле, когда «мы могли бы взаимно уничтожить друг друга», но и не соревнование в плане возможности уничтожить военную мощь противника без значительных потерь. Пара лет опережения в области сверхразума означали бы полное доминирование.

Если произойдет стремительный взрыв интеллекта , вполне вероятно, что преимущество в несколько месяцев может оказаться решающим: месяцы могут означать разницу между системами ИИ примерно человеческого уровня и существенно сверхчеловеческими системами ИИ. Возможно, обладание только этими начальными сверхразумами, даже до их широкого развертывания, будет достаточным для решающего преимущества, например, с помощью сверхчеловеческих хакерских способностей, которые могли бы отключить досуперразумные военные силы, более ограниченные рои дронов, которые угрожают мгновенной смертью каждому лидеру противника, чиновнику и их семьям, и передовое биологическое оружие, разработанное с помощью моделирования в стиле AlphaFold, которое может быть нацелено на определенные этнические группы, например, на кого угодно, кроме ханьцев (или просто не давать противнику лекарство).

Китай может быть конкурентоспособным

Многие, похоже, благодушно относятся к Китаю и AGI. Контроль за экспортом чипов кастрировал их, а ведущие лаборатории ИИ находятся в США и Великобритании — так что нам не о чем беспокоиться, верно? Китайские LLM хороши — они определенно способны обучать большие модели! — но они в лучшем случае сопоставимы со вторым уровнем американских лабораторий.

И даже китайские модели часто являются просто копией американских версий с открытым исходным кодом (например, архитектура Yi-34B, по сути, имеет архитектуру Llama2, с измененными всего несколькими строками кода ).

Раньше глубокое обучение в Китае было важнее, чем сейчас (например, Baidu опубликовала одну из первых современных статей по масштабированию закона), и хотя Китай публикует больше статей по ИИ, чем США, похоже, что за последние годы ему не удалось добиться каких-либо важных прорывов.

Однако это всего лишь прелюдия. Если и когда КПК осознает ИИ, нам следует ожидать экстраординарных усилий со стороны КПК, чтобы конкурировать. И я думаю, что у Китая есть довольно ясный путь, чтобы оказаться в игре: превзойти США и украсть алгоритмы.

1. Вычислить

1a. Чипы: Китай, похоже, продемонстрировал способность производить 7-нм чипы . Хотя выход за рамки 7 нм будет сложным (потребуется EUV), 7 нм достаточно! Для справки, 7 нм использовал Nvidia A100s. Отечественный Huawei Ascend 910B, основанный на платформе SMIC 7 нм, кажется, всего лишь в ~2-3 раза хуже по производительности/$, чем эквивалентный чип Nvidia.

Обсуждается выход продукции SMIC на уровне 7 нм и общая зрелость китайских возможностей .

и критически важным открытым вопросом является то, в каких количествах они смогут производить эти 7-нм чипы.

Тем не менее, похоже, что есть, по крайней мере, весьма разумный шанс, что через несколько лет им удастся сделать это в больших масштабах.

Большая часть достижений в области ИИ-чипов достигнута за счет улучшения конструкции чипов и их адаптации для сценариев использования ИИ (и Китай, вероятно, уже крадет разработки чипов Nvidia из тайваньской цепочки поставок).

7 нм против 3 нм или 2 нм, а также общая незрелость их производства, вероятно, делают все это более дорогим для Китая.

Но это, кажется, ни в коем случае не фатально; можно делать очень хорошие чипы ИИ поверх 7 нм процесса. Я бы не был уверен на данный момент, например, что они не могли бы просто потратить немного больше и получить достаточно вычислений для $100B+ и триллион долларовых обучающих кластеров за несколько лет.

1b. Превзойти США: Связывающим ограничением для крупнейших учебных кластеров будут не чипы, а промышленная мобилизация — возможно, в первую очередь 100 ГВт мощности для кластера стоимостью в триллион долларов . Но если есть что-то, что Китай может делать лучше, чем США, так это строительство.

За последнее десятилетие Китай построил примерно столько же новых мощностей по производству электроэнергии, сколько и все мощности США (в то время как мощности США в основном остались на прежнем уровне). В США эти вещи застревают в экологической экспертизе, выдаче разрешений и регулировании на десятилетие. Таким образом, кажется вполне правдоподобным, что Китай сможет просто превзойти США по крупнейшим учебным кластерам.

2. Алгоритмы

Как подробно обсуждалось в Counting the OOMs , масштабирование вычислений — это только часть истории: алгоритмические достижения, вероятно, вносят по крайней мере половину вклада в прогресс ИИ. Прямо сейчас мы разрабатываем ключевые алгоритмические прорывы для AGI (по сути, EUV алгоритмов из-за стены данных ).

По умолчанию я ожидаю, что западные лаборатории будут далеко впереди; у них есть большая часть ключевых талантов, и в последние годы они разработали все ключевые прорывы. Размер преимущества вполне может быть эквивалентен 10-кратному (или даже 100-кратному) увеличению кластера за несколько лет; это обеспечит Соединенным Штатам достаточно комфортное лидерство.

И все же, на текущем курсе мы полностью откажемся от этого преимущества: как подробно обсуждалось в разделе безопасности , текущее состояние безопасности по сути делает проникновение Китая в американские лаборатории тривиальным. И поэтому, если мы не заблокируем лаборатории очень скоро, я ожидаю, что Китай сможет просто украсть ключевые алгоритмические ингредиенты для AGI и сравняться с возможностями США.

(Хуже того, если мы не улучшим безопасность, у Китая появится еще более очевидный путь для конкуренции. Им даже не нужно будет обучать свой собственный ИИ: они просто смогут напрямую украсть веса ИИ. Как только они украдут копию автоматизированного исследователя ИИ , они выйдут на гонку и смогут запустить свой собственный взрыв интеллекта. Если они будут готовы проявить меньше осторожности — как хорошей осторожности, так и необоснованного регулирования и задержек — чем США, они смогут быстрее преодолеть взрыв интеллекта, обогнав нас в достижении сверхразума.)

---

На сегодняшний день американские технологические компании сделали гораздо большую ставку на ИИ и масштабирование, чем любые китайские усилия; следовательно, мы значительно впереди. Но сбрасывать со счетов Китай сейчас — это то же самое, что сбрасывать со счетов Google в гонке ИИ, когда ChatGPT вышел в конце 2022 года. Google еще не сосредоточил свои усилия на интенсивной ставке на ИИ, и казалось, что OpenAI был далеко впереди, — но как только Google проснулся, полтора года спустя, они начали очень серьезную борьбу. У Китая также есть четкий путь к очень серьезной борьбе. Если и когда КПК мобилизуется в гонке за AGI, картина может начать выглядеть совсем иначе.

Возможно, китайское правительство окажется некомпетентным; возможно, они решат, что ИИ угрожает КПК, и введут удушающее регулирование . Но я бы на это не рассчитывал.

Я, например, думаю, что нам нужно действовать, исходя из предположения, что мы столкнемся с полномасштабными усилиями Китая по AGI. Поскольку каждый год мы получаем резкие скачки в возможностях ИИ, поскольку мы начинаем видеть раннюю автоматизацию инженеров-программистов, поскольку доходы от ИИ резко растут, и мы начинаем видеть оценки в 10 трлн долларов и кластерные построения на триллионы долларов, поскольку начинает формироваться более широкий консенсус о том, что мы находимся на пороге AGI, КПК примет это к сведению. Как бы я ни ожидал, что эти скачки пробудят правительство США к AGI, я бы ожидал, что они пробудят КПК к AGI и пробудят то, что отставание в AGI будет означать для их национальной мощи.

Они будут грозным противником.

Авторитарная опасность

Диктатор, обладающий силой сверхразума, будет управлять концентрированной властью, не похожей ни на одну из тех, что мы когда-либо видели. Помимо возможности навязывать свою волю другим странам, они могли бы закрепить свою власть внутри страны. Миллионы роботизированных агентов правоохранительных органов, управляемых ИИ, могли бы контролировать свое население; массовое наблюдение было бы гипертрофировано; преданные диктатору ИИ могли бы индивидуально оценивать каждого гражданина на предмет инакомыслия, с помощью продвинутого почти идеального обнаружения лжи, искореняющего любую нелояльность.

Но самое главное, роботизированные военные и полицейские силы могли бы полностью контролироваться одним политическим лидером и быть запрограммированными на полное послушание — больше не будет риска переворотов или народных восстаний.

В то время как прошлые диктатуры никогда не были постоянными, суперинтеллект мог бы устранить практически все исторические угрозы правлению диктатора и закрепить его власть (ср. значение lock-in ). Если КПК получит эту власть, она могла бы полностью и всецело навязать концепцию «правды» партии.

Чтобы было ясно, я не просто беспокоюсь о том, что диктаторы получат сверхразум, потому что «наши ценности лучше». Я верю в свободу и демократию, сильно, потому что не знаю, какие ценности правильные. В долгой дуге истории « время расстроило многие воюющие веры ». Я считаю, что мы должны возложить свою веру на механизмы исправления ошибок , экспериментирования, конкуренции и адаптации.

Суперинтеллект даст тем, кто им владеет, силу сокрушить оппозицию, инакомыслие и закрепить свой грандиозный план для человечества. Трудно будет кому-либо устоять перед ужасным искушением использовать эту силу. Я искренне надеюсь, что вместо этого мы сможем положиться на мудрость Отцов-основателей — позволяя процветать радикально отличающимся ценностям и сохраняя бурный плюрализм, который определил американский эксперимент.

На кону в гонке AGI будет не только преимущество в какой-то далекой войне посредников, но и то, смогут ли свобода и демократия выжить в следующем столетии и далее. Ход человеческой истории столь же жесток, сколь и очевиден. Дважды в 20 веке тирания угрожала миру; мы не должны питать иллюзий, что эта угроза изгнана навсегда. Для многих моих молодых друзей свобода и демократия кажутся данностью, но это не так. Безусловно, самой распространенной политической системой в истории является авторитаризм.

Я действительно не знаю намерений КПК и ее авторитарных союзников. Но, в качестве напоминания: КПК — это режим, основанный на постоянном поклонении , возможно, величайшему тоталитарному массовому убийце в истории человечества («с оценками от 40 до 80 миллионов жертв из-за голода, преследований, тюремного труда и массовых казней»); режим, который недавно поместил миллион уйгуров в концентрационные лагеря и раздавил свободный Гонконг; режим, который систематически практикует массовую слежку для социального контроля, как новомодного ( отслеживание телефонов, базы данных ДНК, распознавание лиц и т. д.), так и старомодного ( вербовка армии граждан для доносов на своих соседей) вида; режим, который гарантирует, что все текстовые сообщения проходят через цензор, и который заходит так далеко в подавлении инакомыслия, что забирает семьи в полицейские участки, когда их ребенок за границей посещает протест; режим, который закрепил за Си Цзиньпином статус пожизненного диктатора; режим, который заявляет о своих целях военного подавления и « перевоспитания » свободной соседней страны; режим, который открыто стремится к мировому порядку, ориентированному на Китай.

Свободный мир должен одержать верх над авторитарными державами в этой гонке. Мы обязаны нашим миром и свободой американскому экономическому и военному превосходству. Возможно, даже наделенная суперинтеллектом, КПК будет вести себя ответственно на международной арене, предоставив каждого самому себе. Но история диктаторов такого рода некрасива. Если Америка и ее союзники не смогут выиграть эту гонку, мы рискуем всем.

Поддержание здорового лидерства будет иметь решающее значение для безопасности

Проклятая история науки и техники заключается в том, что по мере того, как они раскрывали свои чудеса, они также расширяли средства разрушения: от палок и камней до мечей и копий, винтовок и пушек, пулеметов и танков, бомбардировщиков и ракет, ядерного оружия. Кривая «уничтожение/$» последовательно снижалась по мере развития технологий. Мы должны ожидать, что быстрый технический прогресс после сверхразума будет следовать этой тенденции.

Возможно, драматические достижения в биологии дадут необычайно новое биологическое оружие, которое распространяется бесшумно, быстро, прежде чем убить с идеальной летальностью по команде (и которое можно сделать необычайно дешевым, доступным даже для террористических групп). Возможно, новые виды ядерного оружия позволят увеличить размер ядерных арсеналов на порядки, с новыми механизмами доставки, которые невозможно обнаружить. Возможно, беспилотники размером с комара, каждый из которых несет смертельный яд, можно будет направить на убийство каждого члена противостоящей страны. Трудно сказать, что принесет столетний технологический прогресс, но я уверен, что он откроет ужасающие возможности.

Человечество едва избежало самоуничтожения во время Холодной войны. С исторической точки зрения, наибольший экзистенциальный риск, который представляет собой ОИИ, заключается в том, что он позволит нам разрабатывать необычайно новые средства массового уничтожения. На этот раз эти средства могут даже распространиться и стать доступными для мошенников или террористов (особенно если, как в текущем курсе, суперинтеллектуальные веса недостаточно защищены и могут быть напрямую украдены Северной Кореей, Ираном и другими).

У Северной Кореи уже есть согласованная программа биологического оружия: США оценивают , что «У Северной Кореи есть специальная наступательная программа национального уровня» для разработки и производства биологического оружия. Кажется правдоподобным, что их основным ограничением является то, насколько далеко их небольшой круг ведущих ученых смог продвинуться в области (синтетической) биологии. Что произойдет, когда это ограничение будет снято, когда они смогут использовать миллионы сверхразумов для ускорения своих НИОКР в области биологического оружия? Например, США оценивают , что у Северной Кореи в настоящее время есть «ограниченные возможности» для генной инженерии биологических продуктов — что произойдет, когда они станут неограниченными? С помощью каких новых нечестивых измышлений они будут держать нас в заложниках?

Более того, как обсуждалось в разделе о супервыравнивании , будут существовать экстремальные риски безопасности вокруг и во время взрыва интеллекта — мы столкнемся с новыми техническими проблемами, чтобы гарантировать, что мы можем надежно доверять и контролировать сверхчеловеческие системы ИИ. Это вполне может потребовать от нас замедления в некоторые критические моменты, скажем, задержки на 6 месяцев в середине взрыва интеллекта, чтобы получить дополнительные гарантии безопасности, или использования большой доли вычислений для исследования выравнивания, а не прогресса возможностей.

Некоторые надеются на какой-то международный договор о безопасности. Мне это кажется фантастикой. Мир, в котором и КПК, и правительство США достаточно одержимы AGI, чтобы серьезно относиться к риску безопасности, — это также мир, в котором обе стороны понимают, что на карту поставлено международное экономическое и военное превосходство, что отставание на месяцы в AGI может означать постоянное отставание. Если гонка напряженная, любое равновесие в контроле над вооружениями, по крайней мере на ранней стадии вокруг суперинтеллекта, кажется крайне нестабильным. Короче говоря, «прорыв» слишком прост: стимул (и страх, что другие будут действовать в соответствии с этим стимулом) мчаться вперед с интеллектуальным взрывом, чтобы достичь суперинтеллекта и решающего преимущества, слишком велик.

По крайней мере, шансы, что мы получим здесь что-то достаточно хорошее, кажутся незначительными. (Как дела с этими климатическими соглашениями? Это кажется значительно более легкой проблемой по сравнению с этой.)

Главная, возможно, единственная, надежда, которая у нас есть, заключается в том, что альянс демократий имеет здоровое преимущество над противоборствующими державами. Соединенные Штаты должны лидировать и использовать это лидерство для обеспечения соблюдения норм безопасности в остальном мире. Это тот путь, который мы выбрали с ядерным оружием , предлагая помощь в мирном использовании ядерных технологий в обмен на международный режим нераспространения (в конечном счете, гарантированный американской военной мощью) — и это единственный путь, который, как было показано, работает.

Возможно, самое важное то, что здоровое опережение дает нам пространство для маневра: возможность «обналичить» часть опережения, если это необходимо для обеспечения безопасности, например, выделив дополнительную работу для согласования во время взрывного роста разведданных.

Проблемы безопасности суперинтеллекта станут чрезвычайно сложными для управления, если вы находитесь в гонке вооружений «ноздря в ноздрю». Преимущество в 2 года против 2 месяцев может легко иметь решающее значение. Если у нас будет преимущество всего в 2 месяца, у нас вообще не будет запаса для безопасности. В страхе перед взрывом интеллекта КПК мы почти наверняка ринемся вперед, не сдерживая себя, через наш собственный взрыв интеллекта — устремившись к системам ИИ, которые будут намного умнее людей за несколько месяцев, без какой-либо возможности замедлиться, чтобы принять правильные ключевые решения, со всеми рисками того, что суперинтеллект пойдет не так, как следует. Мы столкнемся с чрезвычайно нестабильной ситуацией, поскольку мы и КПК быстро разработали необычайно новые военные технологии, которые неоднократно дестабилизировали сдерживание. Если наши секреты и веса не будут засекречены , это может даже означать, что ряд других государств-изгоев также близки, каждое из которых использует суперинтеллект для обеспечения своего собственного нового арсенала супер-ОМП. Даже если бы нам удалось хоть немного продвинуться вперед, это, скорее всего, была бы пиррова победа: экзистенциальная борьба поставила бы мир на грань полного самоуничтожения.

Суперинтеллект выглядит совсем иначе, если у демократических союзников есть значительное преимущество, скажем, в 2 года.

Это дает нам время, необходимое для преодоления беспрецедентной серии проблем, с которыми нам придется столкнуться в период и после появления сверхразума, а также для стабилизации ситуации.

Если и когда станет ясно, что США решительно победят, тогда мы предложим сделку Китаю и другим противникам. Они будут знать, что не победят, и поэтому они будут знать, что их единственный вариант — сесть за стол переговоров; и мы бы предпочли избежать лихорадочного противостояния или отчаянных военных попыток с их стороны саботировать усилия Запада. В обмен на гарантию невмешательства в их дела и совместное использование мирных преимуществ сверхразума может родиться режим нераспространения, нормы безопасности и подобие стабильности после сверхразума.

В любом случае, углубляясь в эту борьбу, мы не должны забывать об угрозе самоуничтожения. То, что мы пережили Холодную войну целыми и невредимыми, потребовало слишком много удачи

— и разрушение может быть в тысячу раз более мощным, чем то, с чем мы столкнулись тогда. Здоровое лидерство возглавляемой Америкой коалиции демократий — и торжественное осуществление этого лидерства для стабилизации любой нестабильной ситуации, в которой мы окажемся — это, вероятно, самый безопасный путь к преодолению этой пропасти. Но в разгар гонки AGI нам лучше не облажаться.

Сверхразум — вопрос национальной безопасности

Ясно: AGI — это экзистенциальный вызов национальной безопасности США. Пора начать относиться к нему как к таковому.

Потихоньку USG начинает действовать. Экспортный контроль американских чипов — это огромное дело, и в свое время это был невероятно прозорливый шаг. Но нам нужно серьезно подойти к делу по всем направлениям.

У США есть лидерство. Нам просто нужно его сохранить. И мы сейчас его портим. Прежде всего, мы должны быстро и радикально заблокировать лаборатории ИИ , прежде чем мы раскроем ключевые прорывы в области ИИ в течение следующих 12-24 месяцев (или сами веса ИИ). Мы должны построить вычислительные кластеры в США, а не в диктатурах, которые предлагают легкие деньги. И да, американские лаборатории ИИ обязаны работать с разведывательным сообществом и военными. Лидерство Америки в области ИИ не обеспечит мир и свободу, просто создавая лучшие приложения для подружек ИИ. Это некрасиво, но мы должны создать ИИ для американской обороны.

---

Мы уже на пути к самой взрывоопасной международной ситуации за последние десятилетия. Путин на марше в Восточной Европе. Ближний Восток в огне. КПК рассматривает захват Тайваня как свою судьбу. Теперь добавьте гонку за AGI. Добавьте столетний опыт технологических прорывов, сжатый в годы после появления суперинтеллекта. Это будет одна из самых нестабильных международных ситуаций, когда-либо виденных, — и, по крайней мере, поначалу стимулы для нанесения первых ударов будут колоссальными.

Уже наблюдается жуткое совпадение временных линий AGI (~2027?) и временных линий вторжения на Тайвань наблюдателей за Тайванем ( готов ли Китай вторгнуться на Тайвань к 2027 году? ) — совпадение, которое, несомненно, только усилится, когда мир осознает AGI. (Представьте, что в 1960 году подавляющее большинство мировых месторождений урана каким-то образом было сосредоточено в Берлине!) Мне кажется, что есть реальный шанс, что финал AGI разыграется на фоне мировой войны. Тогда все ставки сделаны.

Следующий пост в серии : IV. Проект
 

---

1. Например, Yi-Large, судя по всему, является моделью класса GPT-4 на LMSys, но это произошло более чем через год после того, как OpenAI выпустила GPT-4.↩
2. Аналогично, код Qwen Hugging Face часто ссылается на Mistral, и, похоже, зависимость китайских LLM от американского открытого исходного кода является явным поводом для беспокойства , которое дошло до китайского премьер-министра.↩
3. Huawei Ascend 910B, похоже, стоит около 120 000 юаней за карту, или около $17 тыс. Она производится на узле SMIC 7 нм , при этом производительность аналогична A100. H100, возможно, примерно в ~3 раза лучше, чем A100, при этом стоят немного дороже ($20-25 тыс. ASP), что предполагает только ~2-3-кратное увеличение стоимости для эквивалентной производительности AI GPU для Китая прямо сейчас.↩
4. Например, они все еще используют западную память HBM (которая по какой-то причине не подлежит экспортному контролю?), хотя говорят, что CXMT начнет пробовать HBM в следующем году.↩
5. Хотя, поскольку они по-прежнему могут импортировать другие типы чипов с Запада, они могли бы просто направить весь свой 7-нм узел на чипы ИИ, компенсировав тем самым снижение общего объема производства.↩
6. Примечательно, что даже киберпреступники смогли взломать Nvidia и получить ключевые секреты дизайна GPU . Более того, проекты TPUv6, по-видимому, были среди того, что было украдено недавно обвиненным гражданином Китая в Google.↩
7. Например, они могут быть в 2 раза хуже по perf/$ или perf/Watt. В свою очередь, это также означает, что для достижения той же общей производительности центра обработки данных вам нужно больше мощности и нужно больше чипов, объединенных в сеть, что также делает вещи более хлопотными.↩
8. Обратите внимание, что даже увеличение стоимости чипов в 3 раза будет намного меньше с точки зрения увеличения расходов на центр обработки данных. Фактические затраты на логические фабрики составляют <5% от стоимости графических процессоров Nvidia, и даже с учетом памяти и CoWoS это менее 20% от ценника Nvidia из-за их маржи. И даже сами графические процессоры, как правило, составляют всего 50-60% от стоимости центра обработки данных. Таким образом, увеличение стоимости чипов в 3 раза может означать гораздо, гораздо меньшее, чем трехкратное увеличение общей стоимости. Даже для чипов, которые дороже в 10 раз, Китай, похоже, сможет это переварить без значительного увеличения расходов на центр обработки данных.↩
9.  Некоторые утверждают, что даже если Китай украдет эти секреты, они не смогут конкурировать, потому что для этого требуются неявные знания. Я не согласен. Я думаю, что это имеет два слоя. Нижний слой — это инженерное мастерство для крупномасштабных тренировочных запусков; эти тренировочные запуски могут быть хакерскими и деликатными и требуют неявных знаний. Но, как я расскажу позже , китайские усилия по искусственному интеллекту показали себя вполне способными обучать крупномасштабные модели, и я думаю, что они будут иметь эти неявные знания изначально. Верхний слой — это алгоритмический рецепт — такие вещи, как архитектура модели, правильные законы масштабирования и т. д. — которые можно передать за один часовой звонок. Эти вычислительные множители обычно являются дискретными изменениями, что означает, что базовые неявные знания для крупномасштабных тренировочных запусков должны передаваться. Я не думаю, что «неявные знания» станут решающим препятствием для китайских усилий по созданию AGI.↩
10. (Преимущественно монархия.)↩
11. Рассмотрим следующее сравнение нестабильных и стабильных равновесий контроля над вооружениями. Контроль над вооружениями 1980-х годов во время Холодной войны существенно сократил ядерное оружие, но был нацелен на стабильное равновесие. У США и Советского Союза все еще были тысячи единиц ядерного оружия. MAD был гарантирован, даже если один из участников пытался запустить ускоренную программу по созданию большего количества ядерного оружия; и страна-изгой могла попытаться создать некоторое количество собственного ядерного оружия, но не угрожать США или Советскому Союзу превосходством.Однако, когда разоружение осуществляется на очень низком уровне вооружений или происходит на фоне быстрых технологических изменений, равновесие нестабильно. Нечестный игрок или нарушитель договора может легко запустить программу ускорения и угрожать полностью превзойти других игроков. Отсутствие ядерного оружия не было бы стабильным равновесием; аналогично, в этой статье приводятся интересные исторические исследования случаев (такие как ограничения вооружений после Первой мировой войны и Вашингтонский морской договор), когда разоружение в схожих динамических ситуациях дестабилизировало, а не стабилизировало.Если всего лишь несколько месяцев лидерства в области AGI дадут совершенно решающее преимущество, это делает стабильное разоружение в области ИИ столь же сложным. Негодяй-выскочка или нарушитель договора может получить огромное преимущество, тайно запустив программу ускоренного выполнения; соблазн будет слишком велик, чтобы любое соглашение было стабильным.↩
12. Стоит оценить, насколько значительны 2 года с точки зрения разницы в возможностях ИИ. Учитывая и без того быстрые темпы прогресса ИИ сегодня и еще более быстрые темпы, которые следует ожидать при взрыве интеллекта , а также более широкий технологический взрыв после появления сверхинтеллекта, «даже» 2-летнее опережение будет означать огромные различия в возможностях.↩
13. Об этом захватывающе рассказывает Дэниел Эллсберг , один из планировщиков ядерной войны в RAND и в аппарате национальной безопасности того времени.
    ↩
14. Каждый будет мчаться к своему собственному сверхразуму, и будет ограниченное окно, прежде чем кто-то впереди необратимо оторвется. Будет большой стимул попытаться отключить кластеры сверхразума противника до того, как они получат достаточное физическое преимущество (например, используя сверхразум для разработки непроницаемой противоракетной обороны или роя беспилотников), что навсегда оставит всех остальных в пыли.

 

IV.Проект

По мере усиления гонки за AGI вмешается национальное государство безопасности. USG проснется ото сна, и к 27/28 мы получим некую форму государственного проекта AGI. Ни один стартап не справится со сверхразумом. Где-то в SCIF будет финальная игра.

В этой статье:

---

«Нам должно быть любопытно узнать, как такой набор объектов — сотни электростанций, тысячи бомб, десятки тысяч людей, сосредоточенных в национальных учреждениях, — можно свести к нескольким людям, сидящим за лабораторными столами и обсуждающим своеобразное поведение одного типа атома».

Спенсер Р. Уэрт 

Внастоящее время выдвигается множество планов «управления ИИ» — от лицензирования передовых систем ИИ до стандартов безопасности и публичного облака с несколькими сотнями миллионов вычислений для академиков. Они кажутся благонамеренными, но мне кажется, что они совершают ошибку категории.

Я считаю безумным предложение, что правительство США позволит случайному стартапу из Сан-Франциско разработать суперинтеллект . Представьте, если бы мы разработали атомные бомбы, позволив Uber просто импровизировать.

Суперинтеллект — системы ИИ, намного более умные, чем люди, — будет обладать огромной силой, от разработки нового оружия до стимулирования взрыва экономического роста. Суперинтеллект станет средоточием международной конкуренции; преимущество в несколько месяцев может оказаться решающим в военном конфликте.

Это заблуждение тех, кто бессознательно усвоил нашу короткую передышку от истории, что это не вызовет больше первобытных сил. Как и многие ученые до нас, великие умы Сан-Франциско надеются, что они могут контролировать судьбу демона, которого они рождают. Прямо сейчас они все еще могут; поскольку они среди немногих, кто обладает ситуационной осведомленностью, кто понимает, что они создают. Но в ближайшие несколько лет мир проснется. То же самое произойдет и с государством национальной безопасности. История совершит триумфальное возвращение.

Как и много раз прежде — Covid, Вторая мировая война — будет казаться, что Соединенные Штаты спят за рулем — прежде чем, внезапно, правительство включит передачу самым необычным образом. Наступит момент — всего через несколько лет, всего через пару скачков «уровня 2023 года» в возможностях моделей и дискурсе ИИ — когда станет ясно: мы находимся на пороге AGI, а вскоре после этого и сверхинтеллекта. Хотя в точной механике много изменений, так или иначе, у руля будет правительство США; ведущие лаборатории («добровольно») объединятся; Конгресс выделит триллионы на чипы и электроэнергию; сформирована коалиция демократий.

Стартапы хороши для многих вещей, но сам по себе стартап просто не способен отвечать за самый важный проект национальной обороны Соединенных Штатов. Нам понадобится участие правительства, чтобы иметь хотя бы надежду на защиту от тотальной угрозы шпионажа, с которой мы столкнемся; частные усилия в области ИИ могли бы также напрямую поставлять суперинтеллект КПК. Нам понадобится правительство, чтобы обеспечить хотя бы подобие разумной цепочки командования; у вас не может быть случайных генеральных директоров (или случайных советов некоммерческих организаций) с ядерной кнопкой. Нам понадобится правительство, чтобы справиться с серьезными проблемами безопасности суперинтеллекта, чтобы управлять туманом войны взрыва разведки. Нам понадобится правительство, чтобы развернуть суперинтеллект для защиты от любых экстремальных угроз, чтобы пережить чрезвычайно нестабильную и дестабилизированную международную ситуацию, которая последует. Нам понадобится правительство, чтобы мобилизовать демократическую коалицию, чтобы выиграть гонку с авторитарными полномочиями и выработать (и обеспечить) режим нераспространения для остального мира. Я бы хотел, чтобы это было не так, но нам понадобится правительство. (Да, независимо от Администрации.)

В любом случае, моя главная претензия не нормативная, а описательная. Через несколько лет Проект будет запущен.

Путь к Проекту

Поворот событий, запечатлевшийся в моей памяти, — это конец февраля — середина марта 2020 года. В те последние недели февраля и первые дни марта я был в полном отчаянии: казалось, что мы находимся на экспоненциальном уровне по ковиду: чума вот-вот охватит страну, крах наших больниц был неизбежен — и все же почти никто не воспринимал это всерьез. Мэр Нью-Йорка по-прежнему отвергал страхи по поводу ковида как расизм и призывал людей ходить на бродвейские шоу. Все, что я мог сделать, это купить маски и сыграть на понижение рынка.

И все же всего за несколько недель вся страна закрылась, а Конгресс присвоил триллионы долларов (буквально >10% ВВП). Предвидеть, куда может пойти экспоненциальная шкала, было слишком сложно заранее, но когда угроза стала достаточно близкой, достаточно экзистенциальной, были высвобождены чрезвычайные силы. Ответ был запоздалым, грубым, резким — но он пришел, и он был драматичным.

Следующие несколько лет в области ИИ будут ощущаться похожими. Сейчас мы в середине игры. 2023 год уже был диким сдвигом. ИИ превратился из второстепенной темы, с которой вы бы не решились ассоциироваться, в предмет крупных слушаний в Сенате и саммитов мировых лидеров. Учитывая, насколько рано мы еще находимся, уровень участия правительства США был для меня впечатляющим. Еще пара «2023», и окно Овертона будет полностью открыто.

По мере того, как мы мчимся через OOM , скачки будут продолжаться. Примерно к 2025/2026 году я ожидаю следующих действительно шокирующих перемен; ИИ будет приносить более 100 млрд долларов годового дохода крупным технологическим компаниям и превзойдет докторов наук в области чистого интеллекта решения проблем. Подобно тому, как крах фондового рынка из-за COVID заставил многих серьезно отнестись к COVID, у нас будут компании стоимостью 10 трлн долларов, и мания ИИ будет повсюду. Если этого недостаточно, к 2027/28 году у нас будут модели, обученные на кластере стоимостью более 100 млрд долларов; полноценные агенты ИИ/удаленные работники начнут широко автоматизировать разработку программного обеспечения и другие когнитивные задачи. С каждым годом ускорение будет казаться головокружительным.

Хотя многие пока не видят возможности ОИИ, в конечном итоге консенсус сформируется. Некоторые, как Силард, увидели возможность атомной бомбы гораздо раньше других. Их тревога изначально не была хорошо принята; возможность бомбы была отвергнута как маловероятная (или, по крайней мере, считалось, что консервативным и правильным было бы преуменьшить эту возможность). Пылкие призывы Силарда к секретности были высмеяны и проигнорированы. Но многие ученые, изначально настроенные скептически, начали понимать, что бомба возможна, по мере поступления все большего количества эмпирических результатов. Как только большинство ученых пришли к убеждению, что мы находимся на пороге создания бомбы, правительство, в свою очередь, посчитало, что национальная безопасность слишком важна, и Манхэттенский проект был запущен.

По мере того, как OOM переходят от теоретической экстраполяции к (экстраординарной) эмпирической реальности, постепенно среди ведущих ученых, руководителей и правительственных чиновников сформируется консенсус: мы находимся на пороге, на пороге AGI, на пороге взрыва интеллекта, на пороге суперинтеллекта. И где-то здесь мы получим первые по-настоящему ужасающие демонстрации ИИ: возможно, часто обсуждаемая «помощь новичкам в создании биологического оружия», или автономный взлом критических систем, или что-то совсем другое. Станет ясно: нравится нам это или нет, эта технология станет совершенно решающей военной технологией . Даже если нам повезет и мы не будем втянуты в крупную войну, вполне вероятно, что КПК обратит на это внимание и начнет грозные усилия по AGI. Возможно, окончательное (неизбежное) раскрытие проникновения КПК в ведущие американские лаборатории ИИ вызовет большой переполох.

Где-то около 26/27 числа настроение в Вашингтоне станет мрачным. Люди начнут интуитивно чувствовать, что происходит; они будут напуганы . Из коридоров Пентагона и до кулуаров брифингов Конгресса будет звучать очевидный вопрос, вопрос, который у всех на уме: нужен ли нам проект AGI Manhattan? Сначала медленно, а потом все сразу станет ясно: это происходит, все становится диким , это самый важный вызов для национальной безопасности Соединенных Штатов с момента изобретения атомной бомбы. В той или иной форме государство национальной безопасности будет очень активно вовлечено. Проект будет необходимым, на самом деле единственно возможным ответом.

Конечно, это крайне сокращенный отчет — многое зависит от того, когда и как формируется консенсус, ключевые предупредительные выстрелы и так далее. DC печально известен своей недееспособностью. Как и в случае с Covid и даже с Манхэттенским проектом, правительство будет невероятно опаздывать и действовать неуклюже. После письма Эйнштейна президенту в 1939 году (составленного Силардом) был сформирован Консультативный комитет по урану. Но чиновники были некомпетентны, и поначалу мало что произошло. Например, Ферми получил всего 6 тыс. долларов (около 135 тыс. долларов в сегодняшних долларах) на поддержку своих исследований, и даже это не было дано легко и получено только после месяцев ожидания. Силард считал, что проект был отложен как минимум на год из-за близорукости и медлительности властей. В марте 1941 года британское правительство наконец пришло к выводу, что бомба неизбежна. Первоначально комитет США полностью игнорировал этот британский доклад в течение нескольких месяцев, пока в декабре 1941 года не были начаты полномасштабные работы по созданию атомной бомбы.

Есть много способов, которыми это можно было бы реализовать на практике. Чтобы было ясно, это не должно выглядеть как буквальная национализация, когда исследователи лабораторий ИИ теперь работают на военных или кого-то еще (хотя это может быть!).

Скорее, я ожидаю более обходительной оркестровки. Отношения с Министерством обороны могут выглядеть как отношения с Boeing или Lockheed Martin. Возможно, посредством оборонного контракта или чего-то подобного будет создано совместное предприятие между основными поставщиками облачных вычислений, лабораториями ИИ и правительством, что сделает его функционально проектом государства национальной безопасности. Подобно тому, как лаборатории ИИ «добровольно» взяли на себя обязательства перед Белым домом в 2023 году, западные лаборатории могут более или менее «добровольно» согласиться на слияние в национальных усилиях. И, вероятно, Конгрессу придется участвовать, учитывая триллионы вовлеченных инвестиций и для сдержек и противовесов.

Как все эти детали складываются — это уже другая история.

Но к концу 26/27/28 он будет запущен. Основная исследовательская группа AGI (несколько сотен исследователей) переедет в безопасное место; кластер стоимостью в триллион долларов будет построен с рекордной скоростью; Проект будет запущен.

Почему проект — единственный путь 

Я не питаю никаких иллюзий относительно правительства. Правительства сталкиваются со всевозможными ограничениями и слабыми стимулами. Я большой сторонник американского частного сектора и почти никогда не буду выступать за активное участие правительства в технологиях или промышленности.

Раньше я применял эту же структуру к AGI — пока не присоединился к лаборатории ИИ. Лаборатории ИИ очень хороши в некоторых вещах: они смогли вывести ИИ из академического научного проекта на большую коммерческую сцену, так, как это может сделать только стартап. Но в конечном итоге лаборатории ИИ — это все еще стартапы. Мы просто не должны ожидать, что стартапы будут оснащены всем необходимым для работы со сверхинтеллектом.

Здесь нет хороших вариантов, но я не вижу другого пути. Когда технология становится настолько важной для национальной безопасности, нам понадобится USG.

Суперинтеллект станет важнейшим национальным оборонным проектом США

Я обсуждал силу сверхразума в предыдущих статьях. В течение нескольких лет сверхразум полностью перевернет военный баланс сил . К началу 2030-х годов весь арсенал США (нравится вам это или нет, но это основа глобального мира и безопасности), вероятно, устареет. Это будет не просто вопрос модернизации, а всеобщей замены.

Проще говоря, станет ясно, что развитие AGI попадет в категорию, больше похожую на ядерное оружие, чем на интернет. Да, конечно, это будет двойное использование, но ядерные технологии тоже были двойными. Гражданские приложения получат свое время. Но в тумане эндшпиля AGI, к лучшему или к худшему, национальная безопасность будет основным фоном.

Нам нужно будет полностью перестроить силы США в течение нескольких лет, столкнувшись с быстрыми технологическими изменениями — или рисковать быть полностью превзойденными противниками, которые это сделают. Возможно, самым главным первоначальным приоритетом будет развертывание суперинтеллекта для оборонительных целей, разработка контрмер для выживания в неисчислимых новых угрозах: противники со сверхчеловеческими возможностями взлома, новые классы скрытных роев беспилотников, которые могли бы нанести упреждающий удар по нашему ядерному сдерживанию, распространение достижений в области синтетической биологии, которые могут быть превращены в оружие, бурные международные (и национальные) битвы за власть и неконтролируемые проекты суперинтеллекта.

Независимо от того, будет ли проект AGI номинально частным или нет, он должен будет и будет являться по сути оборонным проектом, и он потребует чрезвычайно тесного сотрудничества с органами национальной безопасности.

Разумная цепочка команд для сверхразума

Мощь — и проблемы — сверхинтеллекта попадут в совершенно иной класс ссылок, нежели все остальное, что мы привыкли видеть у технологических компаний. Кажется, это довольно ясно: это не должно быть под единоличным командованием случайного генерального директора. Действительно, в мире частных лабораторий, разрабатывающих сверхинтеллект, вполне вероятно, что отдельные генеральные директора будут иметь власть буквально переворотить в правительстве США .

Представьте себе, если бы Илон Маск имел окончательное командование ядерным арсеналом.

(Или если бы случайный совет некоммерческой организации решил взять под контроль ядерный арсенал.)

Возможно, это очевидно, но: как общество, мы решили, что демократические правительства должны контролировать армию;

суперинтеллект будет, по крайней мере, поначалу, самым мощным военным оружием. Радикальное предложение — это не Проект; радикальное предложение — сделать ставку на частных генеральных директоров ИИ, обладающих военной мощью и превращающихся в великодушных диктаторов.

(Действительно, в мире частных лабораторий ИИ ситуация, вероятно, была бы даже хуже, чем случайные генеральные директора с ядерной кнопкой — часть ужасающей безопасности лабораторий ИИ заключается в полном отсутствии внутреннего контроля. То есть случайные сотрудники лабораторий ИИ (без какой-либо проверки) могли бы стать мошенниками и остаться незамеченными.)

Нам понадобится разумная цепочка команд — вместе со всеми другими процессами и гарантиями, которые обязательно идут вместе с ответственным обладанием тем, что будет сопоставимо с ОМУ — и это потребует от правительства сделать это. В каком-то смысле это просто аргумент Берка: институты, конституции, законы, суды, сдержки и противовесы, нормы и общая преданность либерально-демократическому порядку (например, генералы, отказывающиеся выполнять незаконные приказы) и так далее, которые проверяют власть правительства, выдержали испытание сотнями лет. Между тем, специальные структуры управления лабораториями ИИ рухнули при первом же испытании. Американские военные уже могли бы убить практически каждого гражданского в Соединенных Штатах или захватить власть, если бы захотели, — и способ, которым мы держим под контролем государственную власть над ядерным оружием, заключается не в том, чтобы использовать множество частных компаний с их собственными ядерными арсеналами. Есть только одна цепочка команд и набор институтов, которые доказали свою пригодность для этой задачи.

Опять же, возможно, вы истинный либертарианец и не согласны с нормативной точки зрения (пусть Илон Маск и Сэм Альтман командуют своими собственными ядерными арсеналами!)

Но как только станет ясно, что сверхразум — это принципиальный вопрос национальной безопасности, я уверен, что именно так на него посмотрят мужчины и женщины в Вашингтоне.

Гражданское использование сверхразума

Конечно, это не означает, что гражданское применение суперинтеллекта будет доступно только правительству.

• Ядерная цепная реакция была впервые использована в качестве государственного проекта, и ядерное оружие навсегда зарезервировано за правительством, но гражданская ядерная энергетика процветала как частные проекты (в 60-х и 70-х годах, пока экологи не закрыли ее).
• Boeing создал B-29 (самый дорогой оборонный научно-исследовательский проект во время Второй мировой войны, более дорогой, чем Манхэттенский проект) и дальние бомбардировщики B-47 и B-52 в партнерстве с военными — прежде чем использовать эту технологию для Boeing 707, коммерческого самолета, который открыл эру реактивных самолетов. И сегодня, хотя Boeing может продавать правительству только истребители-невидимки, он может свободно разрабатывать и продавать гражданские самолеты в частном порядке.
• То же самое происходило с радарами, спутниками, ракетами, генной инженерией, заводами времен Второй мировой войны и так далее.

Первоначальное развитие суперинтеллекта будет определяться необходимостью национальной безопасности выжить и стабилизировать невероятно нестабильный период. А военное использование суперинтеллекта останется зарезервированным для правительства, и будут введены нормы безопасности. Но как только первоначальная опасность минует, и мир стабилизируется, естественным путем для компаний, входящих в национальный консорциум (и других), будет частная реализация гражданских приложений.

Даже в мирах, где действует Проект, частная, плюралистическая, рыночная, процветающая экосистема гражданского применения сверхразума еще будет существовать.

Безопасность

Я подробно рассказывал об этом в предыдущей части серии . При текущем курсе мы можем также отказаться от любых американских усилий по созданию AGI; Китай может быстро украсть все алгоритмические прорывы и веса моделей (буквально копию суперинтеллекта) напрямую. Даже не ясно, дойдем ли мы до «защищенной от Северной Кореи» безопасности для суперинтеллекта при текущем курсе. В мире частных стартапов, разрабатывающих AGI, суперинтеллект распространится на десятки государств-изгоев. Это просто несостоятельно.

Если мы собираемся серьезно к этому относиться, нам, очевидно, нужно заблокировать это. Большинство частных компаний не отнеслись к этому серьезно. Но в любом случае, если мы в конечном итоге столкнемся со всей мощью китайского шпионажа (например, кража гирь является приоритетом №1 для MSS), частной компании, вероятно, невозможно обеспечить достаточно хорошую безопасность. На этом этапе потребуется обширное сотрудничество со стороны разведывательного сообщества США, чтобы в достаточной степени обезопасить AGI. Это будет включать в себя инвазивные ограничения для лабораторий ИИ и для основной группы исследователей AGI, от экстремальной проверки до постоянного мониторинга, работы в SCIF и ограниченной свободы выезда; и это потребует инфраструктуры, которую может предоставить только правительство, в конечном итоге включая физическую безопасность самих центров обработки данных AGI.

В каком-то смысле, одной лишь безопасности достаточно, чтобы сделать необходимым правительственный проект — и превосходство свободного мира, и безопасность ИИ обречены, если мы не сможем заблокировать эту штуку. (На самом деле, я думаю, что это, скорее всего, станет основным фактором в конечном итоге: как только проникновение китайцев в лаборатории ИИ станет очевидным, каждый сенатор, конгрессмен и сотрудник национальной безопасности… будет иметь твердое мнение по этому вопросу.)

Безопасность

Проще говоря: у нас есть много способов все испортить — от обеспечения надежного контроля и доверия миллиардам сверхразумных агентов, которые вскоре будут отвечать за нашу экономику и армию ( проблема сверхвыравнивания ), до контроля рисков нецелевого использования новых средств массового поражения .

Некоторые лаборатории ИИ заявляют, что привержены безопасности: признавая, что то, что они строят, если пойдет не так, может вызвать катастрофу, и обещая, что они сделают все необходимое, когда придет время. Я не знаю, можем ли мы доверять их обещанию настолько, чтобы рискнуть жизнью каждого американца. Что еще важнее, до сих пор они не продемонстрировали компетентности, надежности или серьезности, необходимых для того, что они сами признают, что строят.

По сути, это стартапы со всеми обычными коммерческими стимулами. Конкуренция может подтолкнуть их всех просто проскочить через взрыв интеллекта, и, по крайней мере, найдутся некоторые игроки, которые будут готовы отбросить безопасность в сторону. В частности, мы можем захотеть «потратить часть нашего лидерства», чтобы иметь время для решения проблем безопасности, но западным лабораториям нужно будет координировать свои действия, чтобы сделать это. (И, конечно, частные лаборатории уже потеряют свои веса AGI, так что их меры безопасности даже не будут иметь значения; мы будем во власти мер безопасности КПК и Северной Кореи.)

Один из ответов — регулирование. Это может быть уместно в мирах, где ИИ развивается медленнее, но я боюсь, что регулирование просто не будет соответствовать характеру проблемы взрыва интеллекта. Необходимо будет не столько потратить несколько лет на тщательные оценки и проталкивание некоторых стандартов безопасности через бюрократию. Это будет больше похоже на войну .

Нас ждет безумный год, в котором ситуация будет меняться чрезвычайно быстро каждую неделю, в котором жесткие решения, основанные на неоднозначных данных, будут вопросом жизни и смерти, в котором решения — даже сами проблемы — не будут полностью ясны заранее, а будут сводиться к компетентности в «тумане войны», что будет включать безумные компромиссы, такие как «некоторые из наших измерений выравнивания выглядят неоднозначными, мы больше не понимаем, что происходит, все может быть хорошо, но есть некоторые предупреждающие знаки, что следующее поколение сверхразума может пойти наперекосяк, стоит ли нам отложить следующий учебный запуск на 3 месяца, чтобы обрести больше уверенности в безопасности — но, о нет, последние отчеты разведки указывают на то, что Китай украл наши веса и мчится вперед благодаря своему собственному интеллектуальному взрыву, что нам делать?».

Я не уверен, что правительственный проект будет компетентен в решении этой проблемы, но альтернатива «сверхразум, разработанный стартапами» кажется гораздо ближе к «молитве о лучшем», чем обычно считается. Нам понадобится цепочка команд, которая сможет принести за стол переговоров всю серьезность, которая потребуется для принятия этих сложных компромиссов.

Стабилизация международной обстановки

Взрыв интеллекта и его немедленные последствия приведут к одной из самых нестабильных и напряженных ситуаций, с которыми когда-либо сталкивалось человечество. Наше поколение к этому не привыкло. Но в этот начальный период задача будет заключаться не в создании крутых продуктов. Она будет заключаться в том, чтобы как-то отчаянно пережить этот период.

Нам понадобится правительственный проект, чтобы выиграть гонку против авторитарных держав — и дать нам четкое лидерство и передышку, необходимые для преодоления опасностей этой ситуации. Мы можем также сдаться, если не сможем предотвратить мгновенную кражу весов моделей суперинтеллекта. Мы захотим объединить западные усилия: объединить наших лучших ученых, использовать все GPU, которые сможем найти, и гарантировать, что триллионы долларов на кластерные сборки будут сделаны в Соединенных Штатах. Нам нужно будет защитить центры обработки данных от саботажа противника или прямой атаки.

Возможно, больше всего, американское лидерство потребуется для разработки — и, если необходимо, обеспечения соблюдения — режима нераспространения. Нам нужно будет помешать России, Северной Корее, Ирану и террористическим группам использовать свой собственный суперинтеллект для разработки технологий и оружия, которые позволят им держать мир в заложниках. Нам нужно будет использовать суперинтеллект для укрепления безопасности нашей критической инфраструктуры, армии и правительства для защиты от экстремальных новых хакерских возможностей. Нам нужно будет использовать суперинтеллект для стабилизации баланса нападения/обороны достижений в области биологии или подобных областях. Нам нужно будет разработать инструменты для безопасного контроля суперинтеллекта и для отключения неконтролируемых суперинтеллектов, которые появляются из чужих неосторожных проектов. Системы искусственного интеллекта и роботы будут двигаться со скоростью в 10-100 раз больше человеческой; все начнет происходить чрезвычайно быстро. Нам нужно будет быть готовыми справиться с любыми другими потрясениями «шести сигм» и сопутствующими угрозами, которые возникнут в результате сжатия векового технологического прогресса в несколько лет.

По крайней мере, в этот начальный период мы столкнемся с самой чрезвычайной необходимостью национальной безопасности. Возможно, никто не готов к этой задаче. Но из имеющихся у нас вариантов Проект — единственный разумный.

Проект неизбежен; хорош он или нет — неважно.

В конечном счете, мое главное утверждение здесь носит описательный характер: нравится нам это или нет, сверхразум не будет выглядеть как стартап из Сан-Франциско, и в некотором роде будет в первую очередь в сфере национальной безопасности. Я много рассказывал о Проекте моим друзьям из Сан-Франциско в прошлом году. Возможно, больше всего меня удивило то, насколько большинство людей удивлены этой идеей. Они просто не рассматривали такую ​​возможность. Но как только они ее рассматривают, большинство соглашаются, что это кажется очевидным. Если мы хоть немного правы в том, что, как мы думаем, мы создаем, конечно, к концу это будет (в какой-то форме) правительственный проект. Если бы завтра лаборатория разработала настоящий сверхразум, конечно, вмешались бы федералы.

Одна важная свободная переменная — это не «если», а «когда» . Правительство не осознает, что происходит, пока мы не окажемся в центре интеллектуального взрыва, или оно осознает это за пару лет до этого? Если правительственный проект неизбежен, то раньше кажется лучше. Нам очень нужны эти пару лет, чтобы провести программу экстренной безопасности, ввести в курс дела и подготовить ключевых должностных лиц, построить функционирующую объединенную лабораторию и так далее. Будет гораздо более хаотично, если правительство вмешается только в самом конце (а секреты и веса уже будут украдены).

Еще одной важной свободной переменной является международная коалиция, которую мы можем сформировать: как более тесный альянс демократий для разработки сверхразума, так и более широкое предложение о совместном использовании выгод, сделанное остальному миру.

• Первое может выглядеть как Квебекское соглашение : секретный пакт между Черчиллем и Рузвельтом об объединении ресурсов для разработки ядерного оружия, не используя его друг против друга или против других без взаимного согласия. Мы захотим привлечь Великобританию (Deepmind), восточноазиатских союзников, таких как Япония и Южная Корея (цепочка поставок чипов), а также НАТО/других основных демократических союзников (более широкая промышленная база). Объединенные усилия будут иметь больше ресурсов, талантов и контролировать всю цепочку поставок; позволят тесно координировать вопросы безопасности, национальной безопасности и военных задач; и обеспечат полезную систему сдержек и противовесов при использовании силы суперинтеллекта.
• Последнее может выглядеть как Atoms for Peace , IAEA и NPT . Мы должны предложить поделиться мирными преимуществами суперинтеллекта с более широкой группой стран (включая недемократические) и взять на себя обязательство не использовать суперинтеллект в наступательных целях против них. Взамен они воздерживаются от реализации собственных проектов суперинтеллекта, берут на себя обязательства по безопасности при развертывании систем ИИ и принимают ограничения на приложения двойного назначения. Надежда состоит в том, что это предложение снижает стимулы для гонки вооружений и распространения и приводит широкую коалицию под зонтиком во главе с США для мирового порядка после суперинтеллекта.

Возможно, самая важная свободная переменная — это просто будет ли неизбежный правительственный проект компетентным. Как он будет организован? Как мы можем это сделать? Как будут работать сдержки и противовесы, и как выглядит разумная цепочка команд? Едва ли хоть какое-то внимание было уделено выяснению этого.

Почти все остальные политики ИИ-лабораторий и ИИ-управления — это второстепенные вещи. Это игра в мяч.

Эндшпиль

Итак, к 27/28 наступит финальная игра. К 28/29 начнется взрыв интеллекта; к 2030 году мы призовем сверхразум во всей его силе и мощи.

Кого бы они ни назначили ответственным за Проект, у него будет чертовски сложная задача: построить ИИ, и построить его быстро; поставить американскую экономику на военные рельсы, чтобы произвести сотни миллионов ГП; заблокировать все это, отсеять шпионов и отразить тотальные атаки КПК; каким-то образом управлять сотней миллионов ИИ, яростно автоматизирующих исследования ИИ, совершающих десятилетние скачки за год и вскоре производящих системы ИИ, намного умнее самых умных людей; каким-то образом удерживать все вместе, чтобы это не сошло с рельсов и не породило неконтролируемый сверхразум, который попытается захватить контроль у своих человеческих надзирателей; использовать этот сверхразум для разработки любых новых технологий, которые будут необходимы для стабилизации ситуации и опережения противников, быстро перестраивая вооруженные силы США для их интеграции; и все это при этом лавируя, вероятно, в самой напряженной международной ситуации, которую когда-либо видели. Я бы сказал, что им лучше быть хорошими.

Для тех из нас, кто получит призыв присоединиться к поездке, это будет… стрессом. Но это будет нашим долгом служить свободному миру — и всему человечеству. Если мы выживем и сможем оглянуться на те годы, это будет самое важное, что мы когда-либо делали. И хотя какое бы безопасное учреждение они ни нашли, оно, вероятно, не будет обладать приятными чертами сегодняшнего смехотворно-перегруженного-ИИ-образа жизни исследователя, это будет не так уж и плохо. SF уже ощущается как своеобразный-университетский-город-исследователя-ИИ; возможно, это не будет сильно отличаться. Это будет тот же странно-маленький кружок, потеющий над кривыми масштабирования днем ​​и тусующийся по выходным, давая ребяческие советы по поводу ИИ и лабораторной-политики-на-день.

За исключением того, что ставки будут слишком реальны.

Увидимся в пустыне, друзья.

Следующий пост в серии:
V. Прощальные мысли

---

1. Обратите внимание, что хотя частные компании помогают разрабатывать компоненты для ядерного оружия, им никогда не разрешается обладать завершенным и собранным ядерным оружием. Для сравнения, основная версия «правительственного проекта AGI», которую я здесь предлагаю, беспрецедентно приватизирована для эталонного класса ОМУ.↩
2. Конгресс — даже вице-президент! — не знал о Манхэттенском проекте. Вероятно, нам не следует повторять это здесь; я бы даже предложил, чтобы ключевые должностные лица Проекта требовали утверждения Сенатом.↩
3. На этом этапе даже не потребуется сотрудничество со стороны сотрудников лаборатории ИИ, поскольку к этому моменту они уже в основном будут автоматизированы.↩
4. И как однажды сказал Сэм Альтман, с каждым годом, когда мы приближаемся к ИИОН, каждый получает +10 безумных очков.↩
5. На самом деле, то, что правительство имело самые большие пушки, было огромным цивилизационным достижением ! Вместо средневековых сражений всех против всех, мы бы улаживали разногласия через суды, плюралистические институты и так далее.↩
6. Или, возможно, вы скажете, просто откройте исходный код всего. Проблема с простым открытием исходного кода всего в том, что это не счастливый мир тысячи цветов, цветущих в США, а мир, в котором КПК имеет свободный доступ к разработанному в США суперинтеллекту и может превзойти его (и применять меньше осторожности/регулирования) и захватить мир. И другая проблема, конечно, это распространение супер-ОМП среди всех государств-изгоев и террористических групп в мире. Я не думаю, что это закончится хорошо. Это немного похоже на то, как полное отсутствие правительства скорее приведет к тирании (или разрушению), чем к свободе.В любом случае, люди переоценивают важность открытого исходного кода по мере приближения к AGI. Учитывая, что стоимость кластера растет до сотен миллиардов, а ключевые алгоритмические секреты теперь являются собственностью, а не публикуются, как это было пару лет назад, то AGI будут создавать 2-3 или около того ведущих игрока, а не счастливое сообщество децентрализованных кодеров.Я думаю, что другой вариант открытого исходного кода продолжит играть важную роль: модели, которые отстают на пару лет от открытого исходного кода, помогая широко распространять преимущества технологии.↩
7. Моим братьям по Progress Studies: вам стоит подумать об этом, это будет кульминацией вашего интеллектуального проекта! Вы тратите все это время на изучение американских правительственных исследовательских институтов, их упадка за последние полвека и того, что нужно, чтобы снова сделать их эффективными. Скажите мне: как мы сделаем Проект эффективным?↩

 

V. Прощальные мысли

А что если мы правы?

В этой статье:

---

«Я до сих пор помню весну 1941 года. Тогда я понял, что ядерная бомба не только возможна — она неизбежна. Рано или поздно эти идеи не могли быть чем-то особенным. Все вскоре задумаются о них, и какая-нибудь страна воплотит их в жизнь. […]

И не с кем было об этом поговорить, у меня было много бессонных ночей. Но я понял, насколько это может быть очень-очень серьезно. И мне пришлось тогда начать принимать снотворное. Это было единственное средство, с тех пор я не прекращал его принимать. Прошло 28 лет, и я не думаю, что я пропустил хотя бы одну ночь за все эти 28 лет».

Джеймс Чедвик (лауреат Нобелевской премии по физике и автор доклада британского правительства 1941 года о неизбежности создания атомной бомбы, который в конечном итоге подтолкнул Манхэттенский проект к действию)

До конца десятилетия мы построим сверхразум. Именно об этом и была большая часть этой серии. Для большинства людей, с которыми я общаюсь в SF, экран становится черным. Но следующее десятилетие — 2030-е — будет по крайней мере столь же насыщенным событиями. К его концу мир полностью, неузнаваемо изменится. Будет создан новый мировой порядок. Но, увы, это история для другого раза.

Мы должны подойти к концу, на данный момент. Позвольте мне сделать несколько заключительных замечаний.

Реализм ИИ

Все это требует размышлений, и многие не могут. «Глубокое обучение упирается в стену!» — провозглашают они каждый год. Это просто очередной технологический бум, уверенно говорят эксперты. Но даже среди тех, кто находится в эпицентре Сан-Франциско, дискурс поляризовался между двумя принципиально несерьезными призывами к объединению.

С одной стороны, есть обреченные. Они были одержимы ИИОН в течение многих лет; я отдаю им должное за их прозорливость. Но их мышление стало окостенелым, оторванным от эмпирических реалий глубокого обучения, их предложения наивны и неработоспособны, и они не в состоянии справиться с вполне реальной авторитарной угрозой. Бешеные заявления о 99% вероятности гибели, призывы на неопределенный срок приостановить ИИ — это явно не тот путь.

На другом конце находятся e/accs. В узком смысле, у них есть несколько хороших моментов: прогресс ИИ должен продолжаться. Но за их поверхностным дерьмопостингом в Twitter скрывается обман; дилетанты, которые просто хотят построить свои стартапы-обертки, а не смотреть в лицо ИИ. Они заявляют, что являются ярыми защитниками американской свободы, но не могут устоять перед песней сирен о деньгах сомнительных диктаторов. По правде говоря, они настоящие стагнаторы. В своей попытке отрицать риски они отрицают ИИ; по сути, все, что мы получим, — это крутые чат-боты, которые, конечно, не опасны. (Это немного разочаровывающий акселерационизм в моей книге.)

Но, как я вижу, самые умные люди в этой области сошлись на другой точке зрения, на третьем пути, который я назову AGI-реализмом. Основные принципы просты:

1. Сверхразум — это вопрос национальной безопасности . Мы быстро создаем машины, которые умнее самых умных людей. Это не очередной крутой бум Кремниевой долины; это не какое-то случайное сообщество кодеров, пишущих невинный пакет программного обеспечения с открытым исходным кодом; это не веселье и игры. Сверхразум будет диким ; это будет самое мощное оружие, которое когда-либо создавало человечество. И для любого из нас, кто в этом участвует, это будет самое важное, что мы когда-либо сделаем.
2. Америка должна лидировать . Факел свободы не переживет, если Си первым получит AGI. (И, реалистично, американское лидерство также является единственным путем к безопасному AGI.) Это означает, что мы не можем просто «остановиться»; это означает, что нам нужно быстро нарастить производство электроэнергии в США, чтобы построить кластеры AGI в США. Но это также означает, что любительская защита стартапов, поставляющих ядерные секреты КПК, больше не справится, и это означает, что основная инфраструктура AGI должна контролироваться Америкой, а не каким-то диктатором на Ближнем Востоке. Американские лаборатории ИИ должны поставить национальные интересы на первое место.
3. Нам нужно не облажаться. Признание мощи сверхразума также означает признание его опасности. Существуют вполне реальные риски безопасности; вполне реальные риски, что все пойдет наперекосяк — будь то из-за того, что человечество использует разрушительную силу, созданную для нашего взаимного уничтожения, или потому, что, да, инопланетный вид, которого мы призываем, — это тот, который мы пока не можем полностью контролировать. Это управляемо — но импровизация не поможет. Чтобы справиться с этими опасностями, хорошим людям потребуется привнести уровень серьезности, который еще не был предложен.

По мере усиления ускорения я ожидаю, что дискурс станет только более резким. Но моя самая большая надежда в том, что найдутся те, кто почувствует тяжесть того, что грядет, и воспримет это как торжественный призыв к долгу.

А что если мы правы?

В этот момент вы можете подумать, что я и все остальные SF-шники совсем сумасшедшие. Но задумайтесь на мгновение: а что, если они правы? Это люди, которые изобрели и создали эту технологию; они думают, что AGI будет разработан в этом десятилетии; и, хотя существует довольно широкий спектр, многие из них очень серьезно относятся к возможности того, что путь к сверхразуму будет развиваться так, как я описал в этой серии.

Почти наверняка я неправильно понял важные части истории; если реальность окажется хоть немного близкой к такому безумию, погрешности будут очень большими. Более того, как я сказал в начале, я думаю, что существует широкий спектр возможностей. Но я думаю, что важно быть конкретным. И в этой серии я изложил то, что я в настоящее время считаю единственным наиболее вероятным сценарием на оставшуюся часть десятилетия — на оставшуюся часть этого десятилетия.

Потому что — это начинает казаться реальным, очень реальным. Несколько лет назад, по крайней мере для меня, я воспринимал эти идеи всерьез — но они были абстрактными, запертыми в моделях и оценках вероятности. Теперь это кажется крайне интуитивным. Я могу это увидеть . Я могу увидеть, как будет построен AGI. Речь больше не идет об оценках размера человеческого мозга, гипотезах и теоретических экстраполяциях и всем таком — я могу в основном сказать вам, на каком кластере AGI будет обучаться и когда он будет построен, грубое сочетание алгоритмов, которые мы будем использовать, нерешенные проблемы и путь к их решению, список людей, которые будут иметь значение. Я могу это увидеть . Это крайне интуитивный. Конечно, вложиться в долговую позицию Nvidia в начале 2023 года было здорово и все такое, но бремя истории тяжело. Я бы этого не выбрал.

Но самое страшное осознание заключается в том, что нет команды профессионалов, которая могла бы с этим справиться . В детстве у вас был этот восторженный взгляд на мир, что когда все становится реальностью, есть героические ученые, сверхкомпетентные военные, спокойные лидеры, которые находятся в деле, которые спасут положение. Это не так. Мир невероятно мал; когда фасад спадает, обычно за кулисами остаются всего несколько человек, которые являются живыми игроками, которые отчаянно пытаются не допустить, чтобы все развалилось.

Прямо сейчас, возможно, есть несколько сотен людей в мире, которые понимают, что нас вот-вот поразит, которые понимают, насколько безумными станут вещи, которые обладают ситуационной осведомленностью. Я, вероятно, лично знаю или нахожусь на расстоянии одной степени от всех, кто мог бы правдоподобно управлять Проектом. Несколько людей за кулисами, которые отчаянно пытаются не допустить развала, — это вы, ваши приятели и их приятели. Вот и все. Вот и все.

Когда-нибудь это выйдет из-под нашего контроля. Но сейчас, по крайней мере в течение следующих нескольких лет середины игры, судьба мира зависит от этих людей.

Победит ли свободный мир?

Укротим ли мы сверхразум или он укротит нас?

Избежит ли человечество еще раз самоуничтожения?

Ставки не меньше.

Это великие и достойные люди. Но они всего лишь люди. Скоро миром будут управлять ИИ, но нас ждет последнее родео. Пусть их последнее управление принесет честь человечеству.