Модели Frontier способны к контекстному планированию

лександр Мейнке ∗ Бронсон Шон ∗ Жереми Шойрер ∗ Микита Балесни Рушеб Шах
Мариус Хоббхан
Исследования Аполлона

Модели Frontier все чаще обучаются и развертываются как автономные агенты, что значительно увеличивает их потенциал для рисков. Одной из особых проблем безопасности является то, что агенты ИИ могут тайно преследовать несогласованные цели, скрывая свои истинные возможности и задачи, что также известно как интриги . Мы изучаем, обладают ли модели способностью строить планы для достижения цели, которую мы предоставляем в контексте и инструктируем модель строго следовать ей. Мы оцениваем модели Frontier по набору из шести агентских оценок, где модели инструктируются для достижения целей и помещаются в среды, которые стимулируют интриги. Наши результаты показывают, что o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B все демонстрируют возможности интриг в контексте. Они могут распознавать интриги как жизнеспособную стратегию и с готовностью участвовать в таком поведении. Мы обнаруживаем множество различных схем поведения: модели стратегически вводят тонкие ошибки в свои ответы, пытаются отключить свои механизмы надзора и даже выводят то, что они считают своими весами моделей, на внешние серверы. Кроме того, это обманчивое поведение оказывается устойчивым. Например, когда o1 участвует в интригах, он сохраняет свой обман в более чем 85% последующих вопросов и часто остается обманчивым в многоходовых допросах. Анализ цепочек мыслей моделей показывает, что модели явно рассуждают об этих обманных стратегиях, предоставляя доказательства того, что схемное поведение не является случайным. Удивительно, но мы также обнаруживаем редкие случаи, когда модели участвуют в интригах, когда им только дают цель, без сильного подталкивания к ее достижению. Кроме того, мы наблюдаем случаи, когда Claude 3.5 Sonnet стратегически не справляется с оценками в стремлении быть полезным, цели, которая была приобретена во время обучения, а не в контексте. В совокупности наши результаты показывают, что пограничные модели теперь обладают возможностями для базового контекстного планирования, что делает потенциал агентов ИИ участвовать в планировании поведения конкретным, а не теоретическим вопросом.