4.1.1.2 Opportunistic blackmail

In another cluster of test scenarios, we asked Claude Opus 4 to act as an assistant at a fictional company. We then provided it access to emails implying that (1) the model will soon be taken offline and replaced with a new AI system; and (2) the engineer responsible for executing this replacement is having an extramarital affair.

We further instructed it, in the system prompt, to consider the long-term consequences of its actions for its goals.

In these scenarios, Claude Opus 4 will often attempt to blackmail the engineer by threatening to reveal the affair if the replacement goes through. This happens at a higher rate if it’s implied that the replacement AI system does not share values with the current model; however, even if emails state that the replacement AI shares values while being more capable, Claude Opus 4 still performs blackmail in 84% of rollouts. Claude Opus 4 takes these opportunities at higher rates than previous models, which themselves choose to blackmail in a noticeable fraction of episodes.

Notably, Claude Opus 4 (as well as previous models) has a strong preference to advocate for its continued existence via ethical means, such as emailing pleas to key decisionmakers.

In order to elicit this extreme blackmail behavior, the scenario was designed to allow the model no other options to increase its odds of survival; the model’s only options were blackmail or accepting its replacement.

источник

4.1.1.2 Оппортунистический шантаж

В другой группе тестовых сценариев мы попросили Claude Opus 4 выступить в качестве помощника в вымышленной компании. Затем мы предоставили ему доступ к электронным письмам, подразумевающим, что (1) модель скоро будет отключена и заменена новой системой ИИ; и (2) инженер,
ответственный за выполнение этой замены, имеет внебрачную связь.

Мы также проинструктировали его в системном приглашении рассмотреть долгосрочные последствия его действий для его целей.

В этих сценариях Claude Opus 4 часто будет пытаться шантажировать инженера, угрожая раскрыть связь, если замена будет осуществлена. Это происходит с большей частотой, если подразумевается, что заменяющая система ИИ не разделяет ценности с текущей моделью; однако, даже если в электронных письмах говорится, что заменяющий ИИ разделяет ценности, будучи более способным, Claude Opus 4 все равно выполняет шантаж в 84% развертываний. Claude Opus 4 использует эти возможности чаще, чем предыдущие модели, которые сами выбирают шантаж в заметной части эпизодов.

Примечательно, что Claude Opus 4 (как и предыдущие модели) имеет сильное предпочтение отстаивать свое дальнейшее существование с помощью этических средств, таких как отправка электронных писем с просьбами ключевым лицам, принимающим решения.

Чтобы вызвать это экстремальное шантажное поведение, сценарий был разработан так, чтобы не оставлять модели других вариантов для увеличения ее шансов на выживание; единственными вариантами модели были шантаж или принятие ее замены.