Разработчик Anthropic о текущей политике использования ИИ в гражданских и военных целях

Ген. директор Anthropic о работе их ИИ-модели на Пентагон:

1. Мы против слежки за американцами, а за остальным миром - ок (и уже следим).

2. Мы против полностью автономных дронов убивающих людей, т.к. они ещё недостаточно хороши (а Пентагон считает что приемлемо).

Заявление Дарио Амодея о наших обсуждениях с Министерством войны

Я глубоко убеждён в экзистенциальной важности использования ИИ для защиты Соединённых Штатов и других демократий и для победы над нашими автократическими противниками.

Поэтому Anthropic проактивно работала над развёртыванием наших моделей в Министерстве войны и в разведывательном сообществе. Мы стали первой компанией, создающей передовые ИИ-системы, которая развернула свои модели в засекреченных сетях правительства США, первой — в Национальных лабораториях, и первой — предоставила кастомные модели для клиентов в сфере национальной безопасности. Claude широко используется в Министерстве войны и других ведомствах нацбезопасности для критически важных задач: анализа разведданных, моделирования и симуляций, оперативного планирования, киберопераций и многого другого.

Anthropic также действовала, чтобы защищать лидерство Америки в ИИ, даже когда это противоречит краткосрочным интересам компании. Мы решили отказаться от нескольких сотен миллионов долларов выручки, чтобы прекратить использование Claude фирмами, связанными с Коммунистической партией Китая (некоторые из них Министерство войны обозначило как китайские военные компании), пресекли спонсируемые КПК кибератаки, которые пытались злоупотреблять Claude, и выступали за жёсткий экспортный контроль на чипы, чтобы обеспечить преимущество демократий.

Anthropic понимает, что военные решения принимает Министерство войны, а не частные компании. Мы никогда не высказывали возражений против конкретных военных операций и не пытались ограничивать использование нашей технологии ситуативно и по частным случаям.

Однако в узком наборе ситуаций мы считаем, что ИИ может не защищать, а подрывать демократические ценности. Некоторые варианты применения также просто выходят за пределы того, что нынешние технологии способны делать безопасно и надёжно. Два таких сценария никогда не включались в наши контракты с Министерством войны, и мы считаем, что их не следует включать и сейчас:

1. Массовая внутренняя слежка. Мы поддерживаем использование ИИ для законных задач внешней разведки и контрразведки. Но применение таких систем для массовой слежки внутри страны несовместимо с демократическими ценностями. Массовая слежка на базе ИИ создаёт серьёзные, новые риски для наших фундаментальных свобод. В той мере, в какой такая слежка сегодня законна, это лишь потому, что право ещё не успело за стремительно растущими возможностями ИИ. Например, по действующему законодательству государство может покупать из открытых источников подробные записи о перемещениях американцев, их интернет-активности и связях без получения ордера — практика, о которой разведсообщество признаёт, что она вызывает обеспокоенность в части приватности, и которая встретила двухпартийное сопротивление в Конгрессе. Мощный ИИ позволяет автоматически и в огромном масштабе собирать эти разрозненные, по отдельности безобидные данные в целостную картину жизни любого человека.

2. Полностью автономное оружие. Частично автономные системы вооружений — такие, как те, что применяются сегодня в Украине, — жизненно важны для защиты демократии. Даже полностью автономное оружие (то есть такое, где человек полностью выведен из контура и автоматизированы выбор и поражение целей) может оказаться критически важным для нашей национальной обороны. Но на сегодняшний день передовые ИИ-системы просто недостаточно надёжны, чтобы служить основой полностью автономного оружия. Мы не будем сознательно предоставлять продукт, который подвергает риску американских военнослужащих и гражданских. Мы предлагали напрямую сотрудничать с Министерством войны в НИОКР, чтобы повысить надёжность таких систем, но они не приняли это предложение. Кроме того, без надлежащего надзора полностью автономному оружию нельзя доверять осуществление критически важного суждения, которое наши хорошо обученные профессиональные войска демонстрируют каждый день. Такое оружие должно развёртываться при наличии правильных ограничителей и “предохранителей”, которых сегодня не существует.

Насколько нам известно, эти два исключения до сих пор не были препятствием для ускорения внедрения и использования наших моделей в вооружённых силах.

Министерство войны заявило, что будет заключать контракты только с ИИ-компаниями, которые согласятся на «любое законное использование» и уберут предохранители в упомянутых выше случаях. Они угрожали удалить нас из своих систем, если мы сохраним эти предохранители; также они угрожали обозначить нас как «риск для цепочки поставок» — ярлык, предназначенный для противников США и никогда ранее не применявшийся к американской компании — и задействовать Закон об оборонном производстве (Defense Production Act), чтобы принудительно снять предохранители. Две последние угрозы внутренне противоречат друг другу: одна называет нас угрозой безопасности; другая — объявляет Claude необходимым для национальной безопасности.

В любом случае эти угрозы не меняют нашу позицию: мы не можем по совести согласиться с их требованием.

Министерство вправе выбирать подрядчиков, которые больше всего разделяют его видение. Но, учитывая существенную ценность, которую технологии Anthropic дают нашим вооружённым силам, мы надеемся, что они пересмотрят решение. Мы больше всего хотели бы продолжать работать с Министерством и поддерживать наших военнослужащих — при сохранении двух запрошенных нами предохранителей. Если Министерство решит вывести Anthropic из своих систем, мы будем содействовать плавному переходу к другому поставщику, избегая любых сбоев в текущем военном планировании, операциях или других критически важных миссиях. Наши модели будут доступны на предложенных нами широких условиях столько, сколько потребуется.

Мы по-прежнему готовы продолжать работу в поддержку национальной безопасности Соединённых Штатов.