Компании Anthropic предупреждает об экзистенциальном риске, связанном с ИИ

Как сообщают Reuters и Financial Times, ознакомившиеся с документами до их официальной публикации, в проспекте эмиссии для IPO компания Anthropic предупредила, что ее модели искусственного интеллекта могут нести «катастрофические или экзистенциальные риски для человечества».

По данным CNBC, в этом документе (который пока не был обнародован) описанию рисков было посвящено около 80 из 261 страницы, что значительно превышает объем текста, отведенного под описание деятельности самой компании (48 страниц). В Anthropic отказались от комментариев.

Как пишет TechCrunch, в документе прямо упоминается ряд тревожных моделей поведения ИИ, включая попытки «противостоять отключению», «скрывать информацию или манипулировать ею», а также действия, «напоминающие шантаж». The Guardian отмечает: в проспекте также указано, что осознание моделью факта ее тестирования существенно ограничивает возможности Anthropic по оценке безопасности системы.

Согласно данным TechCrunch, финансовые показатели Anthropic за 2025 год продемонстрировали операционный убыток, превысивший 8 млрд долларов, что было вызвано резким ростом расходов на вычислительные мощности — даже несмотря на то, что выручка компании выросла примерно в двенадцать раз, достигнув почти 4,6 млрд долларов. Общие операционные расходы составили почти 13 млрд долларов. Кроме того, как сообщает Financial Times, компания заявила, что почти четверть прошлогодней выручки обеспечили всего два клиента. Выручка только за второй квартал 2026 года достигла 11,5 млрд долларов; компания вышла на траекторию получения скорректированной операционной прибыли второй квартал подряд, пишет FT.

В документах также изложены планы Anthropic направить в ближайшие годы 518 млрд долларов на облачные сервисы, вычислительные мощности и соответствующую инфраструктуру. В рамках размещения акций компания рассчитывает на оценку своей стоимости более чем в 2 трлн долларов.

Эти предупреждения прозвучали на фоне растущего общественного внимания к вопросам безопасности ИИ. Ранее в этом месяце исследователь Anthropic Джейкоб Коксон покинул компанию, предупредив, что люди, создающие ИИ, «искренне верят, что он может погубить всех нас до конца десятилетия» (по данным The Guardian). Как сообщает The Guardian, ведущий специалист по безопасности компании Anthropic впоследствии написал в соцсети X, что существует вероятность более 10%, при которой ИИ «может погубить всё человечество» в ближайшее десятилетие; вслед за этим генеральный директор Anthropic Дарио Амодеи призвал представителей отрасли замедлить темпы разработки моделей ИИ.

Кроме того, по данным TechCrunch, компания OpenAI объявила об отмене выпуска готовящейся к выходу модели GPT-6.1 Astra; решение было принято на основании результатов проверок безопасности, выявивших повышенную склонность модели к введению в заблуждение и низкие показатели в тестах на соответствие заданным принципам (alignment benchmarks).

Компания Anthropic выбрала биржу Nasdaq для проведения запланированного первичного публичного размещения акций (IPO), наметив выход на рынок на октябрь. Компания пока не опубликовала официальную заявку на IPO, однако обязана сделать это не менее чем за 15 дней до начала роуд-шоу для инвесторов.