Манифест чела объявленного Пентагоном вне закона

Тут в новостях появилась новость о том, что Пентагон забанил одного техно деятеля с его ИИ поделием (которым активно сам же пользовался до того как).

Пару лет назад читал его опус, на Тему - думаю читателям АШ будет интересно, ибо там поднимаются вечные вопросики типа "красное" и/или "белое" (нет, не про винный шмурдяк) только в глобальном масштабе, к тому же он там себя обзывает осведомленным любителем в области экономического развития, как и мы все тут в общем то.

Текст длинный и понимаю, что привыкшим к потокам когнитивной дряни коротявок из современных "интернет" платформ вроде телесрама или к роликами с трындежом с ты-тупа людям будет тяжело прочитать все (а многим и некогда), поэтому сделал выжимку (вручную!) с ключевыми моментами, ну и по тексту жирненьким выделил тоже.

Ключевое:

- ИИ будет связан (точнее местами уже) с физическим миром, но будет ограничен "скоростью" отклика физического мира 

- Хаотические (по настоящему, а не в управляемом  режиме) системы для ИИ это проблема.

- жирный намек на конкурентов из фармы - ( активно вредные человеческие структуры с клиническими испытаниями , бгг) 

- прогресс в биотехе продлит биоцикл до 150-200 лет, но чел адекватно задается вопросиком - а что делать с изменением пропорции трудоспособных и пенсионеров, без изменения экономической формации (например вроде "запретов" молодняку "работать" на позициях, которые могут занимать старики) не будет работать

- второй аспект на который давит в Теме это прогресс в нейробиотехе будет нужен в основном, чтобы ускорить "мозг" ( и речь не про чашку кофе хе хе ) 

- но на самом деле можете листать до разделов 3 и 4, 5 ( Экономическое развитие и бедность, Мир и Управление, Работа и Смысл ) и читать их целиком, самый жир там.

Воняет Фукуямой, но дает хорошее представление, что в башке у. ( увы ничего нового - анти-госплан, децентрализация и препараты для улучшения когнитивных способностей).

вот перевод на русский. 

Источник - https://darioamodei.com/essay/machines-of-loving-grace

Полный текст:

Я много думаю и говорю о рисках, связанных с мощным искусственным интеллектом. Компания Anthropic, генеральным директором которой я являюсь, проводит много исследований по снижению этих рисков. Из-за этого люди иногда делают вывод, что я пессимист или «пессимист», считающий, что ИИ будет в основном плохим или опасным. Я так совсем не думаю. На самом деле, одна из главных причин, по которой я сосредотачиваюсь на рисках, заключается в том, что это единственное, что отделяет нас от того, что я считаю принципиально позитивным будущим. Я думаю, что большинство людей недооценивают, насколько радикальным может быть потенциал искусственного интеллекта , так же как, я думаю, большинство людей недооценивают, насколько серьезными могут быть риски.

В этом эссе я пытаюсь наметить, как может выглядеть этот позитивный сценарий — как может выглядеть мир с мощным ИИ, если всё пойдёт по плану . Конечно, никто не может знать будущее с какой-либо уверенностью или точностью, и последствия мощного ИИ, вероятно, будут ещё более непредсказуемыми, чем прошлые технологические изменения, поэтому всё это неизбежно будет состоять из предположений. Но я стремлюсь, по крайней мере, к обоснованным и полезным предположениям, которые отражают суть того, что произойдёт, даже если большинство деталей окажутся неверными. Я включаю много деталей главным образом потому, что считаю, что конкретное видение способствует развитию дискуссии больше, чем сильно расплывчатое и абстрактное.

Однако сначала я хотел бы кратко объяснить, почему мы с Anthropic не так много говорили о преимуществах мощного ИИ и почему мы, вероятно, продолжим в целом много говорить о рисках. В частности, я сделал этот выбор из желания:

Максимизируйте влияние . Фундаментальное развитие технологий искусственного интеллекта и многие (но не все) его преимущества кажутся неизбежными (если только риски не подорвут все планы) и в основе своей обусловлены мощными рыночными силами. С другой стороны, риски не предопределены, и наши действия могут значительно изменить вероятность их возникновения.

Избегайте восприятия этого как пропаганды . Рассказы компаний, занимающихся ИИ, обо всех его удивительных преимуществах могут восприниматься как пропаганда или как попытка отвлечь внимание от недостатков. Я также считаю, что в принципе вредно тратить слишком много времени на «рассказывание о своих достижениях».

Избегайте высокомерия . Меня часто отталкивает то, как многие известные деятели, рискующие в сфере ИИ (не говоря уже о руководителях компаний, занимающихся ИИ), говорят о мире после внедрения общего искусственного интеллекта, как будто их миссия состоит в том, чтобы в одиночку осуществить это, подобно пророку, ведущему свой народ к спасению. Я считаю опасным рассматривать компании как в одностороннем порядке формирующих мир, и опасно рассматривать практические технологические цели в сугубо религиозном ключе.

Избегайте «научно-фантастического» багажа . Хотя я думаю, что большинство людей недооценивают потенциал мощного ИИ, небольшое сообщество людей, обсуждающих радикальные сценарии будущего с ИИ, часто делает это в чрезмерно «научно-фантастическом» тоне (например, с использованием загруженного сознания, освоения космоса или общей киберпанковской атмосферы). Я думаю, это заставляет людей воспринимать эти утверждения менее серьезно и придавать им некую нереальность. Чтобы было ясно, проблема не в том, возможны ли или вероятны описанные технологии (это подробно обсуждается в основном эссе), а скорее в том, что «атмосфера» подразумевает целый ряд культурных стереотипов и невысказанных предположений о том, какое будущее желательно, как будут развиваться различные социальные проблемы и т. д. В результате часто получается фантазия для узкой субкультуры, которая отталкивает большинство людей.

Однако, несмотря на все вышеперечисленные опасения, я действительно считаю важным обсудить, как мог бы выглядеть хороший мир с мощным ИИ, стараясь при этом избегать вышеупомянутых ловушек. На самом деле, я считаю крайне важным иметь по-настоящему вдохновляющее видение будущего, а не просто план по борьбе с проблемами. Многие последствия мощного ИИ носят конфликтный или опасный характер, но в конечном итоге должно быть что-то, за что мы боремся , какой-то положительный результат, в котором всем станет лучше, что-то, что сплотит людей, чтобы они поднялись над своими разногласиями и противостояли предстоящим вызовам. Страх — это один из видов мотивации, но его недостаточно: нам нужна еще и надежда.

Список позитивных применений мощного ИИ чрезвычайно длинный (и включает в себя робототехнику, производство, энергетику и многое другое), но я собираюсь сосредоточиться на небольшом количестве областей, которые, на мой взгляд, обладают наибольшим потенциалом для непосредственного улучшения качества жизни людей. Пять категорий, которые меня больше всего интересуют:

- Биология и физическое здоровье
- Нейробиология и психическое здоровье
- Экономическое развитие и бедность
- Мир и управление
- Работа и смысл

Мои прогнозы будут радикальными, если судить по большинству стандартов (за исключением научно-фантастических представлений о «сингулярности») .
), но я говорю это искренне и от всего сердца. Всё, что я говорю, может быть совершенно неверным (повторюсь выше), но я, по крайней мере, попытался обосновать свои взгляды полуаналитической оценкой того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло иметь профессиональный опыт как в биологии, так и в нейробиологии , и я являюсь осведомленным любителем в области экономического развития, но я уверен, что допущу много ошибок. Написание этого эссе заставило меня осознать, что было бы полезно собрать группу экспертов в данной области (в биологии, экономике, международных отношениях и других областях), чтобы написать гораздо лучшую и более обоснованную версию того, что я здесь представил. Вероятно, лучше всего рассматривать мои усилия здесь как отправную точку для этой группы.
Основные предположения и структура

Чтобы сделать это эссе более точным и обоснованным, полезно четко определить, что мы подразумеваем под мощным ИИ (т. е. порогом, с которого начинается отсчет 5-10 лет), а также изложить структуру для размышлений о последствиях такого ИИ после его появления.

Какой мощный ИИ (мне не нравится термин AGI) 3
Как будет выглядеть такая система, и когда (или если) она появится — это огромная тема сама по себе. Я уже публично обсуждал её и мог бы написать об этом отдельное эссе (вероятно, когда-нибудь я это сделаю). Очевидно, многие скептически относятся к тому, что мощный ИИ будет создан в ближайшее время, а некоторые скептически относятся к тому, что он вообще когда-либо будет создан. Я думаю, это может произойти уже в 2026 году, хотя есть и варианты, когда это может занять гораздо больше времени. Но для целей этого эссе я хотел бы отложить эти вопросы в сторону, предположить, что это произойдёт достаточно скоро, и сосредоточиться на том, что произойдёт в течение 5-10 лет после этого. Я также хочу предположить, как будет выглядеть такая система, каковы её возможности и как она будет взаимодействовать, хотя по этому поводу могут быть разногласия.

Под мощным ИИ я подразумеваю модель ИИ — вероятно, похожую по форме на современные LLM, хотя она может быть основана на другой архитектуре, может включать в себя несколько взаимодействующих моделей и может обучаться по-другому — со следующими свойствами:

С точки зрения чистого интеллекта 

Оно умнее лауреата Нобелевской премии в большинстве соответствующих областей — биологии, программировании, математике, инженерии, писательстве и т. д. Это означает, что оно может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, создавать сложные кодовые базы с нуля и т. д.
Помимо того, что это просто «умное устройство, с которым можно разговаривать», оно обладает всеми «интерфейсами», доступными человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в интернет. Оно может выполнять любые действия, коммуникации или удаленные операции, обеспечиваемые этим интерфейсом, включая действия в интернете, получение или отдачу указаний людям, заказ материалов, руководство экспериментами, просмотр видео, создание видеороликов и так далее. Все эти задачи оно выполняет с мастерством, опять же, превосходящим мастерство самых способных людей в мире.
Оно не просто пассивно отвечает на вопросы; вместо этого ему могут быть поручены задачи, выполнение которых занимает часы, дни или недели, и оно затем самостоятельно выполняет эти задачи, подобно умному сотруднику, запрашивая уточнения по мере необходимости.
Оно не имеет физического воплощения (кроме как существует на экране компьютера), но может управлять существующими физическими инструментами, роботами или лабораторным оборудованием с помощью компьютера; теоретически оно даже могло бы проектировать роботов или оборудование для собственного использования.
Ресурсы, используемые для обучения модели, можно перенаправить на запуск миллионов ее экземпляров (это соответствует прогнозируемым размерам кластеров примерно к 2027 году), и модель сможет усваивать информацию и генерировать действия примерно в 10-100 раз быстрее, чем человек .
Однако это может быть ограничено временем отклика физического мира или программного обеспечения, с которым оно взаимодействует.
Каждая из этих миллионов копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе так же, как люди сотрудничают, возможно, с различными субпопуляциями, специально настроенными на выполнение конкретных задач.

Это можно охарактеризовать как «страна гениев в центре обработки данных».

Очевидно, что подобная сущность способна решать очень сложные задачи очень быстро, но определить, насколько быстро, — задача нетривиальная. Две «крайние» позиции кажутся мне ложными. Во-первых, можно предположить, что мир мгновенно преобразится за секунды или дни (« Сингулярность »), поскольку высший интеллект будет развиваться сам по себе и решать все возможные научные, инженерные и оперативные задачи практически мгновенно. Проблема в том, что существуют реальные физические и практические ограничения, например, в создании оборудования или проведении биологических экспериментов. Даже новая страна гениев столкнется с этими ограничениями. Интеллект может быть очень мощным, но это не волшебная пыльца.

Во-вторых, и наоборот, вы можете считать, что технологический прогресс ограничен или сдерживается реальными данными или социальными факторами, и что интеллект, превосходящий человеческий, мало что добавит .
Мне это кажется столь же неправдоподобным — я могу назвать сотни научных или даже социальных проблем, где большая группа действительно умных людей могла бы значительно ускорить прогресс, особенно если бы они не ограничивались анализом и могли воплощать идеи в жизнь в реальном мире (что наша предполагаемая страна гениев может делать, в том числе, руководя или помогая командам людей).

Я думаю, что истина, скорее всего, представляет собой некую сложную смесь этих двух крайних картин, нечто, что варьируется в зависимости от задачи и области, и очень тонко в своих деталях. Я считаю, что нам нужны новые концептуальные основы, чтобы продуктивно осмысливать эти детали.

Экономисты часто говорят о «факторах производства»: таких вещах, как труд, земля и капитал. Фраза «предельная отдача от труда/земли/капитала» отражает идею о том, что в данной ситуации тот или иной фактор может быть или не быть ограничивающим — например, военно-воздушным силам нужны и самолеты, и пилоты, и наем большего количества пилотов мало чем поможет, если самолетов не хватает. Я считаю, что в эпоху ИИ нам следует говорить о предельной отдаче от интеллекта .
и пытаясь выяснить, какие другие факторы дополняют интеллект и становятся ограничивающими факторами при очень высоком уровне интеллекта. Мы не привыкли думать таким образом — задавать вопрос: «Насколько больший интеллект помогает в решении этой задачи и в какие сроки?», — но, похоже, это правильный способ осмысления мира с очень мощным искусственным интеллектом.

Предполагаемый список факторов, ограничивающих или дополняющих интеллект, включает в себя:

Скорость внешнего мира . Интеллектуальным агентам необходимо взаимодействовать с окружающим миром, чтобы достигать целей и учиться. 8
Но мир движется лишь с определенной скоростью. Клетки и животные развиваются с фиксированной скоростью, поэтому эксперименты над ними требуют определенного времени, которое может быть необратимым. То же самое относится к аппаратному обеспечению, материаловедению, всему, что связано с общением с людьми, и даже к нашей существующей программной инфраструктуре. Кроме того, в науке часто требуется проводить множество экспериментов последовательно, каждый из которых учится на предыдущем или основывается на нем. Все это означает, что скорость, с которой может быть завершен крупный проект — например, разработка лекарства от рака — может иметь необратимый минимум, который нельзя будет уменьшить еще больше, даже по мере дальнейшего роста интеллекта.

Необходимость в данных . Иногда исходных данных не хватает, и в их отсутствие дополнительная информация не помогает. Сегодняшние физики-частицы очень изобретательны и разработали широкий спектр теорий, но им не хватает данных, чтобы выбрать между ними, поскольку данные об ускорителях частиц крайне ограничены . Неясно, добились бы они значительно лучших результатов, если бы обладали сверхвысоким интеллектом — разве что ускорили бы строительство более крупного ускорителя.
Внутренняя сложность . Некоторые вещи по своей природе непредсказуемы или хаотичны, и даже самый мощный ИИ не может предсказать или разобраться в них значительно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ может предсказать лишь незначительно более отдаленную перспективу в хаотической системе (такой как задача трех тел ) в общем случае, по сравнению с современными людьми и компьютерами.

Ограничения со стороны человека . Многие вещи невозможно сделать, не нарушая законы, не причиняя вреда людям и не разрушая общество. Искусственный интеллект, соответствующий этим ограничениям, не захотел бы этого делать (а если у нас не соответствующий им ИИ, мы снова говорим о рисках). Многие структуры человеческого общества неэффективны или даже активно вредны, но их трудно изменить, соблюдая при этом такие ограничения, как юридические требования к клиническим испытаниям, готовность людей изменить свои привычки или поведение правительств. Примерами достижений, которые хорошо работают в техническом смысле, но чье влияние было существенно снижено из-за регулирования или необоснованных опасений, являются атомная энергетика, сверхзвуковые полеты и даже лифты .

Физические законы . Это более суровая версия первого пункта. Существуют определенные физические законы, которые кажутся нерушимыми. Невозможно двигаться быстрее света. Пудинг не перемешается . Микросхемы могут содержать лишь определенное количество транзисторов на квадратный сантиметр, прежде чем станут ненадежными . Для вычислений требуется определенное минимальное количество энергии на каждый стираемый бит, что ограничивает плотность вычислений в мире.

Существует также различие, основанное на временных масштабах . То, что в краткосрочной перспективе является жестким ограничением, в долгосрочной перспективе может стать более податливым для интеллекта. Например, интеллект может быть использован для разработки новой экспериментальной парадигмы, которая позволит нам изучать in vitro то, что раньше требовало экспериментов на живых животных, или для создания инструментов, необходимых для сбора новых данных (например, более крупный ускоритель частиц), или для (в рамках этических ограничений) поиска способов обойти ограничения, связанные с человеческим фактором (например, для улучшения системы клинических испытаний, содействия созданию новых юрисдикций, где клинические испытания менее бюрократичны, или для совершенствования самой науки, чтобы сделать клинические испытания на людях менее необходимыми или более дешевыми).

Таким образом, следует представить себе картину, в которой интеллект изначально сильно сдерживается другими факторами производства, но со временем сам интеллект все больше обходит эти факторы, даже если они никогда полностью не исчезнут (а некоторые вещи, такие как физические законы, являются абсолютными) 

Ключевой вопрос заключается в том, как быстро всё это произойдёт и в каком порядке.

Исходя из вышеизложенной структуры, я постараюсь ответить на этот вопрос в пяти областях, упомянутых во введении.
1. Биология и здоровье

Биология, вероятно, является той областью, где научный прогресс имеет наибольший потенциал для прямого и однозначного улучшения качества жизни человека. В прошлом веке некоторые из древнейших человеческих болезней (таких как оспа) были окончательно побеждены, но многие другие всё ещё остаются, и их победа стала бы огромным гуманитарным достижением. Помимо лечения болезней, биологическая наука в принципе может улучшить базовое качество здоровья человека, продлевая здоровую продолжительность жизни, увеличивая контроль и свободу над собственными биологическими процессами и решая повседневные проблемы, которые мы сейчас считаем неизменными составляющими человеческого существования.

В терминологии «ограничивающих факторов», рассмотренной в предыдущем разделе, главными проблемами прямого применения интеллекта в биологии являются данные, скорость физического мира и внутренняя сложность (фактически, все три фактора взаимосвязаны). Человеческий фактор также играет роль на более позднем этапе, когда речь идет о клинических испытаниях. Рассмотрим их по порядку.

Эксперименты на клетках, животных и даже химических процессах ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток, или просто ожидание химических реакций, и это иногда может занимать дни или даже недели, без очевидного способа ускорить процесс. Эксперименты на животных могут длиться месяцы (или больше), а эксперименты на людях часто занимают годы (или даже десятилетия для долгосрочных исследований результатов). Отчасти с этим связано и частое отсутствие данных — не столько в количестве, сколько в качестве: всегда ощущается нехватка четких, однозначных данных, которые изолируют интересующий биологический эффект от 10 000 других мешающих факторов, или которые причинно влияют на данный процесс, или которые непосредственно измеряют какой-либо эффект (в отличие от вывода о его последствиях каким-либо косвенным или неточным способом). Даже огромные массивы количественных молекулярных данных, такие как протеомные данные, которые я собирал, работая с методами масс-спектрометрии, содержат много шума и многое упускают (в каких типах клеток находились эти белки? В какой части клетки? На какой фазе клеточного цикла?).

Отчасти в этих проблемах с данными виновата присущая им сложность: если вы когда-либо видели диаграмму, показывающую биохимию метаболизма человека , вы знаете, что очень трудно изолировать эффект какой-либо части этой сложной системы, и еще труднее вмешаться в систему точным или предсказуемым образом. И наконец, помимо самого времени, необходимого для проведения эксперимента на людях, сами клинические испытания сопряжены с большим количеством бюрократии и нормативных требований, которые (по мнению многих, включая меня) добавляют ненужное дополнительное время и замедляют прогресс.

Учитывая все это, многие биологи давно скептически относятся к ценности ИИ и «больших данных» в биологии в целом. Исторически сложилось так, что математики, специалисты по информатике и физики, применявшие свои навыки в биологии в течение последних 30 лет, добились значительных успехов, но не оказали того по-настоящему преобразующего воздействия, на которое изначально рассчитывали. Часть скептицизма была смягчена крупными и революционными прорывами, такими как AlphaFold (создатели которого заслуженно получили Нобелевскую премию по химии ) и AlphaProteo 11.
Однако до сих пор существует мнение, что ИИ полезен (и будет полезен) лишь в ограниченном круге обстоятельств. Распространенная формулировка звучит так: «ИИ может лучше анализировать ваши данные, но он не может создавать больше данных или улучшать их качество. Что посеешь, то и пожнешь».

Но я думаю, что пессимистический взгляд на ИИ ошибочен. Если наша основная гипотеза о прогрессе ИИ верна, то правильный подход к ИИ заключается не в том, чтобы рассматривать его как метод анализа данных, а как виртуального биолога, выполняющего все задачи, которые выполняют биологи, включая разработку и проведение экспериментов в реальном мире (путем управления лабораторными роботами или просто указания людям, какие эксперименты нужно провести – как это сделал бы руководитель проекта для своих аспирантов), изобретение новых биологических методов или методов измерения и так далее. Именно ускоряя весь исследовательский процесс , ИИ может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространенное заблуждение, которое возникает, когда я говорю о способности ИИ трансформировать биологию: я говорю не просто об ИИ как об инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, управления и улучшения практически всего, что делают биологи.

Чтобы уточнить, откуда, по моему мнению, скорее всего, возьмется ускорение прогресса, следует отметить, что удивительно большая часть прогресса в биологии была достигнута благодаря действительно очень небольшому числу открытий, часто связанных с широким спектром измерительных инструментов или методов¹² .
Эти открытия позволяют осуществлять точное, но обобщенное или программируемое вмешательство в биологические системы. Ежегодно происходит, возможно, лишь одно такое крупное открытие, и в совокупности они, вероятно, обеспечивают более 50% прогресса в биологии. Эти открытия настолько важны именно потому, что они преодолевают внутреннюю сложность и ограничения данных, напрямую расширяя наше понимание и контроль над биологическими процессами. Несколько открытий за десятилетие позволили нам получить основную часть фундаментальных научных знаний о биологии и стали основой для многих наиболее эффективных методов лечения.

В качестве примеров можно привести следующие:

CRISPR : технология, позволяющая редактировать любой ген в живых организмах в режиме реального времени (замена любой произвольной последовательности гена любой другой произвольной последовательностью). С момента разработки первоначальной технологии постоянно совершенствовались методы , направленные на конкретные типы клеток, повышая точность и уменьшая количество случаев редактирования неправильного гена — все это необходимо для безопасного использования у человека.
Для наблюдения за происходящим на точном уровне используются различные виды микроскопии: современные световые микроскопы (с различными флуоресцентными технологиями, специальной оптикой и т. д.), электронные микроскопы, атомно-силовые микроскопы и др.
Секвенирование и синтез генома, стоимость которых за последние пару десятилетий снизилась на несколько порядков.
Оптогенетические методы позволяют заставить нейрон активироваться, направив на него свет.
мРНК-вакцины , которые, в принципе, позволяют нам разработать вакцину против чего угодно, а затем быстро адаптировать её (мРНК-вакцины, конечно же, стали популярны во время COVID).
Клеточная терапия, такая как CAR-T , позволяет извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, чего угодно.
Концептуальные открытия, такие как микробная теория болезней или осознание связи между иммунной системой и раком 13
.

Я собираюсь перечислить все эти технологии, потому что хочу сделать важное заявление о них: я думаю, что темпы их открытия могли бы увеличиться в 10 раз или более, если бы было гораздо больше талантливых, креативных исследователей . Или, другими словами, я думаю, что отдача от этих открытий для интеллектуального труда высока , и что все остальное в биологии и медицине в основном вытекает из них.

Почему я так думаю? Потому что есть ответы на некоторые вопросы, которые нам следует выработать в себе, когда мы пытаемся определить «отдачу от интеллекта». Во-первых, эти открытия, как правило, делаются небольшим числом исследователей, часто одними и теми же людьми неоднократно, что говорит о мастерстве, а не о случайном поиске (последнее может указывать на то, что ограничивающим фактором являются длительные эксперименты). Во-вторых, они часто «могли быть сделаны» на несколько лет раньше: например, CRISPR — это естественный компонент иммунной системы бактерий, известный с 1980-х годов , но потребовалось еще 25 лет, чтобы люди поняли, что его можно использовать для общего редактирования генов. Кроме того, их разработка часто задерживается на много лет из-за недостаточной поддержки со стороны научного сообщества перспективных направлений (см. этот профиль изобретателя мРНК-вакцин; подобных историй множество). В-третьих, успешные проекты часто являются результатом небрежной работы или были задуманы позже, когда люди изначально не считали их перспективными, а не результатом масштабных финансируемых усилий. Это говорит о том, что открытия движутся не только за счет концентрации огромных ресурсов, но и благодаря изобретательности.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (необходимо сначала сделать открытие А, чтобы получить инструменты или знания для открытия Б), что, опять же, может привести к экспериментальным задержкам, многие, возможно, большинство, являются независимыми, то есть над многими из них можно работать параллельно. Оба этих факта, а также мой общий опыт биолога, убедительно свидетельствуют о том, что сотни подобных открытий ждут своего часа, если бы ученые были умнее и лучше умели устанавливать связи между огромным объемом биологических знаний, которыми обладает человечество (снова рассмотрим пример CRISPR). Успех AlphaFold / AlphaProteo в решении важных проблем гораздо эффективнее, чем люди, несмотря на десятилетия тщательно разработанного физического моделирования, предоставляет доказательство принципа (хотя и с узким инструментом в узкой области), которое должно указать путь вперед.

Таким образом, я предполагаю, что мощный ИИ сможет как минимум в 10 раз ускорить темпы этих открытий, обеспечив нам прогресс в биологии, который ожидается в ближайшие 50-100 лет, всего за 5-10 лет. 14

Почему не в 100 раз больше? Возможно, это и возможно, но здесь важны как последовательная зависимость, так и время проведения экспериментов: чтобы достичь 100 лет прогресса за 1 год, необходимо, чтобы многое прошло гладко с первого раза, включая эксперименты на животных и такие вещи, как разработка микроскопов или дорогостоящего лабораторного оборудования. Я, честно говоря, открыт для (возможно, абсурдно звучащей) идеи о том, что мы могли бы достичь 1000 лет прогресса за 5-10 лет, но очень скептически отношусь к возможности достижения 100 лет за 1 год. Другими словами, я думаю, что существует неизбежная постоянная задержка: эксперименты и разработка оборудования имеют определенную «задержку» и требуют итераций определенного «неупрощаемого» количества раз, чтобы узнать то, что нельзя вывести логически. Но помимо этого, возможно и массовое параллельное выполнение, возможно и в 15 раз больше.
.

А что насчет клинических испытаний? Хотя с ними связано много бюрократии и задержек, правда в том, что большая часть (хотя и далеко не вся!) их медлительности в конечном итоге проистекает из необходимости тщательной оценки лекарств, которые почти неэффективны или эффективны с неопределенностью. К сожалению, это справедливо для большинства современных методов лечения: среднестатистический противораковый препарат увеличивает выживаемость на несколько месяцев, при этом имея значительные побочные эффекты, которые необходимо тщательно измерять (аналогичная ситуация и с препаратами от болезни Альцгеймера). Это приводит к масштабным исследованиям (для достижения статистической значимости) и сложным компромиссам, которые регулирующие органы, как правило, не очень хорошо умеют принимать, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то действительно хорошо работает, процесс идет гораздо быстрее: существует ускоренная процедура одобрения, и легкость получения одобрения значительно возрастает при больших размерах эффекта. мРНК-вакцины от COVID были одобрены за 9 месяцев — намного быстрее, чем обычно. Тем не менее, даже в этих условиях клинические испытания все еще слишком медленные — мРНК-вакцины, возможно, должны были быть одобрены примерно за 2 месяца . Но такие задержки (около года от начала до конца для препарата) в сочетании с массовой параллелизацией и необходимостью некоторой, но не слишком большой итерации («несколько попыток») вполне совместимы с радикальными преобразованиями в течение 5-10 лет. Еще более оптимистично то, что биологическая наука с использованием ИИ может уменьшить необходимость итераций в клинических испытаниях за счет разработки более совершенных экспериментальных моделей на животных и клетках (или даже симуляций), которые будут более точно предсказывать, что произойдет с людьми. Это будет особенно важно при разработке лекарств против процесса старения, который длится десятилетиями и где нам необходим более быстрый цикл итераций.

Наконец, что касается клинических испытаний и социальных барьеров, стоит особо отметить, что в некотором смысле биомедицинские инновации имеют необычайно сильную историю успешного внедрения, в отличие от некоторых других технологий 16
Как уже упоминалось во введении, многие технологии, несмотря на свою техническую эффективность, сталкиваются с препятствиями со стороны общества. Это может наводить на пессимистический взгляд на возможности ИИ . Однако биомедицина уникальна тем, что, хотя процесс разработки лекарств чрезмерно сложен, после разработки они, как правило, успешно внедряются и используются.

Подводя итог вышесказанному, мой основной прогноз заключается в том, что биология и медицина, использующие возможности искусственного интеллекта, позволят нам сжать прогресс, которого достигли бы биологи-люди за следующие 50-100 лет, в 5-10 лет. Я буду называть это «сжатым XXI веком»: идея состоит в том, что после разработки мощного ИИ мы за несколько лет достигнем всего прогресса в биологии и медицине, которого достигли бы за весь XXI век.

Хотя предсказать, на что способен мощный ИИ через несколько лет, по своей сути сложно и носит спекулятивный характер, вопрос «что люди смогут сделать без посторонней помощи в следующие 100 лет?» имеет определенную конкретность. Просто взглянув на то, чего мы достигли в XX веке, или экстраполировав данные за первые два десятилетия XXI века, или спросив, что дадут нам «10 CRISPR и 50 CAR-T», можно предложить практические, обоснованные способы оценки общего уровня прогресса, которого мы можем ожидать от мощного ИИ.

Ниже я попытаюсь составить список того, чего мы можем ожидать. Он не основан на какой-либо строгой методологии и почти наверняка окажется неверным в деталях, но это попытка передать общий уровень радикализма, которого мы должны ожидать:

Надежная профилактика и лечение почти всех 17 заболеваний.

Естественные инфекционные заболевания. Учитывая огромные успехи в борьбе с инфекционными заболеваниями в XX веке, не будет чем-то радикальным представить, что мы могли бы более или менее «завершить работу» в сжатые сроки в XXI веке. мРНК-вакцины и аналогичные технологии уже указывают путь к созданию « вакцин от всего ». Будет ли инфекционное заболевание полностью искоренено в мире (а не только в некоторых местах), зависит от вопросов бедности и неравенства, которые обсуждаются в разделе 3.
Искоренение большинства видов рака . Смертность от рака снижается примерно на 2% в год в течение последних нескольких десятилетий; таким образом, при нынешних темпах развития человеческой науки мы движемся к искоренению большинства видов рака в XXI веке. Некоторые подтипы уже в значительной степени излечены (например, некоторые виды лейкемии с помощью CAR-T-терапии ), и меня, пожалуй, еще больше воодушевляют очень избирательные препараты, которые воздействуют на рак на ранней стадии и предотвращают его дальнейшее развитие. Искусственный интеллект также позволит создавать схемы лечения, очень точно адаптированные к индивидуальному геному рака — это возможно уже сегодня, но чрезвычайно дорого с точки зрения времени и квалификации персонала, что ИИ должен позволить нам масштабировать. Снижение смертности и заболеваемости на 95% и более представляется возможным. Тем не менее, рак чрезвычайно разнообразен и адаптивен, и, вероятно, является самым сложным из этих заболеваний для полного искоренения. Неудивительно, если сохранится целый ряд редких, трудноизлечимых злокачественных новообразований.

Очень эффективная профилактика и эффективное лечение генетических заболеваний . Значительно улучшенное скрининговое обследование эмбрионов , вероятно, позволит предотвратить большинство генетических заболеваний, а некоторые более безопасные и надежные потомки CRISPR могут вылечить большинство генетических заболеваний у уже живущих людей. Однако, возможно, последними останутся заболевания, поражающие большую часть клеток и затрагивающие весь организм.

Профилактика болезни Альцгеймера . Нам было очень сложно выяснить, что вызывает болезнь Альцгеймера (она каким-то образом связана с бета-амилоидным белком, но фактические детали кажутся очень сложными ). Похоже, это именно та проблема, которую можно решить с помощью более совершенных инструментов измерения, позволяющих изолировать биологические эффекты; поэтому я оптимистично оцениваю способность ИИ решить эту проблему. Есть большая вероятность, что в конечном итоге болезнь можно будет предотвратить с помощью относительно простых мер, как только мы действительно поймем, что происходит. Тем не менее, повреждения, вызванные уже существующей болезнью Альцгеймера, могут быть очень труднообратимыми.

Улучшение лечения большинства других заболеваний . Это общая категория для всех заболеваний, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многое другое. Большинство из них кажутся «легче» в лечении, чем рак и болезнь Альцгеймера, и во многих случаях уже наблюдается резкое снижение заболеваемости. Например, смертность от болезней сердца уже снизилась более чем на 50%, а простые методы лечения, такие как применение агонистов GLP-1, уже добились огромных успехов в борьбе с ожирением и диабетом.
Биологическая свобода . За последние 70 лет произошли значительные достижения в области контроля рождаемости, репродуктивной функции, управления весом и многого другого. Но я подозреваю, что ускорение биологических процессов с помощью ИИ значительно расширит границы возможного: вес, внешний вид, репродукция и другие биологические процессы будут полностью контролироваться людьми. Мы будем рассматривать это под заголовком « биологическая свобода»: идея о том, что каждый человек должен иметь возможность выбирать, кем он хочет стать, и жить так, как ему больше всего нравится. Конечно, возникнут важные вопросы о глобальном равенстве доступа; см. раздел 3, посвященный этим вопросам.

Удвоение продолжительности жизни человека 18
Это может показаться радикальным, но продолжительность жизни увеличилась почти вдвое в XX веке (с ~40 до ~75 лет), поэтому вполне вероятно, что в «сокращенном XXI веке» она удвоится еще раз, до 150 лет. Очевидно , что меры, направленные на замедление процесса старения, будут отличаться от тех, которые были необходимы в прошлом веке для предотвращения преждевременной смерти от болезней (в основном в детском возрасте), но масштабы изменений не являются беспрецедентными .
Конкретно, уже существуют препараты, увеличивающие максимальную продолжительность жизни крыс на 25-50% с минимальными побочными эффектами. А некоторые животные (например, некоторые виды черепах) уже живут 200 лет, так что люди явно не достигли какого-то теоретического верхнего предела. Предположительно, наиболее важным может быть создание надежных, не поддающихся анализу по Гудхарту биомаркеров старения человека, поскольку это позволит быстро проводить итерации экспериментов и клинических испытаний. Когда продолжительность жизни человека достигнет 150 лет, мы, возможно, сможем достичь «скорости отрыва», выиграв достаточно времени, чтобы большинство ныне живущих смогли прожить столько, сколько захотят, хотя, конечно, нет никакой гарантии, что это биологически возможно.

Стоит взглянуть на этот список и поразмышлять о том, насколько другим станет мир, если все это будет достигнуто через 7-12 лет (что соответствовало бы агрессивному графику развития ИИ). Само собой разумеется, это будет невообразимым гуманитарным триумфом, одновременным искоренением большинства бедствий, которые преследовали человечество на протяжении тысячелетий. Многие мои друзья и коллеги воспитывают детей, и я надеюсь, что когда эти дети вырастут, любое упоминание о болезнях будет звучать для них так же, как для нас звучат цинга, оспа или бубонная чума. Это поколение также получит выгоду от большей биологической свободы и самовыражения, и, если повезет, сможет прожить столько, сколько захочет.

Трудно переоценить, насколько неожиданными эти изменения окажутся для всех, кроме небольшой группы людей, ожидавших появления мощного ИИ. Например, тысячи экономистов и экспертов по вопросам политики в США в настоящее время обсуждают, как сохранить платежеспособность системы социального обеспечения и медицинского страхования, и в более широком смысле, как снизить стоимость медицинского обслуживания (которое в основном потребляют люди старше 70 лет, особенно те, кто страдает неизлечимыми заболеваниями, такими как рак). Ситуация с этими программами, вероятно, радикально улучшится, если все это произойдет .

Поскольку соотношение трудоспособного населения и пенсионеров резко изменится, несомненно, эти проблемы сменятся другими, например, вопросом обеспечения широкого доступа к новым технологиям, но стоит задуматься о том, насколько сильно изменится мир, даже если биология останется единственной областью , развитие которой можно успешно ускорить с помощью ИИ.

2. Нейробиология и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом и не затронул нейробиологию или психическое здоровье. Но нейробиология — это поддисциплина биологии, и психическое здоровье так же важно, как и физическое. На самом деле, психическое здоровье влияет на благополучие человека даже более непосредственно, чем физическое. Сотни миллионов людей имеют очень низкое качество жизни из-за таких проблем, как зависимость, депрессия, шизофрения, низкофункциональный аутизм, ПТСР, психопатия .
или интеллектуальные нарушения. Миллиарды людей сталкиваются с повседневными проблемами, которые часто можно интерпретировать как гораздо более мягкие версии одного из этих тяжелых клинических расстройств. И, как и в общей биологии, возможно, удастся выйти за рамки решения проблем и улучшить базовое качество человеческого опыта.

Предложенная мной базовая концепция для биологии в равной степени применима и к нейробиологии. Развитие этой области обусловлено небольшим числом открытий, часто связанных с инструментами измерения или точного вмешательства – в приведенном выше списке оптогенетика была открытием нейробиологии, а совсем недавно CLARITY и микроскопия расширения представляют собой достижения в том же ключе, помимо многих общих методов клеточной биологии, непосредственно применимых к нейробиологии. Я думаю, что темпы этих достижений будут аналогично ускорены искусственным интеллектом, и поэтому концепция «100 лет прогресса за 5-10 лет» применима к нейробиологии так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс в нейробиологии XX века был огромным – например, мы даже не понимали, как и почему нейроны активируются, до 1950-х годов . Таким образом, кажется разумным ожидать, что нейробиология, ускоренная искусственным интеллектом, продемонстрирует быстрый прогресс в течение нескольких лет.

К этой базовой картине следует добавить еще один момент: некоторые вещи, которые мы узнали (или узнаем) об искусственном интеллекте за последние несколько лет, вероятно, помогут развитию нейронауки, даже если это по-прежнему будет делаться только людьми. Интерпретируемость — очевидный пример: хотя биологические нейроны внешне работают совершенно иначе, чем искусственные нейроны (они обмениваются данными посредством импульсов и часто с высокой частотой импульсов, поэтому в них присутствует временной элемент, отсутствующий в искусственных нейронах, а множество деталей, связанных с клеточной физиологией и нейромедиаторами, существенно изменяют их работу), основной вопрос о том, «как распределенные, обученные сети простых единиц, выполняющих комбинированные линейные/нелинейные операции, взаимодействуют для выполнения важных вычислений», остается тем же, и я твердо убежден, что детали коммуникации отдельных нейронов будут абстрагированы от большинства интересных вопросов о вычислениях и схемах 22
В качестве одного из примеров можно привести недавнее открытие вычислительного механизма , обнаруженного исследователями интерпретируемости в системах искусственного интеллекта, в мозге мышей.

Проводить эксперименты на искусственных нейронных сетях гораздо проще, чем на реальных (последние часто требуют вскрытия мозга животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейронауки. Более того, мощные системы искусственного интеллекта, вероятно, смогут сами разработать и применить этот инструмент лучше, чем люди.

Однако, помимо просто интерпретируемости, то, что мы узнали из ИИ о том, как обучаются интеллектуальные системы , должно (хотя я не уверен, что это уже произошло ) вызвать революцию в нейробиологии. Когда я работал в нейробиологии, многие люди сосредотачивались на вопросах обучения, которые я бы сейчас назвал неправильными, потому что концепция масштабирующей гипотезы / горького урока еще не существовала. Идея о том, что простая целевая функция плюс большое количество данных могут приводить к невероятно сложному поведению, делает более интересным понимание целевых функций и архитектурных искажений и менее интересным понимание деталей возникающих вычислений. Я не следил за этой областью внимательно в последние годы, но у меня есть смутное ощущение, что нейробиологи, занимающиеся вычислительными методами, до сих пор не полностью усвоили этот урок. Мое отношение к масштабирующей гипотезе всегда было таким: «Ага – это объяснение, на высоком уровне, того, как работает интеллект и как он так легко эволюционировал», но я не думаю, что это мнение среднестатистического нейробиолога, отчасти потому, что масштабирующая гипотеза как «секрет интеллекта» не полностью принята даже в области ИИ.

Я думаю, что нейробиологам следует попытаться объединить это фундаментальное понимание со спецификой человеческого мозга (биофизические ограничения, эволюционная история, топология, детали двигательных и сенсорных входных/выходных сигналов), чтобы попытаться разгадать некоторые ключевые загадки нейронауки. Некоторые из них, вероятно, уже разгаданы, но я подозреваю, что этого пока недостаточно, и что нейробиологи, использующие искусственный интеллект, смогут более эффективно применять этот подход для ускорения прогресса.

Я ожидаю, что ИИ ускорит прогресс в нейробиологии по четырем различным направлениям, которые, как я надеюсь, смогут в совокупности способствовать излечению психических заболеваний и улучшению функционирования:

Традиционная молекулярная биология, химия и генетика . По сути, это та же история, что и в общей биологии в разделе 1, и ИИ, вероятно, сможет ускорить ее с помощью тех же механизмов. Существует множество лекарств, которые модулируют нейротрансмиттеры, чтобы изменить функцию мозга, повлиять на бдительность или восприятие, изменить настроение и т. д., и ИИ может помочь нам изобрести еще больше. ИИ, вероятно, также сможет ускорить исследования генетической основы психических заболеваний.
Точное измерение и вмешательство в нейронные процессы . Это возможность измерять активность множества отдельных нейронов или нейронных цепей и вмешиваться в их поведение для его изменения. Оптогенетика и нейронные зонды — это технологии, способные как к измерению, так и к вмешательству в живые организмы, и был предложен ряд очень продвинутых методов (таких как молекулярные считывающие ленты для регистрации паттернов активности большого числа отдельных нейронов), которые, по-видимому, в принципе осуществимы.
Передовые методы вычислительной нейронауки . Как отмечалось выше, как конкретные идеи, так и общая концепция современного ИИ, вероятно, могут быть плодотворно применены к вопросам системной нейронауки , включая, возможно, выявление реальных причин и динамики сложных заболеваний, таких как психоз или расстройства настроения.
Поведенческие вмешательства . Я нечасто упоминал об этом, учитывая акцент на биологической стороне нейронауки, но психиатрия и психология, безусловно, разработали широкий спектр поведенческих вмешательств за XX век; логично предположить, что ИИ также может ускорить этот процесс, как в разработке новых методов, так и в оказании помощи пациентам в соблюдении существующих методов. В более широком смысле, идея «тренера-ИИ», который всегда помогает вам стать лучшей версией себя, который изучает ваши взаимодействия и помогает вам научиться быть более эффективным, кажется очень многообещающей.

Я предполагаю, что эти четыре направления прогресса, работая вместе, как и в случае с физическими заболеваниями, приведут к излечению или предотвращению большинства психических заболеваний в течение следующих 100 лет, даже без участия ИИ, и, следовательно, вполне могут быть завершены за 5-10 лет, ускоренных развитием ИИ. Конкретно, я предполагаю, что произойдет примерно следующее:

Большинство психических заболеваний, вероятно, излечимы . Я не эксперт в области психических заболеваний (в нейробиологии я занимался созданием зондов для изучения небольших групп нейронов), но предполагаю, что такие заболевания, как посттравматическое стрессовое расстройство, депрессия, шизофрения, зависимость и т. д., можно выявить и очень эффективно лечить, используя комбинацию четырех вышеупомянутых подходов. Ответ, скорее всего, будет представлять собой сочетание «что-то пошло не так на биохимическом уровне» (хотя это может быть очень сложно) и «что-то пошло не так с нейронной сетью на высоком уровне». То есть, это вопрос системной нейробиологии — хотя это не отрицает влияния поведенческих вмешательств, обсуждавшихся выше. Инструменты для измерения и вмешательства, особенно на живых людях, по всей видимости, приведут к быстрой итерации и прогрессу.
Состояния, имеющие ярко выраженную «структурную» природу, могут быть более сложными, но не невозможными . Есть некоторые свидетельства того, что психопатия связана с очевидными нейроанатомическими различиями – например, некоторые области мозга у психопатов просто меньше или менее развиты. Считается также, что психопаты с раннего возраста лишены эмпатии; что бы ни отличалось в их мозге, вероятно, он всегда был таким. То же самое может быть верно и для некоторых интеллектуальных нарушений, а возможно, и для других состояний. Реструктуризация мозга звучит сложно, но, похоже, это задача, которая принесет большую отдачу для интеллекта. Возможно, есть какой-то способ заставить мозг взрослого человека перейти в более раннее или более пластичное состояние, в котором его можно будет перестраивать. Я очень не уверен, насколько это возможно, но инстинктивно я склонен с оптимизмом смотреть на то, что может изобрести в этой области искусственный интеллект.

Эффективная генетическая профилактика психических заболеваний представляется возможной . Большинство психических заболеваний частично наследуются , и полногеномные ассоциативные исследования начинают набирать обороты в выявлении соответствующих факторов, которых часто бывает много. Вероятно, большинство этих заболеваний можно будет предотвратить с помощью скрининга эмбрионов, подобно тому, как это происходит с физическими заболеваниями. Одно из отличий заключается в том, что психические заболевания с большей вероятностью являются полигенными (вносят вклад многие гены), поэтому из-за сложности существует повышенный риск неосознанного отбора против положительных признаков, коррелирующих с заболеванием . Однако, как ни странно, в последние годы исследования GWAS, похоже, предполагают, что эти корреляции могли быть преувеличены. В любом случае, нейронаука, ускоренная искусственным интеллектом, может помочь нам разобраться в этих вопросах. Конечно, скрининг эмбрионов на сложные признаки поднимает ряд социальных проблем и будет вызывать споры, хотя я думаю, что большинство людей поддержат скрининг на тяжелые или изнуряющие психические заболевания.
Повседневные проблемы, которые мы обычно не считаем клиническими заболеваниями, также будут решены . У большинства из нас есть повседневные психологические проблемы, которые, как правило, не рассматриваются как клинические заболевания. Некоторые люди быстро выходят из себя, другие испытывают трудности с концентрацией внимания или часто страдают сонливостью, некоторые боятся или тревожатся, или плохо реагируют на перемены. Сегодня уже существуют лекарства, помогающие, например, повысить бдительность или концентрацию внимания (кофеин, модафинил, риталин), но, как и во многих других областях, вероятно, возможно гораздо больше. Вероятно, существует гораздо больше таких лекарств, которые еще не открыты, и могут появиться совершенно новые методы лечения, такие как целенаправленная световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько лекарств мы разработали в XX веке, которые регулируют когнитивные функции и эмоциональное состояние, я очень оптимистично смотрю на «сжатый XXI век», где каждый сможет улучшить работу своего мозга и получать более насыщенный опыт в повседневной жизни.

Базовый человеческий опыт может быть намного лучше . Идем дальше: многие люди пережили необыкновенные моменты откровения, творческого вдохновения, сострадания, удовлетворения, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно различаются от человека к человеку и у одного и того же человека в разное время, а также иногда могут быть вызваны различными лекарствами (хотя часто с побочными эффектами). Все это говорит о том, что «пространство того, что возможно пережить», очень широко и что большая часть жизни людей может состоять из этих необыкновенных моментов. Вероятно, также возможно улучшить различные когнитивные функции в целом. Это, пожалуй, нейробиологическая версия «биологической свободы» или «продления жизни».

Одна из тем, часто встречающихся в научно-фантастических изображениях ИИ, но которую я намеренно здесь не затрагивал, — это «загрузка сознания», идея запечатления паттернов и динамики человеческого мозга и их воплощения в программном обеспечении. Эта тема могла бы стать предметом отдельного эссе, но достаточно сказать, что, хотя я считаю, что загрузка сознания в принципе почти наверняка возможна , на практике она сталкивается со значительными технологическими и социальными проблемами, даже при наличии мощного ИИ, которые, вероятно, выводят её за рамки обсуждаемого нами 5-10-летнего периода.

В заключение, ускоренная искусственным интеллектом нейронаука, вероятно, значительно улучшит методы лечения или даже излечит большинство психических заболеваний, а также значительно расширит «когнитивную и умственную свободу» и когнитивные и эмоциональные способности человека. Это будет столь же радикально, как и улучшения физического здоровья, описанные в предыдущем разделе. Возможно, мир внешне не изменится, но мир, воспринимаемый людьми, станет намного лучше и гуманнее, а также предоставит больше возможностей для самореализации. Я также подозреваю, что улучшение психического здоровья смягчит многие другие социальные проблемы, включая те, которые кажутся политическими или экономическими.

3. Экономическое развитие и бедность

Предыдущие два раздела посвящены разработке новых технологий, которые лечат болезни и улучшают качество жизни людей. Однако с гуманитарной точки зрения возникает очевидный вопрос: «Будет ли у всех доступ к этим технологиям?»

Одно дело — разработать лекарство от болезни, другое — искоренить её во всём мире. В более широком смысле, многие существующие медицинские вмешательства ещё не применяются повсеместно, и то же самое относится к (не связанным со здравоохранением) технологическим усовершенствованиям в целом. Иными словами, уровень жизни во многих частях мира по-прежнему крайне низок: ВВП на душу населения составляет около 2000 долларов в странах Африки к югу от Сахары по сравнению с примерно 75 000 долларов в Соединенных Штатах. Если ИИ будет способствовать дальнейшему экономическому росту и повышению качества жизни в развитых странах, мало помогая развивающимся странам, это следует рассматривать как ужасный моральный провал и пятно на подлинных гуманитарных победах, описанных в предыдущих двух разделах. В идеале, мощный ИИ должен помочь развивающимся странам догнать развитые, даже если он произведёт революцию в последних. ( прим. аффтара - вспомнил что то  - Можно, но зачем?)

Я не так уверен, что ИИ сможет решить проблему неравенства и экономического роста, как в том, что он сможет изобрести фундаментальные технологии, потому что технологии, очевидно, приносят высокую отдачу от интеллекта (включая способность обходить сложности и нехватку данных), в то время как экономика сопряжена со множеством ограничений со стороны человека, а также с большой долей внутренней сложности. Я несколько скептически отношусь к тому, что ИИ сможет решить знаменитую « социалистическую проблему расчета »
И я не думаю, что правительства будут (или должны) передавать свою экономическую политику подобной организации, даже если бы она могла это сделать. Есть также проблемы, например, как убедить людей принимать эффективные методы лечения, к которым они могут относиться с подозрением.

Проблемы, стоящие перед развивающимися странами, еще больше осложняются повсеместной коррупцией как в частном, так и в государственном секторах. Коррупция создает порочный круг: она усугубляет бедность , а бедность, в свою очередь, порождает еще большую коррупцию. Планы экономического развития, основанные на искусственном интеллекте, должны учитывать коррупцию, слабые институты и другие сугубо человеческие проблемы.

Тем не менее, я вижу веские основания для оптимизма. Болезни искоренены , многие страны перешли из бедности в богатство, и очевидно, что решения, связанные с этими задачами, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Следовательно, ИИ, вероятно, сможет справиться с ними лучше, чем это делается сейчас. Также могут существовать целенаправленные меры, позволяющие обойти человеческие ограничения, на которых ИИ мог бы сосредоточиться. Но что еще важнее, мы должны попытаться. И компании, занимающиеся ИИ, и политики развитых стран должны внести свой вклад, чтобы развивающиеся страны не остались в стороне; моральный императив слишком велик. Поэтому в этом разделе я продолжу излагать оптимистичный взгляд, но всегда буду помнить, что успех не гарантирован и зависит от наших коллективных усилий.

Ниже я приведу несколько предположений о том, как, на мой взгляд, могут развиваться события в развивающихся странах в течение 5-10 лет после создания мощного искусственного интеллекта:

Распределение медицинских услуг . Область, в которой я, пожалуй, наиболее оптимистичен, — это распределение медицинских услуг по всему миру. Болезни фактически были искоренены благодаря кампаниям, проводимым сверху вниз: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и гвинейский червь почти искоренены, регистрируется менее 100 случаев в год. Математически сложные эпидемиологические модели играют активную роль в кампаниях по искоренению болезней, и, кажется, весьма вероятно, что системы искусственного интеллекта, превосходящие человеческие возможности, смогут справиться с этой задачей лучше, чем люди. Логистику распределения также можно значительно оптимизировать. Как один из первых доноров GiveWell , я понял , что некоторые благотворительные организации, занимающиеся вопросами здравоохранения, гораздо эффективнее других; есть надежда, что усилия, ускоренные с помощью ИИ, будут еще более эффективными. Кроме того, некоторые достижения в биологии значительно упрощают логистику распределения: например, малярию трудно искоренить, поскольку она требует лечения каждый раз, когда человек заражается; Вакцина, которую нужно вводить только один раз, значительно упрощает логистику (и такие вакцины от малярии уже разрабатываются ). Возможны и более простые механизмы распространения: некоторые болезни в принципе можно искоренить, воздействуя на животных-переносчиков, например, выпуская комаров, зараженных бактерией, которая блокирует их способность переносить болезнь (которые затем заражают всех остальных комаров), или просто используя генные драйвы для уничтожения комаров. Это требует одного или нескольких централизованных действий, а не скоординированной кампании, которая должна индивидуально лечить миллионы людей. В целом, я думаю, что 5-10 лет — это разумный срок для распространения значительной части (возможно, 50%) преимуществ искусственного интеллекта в области здравоохранения даже на беднейшие страны мира. Хорошей целью может быть то, чтобы развивающиеся страны через 5-10 лет после внедрения мощного ИИ были, по крайней мере, значительно здоровее, чем развитые страны сегодня, даже если они продолжат отставать от развитых стран. Для достижения этой цели, безусловно, потребуются огромные усилия в области глобального здравоохранения, благотворительности, политической деятельности и многих других сферах, в которых должны участвовать как разработчики ИИ, так и политики.
Экономический рост . Смогут ли развивающиеся страны быстро догнать развитые не только в здравоохранении, но и в экономическом плане в целом? Для этого есть прецедент: в последние десятилетия XX века несколько стран Восточной Азии достигли устойчивых темпов роста реального ВВП около 10% в год, что позволило им догнать развитые страны. Решения, приведшие к этому успеху, принимались экономистами не путем прямого контроля над целыми экономиками, а с помощью нескольких ключевых рычагов (таких как промышленная политика, ориентированная на экспорт, и сопротивление искушению полагаться на богатство природных ресурсов); вполне вероятно, что «финансовые министры и центральные банкиры, использующие искусственный интеллект», смогут повторить или превзойти этот 10-процентный успех.

Важный вопрос заключается в том, как убедить правительства развивающихся стран принять эти меры, уважая при этом принцип самоопределения — некоторые могут быть полны энтузиазма, но другие, скорее всего, будут настроены скептически. С оптимистической стороны, многие из упомянутых в предыдущем пункте мер в области здравоохранения, вероятно, органически повысят экономический рост: искоренение СПИДа/малярии/паразитарных червей окажет преобразующее воздействие на производительность труда, не говоря уже об экономических выгодах, которые принесут некоторые нейробиологические вмешательства (например, улучшение настроения и концентрации внимания) как в развитых, так и в развивающихся странах. Наконец, технологии, ускоренные ИИ в немедицинских областях (такие как энергетические технологии, транспортные дроны, улучшенные строительные материалы, более эффективная логистика и распределение и т. д.), могут просто естественным образом проникнуть в мир; например, даже мобильные телефоны быстро распространились в странах Африки к югу от Сахары через рыночные механизмы, без необходимости благотворительных усилий. С более негативной стороны, хотя ИИ и автоматизация имеют множество потенциальных преимуществ, они также создают проблемы для экономического развития, особенно для стран, которые еще не прошли индустриализацию. Поиск способов обеспечения возможности развития и совершенствования экономики этих стран в эпоху растущей автоматизации является важной задачей для экономистов и политиков. В целом, идеальный сценарий — или, возможно, цель, к которой следует стремиться, — это 20-процентный ежегодный рост ВВП развивающихся стран, при этом по 10% будет приходиться на экономические решения, принимаемые с помощью ИИ, и на естественное распространение технологий, ускоренных ИИ, включая, помимо прочего, здравоохранение. В случае достижения этой цели, ВВП на душу населения в странах Африки к югу от Сахары достигнет нынешнего уровня Китая за 5-10 лет, а ВВП большей части остального развивающегося мира поднимется до уровня выше нынешнего ВВП США. Повторюсь, это идеальный сценарий, а не то, что происходит автоматически: это то, что мы все должны сделать более вероятным, работая вместе.

Продовольственная безопасность

Достижения в области сельскохозяйственных технологий, такие как улучшенные удобрения и пестициды, большая автоматизация и более эффективное использование земли, резко увеличили урожайность сельскохозяйственных культур на протяжении XX века, спасая миллионы людей от голода. В настоящее время генная инженерия еще больше улучшает многие культуры. Поиск новых способов сделать это, а также повысить эффективность сельскохозяйственных цепочек поставок, может привести к второй «зеленой революции» , основанной на искусственном интеллекте, и помочь сократить разрыв между развивающимися и развитыми странами.

Смягчение последствий изменения климата . Изменение климата будет ощущаться гораздо сильнее в развивающихся странах, что будет препятствовать их развитию. Можно ожидать, что ИИ приведет к улучшению технологий, замедляющих или предотвращающих изменение климата, от технологий удаления углерода из атмосферы и чистой энергии до выращенного в лаборатории мяса , которое снизит нашу зависимость от углеродоемкого промышленного животноводства. Конечно, как обсуждалось выше, технологии — не единственное, что ограничивает прогресс в борьбе с изменением климата — как и во всех других вопросах, обсуждаемых в этом эссе, важны и социальные факторы. Но есть веские основания полагать, что исследования с использованием ИИ дадут нам средства для того, чтобы сделать смягчение последствий изменения климата гораздо менее затратным и разрушительным, сделав многие возражения неактуальными и позволив развивающимся странам добиться большего экономического прогресса.

Неравенство внутри стран . Я в основном говорил о неравенстве как о глобальном явлении (что, на мой взгляд, является его наиболее важным проявлением), но, конечно, неравенство существует и внутри стран. С развитием медицинских технологий, и особенно с радикальным увеличением продолжительности жизни или появлением препаратов для улучшения когнитивных функций, безусловно, возникнут обоснованные опасения, что эти технологии «только для богатых». Я более оптимистично отношусь к неравенству внутри стран, особенно в развитых странах, по двум причинам. Во-первых, рынки функционируют лучше в развитых странах, и рынки, как правило, хорошо справляются с уменьшением стоимости высокодоходных технологий с течением времени.

Во-вторых, политические институты развитых стран более чутки к потребностям своих граждан и обладают большими государственными возможностями для реализации программ всеобщего доступа — и я ожидаю, что граждане будут требовать доступа к технологиям, которые так радикально улучшают качество жизни. Конечно, успех таких требований не предопределен — и здесь мы все вместе должны сделать все возможное для обеспечения справедливого общества. Существует отдельная проблема неравенства в распределении богатства (в отличие от неравенства в доступе к технологиям, спасающим и улучшающим жизнь), которая кажется более сложной и которую я обсуждаю в разделе 5.
Проблема отказа . Как в развитых, так и в развивающихся странах одна из проблем заключается в том, что люди отказываются от преимуществ, предоставляемых ИИ (подобно антивакцинному движению или луддитским движениям в целом). Это может привести к негативным обратным связям, когда, например, люди, наименее способные принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способность принимать решения, что приведет к постоянно увеличивающемуся разрыву и даже к созданию антиутопического низшего класса (некоторые исследователи утверждают, что это подорвет демократию , тема, которую я подробнее обсуждаю в следующем разделе). Это, опять же, наложит моральный пятно на позитивные достижения ИИ. Это сложная проблема, поскольку я не считаю этически приемлемым принуждать людей, но мы можем, по крайней мере, попытаться расширить научное понимание людей — и, возможно, сам ИИ может нам в этом помочь. Обнадёживает тот факт, что исторически антитехнологические движения чаще демонстрировали лишь громкие заявления, чем реальные действия: критика современных технологий популярна, но большинство людей в конечном итоге их принимают, по крайней мере, когда это вопрос индивидуального выбора. Большинство медицинских и потребительских технологий, как правило, осваивают отдельные люди, в то время как технологии, которые действительно создают препятствия, такие как атомная энергетика, обычно становятся результатом коллективных политических решений.

В целом, я с оптимизмом смотрю на возможность быстрого внедрения биологических достижений ИИ в жизнь людей в развивающихся странах. Я надеюсь, хотя и не уверен, что ИИ также сможет обеспечить беспрецедентные темпы экономического роста и позволит развивающимся странам, по крайней мере, превзойти нынешний уровень развитых стран. Меня беспокоит проблема «отказа от участия» как в развитых, так и в развивающихся странах, но я подозреваю, что со временем она сойдёт на нет, и ИИ сможет ускорить этот процесс. Мир не будет идеальным, и те, кто отстаёт, не смогут полностью наверстать упущенное, по крайней мере, в первые несколько лет. Но приложив значительные усилия, мы, возможно, сможем быстро направить ситуацию в правильное русло. Если это произойдёт, мы сможем хотя бы сделать первый шаг к выполнению обещаний о достоинстве и равенстве, которые мы обязаны обеспечить каждому человеку на Земле.

4. Мир и управление

Предположим, что в первых трех разделах все идет хорошо: болезни, бедность и неравенство значительно сокращаются, а базовый уровень человеческого опыта существенно повышается. Из этого не следует, что все основные причины человеческих страданий решены. Люди по-прежнему представляют угрозу друг для друга . Хотя существует тенденция к технологическому совершенствованию и экономическому развитию, ведущая к демократии и миру , эта тенденция очень слабая, с частыми (и недавними ) откатами назад. На заре XX века люди думали, что оставили войны позади; затем пришли две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о « конце истории » и окончательном триумфе либеральной демократии; этого еще не произошло. Двадцать лет назад американские политики полагали, что свободная торговля с Китаем приведет к либерализации по мере его обогащения; этого совершенно не произошло, и теперь мы, похоже, движемся ко второй холодной войне с возрождающимся авторитарным блоком. Существуют убедительные теории, предполагающие, что интернет-технологии могут фактически приносить пользу авторитаризму , а не демократии, как первоначально считалось (например, в период «арабской весны»). Представляется важным попытаться понять, как мощный искусственный интеллект будет взаимодействовать с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу веских оснований полагать, что ИИ будет преимущественно или структурно способствовать развитию демократии и мира, подобно тому, как, на мой взгляд, он будет структурно способствовать улучшению здоровья населения и сокращению бедности. Человеческие конфликты носят конфронтационный характер, и ИИ в принципе может помочь как «хорошим парням», так и «плохим парням». Более того, некоторые структурные факторы вызывают беспокойство: ИИ, по всей видимости, позволит значительно улучшить пропаганду и слежку, которые являются важными инструментами в арсенале автократа. Поэтому именно от нас, как от отдельных субъектов, зависит, как мы направим ситуацию в нужное русло: если мы хотим, чтобы ИИ способствовал развитию демократии и защите прав человека, нам придется бороться за этот результат. Я даже сильнее обеспокоен этим, чем международным неравенством: триумф либеральной демократии и политической стабильности не гарантирован, возможно, даже маловероятен, и потребует больших жертв и самоотдачи со стороны всех нас, как это часто бывало в прошлом.

Я рассматриваю этот вопрос как состоящий из двух частей: международный конфликт и внутренняя структура государств. На международной арене представляется крайне важным, чтобы демократии имели преимущество на мировой арене при создании мощного искусственного интеллекта. Авторитаризм, основанный на ИИ, кажется слишком ужасным, чтобы его даже представить, поэтому демократии должны иметь возможность устанавливать условия, на которых мощный ИИ будет внедряться в мир, чтобы избежать подавления со стороны авторитарных режимов и предотвратить нарушения прав человека в авторитарных странах.

На данный момент я считаю, что наилучший способ сделать это — использовать «стратегию согласия»

В рамках этой стратегии коалиция демократических стран стремится получить явное преимущество (пусть даже временное) над мощным ИИ, обеспечив безопасность его цепочки поставок, быстро масштабируя производство и блокируя или задерживая доступ противников к ключевым ресурсам, таким как чипы и полупроводниковое оборудование. С одной стороны, эта коалиция будет использовать ИИ для достижения значительного военного превосходства («кнут»), а с другой — предлагать распределение преимуществ мощного ИИ («пряник») среди всё большего числа стран в обмен на поддержку стратегии коалиции по продвижению демократии (это будет чем-то похоже на « Атомы за мир »). Коалиция будет стремиться заручиться поддержкой всё большего числа стран мира, изолируя наших злейших противников и в конечном итоге поставив их в положение, когда им будет выгоднее заключить ту же сделку, что и остальному миру: отказаться от конкуренции с демократиями, чтобы получить все преимущества и не сражаться с превосходящим противником.

Если нам удастся всё это осуществить, мы получим мир, в котором демократии будут лидировать на мировой арене и обладать экономической и военной мощью, чтобы избежать подрыва, завоевания или саботажа со стороны автократий, и, возможно, смогут использовать своё превосходство в области ИИ для получения устойчивого преимущества. В идеале это может привести к «вечному 1991 году» — миру, где демократии будут иметь преимущество, а мечты Фукуямы воплотятся в жизнь. Однако, это будет очень сложно осуществить, и в частности, потребует тесного сотрудничества между частными компаниями, занимающимися ИИ, и демократическими правительствами, а также чрезвычайно мудрых решений о балансе между «кнутом и пряником».

Даже если всё пойдёт хорошо, остаётся вопрос о борьбе между демократией и автократией внутри каждой страны. Очевидно, трудно предсказать, что произойдёт, но у меня есть некоторый оптимизм по поводу того, что в глобальной среде, где демократии контролируют самый мощный ИИ, ИИ может фактически структурно благоприятствовать демократии повсюду. В частности, в этой среде демократические правительства могут использовать свой превосходящий ИИ для победы в информационной войне: они могут противодействовать операциям влияния и пропаганды со стороны автократий и даже могут создать глобальную свободную информационную среду, предоставляя каналы информации и услуги ИИ таким образом, что автократии не имеют технических возможностей блокировать или контролировать их. Вероятно, нет необходимости распространять пропаганду, достаточно лишь противодействовать злонамеренным атакам и разблокировать свободный поток информации. Хотя это и не произойдёт немедленно, такие равные условия имеют хорошие шансы постепенно склонить глобальное управление в сторону демократии по нескольким причинам.

Во-первых, повышение качества жизни, описанное в разделах 1-3, при прочих равных условиях должно способствовать развитию демократии: исторически это происходило, по крайней мере, в некоторой степени. В частности, я ожидаю, что улучшение психического здоровья, благополучия и образования будет способствовать развитию демократии, поскольку все три показателя отрицательно коррелируют с поддержкой авторитарных лидеров. В целом, люди стремятся к большей самовыражению, когда удовлетворены другие их потребности, а демократия, помимо прочего, является формой самовыражения. И наоборот, авторитаризм процветает на страхе и негодовании.

(оппаньки)

Во-вторых, существует большая вероятность того, что свободная информация действительно подрывает авторитаризм, если авторитарные режимы не могут её подвергать цензуре. А нецензурируемый ИИ также может предоставить людям мощные инструменты для подрыва репрессивных правительств. Репрессивные правительства выживают, лишая людей определённого рода общеизвестных знаний, не позволяя им осознать, что «король голый». Например, Срджа Попович , который помог свергнуть правительство Милошевича в Сербии, много писал о методах психологического лишения авторитарных режимов власти, о разрушении чар и мобилизации поддержки против диктатора. Сверхэффективная версия ИИ Поповича (чьи навыки, похоже, дают высокую отдачу от интеллекта), доступная каждому, которую диктаторы не в силах заблокировать или подвергнуть цензуре, могла бы послужить стимулом для диссидентов и реформаторов по всему миру. Повторюсь, это будет долгая и затяжная борьба, в которой победа не гарантирована, но если мы правильно спроектируем и создадим ИИ, то, по крайней мере, у сторонников свободы во всем мире может быть преимущество.

Как и в нейробиологии и биологии, мы также можем задаться вопросом, как можно сделать вещи «лучше, чем обычно» — не только как избежать автократии, но и как сделать демократии лучше, чем они есть сегодня. Даже внутри демократических систем несправедливость происходит постоянно. Правовые общества дают своим гражданам обещание, что все будут равны перед законом и каждый имеет право на основные права человека, но очевидно, что люди не всегда получают эти права на практике. Тот факт, что это обещание выполняется хотя бы частично, является поводом для гордости, но может ли ИИ помочь нам добиться лучших результатов?

Например, может ли ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня в юридических и судебных контекстах люди в основном опасаются, что системы ИИ станут причиной дискриминации , и эти опасения важны и требуют защиты. В то же время, жизнеспособность демократии зависит от использования новых технологий для совершенствования демократических институтов, а не только от реагирования на риски. По-настоящему зрелое и успешное внедрение ИИ имеет потенциал для уменьшения предвзятости и обеспечения большей справедливости для всех.

На протяжении веков правовые системы сталкивались с дилеммой: закон стремится к беспристрастности, но по своей природе субъективен и, следовательно, должен интерпретироваться предвзятыми людьми. Попытки сделать закон полностью механическим не увенчались успехом, потому что реальный мир сложен и не всегда может быть описан математическими формулами. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как « жестокое и необычное наказание » или « совершенно не имеющее никакой социальной значимости », которые затем интерпретируются людьми — и часто делают это таким образом, что проявляют предвзятость, фаворитизм или произвол. « Смарт-контракты » в криптовалютах не произвели революцию в праве, потому что обычный код недостаточно умён, чтобы выносить решения, представляющие большой интерес. Но искусственный интеллект может оказаться достаточно умным для этого: это первая технология, способная выносить широкие, расплывчатые суждения повторяемым и механическим способом.

Я не предлагаю буквально заменить судей системами искусственного интеллекта, но сочетание беспристрастности со способностью понимать и обрабатывать сложные ситуации реального мира, кажется , должно иметь серьезные позитивные применения в сфере права и правосудия. По крайней мере, такие системы могли бы работать вместе с людьми в качестве помощника в принятии решений. Прозрачность была бы важна в любой такой системе, и развитая наука об ИИ могла бы ее обеспечить: процесс обучения таких систем можно было бы тщательно изучить, а передовые методы интерпретируемости можно было бы использовать для того, чтобы заглянуть внутрь конечной модели и оценить ее на предмет скрытых предубеждений, что просто невозможно с людьми. Такие инструменты ИИ также можно было бы использовать для мониторинга нарушений основных прав в судебном или полицейском контексте, делая конституции более саморегулирующимися.

Аналогичным образом, ИИ можно использовать как для сбора мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, поиска точек соприкосновения и компромиссов. Некоторые ранние идеи в этом направлении были реализованы в рамках проекта «Вычислительная демократия» , в том числе в сотрудничестве с Anthropic . Более информированное и вдумчивое гражданское общество, очевидно, укрепит демократические институты.

Существует также очевидная возможность использования ИИ для оказания государственных услуг — таких как медицинское страхование или социальные услуги, — которые в принципе доступны каждому, но на практике часто крайне недостаточны, а в некоторых местах ситуация хуже, чем в других. Это включает в себя медицинские услуги, ГИБДД (прим.аффтара - гугль транслейт бгг хорошо хоть ГАИ не написал) , налоги, социальное обеспечение, контроль за соблюдением строительных норм и так далее. Наличие очень вдумчивого и информированного ИИ, чья задача — предоставлять вам все, на что вы имеете законное право, в понятной для вас форме, а также помогать вам соблюдать часто запутанные государственные правила, было бы очень важным. Увеличение потенциала государства помогает как выполнить обещание равенства перед законом, так и укрепить уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются одной из основных причин цинизма по отношению к правительству .
.

Все эти идеи несколько расплывчаты, и, как я уже говорил в начале этого раздела, я далеко не так уверен в их осуществимости, как в достижениях в биологии, нейробиологии и борьбе с бедностью. Они могут быть нереалистично утопичными. Но важно иметь амбициозное видение, быть готовым мечтать о многом и пробовать новое. Видение ИИ как гаранта свободы, прав личности и равенства перед законом слишком сильно, чтобы за него не бороться. Политическая система XXI века, использующая ИИ, могла бы стать как более сильным защитником индивидуальной свободы, так и маяком надежды, который поможет сделать либеральную демократию той формой правления, которую хочет принять весь мир.

5. Работа и смысл

Даже если все, что было описано в предыдущих четырех разделах, пройдет успешно — мы не только избавимся от болезней, бедности и неравенства, но и либеральная демократия станет доминирующей формой правления, а существующие либеральные демократии станут лучшими версиями самих себя — по крайней мере, один важный вопрос все еще остается. «Замечательно, что мы живем в таком технологически развитом, а также справедливом и достойном мире, — может кто-то возразить, — но если все будет делать ИИ, как тогда люди обретут смысл жизни? И, собственно говоря, как они смогут выжить экономически?».

Я думаю, этот вопрос сложнее остальных. Я не имею в виду, что я обязательно более пессимистичен по этому поводу, чем по другим вопросам (хотя я вижу в нём сложности). Я имею в виду, что он более расплывчатый и его сложнее предсказать заранее, потому что он связан с макроскопическими вопросами об организации общества, которые, как правило, разрешаются только со временем и децентрализованным образом. Например, исторические общества охотников-собирателей могли представлять себе, что жизнь бессмысленна без охоты и различных связанных с ней религиозных ритуалов, и могли считать, что наше хорошо обеспеченное технологическое общество лишено смысла. Они также могли не понимать, как наша экономика может обеспечить всех, или какую полезную функцию люди могут выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, помня при этом, что краткость этого раздела ни в коем случае не следует воспринимать как признак того, что я не отношусь к этим вопросам серьезно — наоборот, это признак отсутствия четких ответов.

Что касается смысла, я думаю, что ошибочно полагать, будто выполняемые вами задачи бессмысленны только потому, что искусственный интеллект мог бы сделать их лучше. Большинство людей не являются лучшими в мире ни в чём, и это, похоже, их не особо беспокоит. Конечно, сегодня они всё ещё могут вносить свой вклад благодаря сравнительному преимуществу и могут извлекать смысл из экономической ценности, которую они создают, но люди также получают большое удовольствие от занятий, которые не приносят экономической ценности. Я провожу много времени за видеоиграми, плаванием, прогулками на свежем воздухе и общением с друзьями, и всё это не приносит никакой экономической ценности. Я могу потратить день на то, чтобы лучше играть в видеоигры или быстрее подниматься на велосипеде в гору, и меня совершенно не волнует, что кто-то где-то намного лучше справляется с этими вещами. В любом случае, я думаю, что смысл в основном исходит из человеческих отношений и связей, а не из экономического труда. Люди действительно хотят чувствовать удовлетворение от достигнутого, даже чувство соперничества, и в мире после ИИ вполне возможно потратить годы на выполнение какой-либо очень сложной задачи с помощью комплексной стратегии, подобно тому, как люди сегодня начинают исследовательские проекты, пытаются стать голливудскими актерами или основывают компании

Тот факт, что (а) искусственный интеллект где-то в принципе мог бы выполнить эту задачу лучше, и (б) эта задача больше не является экономически выгодным элементом глобальной экономики, мне кажется, не имеет большого значения.

Экономический аспект мне кажется сложнее, чем смысловой. Под «экономическим» в этом разделе я подразумеваю возможную проблему, заключающуюся в том, что большинство или все люди могут оказаться не в состоянии внести значимый вклад в достаточно развитую экономику, основанную на искусственном интеллекте. Это более макропроблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в разделе 3.

Во-первых, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество будет и дальше поддерживать востребованность людей и фактически повышать их производительность, а в некоторых отношениях даже выравнивать условия конкуренции между людьми . Пока ИИ лучше справляется только с 90% работы, остальные 10% будут приводить к высокой загрузке человеческих ресурсов, увеличению заработной платы и созданию множества новых рабочих мест для людей, дополняющих и усиливающих сильные стороны ИИ, так что эти «10%» будут расширяться и обеспечивать работой почти всех . На самом деле, даже если ИИ может делать 100% вещей лучше, чем люди, но при этом остается неэффективным или дорогостоящим в некоторых задачах, или если затраты ресурсов у людей и ИИ существенно различаются, логика сравнительного преимущества продолжает действовать. Одна из областей, в которой люди, вероятно, сохранят относительное (или даже абсолютное) преимущество в течение значительного времени, — это физический мир. Таким образом, я думаю, что человеческая экономика может сохранять смысл даже после того, как мы достигнем точки, когда «страна гениев в дата-центре».

Однако я считаю, что в долгосрочной перспективе ИИ станет настолько эффективным и дешевым, что это утверждение перестанет быть актуальным. В этот момент наша нынешняя экономическая система перестанет иметь смысл, и возникнет необходимость в более широком общественном обсуждении того, как должна быть организована экономика.

Хотя это может звучать безумно, факт в том, что цивилизация успешно преодолевала крупные экономические сдвиги в прошлом: от охоты и собирательства к земледелию, от земледелия к феодализму, и от феодализма к индустриализму. Я подозреваю, что потребуется что-то новое и более странное, и что никто сегодня не смог это хорошо предвидеть. Это может быть что-то простое, например, большой универсальный базовый доход для всех, хотя я подозреваю, что это будет лишь небольшой частью решения. Это может быть капиталистическая экономика, основанная на системах искусственного интеллекта, которые затем будут распределять ресурсы (огромные объемы, поскольку общий экономический пирог будет гигантским) среди людей на основе некоторой вторичной экономики, основанной на том, что, по мнению систем ИИ, имеет смысл вознаграждать людей (на основе суждения, в конечном итоге вытекающего из человеческих ценностей). Возможно, экономика будет работать на « очках Вуффи» . Или, возможно, люди все-таки сохранят свою экономическую ценность, каким-то образом, не предусмотренным обычными экономическими моделями. Все эти решения сопряжены с множеством возможных проблем, и невозможно узнать, будут ли они иметь смысл, без множества итераций и экспериментов. Как и в случае с некоторыми другими проблемами, нам, вероятно, придется бороться за благоприятный результат: эксплуататорские или антиутопические направления также вполне возможны и должны быть предотвращены. Об этих вопросах можно было бы написать гораздо больше, и я надеюсь сделать это позже.

Подведение итогов

В рамках рассмотренных выше тем я попытался изложить видение мира, который является одновременно правдоподобным, если все пойдет правильно с ИИ, и намного лучше, чем сегодняшний мир. Я не знаю, реалистичен ли этот мир, и даже если да, то он не будет достигнут без огромных усилий и борьбы многих смелых и преданных своему делу людей. Каждый (включая компании, занимающиеся ИИ!) должен будет внести свой вклад как в предотвращение рисков, так и в полную реализацию преимуществ.

Но это мир, за который стоит бороться. Если всё это действительно произойдёт в течение 5-10 лет — победа над большинством болезней, рост биологической и когнитивной свободы, вывод миллиардов людей из нищеты и предоставление им доступа к новым технологиям, возрождение либеральной демократии и прав человека — я подозреваю, что каждый, кто будет наблюдать за этим, будет удивлён тем, какое влияние это окажет на него. Я имею в виду не личное извлечение выгоды из всех новых технологий, хотя это, безусловно, будет потрясающе. Я имею в виду наблюдение за тем, как давно устоявшиеся идеалы материализуются перед нами одновременно. Думаю, многих это буквально тронет до слёз.

В процессе написания этого эссе я заметил интересное противоречие. В каком-то смысле изложенное здесь видение крайне радикально: оно не соответствует тому, чего почти кто-либо ожидает в следующем десятилетии, и многим, вероятно, покажется абсурдной фантазией. Некоторые могут даже не счесть его желательным; оно воплощает ценности и политические решения, с которыми не все согласятся. Но в то же время в нем есть что-то ослепительно очевидное — что-то предопределенное — как будто множество различных попыток представить себе хороший мир неизбежно приводят примерно к этому.

В книге Иэна М. Бэнкса « Игрок в игры» (The Player of Games) 29

Главный герой — член общества, называемого Культурой, основанного на принципах, во многом схожих с теми, которые я здесь изложил, — отправляется в репрессивную, милитаристскую империю, где лидерство определяется конкуренцией в сложной стратегической игре. Однако игра достаточно сложна, чтобы стратегия игрока в ней отражала его собственные политические и философские взгляды. Главный герой побеждает императора в игре, показывая, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, разработанной обществом, основанным на безжалостной конкуренции и выживании сильнейших. В известной статье Скотта Александра содержится тот же тезис — что конкуренция саморазрушительна и, как правило, ведет к обществу, основанному на сострадании и сотрудничестве. « Дуга моральной вселенной » — еще одна похожая концепция.

Я думаю, что ценности Культуры — это выигрышная стратегия, потому что они представляют собой сумму миллионов небольших решений, обладающих явной моральной силой и стремящихся объединить всех на одной стороне. С основными человеческими интуициями справедливости, сотрудничества, любопытства и автономии трудно спорить, и они накапливаются таким образом, каким часто не накапливаются наши более деструктивные импульсы. Легко утверждать, что дети не должны умирать от болезней, если мы можем предотвратить это, и отсюда легко утверждать, что дети всех заслуживают этого права в равной степени. Отсюда нетрудно утверждать, что мы все должны объединиться и применить свой интеллект для достижения этого результата. Мало кто не согласен с тем, что людей следует наказывать за нападения или причинение вреда другим без необходимости, и отсюда нетрудно дойти до идеи, что наказания должны быть последовательными и систематическими для всех людей. Аналогично интуитивно понятно, что люди должны обладать автономией и ответственностью за свою жизнь и свой выбор. Эти простые интуиции, если довести их до логического завершения, в конечном итоге приводят к верховенству права, демократии и ценностям Просвещения. Если не неизбежно, то, по крайней мере, согласно статистической тенденции, именно к этому движению человечество уже и шло. Искусственный интеллект просто предоставляет возможность ускорить этот процесс — сделать логику более очевидной, а конечную цель — более ясной.

Тем не менее, это нечто возвышенное и прекрасное. У нас есть возможность сыграть небольшую роль в воплощении этого в реальность.

Благодарим Кевина Эсвельта, Парага Маллика, Стюарта Ричи, Мэтта Иглесиаса, Эрика Бринйольфссона, Джима МакКлейва, Аллана Дефо и многих сотрудников журнала Anthropic за рецензирование черновиков этого эссе.

Выражаем благодарность лауреатам Нобелевской премии по химии 2024 года за то, что они показали нам весь путь.

----------------------

Конец цитате.

Что еще можно добавить - "победить императора" вряд ли у Них получится. Пентагон не даст, бгг.

Ну или кто там у них в адептус администратум.

Кстати что за "император" - что то классикой пахнуло...  откуда эта ересь лезет

ну и по поводу бана министерством войны , тоже оригинальный свежайший ( 5 (пять) марта 2026 года ) текст:

https://www.anthropic.com/news/where-stand-department-war 

Вчера (4 марта) компания Anthropic получила письмо от Министерства обороны, подтверждающее, что мы были признаны угрозой для национальной безопасности Америки в рамках цепочки поставок. Как мы писали в пятницу, мы считаем это решение юридически необоснованным и не видим иного выбора, кроме как оспорить его в суде. Формулировка, использованная Министерством обороны в письме (даже если предположить, что она юридически обоснована), совпадает с нашим заявлением в пятницу о том, что подавляющее большинство наших клиентов не затронуты присвоением статуса угрозы для цепочки поставок. Что касается наших клиентов, то это явно относится только к использованию Claude клиентами в рамках контрактов с Министерством обороны, а не ко всем случаям использования Claude клиентами, имеющими такие контракты. Письмо Министерства имеет узкую сферу применения, и это связано с тем, что соответствующий закон (10 USC 3252) также имеет узкую сферу применения. Он существует для защиты правительства, а не для наказания поставщика; фактически, закон требует от министра обороны использовать наименее ограничительные средства, необходимые для достижения цели защиты цепочки поставок. Даже для подрядчиков Министерства обороны обозначение риска в цепочке поставок не ограничивает (и не может ограничивать) использование Claude или деловые отношения с Anthropic, если они не связаны с их конкретными контрактами с Министерством обороны. Я хотел бы еще раз подчеркнуть, что в последние несколько дней мы вели продуктивные переговоры с Министерством обороны как о способах оказания услуг Министерству в рамках наших двух узких исключений, так и о способах обеспечения плавного перехода, если это невозможно. Как мы писали в четверг, мы очень гордимся работой, которую мы проделали вместе с Министерством, поддерживая военнослужащих на передовой с помощью таких приложений, как анализ разведывательной информации, моделирование и симуляция, оперативное планирование, кибер-операции и многое другое. Как мы заявили в прошлую пятницу, мы не считаем и никогда не считали, что Anthropic или любая другая частная компания должны участвовать в принятии оперативных решений — это роль военных. Нас беспокоили только исключения, касающиеся полностью автономного оружия и массового внутреннего наблюдения, которые относятся к областям применения высокого уровня, а не к принятию оперативных решений. Я также хочу лично извиниться за внутреннюю публикацию компании, которая вчера просочилась в прессу. Компания Anthropic не сливала эту публикацию и не давала никому указаний делать это — нам не выгодно обострять ситуацию. Эта конкретная публикация была написана через несколько часов после сообщения президента в Truth Social о том, что Anthropic будет исключена из всех федеральных систем, публикации министра обороны в X, объявляющей о риске для цепочки поставок, и объявления о сделке между Пентагоном и OpenAI, которую даже сама OpenAI позже охарактеризовала как запутанную. Это был трудный день для компании, и я приношу извинения за тон публикации. Она не отражает моих взвешенных или обдуманных взглядов. Кроме того, она была написана шесть дней назад и представляет собой устаревшую оценку текущей ситуации. Наш важнейший приоритет сейчас — обеспечить, чтобы наши военнослужащие и эксперты по национальной безопасности не были лишены важных инструментов в разгар крупных боевых операций. Компания Anthropic будет предоставлять свои модели Министерству обороны и сообществу национальной безопасности по номинальной цене и с постоянной поддержкой наших инженеров до тех пор, пока это необходимо для осуществления перехода, и до тех пор, пока нам будет разрешено это делать. У Anthropic гораздо больше общего с Министерством обороны, чем различий. Мы оба привержены продвижению национальной безопасности США и защите американского народа и согласны с неотложной необходимостью применения ИИ во всех государственных структурах. Все наши будущие решения будут исходить из этой общей предпосылки.

---

вот такие у них там высокие отношения. Фукуяма фукуямой, а подряды терять не хочется.