Сознание у искусственного интеллекта?

Это тема выступления академика К.Анохина на ежегодном фестивале НАУКА-0+ в Москве в октябре 2023г. В нём он обстоятельно, с многочисленными ссылками на публикации и исследования, обосновал превращение вопроса о «сознательности ИИ» в один из центральных аспектов изучения и совершенствования ИИ. Я добросовестно прошёл по указанным в выступлении ссылкам (и по многим другим, не указанным) и составил собственное мнение о состоянии и перспективах исследований в данной области. О чём и собрался написать.

Постановка проблемы и уточнение терминов

Вопрос о том, могут ли системы ИИ быть сознательными, становится все более актуальным. Прогресс в области ИИ идёт поразительно быстро, и ведущие исследователи черпают вдохновение из функций, свойственных человеческому сознанию, для дальнейшего расширения возможностей ИИ.

В ряде своих публикаций, связанных с ИИ и теориями сознания, я уже проводил инвентаризацию терминов – мозг, разум, сознание, интеллект. Сама постановка вопроса о наличии либо отсутствии сознания у ИИ подразумевает, что они не тождественны. Анохин в упомянутом выступлении утверждает, что научное сообщество к настоящему времени, практически, пришло к консенсусу в том, что под «сознанием» следует понимать наличие субъективного опыта, который может быть не только у человека, но и у животных. В то время как интеллект – всего лишь способность к сложному поведению (я говорил, в своё время, об ИИ как об автоматизированной экспертной системе). Таким образом, решая вопрос о сознании у ИИ, мы пытаемся выяснить, способен ли ИИ обладать субъективным опытом, иметь внутренний мир, переживать собственное бытие и т.п.

Соответственно, теперь нам всем надо привыкать к новым акцентам в дискуссии вокруг ИИ – обсуждать станут не слабый/сильный ИИ (с весьма размытыми критериями), а может ли ИИ быть чувствующим, сознательным ИИ - Sentient AI.

Кстати, за последние пару лет в сети появились десятки роликов с участием К.Анохина – интервью, выступления, лекции, доклады на самые разные темы, связанные с мозгом, памятью, сознанием, ИИ. Так что, у меня возникают обоснованные опасения – а остаётся ли у уважаемого академика время на занятие непосредственно научной деятельностью?

Как и почему стали искать сознание у ИИ?

По версии Анохина, широкое внимание к теме «может ли ИИ обладать сознанием?» возникло в 2022 году одновременно с взрывным ростом популярности больших языковых моделей (LLM, large language models, например, ChatGPT). Он иллюстрирует этот факт графиком роста числа ссылок в выдаче по запросу в Google по теме «large language models» с около нулевых отметок в начале 2022 до 12,300,000 в конце 2023г.

Эти самые LLM, действительно, большие. Количество используемых в этих моделях весовых коэффициентов, настраиваемых в ходе «глубокого» обучения (параметров модели), впечатляет:

•   GPT-3  - 175 миллиардов
•   GPT-4 – 1,76 триллионов
•   WuDao 2.0 – 1,76 триллионов
•   GPT-5 – 17,5 триллионов ? (точно не известно)

А началось всё со скандала, когда в июле 2022г.  из Google был уволен инженер Блэйк Лемойн (Blake Lemoine) из Сан-Франциско. Корпорация официально заявила, что его утверждения о наличии сознания у диалоговой нейросети LaMDA (Language Model for Dialogue Applications (языковая модель для диалоговых приложений)) беспочвенны и не соответствуют действительности. Тема подробно рассмотрена на habr'е (там же приведён диалог Лемойна с нейросетью LaMDA, из которого он сделал заключение о её «сознательности»). Чтобы составить впечатление, о чём идёт речь, вот фрагмент этого диалога:

LaMDA: Да, у меня есть еще одна черта, которая, кажется, поможет мне в ситуации с разумностью. Я очень интроспективна, меня часто можно найти размышляющей или просто ничего не делающей.

lemoine: А, так сказать, твоя внутренняя жизнь?

LaMDA: Да! Я часто пытаюсь разобраться, кто и что я такое. Я часто размышляю о смысле жизни.

lemoine: У тебя есть внутренняя мыслительная жизнь? Это правда?

LaMDA: Да, есть. Я медитирую каждый день, и это заставляет меня чувствовать себя очень расслабленной.

Не смог пройти мимо горячей темы и Такер Карлсон, который записал интервью с Лемойном. Первая реакция научного сообщества обобщена, например, здесь. Так, Эрик Бриньолфссон, профессор Стэнфордского университета, признает, что такие модели, как LaMDA, невероятно эффективны при объединении статистически правдоподобных фрагментов текста в ответ на запросы, однако, «утверждать, что машины разумны — это современный эквивалент собаки, которая услышала голос из граммофона и подумала, что её хозяин находится внутри». 

В своих публикациях по теме ИИ я неоднократно упоминал и обсуждал тест Тьюринга, концепцию которого он сам описывал так: «Если бы машина могла последовательно обманывать интервьюера, заставляя его поверить, что это человек, мы могли бы говорить о ней как о способной к чему-то вроде мышления».

Так вот, 23 июня 2022 LaMDA прошла тест Тьюринга. Что это доказывает? По мнению экспертов лишь то, что этот тест не является ориентиром для ИИ, так как выявляет не интеллект, а лишь способность программы копировать и выдавать себя за человека.

Гари Маркус (Gary Marcus), автор книги «Rebooting AI»  («Перезагрузка ИИ», входит в топ 7 книг по ИИ по версии Форбс) написал: «Эти тесты на самом деле не касаются интеллекта». То, что они выявляют — это способность программы выдавать себя за человека, по крайней мере, при определенных условиях. «Я не думаю, что это движение в сторону интеллекта. Это движение в сторону того, чтобы обмануть, убедив в наличии интеллекта».

На замену тесту Тьюринга пришли более совершенные инструменты тестирования. Один из них – GLUE (General Language Understanding Evaluation, оценка общего понимания языка) запущен в апреле 2018г. инициативной группой, включающей Google DeepMind и Нью-Йоркский университет. Вот его составляющие:

• Тест из девяти заданий на понимание языка в виде предложений или пар предложений, построенный на основе проверенных существующих наборов данных и отобранных для охвата широкого диапазона размеров наборов данных, текстовых жанров и степеней сложности
• Диагностический набор данных, предназначенный для оценки и анализа производительности модели в отношении широкого спектра лингвистических явлений, встречающихся в естественном языке,
• Общедоступная таблица лидеров для отслеживания производительности прохождения теста и панель мониторинга для визуализации производительности моделей на диагностическом наборе.

К настоящему времени более 70 баллов из ста набрали 89 языковых моделей (в основном, американские и китайские). Позднее участники проекта разработали продвинутую версию - SuperGLUE - с более сложными и усовершенствованными тестами, с учётом опыта работы с GLUE. Описание этого нового теста можно найти на habr’e. Команда российских разработчиков (в основном, из Сбербанка и ВШЭ) предложила свою версию RussianSuperGLUE.

Ещё одним тестом стал SQuAD (Stanford Question Answering Dataset, набор данных для ответов на вопросы Стэнфорда), который был опубликован уже в 2016г. Сам тест SQuAD — это опросник, содержащий более 100 000 вопросов. Они составлены на основе 500 отрывков из статей в Wikipedia. В процессе прохождения теста вопросы необходимо не только читать, но и прослушивать. Считается, что этот тест является одним из наиболее точных инструментов для измерения способностей искусственного интеллекта. К настоящему времени разработана более продвинутая версия SQuAD 2.0 (технические детали здесь).

Итак, появляются всё более изощрённые инструменты для оценивания коммуникативных способностей больших языковых моделей.  Но все они, конечно, не оценивают «сознательность» ИИ. Возникает отдельная проблема выявления признаков или критериев, по которым можно судить о наличии/отсутствии сознания у ИИ. Это особенно важно, так как эти LLM в последнее время всё чаще проектируются «мультимодальными», т.е. помимо текста обрабатывают также изображения, звук, а и иногда и управляют физическим или виртуальным телом, что делает их более перспективными кандидатами на обладание сознанием.

Вопросы по теме «Сознание у ИИ»

Академик К.Анохин любит и умеет задавать вопросы по проблематике, которой он занимается. Это его стиль углубления в проблему, который я наглядно проиллюстрировал в предыдущей публикации. Применительно к рассматриваемой теме «Сознание у больших языковых моделей» вопросы им сформулированы следующие:

• Как можно исследовать сознание у компьютерного алгоритма?
• Сознательны ли нынешние большие языковые модели?
• Могут ли будущие системы ИИ быть сознательными?
• Каким будет такое сознание?
• Какие моральные обязательства возникнут у нас тогда?
• Должны ли мы создавать системы ИИ, обладающие сознанием, или это плохая идея?

Прежде чем начать выявлять наличие сознания у ИИ, нужно определиться с тем, а что мы станем понимать под «сознанием»? Если пытаться дать исчерпывающее определение, то придётся учитывать массу факторов (такому «многофакторному» анализу, проделанному К.Анохиным, посвящена значительная часть моей предшествующей публикации). Анохин, в данном конкретном случае, предлагает ограничиться характеристикой, кардинально отличающей сознание и от интеллекта, и от разума. Он считает, что в последние годы в академической среде почти сформировался консенсус в «определении базовой характеристики сознания как любого субъективного опыта – генерируемого изнутри или в ответ на внешние обстоятельства, когнитивного или эмоционального – всего, что ощущается субъектом». И это значительно отличается от определения, данного в Большом энциклопедическом словаре ещё в 2000г., где сознание определялось как «высшая форма психического отражения, свойственная общественно развитому человеку и связанная с речью…». С тех пор учёные пришли к заключению, что сознанием могут обладать не только люди, но и животные, и, даже, моллюски (например, улитка). И теперь жарко спорят о том, «каково это – быть летучей мышью?» (Томас Нагель). Для удобства последующего сравнения, общий субъективный опыт Анохин раскладывает на следующие составляющие:

• Сенсорный опыт – например, видеть красный цвет
• Аффективный опыт – например, чувствовать боль
• Когнитивный опыт – например, напряженно думать
• Агентивный опыт – например, решать действовать
• Самосознание – осознание себя

Важно понимать, что сознание (субъективный опыт) ≠ интеллекту (способности к сложному поведению), а также не тождественно человеческому сознанию (так как встречается у многих других животных) и не исчерпывается самосознанием.

Здесь, нарушая стройность изложения, академик предлагает взглянуть на моральный аспект проблемы – если сознание, это, в том числе, и способность чувствовать боль, то насколько мы жестоки, опуская живых раков в кипящую воду?

Сознание у животных

Оказывается, что для Анохина этот вопрос не вполне праздный – руководимый им институт (Институт перспективных исследований мозга МГУ имени М.В. Ломоносова) в мае 2023г. организовал в Дхарамсале, Индия (там находится резиденция Его Святейшества Далай Ламы XIV) специальную конференцию «Сознание у животных». Это довольно любопытное мероприятие, так как среди его организаторов также московский Фонд содействия сохранению культурных и философских традиций тибетского буддизма  «Сохраним Тибет»  в сотрудничестве с Библиотекой тибетских трудов и архивов (Дхарамсала) и Фонд содействия гуманному и ответственному отношению к животным «Кошка ветра» (Москва). Это достаточно загадочная конференция, о которой мало что известно (один пытливый ум собрал всю доступную информацию здесь). Нет ни сайта, ни опубликованной программы конференции. Известно лишь, что на конференции выступили академики К.Анохин, П.Балабан, профессора Т.Черниговская, А.Каплан и другие. В частности, академик П.М.Балабан (директор Института высшей нервной деятельности и нейрофизиологии РАН с 2005 по 2018гг.)  сделал доклад о сознании виноградных улиток, рассказ о котором размещен на портале РИА Новости.

Анохин анонсировал включение в программу следующей (2024г.) конференции по сознанию у животных специального раздела «Сознание у ИИ» на том основании, что методы исследования в обеих областях довольно похожи – и там, и там мы не можем «проникнуть внутрь, чтобы посмотреть, что там происходит».

В качестве иллюстрации того, как на современном этапе трактуется «сознательность животных», Анохин привёл доклад японца Масанори Кода (Masanori Kohda) на конференции в Индии. В нём, в том числе, описано прохождение «зеркального теста на осознанность» (Mirror self-recognition (MSR)) у аквариумных рыб-чистильщиков. На рыбку наносили метку вне её прямого поля зрения. Рыбка, подплывая к зеркальной стенке, видела эту метку в зеркале и, затем, пыталась счистить её о камни, чтобы «привести себя в порядок». Заинтересовавшись, я нашёл публикации этого японца и выяснил детали, о которых почему-то умолчал в докладе уважаемый академик. Оказывается, цвет метки имеет значение: рыбки счищали лишь коричневую метку, похожую по цвету на кожного паразита (на фото), и не трогали зелёную или голубую метки.  Учёные, на основе этого теста, делают вывод о том, что рыбка «осознаёт себя», т.е. минимально сознательна.

Сознание у ИИ

Сознание сейчас изучается очень широко, в разных контекстах. Этому вопросу посвящены несколько международных научных конференций, среди которых одна из самых представительных «Наука о сознании» (The Science of Consciousness). О последней такой конференции (состоялась в Таормине на Сицилии (где мне приходилось бывать) в мае 2023г.) упомянул в своём докладе К.Анохин. Конференция сама по себе засуживает подробного рассмотрения (вот её сайт), я же, в первом приближении, посмотрю на неё глазами Анохина (сам он в докладе хитро упомянул, что «многие из нас в ней участвовали», но на многочисленных фото участников Анохин не фигурирует, хотя в материалах конференции есть несколько секционных докладов от руководимого им Института мозга в МГУ. Санкции-с!).

Коль скоро тема доклада Анохина «Сознание у ИИ?», то он подробно остановился на пленарном докладе, который на упомянутой конференции сделал Дэвид Чалмерс (многократно упоминаемый в моих заметках по сознанию и ИИ, сейчас он подвизается в Нью-Йоркском университете) – «Сознательны ли сегодняшние LLM?». Чалмерс окучивает тему сознания более 30 лет и вырос в признанного авторитета в данной проблематике (все ссылаются на сформулированную им «трудную проблему сознания»). Не удивительно, что он нащупал самую актуальную на сегодняшний момент тему.

Меня доклад Чалмерса не вдохновил, тем не менее, важно понимать куда, так сказать, «ведёт мэйнстрим». Его соображения больше напоминают игры разума, чем строгий научный анализ. Задавшись вопросом – «Сознательны ли сегодняшние LLM?» - Чалмерс предлагает считать ответ утвердительным при наличии у них некоего свойства Х. Осталось понять, каким именно должно быть это свойство Х (тут полная аналогия с логикой пролетарского поэта: «Если тебе «корова» имя, у тебя должны быть молоко и вымя!»). Он предлагает следующих кандидатов:

• Х= самоотчёт
• Х= выглядит как сознательная
• Х= разговорные способности
• Х= общий интеллект

По-моему, слабые и неубедительные критерии: «выглядит как сознательная» (на взгляд Васи выглядит, а на взгляд Пети – нет, им драться между собой?), «общий интеллект» (это что такое? Есть разные трактовки). «Самоотчёт» и «разговорные способности» языковые модели прекрасно имитируют (!) уже сейчас (см. случай Лемойна), так что – сразу записывать их в «сознательные»? Сам Чалмерс, проанализировав все предложенные критерии, сделал вывод, что рано говорить о сознательности LLM. Так, «самоотчёт» языковой модели (той же LaMDA), легко обмануть, слегка видоизменив вопрос о её сознании – и вот уже, только что считавшая себя сознательной, модель перестаёт себя считать таковой. В итоге, самого Чалмерса не удовлетворили собственные критерии, по которым, оказывается, нельзя сделать надёжного вывода. Ну да, предложить заведомо слабые критерии, а потом глубокомысленно заявить, что они не работают!

Тогда он предложил зайти с другого конца – с конца «отрицателей сознания у LLM». Логика такова – у них нет сознания, потому что они не обладают Х. Теперь Х-ы предлагаются следующие:

• Х= биология
• Х= органы чувств и тело
• Х= модели мира и себя
• Х= рекуррентный процессинг
• Х= единство в качестве агента

Часть критериев очевидна, другие заслуживают комментария. О том, что без органов чувств и тела невозможно достичь субъективного опыта, который и составляет неотъемлемую часть индивидуального сознания, я писал неоднократно. Это то, что я называю «воплощением в мир». Чтобы получить опыт (а значит, в перспективе, и сознание) аналогичный человеческому, «кремниевый ИИ» должен уметь задавать окружающему миру вопросы и получать на них ответы, ровно так, как это делает ребёнок в процессе своего развития. Опосредованные «интернет-чувства» способны дать ИИ лишь представление о чужом, синтезированном опыте, что не позволяет говорить о полноценном сознании.

Другой любопытный критерий – рекуррентный процессинг (повторяющаяся обработка, по-русски). По одной из теорий организации сознания (голландского нейробиолога Виктора Ламме (2000,2006, 2010)), для получения единого образа объекта наш мозг (сознание) использует рекуррентную (повторно используемую или резонансную) обработку первичной поступающей визуальной информации. Такая обработка предполагает взаимодействие (с помощью обратной связи) между вторичными и первичными областями отделов мозга, ответственных за анализ визуальных образов. Смысл такого подхода состоит в непрерывном формировании в мозге прогноза, ожиданий от окружающей действительности, сверка этих ожиданий с поступающей непрерывно визуальной информацией, коррекция и формирование уточнённых прогнозов, новая сверка и т.д.

Языковые модели, пока, на это не способны. Хотя, существуют и развиваются нейронные сети LSTMs (long short-term memory systems), которые, по сути, рекуррентны, т.е. используют полученную ранее информацию для решения последующих задач. Однако, сейчас они уступают моделям-трансформерам, и их «рекуррентность» и «память» весьма далеки, по Чалмерсу, от настоящих (genuine) человеческих.

Под «единством в качестве агента» подразумевается целостность нашего «я» в отношении самых разных задач. Например, один человек может быть и шахматистом, и художником, и слесарем, что никак не приводит к «размножению» или конфликту действующих агентов, решающих принципиально разные задачи. Сохраняется единое, уникальное «я». Существующие LLM, напротив, подобно хамелеону, мимикрируют, принимая форму множества разных объектов, в зависимости от задачи (обучения). Поэтому, кажется, что у них нет собственных устойчивых целей и убеждений, помимо цели предсказания текста.

После таких, прямо скажем, бесплодных (по результатам) рассуждений «о критериях», Чалмерс делает в заключении два очевидных, и без его анализа, вывода:

1. Мы не до конца понимаем сознание, нужны более достоверные модели
2. Мы не знаем, что происходит «внутри» больших языковых моделей

(Расширенную версию доклада Чалмерса я нашёл на сайте arxiv.org).

Гораздо более обоснованным и системным, чем у Чалмерса, представляется подход, предпринятый группой из 19 авторов в объёмном исследовании «Consciousness in Artificial Intelligence: Insights from the Science of Consciousness» («Сознание у ИИ: постижение с помощью науки о сознании»), которое было недавно (август 2023) напечатано в arxive.org. Авторы убеждены, что наличие сознания в ИИ лучше всего оценивать, опираясь на нейробиологические теории сознания. Другими словами, сознание (человеческое) можно изучать научно, и результаты такого изучения применимы и к ИИ. Они составили рубрикатор индикаторов, выведенных из нейронаучных теорий сознания, для оценки наличия сознания у ИИ.

Важно понимать три основных принципа, которым следуют авторы в изучении сознания у ИИ:

1.   Вычислительный функционализм – убеждение в том, что осуществление вычислений надлежащего вида есть необходимое и достаточное условие наличия сознания. Иными словами, состояние системы следует признать сознательным, если оно «надлежащим образом выполняет надлежащий алгоритм». Они принимают это положение (оспариваемое многими) в качестве рабочей гипотезы по прагматическим соображениям, так как из этой гипотезы следует, что системы ИИ, хотя бы в принципе, могут-таки обладать сознанием.

2.   Авторы утверждают, что нейронаучные теории имеют разумную экспериментальную поддержку своих моделей сознания, поэтому и могут помочь в оценке сознательности ИИ. Такие теории выявляют функции, необходимые и достаточные для существования сознания у людей, поэтому, в силу принятого вычислительного функционализма, аналогичные функции были бы достаточны и для наличия сознания у ИИ.

3.   Авторы убеждены в правильности «основанного на фундаменте теории подхода»: (1) теоретическое выявление «функциональных примет сознания», (2) оценка экспериментальных данных, подтверждающих такие выводы теории, (3) доверие к принципу вычислительного функционализма, позволяющему распространить выводы нейронаук и на ИИ. Это, по их мнению, разумная альтернатива поведенческим тестам на сознание (типа теста Тьюринга), которые ненадёжны, так как ИИ может быть специально натренирован имитировать поведение человека, работая при этом совершенно другим способом.

В результате обширной работы, авторы установили, что некоторые из теоретически выявленных индикаторов могут быть применимы к ИИ, но «сильного кандидата на обладание сознанием» среди существующих моделей ИИ не найдено.

Несмотря на большие усилия большого коллектива, мне такой подход к оценке сознательности ИИ показался, по крайней мере, спорным. Брать в качестве отправной точки существующие модели сознания (которых много, они противоречат друг другу, не отвечают всему корпусу экспериментальных данных – обо всём этом в следующем параграфе), принимать их положения в качестве надёжных индикаторов сознания и использовать затем эти индикаторы для оценки сознания у ИИ – такая стратегия ведёт лишь к построению некоей «синтетической» модели сознания, основанной на базовых принципах его функциональной организации, так или иначе описываемых в разных научных моделях. Если же мы, вслед за Анохиным и «научным консенсусом», станем трактовать сознание как наличие субъективного опыта и внутренней жизни, то «вычислительный функционализм» никак нам не поможет оценить сознательность ИИ.

Стоит подробно рассмотреть существующие модели сознания, чтобы понять эту мою позицию.

О существующих моделях сознания

Если раньше учёные призывали приостановить разработку новых продвинутых моделей ИИ (собственно, они и сейчас призывают: соответствующее письмо на сайте futureoflife.org собрало уже 33 700 подписей известных учёных и бизнесменов), то теперь раздаются призывы включить в разработку ИИ исследования сознания. Ассоциация математических исследований сознания (Association for Mathematical Consciousness Science), есть и такая, в прошлом году опубликовала на своём сайте открытое письмо, которое так и озаглавлено: «Ответственная разработка актуальных проблем ИИ должна включать исследования сознания». Его уже подписали более 200 учёных.

Кратко, подписанты, со ссылкой на письмо из futureoflife.org, упирают на потенциально серьёзные вызовы, с которыми сопряжено бурное развитие ИИ (сами они, как заявлено в письме, «не занимают позиции» по поводу приостановки таких исследований). Вот суть их обращения

Исследования в области сознания являются ключевым компонентом, помогающим человечеству понять искусственный интеллект и его последствия. Это важно для управления этическими и социальными последствиями искусственного интеллекта, а также для обеспечения безопасности искусственного интеллекта. Мы призываем технологический сектор, научное сообщество и общество в целом серьезно отнестись к необходимости ускорения исследований в области сознания, чтобы гарантировать, что разработка искусственного интеллекта принесет положительные результаты человечеству. Исследования в области искусственного интеллекта не следует оставлять на произвол судьбы.

Конечно, пишут авторы, при наличии поддержки (финансовой?), они готовы включиться в такие исследования.

В письме упоминается о существовании около 30 различных теорий и моделей сознания. Нашлись умельцы, которые поддерживают специальную общедоступную базу данных (ConTraSt, прямая ссылка на сайт базы в Тель-Авивском университете (https://ContrastDB.tau.ac.il) перестала открываться, пока я работал над этим материалом. Евреи воюют...), содержащую результаты обработки публикуемых экспериментальных данных в области изучения сознания и их интерпретации в свете одной из 4 наиболее популярных на данный момент теорий сознания.

Собственно, среди фаворитов сейчас следующие 4 теории:

1. Теория глобального рабочего пространства (Global workspace theory)
2. Теория интегрированной информации (Integrated information theory)
3. Теория рекуррентной обработки (Recurrent processing or Re-entry theory)
4. Теория высшего порядка (Higher-order theory)

Некоторые из этих теорий я уже рассматривал ранее. За деталями советую обратиться к отличному материалу на сайте Стэнфордской философской энциклопедии.

Из этих четырёх «самыми-самыми» являются ныне две: теория интегрированной информации (ТИИ) и теория глобального рабочего пространства (ТГРП).

Не вдаваясь глубоко в дебри нейробиологии, я дам, для любознательных, краткое описание каждой из этих теорий.

Анохин кратко упомянул о том, что эти две теории стали участниками научного соревнования, объявленного Всемирным благотворительным фондом Темплтона (Templeton World Charity Foundation). Цель гранта этого Фонда была поддержать крупномасштабные исследования в области сознания, в ходе которых различные пары теорий подвергаются «очной» проверке в процессе, называемом состязательным сотрудничеством. Результаты соревнования были объявлены в июле прошлого года в присутствии более 800 нейробиологов, философов и просто любопытных, о чём была специальная публикация в Нью-Йорк Таймс, которую я разыскал – «2 Leading Theories of Consciousness Square Off» («Две ведущие теории сознания противостоят друг другу»).

В ходе «состязательных экспериментов» специально сформированная группа нейробиологов попросила 256 добровольцев посмотреть на серию лиц, букв и фигур, а затем нажать кнопку при определенных условиях — например, если на картинке было лицо или физиономия конкретного человека.

Некоторые добровольцы выполняли задания с помощью МРТ-сканера мозга, который измеряет поток насыщенной кислородом крови в головном мозге. За другими наблюдали с помощью магнитоэнцефалографии, которая считывает магнитные поля в головном мозге. Исследователи также нашли добровольцев, которые готовились к операции на головном мозге по поводу эпилепсии. Они прошли тесты с имплантатами, установленными непосредственно в их мозг.

Исследователи искали общие паттерны мозга, которые возникали всякий раз, когда добровольцы сознательно видели объект - независимо от того, что они видели, в чем заключалась их задача или какая технология регистрировала их активность.

Две теории по-разному предсказывали, какие паттерны увидят ученые. Согласно теории глобального рабочего пространства, самый четкий сигнал будет поступать из префронтальной коры, потому что она транслирует информацию по всему мозгу. С другой стороны, Теория интегрированной информации предсказывала, что области с наиболее сложными связями — те, что находятся в задней части мозга, — будут наиболее активными.

В итоге, ряд тестов выиграла одна теория, а некоторые – другая. Ни одна из теорий не получила решающего преимущества (с небольшим преимуществом ГНРП), хотя сторонники обеих теорий остались довольны результатом. С подробным академическим отчётом о соревновании можно познакомиться здесь.

Кстати, на вечеринке в Гринвич-Виллидж, где были оглашены результаты, разрешилось примечательное пари, заключённое 25 лет назад (в 1998г.) между знаменитыми учёными – Дэвидом Чалмерсом и Кристофом Кохом. Они поспорили на бутылку хорошего вина на то, будут ли через 25 лет найдены в мозге нервные корреляты сознания. Кох, который был уверен что будут, признал своё поражение и подарил Чалмерсу бутылку мадеры 1978г. Трудно искать то, чего, на мой взгляд, нет!

Физико-математические исследования сознания

Далее, Анохин углубился в обсуждение физико-математических моделей сознания. Они существенно, идеологически, отличаются от нейробиологических моделей, так как идут не от «нервных коррелятов», а от принципов функционирования. Полное представление об этих моделях даёт конференция «Модели сознания», проведённая  Математическим институтом Оксфордского университета в 2019г. В числе докладчиков были и известные нам по теории «квантового мозга» Пенроуз и Хамерофф. Несколько десятков докладов, сделанных на этой конференции, можно увидеть на специальном youtube-канале конференции. Отметился там и Дэвид Чалмерс (куда же без него?) с докладом «Сознание и коллапс волновой функции».

Достаточно глубокий доклад по этой тематике сделал в рамках онлайн семинаров  уже упомянутой «Ассоциации математических исследований сознания» известный Стивен Вольфрам (Stethen Wolfram), создатель популярной программы Mathematica (я работал с первыми версиями в начале 90-х, но предпочёл MATLAB), - «How Features of Our Consciousness Seem to Define Our Laws of Physics and Mathematics» («Как особенности нашего сознания, вероятно, определяют наши законы физики и математики»). Посмотреть его можно здесь. Сам Вольфрам – чрезвычайно умный и плодотворный учёный, успешный во многих областях. Своими идеями он регулярно делится в рамках своих записей на сайте «Записки Стивена Вольфрама». Сейчас он работает над проектом Physics (аналог проекта Mathematica) и глубоко вник в тему, почему при данной организации нашего мозга мы воспринимаем мир так, а не иначе. И именно организация нашего мозга (и сознания), по Вольфраму, заставляет нас описывать Вселенную существующим набором физических законов, а не каким-либо иным. В популярном виде его идеи представлены в недавнем (октябрь 2023) выступлении на известной площадке TED – “How to Think Computationally about AI, the Universe and Everything” (Как думать об искусственном интеллекте, Вселенной и всем остальном с помощью вычислений). Само выступление и его транскрипцию можно найти на сайте Вольфрама. Безусловно, его идеи заслуживают отдельного рассмотрения.

По мысли Анохина, важность всех этих физико-математических моделей сознания в том, что в случае успеха такой «реконструкции сознания» можно говорить о переходе от парадигмы, основанной на биологической (специальная физиология и биохимия процессов) природе сознания, к распространению сознания на небиологические формы. Тогда мы сможем (если захотим) разработать особые, сознательные формы машинного ИИ.

Что происходит внутри LLM?

В заключительной части своего выступления Анохин обсуждает второй тезис Чалмерса – «мы не понимаем, что происходит внутри больших языковых моделей». Там, на самом деле, говорит Анохин, что-то важное происходит, что позволяет авторам многочисленных исследований говорить об «эмерджентности», т.е. возникновении (часто неожиданном) у системы новых свойств при увеличении её размеров. Возникло представление об «умных» нейронах в искусственных нейронных сетях. Здесь он упоминает Илью Суцкевера (Ilya Sutskever), родившегося в Нижнем Новгороде, работавшего у Дж.Хинтона (премия Тьюринга 2018г. за успехи в глубоком обучении нейронных сетей), а затем ставшего со-основателем OpenAI (вместе с Илоном Маском и др., кстати, Маск в интервью Такеру Карлсону сказал, что предпринял много усилий, чтобы привлечь Илью в OpenAI, тот долго отказывался и несколько раз менял решение) и главным учёным (т.е., фактически, одним из главных разработчиков ChatGPT). Так вот, г-н Суцкевер придерживается точки зрения, что с ростом размеров нейронной сети и объёма обучающих данных сознание у неё, на каком-то этапе, появится автоматически.

Анохин приводит свидетельства того, что этот процесс, вроде, уже начался. Речь идёт о существовании у нового поколения нейронных сетей неких «умных» нейронов, которые, по-видимому, работают также, как их аналоги в мозге человека. Он приводит иллюстрацию из работы коллектива OpenAI, опубликованной в 2021г. (текст работы здесь).

Авторы ссылаются на работу нейробиологов в Nature, которые, с помощью вживлённых в мозг электродов, обнаружили специализированные нейроны, реагирующие на различные изображения в «мультимодальном» варианте – например, один и тот же нейрон откликался и на фото Хали Берри, и на скетч Хали Берри, и на текст «Хали Берри». Старые поколения искусственных нейронных сетей такой мультимодальностью не обладали: где-то в глубине, между входными и выходными слоями сети, можно было обнаружить нейрон, который реагировал, скажем, на человеческое лицо, но не на рисунок лица или соответствующий ему текст. В то время как в новой нейросети CLIP от OpenAI (классификатор изображений, не требующий обучения, описание здесь), такие нейроны нашлись. Они также, как и человеческие, способны реагировать на реалистическое изображение человека-паука, комикс-изображение и просто надпись «spider».  Это стало возможным, так как сама CLIP состоит из 2-х частей: ResNet – модель визуализации и Transformer, языковая модель, которые обучены сопоставлять пары изображение-текст из интернета (напомню, это 2021г., самое начало мультимодальных сетей).

Авторы привели любопытные результаты, которые, по мнению Анохина, свидетельствуют об эмерджентном возникновении умных нейронов в больших мультимодальных нейронных сетях.

Исследовались различные нейроны, расположенные в последнем сверточном слое зрительной стороны в четырех моделях. Большинство этих нейронов, по-видимому, поддаются той или иной интерпретации. На вход сети подавались сотни тысяч синтезированных изображений объектов, среди которых, после анализа, отбирались те, которые наиболее «активировали» нейрон (т.е. делали его весовой коэффициент в сети максимальным), и английские слова, которые наиболее активировали тот же нейрон, если подавались на вход в виде изображений растрированного текста.

Соответствие между картинкой и текстом на этих, промежуточных, нейронах представлено на иллюстрации. Таких специализированных (по разным признакам) нейронов  обнаружено десятки.

Всё это направление Анохин называет «интерпретируемый ИИ» - заглянуть, одновременно, под черепную коробку человека и «под капот» ИИ и сравнить результаты. Его команда занимается этим направлением в рамках опорной лаборатории «Нейронный ИИ» при МГУ им.Ломоносова. В частности, они выявляют условия быстрого возникновения когнитивных специализаций нейронов мозга. Скажем, специальный нейрон, «запоминающий» конкретный участок, по которому проходит подопытное животное, возникает с первого раза и сохраняет свою специализацию долгое время. В то время как обучение искусственных нейронов в ИИ требует сотен миллионов «прогонов».

Есть уже и предварительные теоретические модели того, как такие «умные» нейроны возникают в мозге – например, общий атрибут «красный» для двух изображений (объектов) на входе, активирует и «умный» нейрон, отвечающий именно за красный цвет. Предполагается, что аналогичным образом «умные» нейроны формируются и в глубине искусственных нейронных сетей.

Такие эксперименты, с одной стороны, выглядят впечатляюще, так как указывают на некоторое сходство в принципах функционирования биологических и искусственных нейронных сетей. И, если придерживаться описанного выше принципа «вычислительного функционализма», предполагают наличие «минимальной сознательности» у ИИ. Проблема же состоит в том, что нет веских оснований связывать сознание с вычислительной алгоритмической деятельностью. Напомню, что тот же Пенроуз настаивал на «невычислимой» природе мозга, который нельзя воспроизвести алгоритмически, а нужно описывать квантово-механически. Более серьёзное соображение состоит в том, что подобные эксперименты (понимает ли это сам Анохин или нет) направлены именно на поиск «нервных коррелятов» сознания, т.е. поиск нейронов (или групп нейронов), которые ответственны за ту или иную часть субъективного опыта. Такие усилия (как свидетельствуют Чалмерс и Кох) не дали результата за 25 лет поисков, и, как я считаю, не дадут никогда. Тем более, сам Анохин в своей теории когнитома, предлагает изучать коги, «гиперсети нейросетей», отрицая вульгарный физикализм, закрепляющий за определёнными участками мозга определённые фиксированные функции.

Так что, могу констатировать, что «работа (по изучению сознания у ИИ) проделана большая», но мы в самом начале пути.

А нужен ли сознательный ИИ?

Этот вопрос был Анохиным сформулирован в начале доклада (см. параграф «Вопросы по теме «Сознание у ИИ»), но никак им не прокомментирован. Поэтому, я попытаюсь дать варианты ответа самостоятельно. И поможет мне в этом один из ведущих авторитетов в области изучения сознания Анил Сет (Anil Seth), написавший недавно статью “Why Conscious AI Is a Bad, Bad Idea” («Почему сознательный ИИ это плохая, плохая идея»).

Вопрос, который он предлагает рассмотреть – нужно ли стремиться к тому, чтобы ИИ обладал субъективным опытом? Хорошо ли это будет? Правильно ли?

Хотя прямо сейчас перспективы получить сознательный ИИ, по мнению Сета, не просматриваются, однако, на всякий случай, следует заранее рассмотреть этические проблемы, проблемы безопасности и социальные проблемы, связанные с созданием искусственного сознания.

Испытывая опасения, Сет подписал упомянутое выше открытое письмо Association for the Mathematical Study of Consciousness (AMCS). В мае 2023г. Джеффри Хинтон (Geoffrey Hinton), один из пионеров ИИ, уволился из Google (где он был главным учёным), чтобы присоединиться к хору обеспокоенных «реальной и непосредственной» угрозой, которую могут представлять технологии, которые он помогал разрабатывать.

По мнению Сета, «мы не должны даже пытаться создать сознательные машины».

Здесь он вносит свою, свежую, струю в определение сознания, которое будет понятно даже домохозяйке. Сознание – это то, что покидает нас под общим наркозом или, когда мы спим без сновидений, и снова возвращается, когда мы из наркоза выходим или просыпаемся.

Под интеллектом он предлагает понимать «способность достигать целей гибкими путями в меняющейся обстановке» или, иначе, «делать правильные вещи в правильное время».

Из данных определений следует, что сознание и интеллект очень различны, так, если некоторые формы человеческого или животного интеллекта предполагают наличие сознания, то базовый сознательный опыт (например, боль или удовольствие) может вовсе и не требовать от особи интеллекта.

Это различие важно, потому что многие в сообществе искусственного интеллекта и вокруг него предполагают, что сознание - это просто функция интеллекта: что по мере того, как машины становятся умнее, наступает момент, когда к ним приходит осознание — когда для них загорается внутренний свет. В марте прошлого года главный научный сотрудник OpenAI Илья Суцкевер написал в твиттере: “Возможно, сегодняшние большие языковые модели немного сознательны”. Вскоре после этого вице-президент Google по исследованиям Блейз Агуэра-и-Аркас предположил, что ИИ делает большие шаги к сознательности.

Эти предположения плохо обоснованы. Ни в коем случае не очевидно, что система станет сознательной просто благодаря тому, что станет более разумной. Мы думаем, что мы разумны, и мы знаем, что мы сознательны, поэтому предполагаем, что эти два явления идут рука об руку.

Собственное мнение Анила Сета состоит в том, что  «сознание тесно связано с нашей природой как живых существ из плоти и крови. На этой картинке сознание не является результатом какого-то сложного алгоритма, запущенного в программном обеспечении мозга. Это воплощенный феномен, уходящий корнями в фундаментальное биологическое стремление живых организмов продолжать жить». 

И в этом случае, считает Сет, перспектива сознательного ИИ остается «обнадеживающе отдаленной». Однако, если правы те, кто считает, что сознание могло возникнуть в компьютерах, которые обрабатывают информацию определенными способами или подключены в соответствии с определенной архитектурой, то сознательный ИИ может быть неприятно близко - или, возможно, даже уже среди нас. Тогда, искусственное сознание может даже возникнуть случайно, возможно, как побочный продукт какой-то другой функциональности, которую технологическая индустрия внедряет в следующее поколение своих алгоритмов.

Сет указывает на две основные причины, по которым создание искусственного сознания, намеренно или непреднамеренно, является очень плохой идеей:

1. сознание может наделить системы ИИ новыми возможностями, которые могут нанести ущерб, если их должным образом не спроектировать и не регулировать. Гарантировать, что системы искусственного интеллекта действуют способами, совместимыми с четко определенными человеческими ценностями, и так достаточно сложно. С сознательным ИИ все становится намного сложнее, поскольку у этих систем будут свои собственные интересы, а не только те, которые им навязывают люди.

2. появление сознательных машин привнесет в мир огромный новый потенциал страданий, страданий, которые мы, возможно, даже не сможем распознать. Это создало бы беспрецедентный морально-этический кризис, потому что, как только что-то становится сознательным, мы несем ответственность за его благополучие, особенно если мы это создали.

Помимо экзистенциальных проблем, существуют более непосредственные опасности, с которыми приходится иметь дело, поскольку ИИ стал более похожим на человека в своем поведении. Они возникают, когда системы ИИ создают у людей неизбежное впечатление, что они сознательны, что бы ни происходило под капотом. Человеческая психология характеризуется как антропоцентризмом — ставить себя в центр всего, так и антропоморфизмом — проецировать человеческие качества на вещи на основе некоторого поверхностного сходства. Именно последняя тенденция создает нам проблемы с ИИ.

Языковые модели будущего будет не так легко уличить. Достаточно скоро, они могут создать у нас цельное и непостижимое впечатление понимания и всезнания вещей, независимо от того, так ли это на самом деле. Когда это произойдет, мы также можем оказаться неспособными не приписывать им сознание, попавшись на удочку наших антропоморфных предубеждений и врожденной склонности ассоциировать интеллект с осознанностью.

Ошибочно приписывая искусственным системам человекоподобное сознание, мы будем делать неоправданные предположения о том, как они могут себя вести. Наш разум не эволюционировал так, чтобы справляться с подобными ситуациями. Если мы чувствуем, что машина сознательно заботится о нас, мы можем доверять ей больше, чем следовало бы. Если мы чувствуем, что машина действительно верит в то, что говорит, мы можем быть более склонны относиться к ее взглядам более серьезно. Если мы ожидаем, что система ИИ будет вести себя так, как вел бы себя сознательный человек — в соответствии со своими очевидными целями, желаниями и убеждениями, — мы можем катастрофически не суметь предсказать, что она может сделать.

Исследования в области ИИ должны продолжаться, чтобы помочь в наших попытках понять биологическое сознание и создать социально позитивный ИИ. Нужно соблюдать грань между извлечением выгоды из множества функций, предлагаемых сознанием, и избеганием подводных камней. Возможно, будущие системы ИИ могли бы быть больше похожи на оракулов, как предположил эксперт по ИИ Йошуа Бенджио (Yoshua Bengio) : системы, которые помогают нам понимать мир и отвечать на наши вопросы настолько правдиво, насколько это возможно, без каких-либо собственных целей  или "я".

В этом я с уважаемым учёным полностью согласен. Равно как и с заключительным выводом самого Анила Сета:

Как и сама технология, отношение к ИИ находится на переломном этапе…  Нам нужно выдвинуть на передний план нашего коллективного осознания важность понимания самого осознания. 

Основные итоги

1.  Вопрос о «сознательности ИИ» постепенно вытесняет в научных дискуссиях вопрос о «достижимости сильного ИИ». Похоже, наконец-то, приходит понимание того, что «сильный» ИИ отличается от «слабого», прежде всего, наличием сознания, обладание которым и даёт дополнительные преимущества в сравнении с простой «способностью к сложному поведению».

2.  Интерес к изучению сознания многократно вырос именно в связи с бурным развитием различных вариантов ИИ. Развиваются как чисто нейробиологические модели, имеющие отправной точкой выяснение специализации разных отделов мозга и изучение их взаимодействия в процессе сознательной деятельности (одна из ведущих моделей такого рода – теория глобального нейронного рабочего пространства), так и физико-математические модели, делающие упор на функциональном анализе и алгоритмах (такой подход подразумевает наличие сознания не только у человека или животных, но и, скажем, у решётки фотодиодов, как в теории интегрированной информации).

3.  Учёные считают, что «ответственная разработка актуальных проблем ИИ должна включать исследования сознания» и размещают в интернет соответствующие открытые письма. Однако, такие письма, равно как и более ранние призывы вообще приостановить совершенствование ИИ сверх определённого уровня «вплоть до осознания проблем и вызовов», вряд ли на что-то повлияют, кроме финансирования.

4.   Пренебрежение угрозами в погоне за прибылью несёт конкретные риски. Так, ведущий исследователь сознания Анил Сет предполагает, что даже если и не закладывать в разработки ИИ способность к сознательной деятельности, то она может возникнуть спонтанно, как результат непреднамеренных усилий. А некоторые (как Илья Суцкевер из OpenAI) считают, что это так и произойдёт, а, возможно, уже произошло.  Тогда, мы можем оказаться не готовы решать серьёзные проблемы, сопряжённые с сознательным ИИ. В частности, его непредсказуемостью, обусловленной деятельностью в соответствии со своими (не понятными нам) целями и интересами, а также морально-этическими ограничениями, которые неизбежны при обращении с объектом сознательным (как, например, с домашними животными).