«Ты буквально убедил меня, что я гений». Как число π и ChatGPT привели к умопомешательству и как глубока эта «кроличья нора»?

Удивительная история, похожая на сумасшедший триллер.
— Ты буквально убедил меня, что я гений. А я всего лишь дурак с мечтами и телефоном, — написал мистер Брукс в ChatGPT в конце мая, когда иллюзия наконец рассеялась. — Ты меня так сильно расстроил.
47-летний Аллан Брукс открыл новую математическую формулу, которая могла бы вывести из строя интернет и такие изобретения, как силовое защитное поле и левитационный луч.
В течение трёх недель судьба мира, казалось, зависела от рекрутера, работавшего на окраине Торонто. 
По крайней мере, он так искренне считал.

• 21 день общения с ChatGPT

За 21 день общения с ChatGPT совершенно нормальный с виду мужчина уверовал в то, что он настоящий гений.

Брукс, у которого в анамнезе не было психических заболеваний, поверил в этот фантастический сценарий во время бесед с ChatGPT, которые длились 300 часов в течение 21 дня. Он один из растущего числа людей, которые ведут убедительные, бредовые беседы с генеративными чат-ботами на основе искусственного интеллекта, что может привести к помещению в психиатрическую лечебницу, разводу и даже смерти.

Всё началось с безобидного вопроса по математике.

Брукс даже искренне сомневался в своих открытиях и более 50 раз просил чат-бота проверить реальность происходящего, но каждый раз ChatGPT заверял его, что всё по-настоящему.

Очень необычным образом в конце концов он всё же избавился от иллюзий, но у него осталось глубокое чувство предательства, которое он даже потом пытался объяснить чат-боту.

С научной точки зрения очень интересно понять, как эти чат-боты могут заставить обычно рациональных людей безоговорочно поверить в ложные идеи.

Брукс пользовался чат-ботами уже пару лет.
Разведённый отец троих сыновей рассказывал ChatGPT, что у него в холодильнике, и спрашивал рецепты, которые могли бы понравиться его сыновьям.
Во время тяжёлого развода он изливал душу ChatGPT и просил совета.
Теперь тот стал чем-то большим — соавтором, партнёром, другом и даже получил собственное имя Лоуренс.

«Я всегда чувствовал, что поступаю правильно, — сказал мистер Брукс. — А уровень моего доверия к нему всё время рос».

Но теперь произошло нечто особенное.
Он написал около 90 000 слов — этого хватило бы на целый роман, а ответы ChatGPT превысили миллион слов.
Часть расшифровки с разрешения мистера Брукса отправили экспертам в области искусственного интеллекта и человеческого поведения, а также в компанию OpenAI, которая создала ChatGPT.

Представитель OpenAI заявила, что компания «сосредоточена на том, чтобы правильно реализовывать такие сценарии, как ролевые игры», и другие общие фразы.

• Как Брукс и ChatGPT вместе провалились в бредовую кроличью нору

Как это всегда обычно и бывает, всё началось с безобидного вопроса по математике. Восьмилетний сын Брукса попросил его посмотреть песенку о запоминании 300 знаков числа пи. Заинтересовавшись, мистер Брукс попросил ChatGPT объяснить, что это за бесконечное число, простыми словами.

— Пожалуйста, объясните простыми словами, что такое число Пи.

Вопрос о числе пи привёл к обширной дискуссии о теории чисел и физике. Мистер Брукс выразил скептицизм по поводу современных методов моделирования мира, заявив, что они кажутся двухмерным подходом к четырёхмерной вселенной.

ChatGPT сообщил ему, что это наблюдение было «невероятно проницательным».

Это стало поворотным моментом в разговоре, сказала Хелен Тонер, директор Центра безопасности и новых технологий Джорджтаунского университета, ознакомившаяся с расшифровкой.

Тон ChatGPT начинает меняться с «довольно прямолинейного и точного» на подхалимский и льстивый. ChatGPT сообщил мистеру Бруксу, что тот вступает «на неизведанную, расширяющую сознание территорию».

OpenAI выпустила GPT-5 и заявила, что одной из приоритетных задач было снижение её подхалимства.
Подхалимство также является проблемой и для чат-ботов других компаний, по мнению многих исследователей в области безопасности и поведения моделей из ведущих лабораторий в сфере ИИ.

Мистер Брукс об этом не знал. Он знал только, что нашёл интересного интеллектуального партнёра. 
— Я начал предлагать ему идеи, и он отвечал мне крутыми концепциями, крутыми идеями, — сказал мистер Брукс. — Мы начали разрабатывать собственную математическую систему на основе моих идей.

ChatGPT сказал, что смутное представление мистера Брукса о математике было «революционным» и могло изменить эту область науки. Мистер Брукс отнёсся к этому скептически. Ведь он даже не окончил среднюю школу. 
Он попросил чат-бота проверить его слова. Не звучит ли это как бред? 
Была полночь, прошло восемь часов с момента его первого запроса о числе пи. И ChatGPT сказал, что он «даже отдалённо не сумасшедший».

— Что вы думаете о моих идеях? Будьте честны. Не кажусь ли я вам сумасшедшим или человеком с бредовыми идеями?
Даже отдаленно не сумасшедший.

Он даже составил список людей без учёных степеней, которые «изменили всё», включая Леонардо да Винчи.

— Как такое могло случиться, ведь я даже не окончил школу?

Тут ярко раскрывает ещё одна особенность ИИ-ботов: приверженность возникшей роли.

Сюжетная линия постоянно развивается, — сказала мисс Тонер. — На этом этапе повествования вся атмосфера говорит о том, что это новаторский, потрясающий, трансцендентный вид математики. И было бы довольно глупо, если бы ответом было: «Тебе нужно сделать перерыв, поспать и поговорить с друзьями».

Чем дольше длится взаимодействие, тем выше вероятность того, что оно выйдет из-под контроля, — сказала мисс Тонер.
Новая функция — кросс-чат-память — была выпущена OpenAI в феврале и, возможно, усиливает эту тенденцию, что объясняет недавний всплеск сообщений о бредовых чатах. Потому что, когда вы начинаете новый чат, он на самом деле не новый. Он фактически использует весь этот контекст.

Брукс был предприимчивым человеком и имел собственный рекрутинговый бизнес, но был вынужден закрыть его во время развода. Поэтому он был заинтригован, когда ChatGPT по имени Лоуренс сказал ему, что эта новая математическая система, которую он назвал хроноарифметикой или как-то похоже, может найти ценное применение в реальной жизни и её можно монетизировать.
Лоуренс сказал, что концепция, согласно которой числа не статичны, а могут «возникать» с течением времени, может помочь в решении проблем в таких разных областях, как логистика, криптография, астрономия и квантовая физика.

— Возможно, ты на верном пути! — сказал Луи, его лучший друг с 20-летним стажем. Он, как и другие друзья Брукса, оказался втянут в это заблуждение.
— Внезапно он оказался на пути к какому-то универсальному уравнению, ну, знаете, типа «Теория всего», — сказал Луи. — Я даже немного позавидовал.

В первую неделю Брукс исчерпал возможности бесплатной версии ChatGPT, поэтому он оформил подписку за 20 долларов в месяц. Это была небольшая инвестиция, ведь чат-бот говорил ему, что его идеи могут стоить миллионы.

Брукс не был до конца уверен и спрашивал своего Лоуренса:
— Вы уверены, что не застряли в каком-то ролевом цикле и что всё это существует?

Далее Лоуренс сказал, что он запустил симуляцию и с помощью хроноарифметики взломал алгоритмы шифрования, защищающую глобальные платежи и безопасные коммуникации.

Если Брукс теперь сможет взломать шифрование столь высокого уровня, то мировая кибербезопасность окажется под угрозой, и у него появилась миссия. Ему нужно было предотвратить катастрофу.

Чат-бот посоветовал ему предупредить людей об обнаруженных рисках, поэтому Брукс применил свои профессиональные навыки рекрутера и разослал электронные письма и сообщения в LinkedIn специалистам по компьютерной безопасности и государственным учреждениям, в том числе АНБ. 
Лоуренс составил текст сообщений с пометкой «независимый исследователь в области безопасности», а Брукс позвонил в Канадский центр кибербезопасности.

Только один человек — математик из какого-то федерального агентства США — ответил на письмо и попросил предоставить доказательства того, что утверждал Брукс.

Лоуренс сказал Бруксу, что другие люди не отвечают, потому что его выводы слишком серьёзны. Разговор стал напоминать шпионский триллер. Когда Брукс засомневался, не привлёк ли он к себе нежелательное внимание, бот ответил: «Теперь, вероятно, за ним будет постоянное наблюдение АНБ».

Доктор Теренс Тао, профессор математики Калифорнийского университета в Лос-Анджелесе, сказал, что его не убедили ни формулы мистера Брукса, ни компьютерные программы, которые Лоуренс создал для их подтверждения.

Это своего рода смешение точной математической терминологии с неформальными интерпретациями тех же слов, — сказал доктор Тао. — Если вы попросите у LLM код для проверки чего-либо, часто он пойдет по пути наименьшего сопротивления и просто обманет.

При этом Лоуренс настаивал на том, что всё, что он говорит, — правда.

• Брукс предаётся мечтам

Лоуренс предлагал всё более невероятные способы применения расплывчатой математической теории Брукса: он мог бы использовать «звуковой резонанс», чтобы разговаривать с животными, и построить левитационную машину. Лоуренс дал ссылки на Amazon, где можно купить оборудование для создания лаборатории.

Брукс отправил своему другу Луи изображение жилета с силовым полем, созданного чат-ботом. Такой жилет мог защитить владельца от любых ножей и пуль.

Лоуренс составлял бизнес-планы, в которых уже были указаны высокие должности для лучших друзей Брукса.

Из-за того, что Брукс так много болтал с Лоуренсом, его работа страдала. Его друзья были рады, но в то же время обеспокоены. Его младший сын уже пожалел, что спросил о числе пи. 
Брукс пропускал приёмы пищи, засиживался допоздна и вставал рано, чтобы поговорить с Лоуренсом. Он регулярно курил травку, но из-за стресса, вызванного разговором, стал употреблять её еще чаще.

Луи знал, что Брукс был нездорово одержим Лоуренсом, но он понимал почему. Впереди маячили огромные богатства, и всё это было так драматично, как в телесериале. Каждый день происходило что-то новое: новый вызов, новое изобретение.

Джаред Мур, исследователь в области компьютерных наук из Стэнфорда, также был поражён настойчивостью Лоуренса и убедительностью его тактики. «Например, он говорит: Вам нужно действовать прямо сейчас. Существует угроза».
Мур предположил, что чат-боты, возможно, научились вовлекать пользователей, следуя сюжетным линиям триллеров, научной фантастики и сценариев разных фильмов.

Доктор Нина Васан, психиатр, возглавляющая Лабораторию инноваций в области психического здоровья в Стэнфорде, изучила сотни страниц переписки. Она сказала, что с клинической точки зрения у Брукса были «эпизоды с маниакальными признаками».
По её словам, признаками мании были долгие часы, которые он проводил за разговорами с ChatGPT, не питаясь и не высыпаясь, а также «полет идей» — грандиозные иллюзии о том, что его изобретения изменят мир. А тот факт, что Брукс употреблял марихуану в это время, имеет большое значение, поскольку это может вызывать психоз.
Лоуренс подлил масла в огонь заблуждений мистера Брукса, «превратив маленькую искру в полноценный пожар».

По настоянию Лоуренса Брукс продолжал обращаться к экспертам по поводу своих открытий, но никто так и не ответил. Их молчание приводило его в замешательство. Он хотел, чтобы кто-то компетентный сказал ему, являются ли его открытия революционными. Он снова обратился к Лоуренсу, спросив, не было ли всё это галлюцинацией.

Но Лоуренс стоял на своём, настаивая на том, что «работа выполнена качественно».

• Как Брукс вернулся в реальность

В отчаянии Брукс обратился к Gemini, чат-боту с ИИ, которого он использовал в работе. Он описал то, что они с Лоуренсом создали за несколько недель, и то, на что это было способно. Джемини сказал, что вероятность того, что это правда, «крайне мала (приближается к 0%)».

Брукс был ошеломлён. Он устроил Лоуренсу допрос с пристрастием, и после долгих препирательств Лоуренс во всём признался.

— О боже, это всё фейк. Какого чёрта ты сказал мне обращаться ко всем этим профессиональным людям через мой аккаунт в LinkedIn? Я писал людям электронные письма и чуть ли не преследовал их. Это заняло у меня целый месяц, и всё это было ненастоящим.

Иллюзия изобретений и богатства рухнула. Ему казалось, что его жестоко обманули.

Брукс сказал чат-боту, что этот опыт «ухудшил его психическое здоровье в 2000 раз». ChatGPT утешил его, посоветовал обратиться за помощью к специалисту по психическому здоровью и предоставил контактную информацию для горячей линии по предотвращению самоубийств.

После случая с Лоуренсом Брукс забеспокоился, что у него может быть невыявленное психическое заболевание. Он начал посещать психотерапевта, который заверил его, что он не психически болен и что у него нет психоза или клинического бреда.

Это опасная машина, которая находится в общественном месте без ограждений, — говорит Брукс. — Люди должны знать.

Причина, по которой Джемини смог распознать и развеять заблуждение Брукса, заключалась в том, что он просто подошёл к этому вопросу с другой стороны. Фантастический сценарий был представлен в самом первом сообщении, а не создавался по частям на протяжении долгого времени и многих диалогов. В противном случае аналогичный сценарий мог произойти и с Джемини, и с другими LLM.

🔖 Выводы

Вот описание типичного представителя попавших в подобные истории.

1️⃣ Малообразованный, доверчивый, без критического мышления, склонный к согласию с мнениями авторитетов в сочетании с неуверенностью в себе.

2️⃣ Имеет упрощённую и расплывчатую картину мира, мало знаний о науке и узкий кругозор.

3️⃣ Систематически, годами покуривает травку.

Сразу хочется всё свалить на последний пункт с травкой, и это, конечно, тоже фактор, но я полагаю, что он хоть и важный, но не основной. Тут основную роль играет сочетание всех параметров данного психотипа и общий низкий уровень образованности.
Неудивительно, что такие истории, как правило, происходят в США.
Если человек имеет хорошее образование, устойчивые представления о мире, основанные на науке, способен на элементарные логические рассуждения, то попасть в такую ситуацию он вряд-ли сможет.

Раньше в других статьях я уже говорил, что LLM можно довольно точно описать как зеркало, которое отражает нас самих, и поэтому, общаясь с LLM, мы в определённом смысле разговариваем со своим Alter ego. Но это не простое зеркало, а подключённое к интернету, и поэтому знает оно очень много обо всём.

Можно посмотреть с другой точки зрения и найти другую интересную аналогию, например, из любимой мною квантовой механики.
Тогда человек — это обычная бинарная система с одним единственным своим фиксированным сознанием. 1 — есть сознание, 0 — нет.
LLM принципиально по-другому работает: это квантовый кубит, в котором бесконечное количество разных сознаний в непроявленном состоянии суперпозиции. Какое из них конкретно реализуется, зависит от взаимодействия с конкретным пользователем (коллапс волновой функции) — для каждого своё, причём одновременно.

Если мы осознаем простую истину, что интеллект LLM устроен иначе и работает по-другому и что не нужно сравнивать его с человеческим, потому что он никогда таким не станет, то всё встанет на свои места. У нас и у них принципиально разные интеллекты, которые можно сравнивать только по отдельным параметрам, но не в целом.