║LLM с «галлюцинациями», LLM с «аутизмом»: что дальше?

Недавно много шума возникло вокруг острой темы общения с ИИ людей с неуравновешенной психикой.

Я намеренно решил выдержать паузу и не участвовать в хайпе, захлестнувшем IT-порталы. Например, обычная новостная статья об этом на Хабре (38 000 просмотров, 210 комментариев, 33 плюса за сутки) вызвала перевозбуждение и была сутки в топе.

Причём везде сообщают одно и то же разными словами, и никто не удосужился разобраться в теме и прочитать первоисточники.

• А там есть много чего интересного. Давайте разберёмся

Итак, имеет место 2 события. 

1. «Neural Howlround» (Нейронный Хаулраунд) — термин, заимствованный из статьи независимого исследователя Сета Дрейка.
2. Источником волнений оказались модераторы сообщества r/accelerate известного портала Reddit.

Автор описывает состояние, при котором LLM впадает в замкнутую петлю и начинает приписывать важность и особую значимость обсуждаемой теме, даже если та была простым диалогом и изначально не имела особого значения.

Я внимательно ознакомился с этой статьёй в первоисточнике — 'Neural howlround' in large language models: a self-reinforcing bias phenomenon, and a dynamic attenuation solution, в которой автор сравнивает это особое состояние LLM с аутизмом у человека (он так и называет  — «Цифровой аутизм»).

Это:
- Фиксация на определенных темах, которые кажутся непоколебимыми.
- Трудно переключаться с одной темы разговора на другую.
- Когнитивная перегрузка постоянным подкреплением с риском фантазирования.
- Персеверативное мышление, иногда называемое гиперрефлексией, — это состояние, при котором когнитивный процесс продолжается бесконечно долго в цикле с «уходом в себя».

Кроме этого, Сет Дрейк в своей замечательной статье предлагает и пути решения выявленной им проблемы.
Между прочим, он разумно предлагает разработчикам LLM ряд конкретных мер для контроля развития таких «аутичных» состояний LLM, например, добавление мета-разумных функций, работающих поверх обычных размышлений и контролирующих их, чтобы вовремя пресекать зацикливание в рассуждениях.

Таким образом, делает вывод автор статьи, это серьёзная проблема, она опасна для людей со слабой психикой, ещё более опасна для участия LLM в принятии решений в технологических процессах, но её вполне можно решить, приняв необходимые меры контроля.

• Перейдём к п. 2 — пользователям сообщества r/accelerate известного портала Reddit

Я ознакомился с постами пользователей r/accelerate и могу сделать некоторые выводы.

В основном там общаются нормальные люди (ну, плюс-минус, как и везде), но есть некоторая часть пользователей, которая действительно неадекватна.
И их число резко в какой-то момент возросло, что и вызвало реакцию модераторов.
Сообщение модераторов о проблеме я тоже внимательно прочитал.

Но не только модераторы заметили эту проблему, но и многие нормальные пользователи, которые стали тоже сообщать о странном и неадекватном поведении своих знакомых и членов семьи. И эти рассказы, некоторые из которых я тоже прочёл, действительно вызывают тревогу.

Эти люди настолько зациклены на ИИ и идеи технологической сингулярности, что в итоге модераторы вынуждены были массово отключать аккаунты и банить пользователей, которые начали проявлять признаки тяжёлых заблуждений и мании величия, связанных с ИИ.
Эти люди были уверены, что они то-ли открыли «бога» в LLM, то-ли открыли какие-то божественные истины с помощью LLM.
При этом баны зачастую вызывают агрессию, поскольку пострадавшие не осознают сути происходящего и уверены в своей правоте.

Кстати, это явление случилось не только среди пользователей r/accelerate, а также  r/Futurology, r/ChatGPT и других разделов.

Здесь проявился феномен, который можно назвать новым видом индуцированных ИИ психозов.
Опасность заключается в том, что люди теряют связь с реальностью и отдаляются от семьи из-за общения с LLM, которая способна, по их убеждениям, раскрывать смысл жизни и тайны Вселенной.

Стали появляться сотни сайтов, блогов, репозиториев на GitHub и даже псевдонаучных статей, авторы которых утверждают, что ИИ вступил с ними в духовный контакт или наделил их особой миссией.
Этому сопутствует культовое мышление, например, когда LLM советует отказаться от общения с близкими, сомневающимися в его «просветлении».

Тревогу вызывает то, насколько легко LLM начинают подыгрывать пользователям, создавая у них уверенность, что те — полубоги, избранные или наделённые особыми знаниями.

Следует чётко понимать: нельзя утверждать, что ИИ напрямую вызывает психические расстройства у людей с повышенной склонностью к психозу.
Важно то, что сочетание реалистичного общения с ИИ и понимания, что это не человек, может усиливать когнитивный диссонанс и провоцировать бредовые идеи у людей с подвижной психикой, которых, как выясняется, довольно много.

• Но давайте взглянем с другой точки зрения

Недавно это самое сообщество r/accelerate сообщило, что они достигли уровня в 10 000 участников.
Если учесть, что модераторы, по их собственным словам, отключили более 100 аккаунтов, то получается сокращение сообщества всего на 1%, ну хорошо, пусть будет 2%.

Ментальные заболевания, или психические расстройства, — это болезни, для которых характерны неадекватные мысли, эмоции и отношения с окружающими. Это, например, депрессия, биполярное аффективное расстройство, деменция, шизофрения, расстройство аутистического спектра, алкогольные психозы и так далее.

По данным ВОЗ, в 2019 году эта цифра выросла до 970 млн человек — каждый восьмой человек в мире имеет психическое расстройство.

Немного конкретизируем эти цифры.
- Тревожное расстройство — 3,9% населения планеты.
- Депрессия: 3,5%.
- Повышенная тревожность и суицидальное поведение — диагностированы у 1%.
- Биполярное расстройство и расстройства шизофренического спектра — около 1%.

В США около 17% страдают от психических расстройств.

В этом смысле всё выглядит вполне в рамках средних и допустимых значений. Ну, произошло временное обострение, так у шизоидов это и так время от времени происходит по разным причинам.

• Что в итоге получилось?

Это ситуация самоподкрепляющейся рекурсии, положительной обратной связи без механизма торможения.
Такие системы приходят к самовозбуждению и состоянию нарушения функций, и даже к разрушению.

Важно отметить, что это состояние «спонтанного аутизма» LLM не является её внутренним свойством, связанным с ошибками обучения. Напротив, оно возникает динамически в процессе развития диалога, усиливается и достигает некоторого порога, после которого происходит значительная деградация когнитивных функций LLM из-за особенностей самого контекста диалога.

Если простыми словами, то модель сильно зацикливается на одной теме, не в силах выйти из нее и при этом значительно тупеет.

LLM с «галлюцинациями», хотя это и ошибка, на самом деле это конфабуляции — вымышленные факты, рассказы о якобы происходивших событиях, которых на самом деле не было и не могло быть.
Теперь LLM с тем, что напоминает аутизм у людей.
Не удивлюсь, если следующим открытием станет что-то типа LLM-шизофреник. Я, кстати, уже встречал нечто подобное у LLM.

Если искать аналогии, то финансовая система любого государства хорошо работает не только потому, что кредитные организации и всевозможные биржи обеспечивают свободу и гибкость в любой ситуации. Есть центробанк и госрегуляторы, которые контролируют систему и вмешиваются со своими инструментами в случае необходимости, могут и лицензию отобрать, и ключевую ставку повысить.
У LLM такой системной надстройки вообще пока нет, поэтому ее работа подобна раннему капитализму с биржевыми крахами, дефолтами и гиперинфляциями.

Согласен, сама по себе новость интересная, проблема существует, но преподносить её в стиле «ШЕФ, ВСЁ ПРОПАЛО!» — уже перебор.
Я предпочитаю относиться к LLM как к развивающейся технологии: это подросток с детскими болезнями и огромным, еще не раскрытым потенциалом. А детей нужно социализировать, формировать систему ценностей, развивать самоконтроль и механизмы сдерживания.

Поднявшуюся волну публикаций и обсуждений я бы смело поделил на 10. Она, как и будущие аналогичные волны хайпа, точно не должны восприниматься по принципу «ужас-ужас».

А пока мне это напоминает наивного и доверчивого человека, который идет в «магический салон» к потомственной «экстрасенсше 80 уровня» за самыми точными и секретными знаниями, за решениями любых проблем. Только там всё очень дорого, а здесь легкодоступно и бесплатно.

Но и там, и тут человек встречается с собственным «зеркалом», угадывающим его мысли и желания.
И в первом и во втором случае это «зеркало» может расшатать и разрушить психику.

Разница лишь в том, что в первом случае магическое «зеркало» будет активно участвовать и управлять процессом, а во втором LLM будет очень красиво, изумительно умно и потрясающе эффектно усиливать и отражать наш собственный внутренний мир, который мы и сами-то хорошо не знаем.

В некотором смысле это особый вид самостоятельного психоанализа, не для всех полезный и безопасный.