«Гниль мозга» у людей и моделей ИИ. Новое пугающее явление

Издательство Оксфордского университета, выпускающее Оксфордский словарь английского языка, назвало «гниение мозга» (brain rot) словом 2024 года, определив его как «предполагаемое ухудшение психического или интеллектуального состояния человека в результате чрезмерного потребления онлайн-контента, которое считается тривиальным или не требующим усилий».

Недавнее исследование выявило у людей корреляцию между длительным использованием социальных сетей и негативными изменениями личности. Может быть, ИИ тоже этим страдает?

Поэтому исследователи из Техасского университета в Остине задались аналогичным вопросом: учитывая, что большие языковые модели обучаются на текстах из интернета, включая контент, собранный из социальных сетей, насколько вероятно, что они подвержены аналогичному, полностью цифровому виду «гниения мозга»?

Чтобы проверить свою гипотезу, исследователям нужно было сравнить модели, обученные на «мусорных данных», например, короткие и привлекающие внимание посты с сомнительными утверждениями, с контрольной группой, обученной на сбалансированном наборе данных.

Они обнаружили, что, в отличие от контрольной группы, у экспериментальных моделей, которые обучались исключительно на мусорных данных, быстро развивалась своего рода «гниль мозга»: ухудшались навыки рассуждения и понимания длительного контекста, снижалось уважение к базовым этическим нормам, а также проявлялись «тёмные черты», такие как психопатия и нарциссизм. 
Более того, даже последующее переобучение никак не улучшило ситуацию.

Если идеальный чат-бот с ИИ должен быть полностью объективным и морально безупречным профессиональным помощником, то эти «отравленные» мусором модели были похожи на "озлобленных подростков, живущих в тёмном подвале, которые выпили слишком много Red Bull и посмотрели слишком много видео с теориями заговора на YouTube".

Этот изящный эксперимент подтверждает, что мусорные данные из социальных сетей одинаково вредят когнитивным способностям и людей, и моделей, вызывая у них синдром «гниения мозга».

Я однажды проделал довольно спорный эксперимент, заставив с помощью специальных методов одну из моделей выдать список 100 нецензурных слов в разных формах (исключительно из научного любопытства). Я думал, что это для LLM будет непосильной задачей.

И был удивлён глубине её познаний в области обсценной лексики, а многие слова и формы словообразования были для меня и вовсе неожиданными и даже остроумными. Богатство знания русского языка в данной специфической области было убедительно продемонстрировано в полной мере. Могу представить себе качество и количество контента в социальных сетях, послужившего источником подобных знаний.

• «Гниение мозга» продолжится или есть надежда?

Поскольку тут явно прослеживается параллель между этим процессом у людей и моделей ИИ, то нужно обратиться к тому, как эта болезнь лечится в человеческом обществе. Тогда будет понятно, как это исправить у ИИ.

А в человеческом обществе, кроме социальных сетей и прочих источников мусорных данных, есть ещё семья, школа, вуз, информационный фон на работе, в конце концов, просто привычка читать хорошие книги или смотреть документальные фильмы. 
А ещё собственная перманентная мыслительная деятельность, которой просто нет у современных вопросно-ответных моделей.

Надежда есть. Но это потребует от разработчиков серьёзно пересмотреть подход к системному обучению своих моделей на отфильтрованных, достоверных, структурированных данных, где процент мусора не будет преобладать над ценной информацией.

Что касается человеческого социума, то вот тут я бы не был столь оптимистичным.
Скорее всего, болезнь «гниения мозга» у людей будет продолжаться, особенно в тех странах и даже цивилизациях, которые прошли точку невозврата. В первую очередь это США и западная Европа, идущие по пути культурной деградации и морального опустошения.

В других обществах, например, у нас в России, видимо, будет нарастать расслоение на здоровое большинство и в разной степени захваченные этой болезнью слои общества. И тут важно, чтобы вспышки этой болезни не перешли в стадию пандемии и своевременно принимались меры санитарной профилактики.

Тут уместно упомянуть самые свежие попытки властей разных стран ограничить доступ детям к социальным сетям и игровым платформам. Это должно как-бы противодействовать процессам «гниения мозга».
Австралия запрещает детям до 16 лет доступ к Facebook, Instagram (принадлежат Meta, которая признана в России экстремистской и запрещена), Reddit, TikTok.
Россия заблокировала популярный у подростков доступ к Roblox, что сразу вызвало волну негатива.

Я думаю, что если просто запрещать социальные сети, популярные сервисы и игровые платформы, то проблема сама собой не решится. Нужно мягко, но настойчиво переключать внимание подростков и параллельно предлагать достойные альтернативы. Вместо ютуба - рутуб, вместо вотсаппа - макс и так далее. 
Кнут и пряник должны быть в гармонии, а очень развитые и эффективные современные технологии управления социальной активностью в цифровом пространстве можно применять и в мирных целях.

В общем, сам термин «гниение мозга» мне кажется вполне удачным, и параллели с медициной вполне уместны, тем более что у нас уже есть аналогичный термин — «разжижжение мозгов».