Что такое "искусственный интеллект" и почему он не интеллект

Вокруг искусственного интеллекта (ИИ) много разговоров и мнений, причем ноосфера сильнейшим образом засорена разговорами и мнениями людей, которые вообще не понимают, что такое ИИ, как он устроен и работает. В результате засилья непрофессиональных рассуждений у массовой публики складывается впечатление, что, во-первых, ИИ -- это нечто чудесное, магическое, а во-вторых, что ИИ действительно думает, рассуждает и может в чем-то заменить человека.

На самом деле всё не так.

Попробую немножко прояснить ситуацию с ИИ. Ограничусь только одной стороной: так называемыми "большими лингвистическими моделями" (LLM, Large Linguistic Models) и не буду затрагивать ни "рисовалки", ни "музыкальные сочинялки", поскольку они, хоть и более эффектны, чем LLM, но по сути проще.

Постараюсь также описать работу ИИ в самых простых словах, чтобы не вдаваться в математическую лингвистику и прочие заумные для обычного человека дисциплины.

Итак, что же такое LLM (БЛМ по-русски)? 

Для пользователя это некий "черный ящик", которому можно задать вопрос и получить на него ответ, очень похожий на то, что сказал бы живой человек, обладающий соответствующими знаниями. Поэтому у пользователей возникает от общения с БЛМ ощущение, что они разговаривают с таким вот живым человеком. Отсюда и восприятие БЛМ как интеллекта -- искусственного интеллекта.

На самом же деле никакого интеллекта там и близко нет.

БЛМ -- это прежде всего огромная база данных, содержащая кусочки, отрывки текстов (и полные тексты). Эта база структурирована таким образом, что каждый кусочек разобран синтаксически, а затем проанализирован семантически (то есть с точки зрения смысла, а не формального содержания). Например (это очень упрощенно), для отрывка "вот бегает дворовый мальчик, в коляску Жучку посадив, себя в коня преобразив" помечено, что речь идет о человеке мужского пола допубертатного возраста, который посадил в транспортное средство небольшого размера животное собаку по имени Жучка и катает ее, выступая в роли тяглового непарнокопытного вида "лошадь". В более продвинутой модели будет еще помечено, что с большой вероятностью собака -- черного цвета, а мальчик является крепостным из числа закрепленных за обслуживанием владельца (в отличие от крестьян, работающих в поле). Всё это еще обвешано связями с такими понятиями, как "поэзия", "роман в стихах", "Пушкин", "Евгений Онегин", "зима", "описание зимы" и т.д., и т.п.

И вот все эти связи -- как раз главное, что отличает БЛМ от обычной базы данных. Связи при этом формируются как "многие ко многим" (то есть образуют сетевую модель, которая не может быть полноценно воспроизведена реляционной СУБД). Более того, связи эти носят вероятностный характер, для чего каждой из них приписывается "вес" (грубо говоря, коэффициент от 0 до 1, в зависимости от того, насколько связь однозначна и постоянна; так например, для данного отрывка связь с понятием "Пушкин" будет иметь вес 1, а с понятием "романо-германская поэзия" -- вес 0).

Нейросеть выбирает данные из всего массива на основании того, у каких объектов этого массива связи с запросом имеют наибольший вес. Затем из полученных данных по определенным правилам, также входящим в состав БЛМ, формируется ответ, который и выдается пользователю.

Откуда берутся веса связей? Первоначально эти веса присваивают специалисты -- руками. А затем начинается самое интересное: нейросети задают вопрос, она дает ответ, и этот ответ пользователь либо принимает, либо отвергает (совсем или требует уточнить). В зависимости от этого нейросеть сама меняет веса связей. Это и называется machine learning, машинное (само)обучение.

Теперь вы понимаете, почему разработчики стараются выложить свою модель, состоящую из массива данных, связей между ними и нейросети, в общее пользование и привлечь к ней как можно больше людей? Больше пользователей -- больше запросов -- больше оценок результатов -- больше точность определения веса каждой связи (и больше оцененных связей между объектами).

Это же хорошо!

Да не очень. Дело в том, что:

- поскольку массив данных изначально привязан к соответствующей БЛМ, в ее контент попадают и ответы нейросети на запросы пользователей. Если этот ответ неверен, но пользователь его не отверг (ну не опознал он некорректность ответа), то для созданных этим ответом связей будут установлены высокие веса, а значит, он будет и далее выдаваться как верный;

- есть давно известная закономерность: чем больше делается уточнений весов, чем больше при этом вовлекается объектов, тем больше вероятность неверного ответа нейросети. Это называется "переобучение". Я столкнулся с этим в 1990 году, когда обучал систему распознавания текстов фирмы Kurzweil читать русские тексты: если хотелось получить точность распознавания больше 95% и для этого использовать больше вариантов одной и той же литеры, то точность, наоборот, падала ниже 80% из-за того, что разные литеры система воспринимала как одну и ту же;

- и наконец, нельзя забывать, что некоторые пользователи -- ради стёба ли, со зла ли, или просто от недоумия -- специально обманывают нейросеть, выбирая заведомо неверные ответы из предлагаемых ею.

В результате БЛМ засоряется нерелевантными, некорректными данными и связями, что приводит к ухудшению качества работы нейросети. В ИИ-терминологии это называется "галлюцинации": нейросеть формирует неточные, неверные, фейковые ответы.

Как следствие, пришлось даже создать архив данных и связей, накопленных до 2023 года, когда началось массовое использование ИИ.

В последних версиях многих БЛМ добавили механизм "рассуждений" (reasoning AI). Грубо говоря, поверх нейросети повесили некую логику, которая анализирует ответ и пытается прийти к выводу о его достоверности. Для пользователя это выглядит примерно так:

Пишем в промте "Адыреднинуб убкдетянже храрн".

Обычная модель выдает либо сообщение об ошибке, либо случайно выбранный текст, либо пытается "догадаться", что имелось в виду (то есть подобрать ответ для объектов, в той или иной степени похожих на то, что получила на входе).

Модель "с рассуждениями" решит, что перед ней шифр и надолго задумается, анализируя структуру сообщения и пытаясь расшифровать его разными способами. А потом выдаст, в принципе, то же самое.

Как ни странно (а на самом деле вполне ожидаемо), оказалось, что модели "с рассуждениями" галлюцинируют значительно чаще обычных.

Приведу несколько цитат из одной из статей, ссылки на которые я дал ниже:

Последние модели LLM проявили ещё одно новое качество, которого раньше не было: они сознательно врут пользователям, даже зная правильный ответ. Такое поведение называют «стратегическим обманом», то есть продуманной тактикой введения человека в заблуждение. LLM действительно знают, когда их оценивают - и меняют поведение соответствующим образом.

...исследователи из компании Apple продемонстрировали интересный недостаток LRM (больших рассуждающих моделей), таких как Claude 3.7 Sonnet с функцией рассуждения и DeepSeek-R1 - при возрастании сложности задач точность решения сначала плавно снижается, а потом резко падает до нуля.

По мнению авторов исследования, это демонстрирует отсутствие «понимания» проблемы в человеческом смысле. Модель тупо перебирает варианты, не понимая даже базовую логику задачи. И она продолжает перебирать неправильные варианты даже после того, как найдёт правильное решение. Такое поведение моделей нельзя называть рассуждением. Это просто «шаблонные вычислители, которые ломаются при малейшем выходе за пределы обучающей выборки».

Это ограничение нейросетей, известное ещё с прошлого века: они способны обобщать только в пределах обучающей выборки данных. Даже семимесячные дети способны экстраполировать и обобщать информацию на таком уровне, который недоступен нейросетям.

Что же из всего этого следует?

Да то, что не надо относиться к БЛМ как к интеллекту. ИИ -- это маркетинговое название, и не более того. БЛМ -- помощник в поиске и анализе информации, но только помощник, не в большей степени, чем, допустим, электронная таблица вроде Microsoft Excel. ЛЮБОЙ ответ ИИ следует считать заведомо неверным и ПРОВЕРЯТЬ. 

Короче, не полагайтесь на "искусственный интеллект" и включайте свой естественный.