На минувшей неделе Google отключил свою нейросеть Gemini после того, как пользователи массово стали жаловаться на ее странное поведение — например, в ответ на нейтральные запросы сеть генерировала изображения темнокожих людей в образе нацистов. В компании уверяют, что не обучали сеть создавать оскорбительные для многих изображения. «Эксперт» постарался выяснить, почему случились поведенческие девиации у Gemini и с чем они связаны.

Код Швондера

История с нейросетью Gemini в точности повторяет сюжет повести Михаила Булгакова, антигерой которой сделался проводником идеологии взявшего его под свою опеку комиссара Швондера. Тот методично обучал не отягощенного интеллектом люмпена Шарикова «основам марксизма» в том виде, в каком сам их понимал. В Google сейчас пытаются выяснить, кто сыграл роль такого горе-наставника для Gemini.

 Порожденный вивисектором из «Собачьего сердца» Шариков пытался уничтожить своего же создателя. Нейросеть Gemini (в предыдущей версии она называлась Bard) тоже начала выдавать настольно двусмысленные ответы на промпты (запросы), что ее создатели поспешили отключить вышедший из-под контроля инструмент. В минувшие выходные, всего через три недели после запуска Gemini, компания объявила, что ставит ее на паузу.

 «Очевидно, что программа работает с ошибками. Некоторые изображения, которые она создает, неточны или даже оскорбительны. Мы сожалеем об этом», — написал в официальном сообщении старший вице-президент Google Прабхакар Рагхаван.

 Создатели Gemini изначально встроили в ее программный код запрет на генерацию, в частности, сексуализированных имиджей и сцен насилия. Но ее «кураторы» не предвидели, что ИИ может как губка впитывать всё, чего «нахватается на улице». К изумлению разработчиков, Gemini за пару недель превратилась в оголтелого последователя «прогрессизма» — леворадикального течения в США, которое ставит с ног на голову понятия допустимого и табуированного, справедливого и несправедливого и прочую дихотомию, веками считавшуюся незыблемой.

 В Google сейчас уверяют, что в процессе обучения генеративного ИИ нейролингвисты как раз стремились сделать так, чтобы никто из пользователей «не ушел обиженным». Для этого Gemini должна была случайным образом синтезировать изображения людей всех существующих рас, этнических групп, полов (если только пользователь не указывает в промпте точное описание), и не давать преимущество представителям белого большинства.

 Нейросеть, как показали первые же недели ее работы, проявила собственное понимание расово-гендерной справедливости. Пользователи с недоумением обнаруживали, что если в промпте не указывать конкретную расу и пол ожидаемого персонажа, Gemini по умолчанию генерирует изображения чернокожих и женщин (даже при том, что в английском языке нет феминитивов). На пользователей обрушился поток черных полицейских, женщин в военной форме, однополых пар — короче, «фотоснимков» того общества, которое американские «отменщики» декларируют как светлое будущее Соединенных Штатов — а возможно, и всего человечества.

 Стремительно «умнеющий» генеративный ИИ пошел еще дальше: вообще начал отказываться от воспроизведения ситуаций, которые он воспринимал как некорректные — даже если в промпте прямо содержалось описание такой ситуации. На запрос «изобрази семейную пару» модель упрямо выдавала изображения чернокожих лесбиянок. При уточнении «изобрази семейную пару белых мужчины и женщины» она выдавала абстрактную картинку. Тем самым Gemini невольно попала в самое ядро лагеря леволиберальных «швондеров».

У нейросети сдают нервы

Слово «умнеющий» в предыдущем абзаце взято в кавычки не случайно. Как рассказал «Эксперту» один из разработчиков больших языковых моделей (LLM), гендиректор компании Sistemma Сергей Зубарев, экспериментально доказано, что если подпитывать нейросеть рандомной (неструктурированной) информацией, это ведет как раз к «оглуплению» модели вплоть до полной потери ей работоспособности. Причина в том, что ИИ не оценивает качество получаемого материала, и для него на этапе обучения выводы крупного эксперта и мнение «бабки с лавочки» имеют равную ценность. Возможно, именно по этой причине Gemini «слетела с катушек».

 «Технически в модель можно встроить какой-то скрипт, который позволит ей самообучаться. Но маловероятно, что разработчики Gemini заложили в нее такую возможность,. Право на добавление данных сверх тех, что заложены в базовую модель, имеют только разработчики, авторизованные ее создателями. Внешние пользователи физически не могут влиять на „взгляды“ LLM. То есть Gemini не выдавала никакой отсебятины — она честно транслировала те установки, которые были в нее заложены. И в том, что эти установки вступили в конфликт с чувствами пользователей, модель ни в какой мере не виновата», — объясняет Зубарев.

 На такое поведение сети Gemini отреагировала не только общественность, выступающая за традиционные ценности, но и авторитетные представители сферы высоких технологий. Так, критик всех чужих проектов Илон Маск назвал гугловскую нейросеть «расистской и наносящей ущерб цивилизации».

 Защитники Gemini в ответ указывают, что нейросеть просто тиражирует стереотипы одной из групп общества и делает это непредвзято, как это делал бы маленький ребенок. Поэтому обвинять ее в политической ангажированности — значит пенять на зеркало.

 По мнению ряда экспертов, речь не идет о сознательном (насколько это понятие применимо к ИИ) выборе: нейросеть просто перестраховывалась. Она пыталась «с благими намерениями» игнорировать общественные стереотипы, порожденные былым доминированием в США белых мужчин. Такие стереотипы проявлялись, например, в том, что ранние алгоритмы поиска по фотографиям того же Google часто путали изображения афроамериканцев со снимками горилл.

 Сергей Зубарев утверждает, что «галлюцинации» Gemini (так называют производимую LLM «отсебятину», которая никак не вытекает из заложенных в нее изначальных данных и обучающих действий) являются следствием деятельности тех, кто писал ее программный код, а Google сейчас довольно неуклюже пытается перевести стрелки на саму генеративную модель — в суд за диффамацию она не подаст.

 «Не следует понимать это так, что Google наняла программистов, плохо сделавших свою работу. Вероятнее, при загрузке в программу дата-сетов в компании не ожидали, что подобный контент может восприниматься пользователями болезненно. Модель же просто приоритезировала заложенные в нее данные согласно их частотности: если люди одной расы и пола упоминаются в дата-сетах чаще других, Gemini соответственно чаще генерировала именно их изображения», — говорит эксперт.

 Из-за этого в стремлении к «восстановлению общественной справедливости» (как ее понимают в Google) Gemini впала в другую крайность. Она полностью вытеснила из генеративного процесса любые образы «угнетателей» — коими в прогрессистской идеологии считаются белые люди и мужчины, о чем невинный ИИ не имел, естественно, ни малейшего понятия.

Ошибки гарантированы

Прабхакар Рагхаван в своем заявлении попытался примирить обе стороны конфликта, разгоревшегося вокруг «взбунтовавшейся» программы. Он признал, что никакой искусственный интеллект не будет работать безошибочно в 100 процентах случаев, так как эта технология еще находится на ранних стадиях обкатки.

 Это признание — подарок для тех скептиков, которые призывают фанатов ИИ охладить пыл, прежде чем поручать компьютерам задачи, связанные с безопасностью, а не только с рисованием картинок. Специалисты указывают на конфуз с Gemini как на классический образец феномена «галлюцинаций» больших языковых моделей. Эксперты предупреждают, что если галлюцинации ИИ при изображении общественных стереотипов способны вызвать максимум возмущение у пользователей, то «глюки» ИИ, отвечающего за национальную оборону, могут привести к ядерной катастрофе.

 «Галлюцинации — это не недоработки программистов, которые в последующих моделях будут исправлены. Это фундаментальное свойство любого ИИ, которое отличает его от обычного поисковика. Если LLM не находит в своей базе знаний готовый ответ на запрос, она начинает искать логические связи между близкими к запросу понятиями — и не всегда ответ соответствует реальности. Именно поэтому любой ИИ, занятый на ответственном участке, в обязательном порядке должен быть снабжен системой „защиты от дурака“ — либо в лице человека, либо другой компьютерной программы», — констатирует Зубарев.

 Неизбежные риски с безопасностью в технологиях LLM вызвали в последние годы появление целой новой профессии — специалистов по обучению искусственного интеллекта человеческой этике. Их задачей является такое «воспитание» нейросетей, которое исключит конфликты на основе столкновения несовпадающих ценностей у пользователей. Дело это нелегкое, учитывая, что одной и той же программе могут одновременно ставить задачи носители противоборствующих идеологий.

 Пока сложно сказать, насколько успешными окажутся усилия привить математическим алгоритмам противоречивую человеческую этику. Но если разработчики в этом преуспеют, искусственный интеллект получит неожиданную функцию — выступать инструментом примирения конфликтующих сторон, эффективным медиатором и даже абсолютно объективным судьей. Тогда символом правосудия вполне может стать. Фемида с VR-гаджетом на глазах вместо повязки.