ИИ-художник от Сбербанка – хотели как лучше. А как получилось?

У всех на слуху чат-бот ChatGPT от компании OpenAI – ИИ-ассистент, способный работать в диалоговом режиме и поддерживающий запросы на естественных языках. Несколько меньшее внимание привлекает другой ИИ-ассистент, на основе нейросети DALL-E тоже от OpenAI, который способен генерировать качественные изображения, исходя из описания на естественном языке. ИИ-дивизион Сбербанка в конце 2021г. объявил о создании отечественного аналога  - ruDALL-E, который с тех пор прошёл несколько генераций и в настоящее время доступен для тестирования всем желающим. Проект призван, по мнению экспертов, решать достаточно серьёзные содержательные проблемы на пути создания сильного ИИ. Что удалось сделать к настоящему моменту? Решил протестировать и изложить свои предварительные впечатления.

 

Введение в проблему «ИИ-художник»

 

Недавно в журнале «Вопросы философии»(№3, 2022) вышла статья К.А.Анохина (акад.РАН, нейробиолог), К.С.Новосёлова(Нобелевский лауреат по физике), С.К.Смирнова (лауреат Филдсовской премии, математик), А.Р.Ефимова (вице-президент Сбербанка), Ф.М.Матеева (МГУ) «Искусственный интеллект для науки и наука для искусственного интеллекта». Видные учёные рассуждали (каждый в своей предметной области), что может дать ИИ физике, математике, биологии и, наоборот, как каждая из этих наук может помочь в развитии ИИ. В принципе, никаких откровений я для себя из этой работы не почерпнул, и упоминаю о ней лишь потому, что известный моему читателю К.А.Анохин, говоря о вкладе ИИ в нейробиологию, ссылается, как раз, на проект ruDALL-Е. Речь идёт о стоящей перед нейробиологами задаче реконструкции трансформации зрительных образов, воспринимаемых мозгом, сперва в осмысленную информацию, а затем и в поведенческие реакции. Анохин ссылается на недавнее пионерское исследование в Гарварде с помощью генеративной искусственной нейросети XDREAM, позволившее выбирать действительно важные для нейронов образные фрагменты окружающей действительности и синтезировать на их основе сложные изображения, в которых причудливо переплетались отдельные признаки мира. Компания OpenAI применила этот же метод максимизации ответа для исследования того, что «видят» нейроны в глубоких слоях их новой нейросетевой структуры CLIP (Contrastive Language-Image Pre-training). Оказалось, что для рецептивных полей нейронов этой сети свойственна такая же странная картина склеенных из многих признаков, но узнаваемых изображений, как и для естественной нейросети. Похожей технологией является и ruDALL-E, которая генерирует изображение на основе введенного текста. Таким образом, смысл развития и изучения подобных технологий состоит в достижении понимания неких общих закономерностей кодирования и распознавания образной информации, что позволит существенно продвинуться в построении более совершенных моделей ИИ.

 

Кратко о проекте ruDALL-E

 

Достаточно подробную информацию о проекте  ruDALL-E можно найти в публикации Д.Димитрова (исполнительный директор по исследованию данных, Сбербанк) на Хабр (на неё в вышеупомянутой статье ссылается К.Анохин). Я остановлюсь лишь на ключевых моментах.

1.   Исходная для проекта Сбера модель DALL-E — это нейронная сеть, разработанная американской лабораторией искусственного интеллекта OpenAI. Одним из основателей OpenAI является Илон Маск.

2.    В проекте Сбера, первые результаты которого обнародованы в 2021г., активно участвовали команды Sber AI, SberDevices, Самарского университета, AIRI и SberCloud.

3.  На стартовой странице проекта упоминается о возможности вводить запросы-описания на 107 языках. Переход по соответствующей ссылке ведёт на страницу GitHub.com, из которой следует, что в коде используются около 10 сторонних переводчиков (GooglTranslator, microsoft translator, YandexTranslator и т.д.), они переводят иноязычные запросы на русский, который и использовался для создания словаря текстовых токенов (см.ниже).

4.   Долгосрочная цель нового направления — создание «мультимодальных» нейронных сетей, которые выучивают концепции в нескольких модальностях, в первую очередь в текстовой и визуальной областях, чтобы «лучше понимать мир». Здесь следует пояснить, что под неудачным, на мой взгляд, наименованием «мультимодальность» подразумевается способность оперировать потоками разнородной информацией (образной и вербальной в нашем случае), устанавливая между ними необходимое соответствие. Подробно я рассматривал этот вопрос в своей статье об интуиции, когда говорил о концептуальной и эйдетической интуиции. Концептуальная сторона мышления – связывание понятий/терминов с зрительными образами, а эйдетическая, наоборот, - ассоциация образов и изображений с понятиями, которым они соответствуют. Так вот, проект ruDALL-E должен научить симулировать происходящий в нашем мышлении концептуальный процесс представления (воображения) понятий и терминов в виде зрительных образов. И это совсем не простая задача!

5.   В чём, по мнению разработчиков, польза от подобных систем? Они считают, что генерация изображений по тексту «решает две важных потребности, которые пока не может решить информационный поиск:

-  Возможность точно описать желаемое — и получить персонализированное изображение, которое раньше не существовало.

- В любой момент создавать необходимое количество licence-free иллюстраций в неограниченном объеме»

Ну, это, так сказать, тот «выхлоп», который подобные системы дают автоматически, так они спроектированы. Весь вопрос в качестве этих изображений и иллюстраций, насколько они соответствуют замыслам создателей и могут заменить контент, созданный белковым художником. 

6.    Димитров приводит несколько примеров того, как такие изображения можно использовать «прямо сейчас»:

•  Фото-иллюстрации для статей, копирайтинга, рекламы. Можно автоматически (а значит — быстрее и дешевле) создавать иллюстрации к статьям, генерировать концепты для рекламы по описанию.
  - Примеры, которые он приводит, меня совсем не убеждают (здесь и далее в этом параграфе изображения из поста Димитрова)

Такое изображение использует совсем уж непритязательный (или скупой) редактор рекламы или статьи, имея, потенциально, в распоряжении тысячи гораздо лучших изображений.

 

• Иллюстрации, свободные от лицензии фотостоков, тоже можно генерировать бесконечно.
  - Я имею дело с фотостоками, знаю расценки и уровень работ, поэтому скажу, что прямо сейчас никто не станет генерировать сомнительного качества картинки, имея возможность за сумму порядка 100-200р. выбрать из тысяч отличных картинок на любой вкус. Речь может идти, разве что, о векторных иллюстрациях. Хотя, некоторые стоки (например, lori.ru) уже начали принимать изображения «от нейросети», требуя «иметь все права на созданные изображения». Но продажи таких «произведений» единичные.
•  Визуализации дизайна интерьеров — можно проверять свои идеи для ремонта, играть с цветовыми решениями, формами и светом.
  - Для этого есть профессиональные программы с огромными базами предметов интерьера и стилей, а есть и бесплатные «любительские», которые делают то же самое, но попроще. Возможно, кого-то такая возможность и вдохновит, но вряд ли вы сможете обустроить квартиру мечты по такой картинке, которая годится лишь для первого разговора с профессиональным дизайнером

 

 

 

 

 

 

• Visual Art — источник визуальных концепций, соединений различных признаков и абстракций.
  - Ну, здесь как раз полная свобода для любителей подхода «а я так вижу!», который популярен в определённых кругах. И если захотелось помечтать о «тёмной энергии», то флаг вам в руки, как говорится!

Итак, резюмируя изложенные «примеры целесообразного использования» могу предположить, что никаких глобальных задач (о которых мечтает К.Анохин) разработчики на данном этапе перед собой не ставят, ограничившись оправданием бюджета на примере ряда прикладных задач с туманными перспективами.

 

 

 

 

 

7.  Как это работает?  В своём посте Димитров пытается многословно объяснить методы построения и работы нейросети с использованием терминологии, знакомой лишь узким специалистам в разработке и обучении нейросетевых ИИ. И эта часть мне малоинтересна (как работает алгоритм GPT (Generative Pretraining of Transformers) можно прочитать здесь или здесь). Важен общий принцип, который, по Димитрову, состоит в том, чтобы «обучить трансформер авторегрессивно моделировать токены текста и изображения как единый поток данных». Этот самый «трансфомер» состоит из «энкодера» и «декодера» и преобразует, по некоему хитрому алгоритму, поток входных данных (текстовое описание и опорные, сжатые от исходных 256х256 до размера 32х32 пикселя, картинки-токены) в изображение на выходе. В качестве источника понятий/терминов программа использует словарь (состоящий из текстовых токенов, т.е. последовательностей чисел, в которые по специальному алгоритму токенизации преобразован текст, у ruDALL-E таких токенов 128 (на конец 2021г., текущий статус мне неизвестен), у GPT-1 – 512, у GPT-2 – 1024, у GPT-3 - 2048). Основу архитектуры алгоритма обработки разнородных («мультимодальных») данных составляет механизм Self-attention. Он позволяет модели понять, какие фрагменты входных данных важны, и насколько важен каждый фрагмент входных данных для других фрагментов. Для обучения нейросети использованы данные «изображение-описание» от OpenAI (250млн.пар), китайской CogView (30млн.пар) и некоторые другие. На их основе разработчики создали 120млн. пар изображение–описание, на которых и проводилось обучение.

8. Сформулирую изложенное выше простыми словами. Рассматриваемая нейросеть – это попытка перевести семантику исходного описания в максимально адекватный визуальный образ, используя колоссальные объёмы обучающих данных, где такой «перевод» сделан человеком. Предлагаю посмотреть, насколько удачной вышла эта попытка.

Нарисуй-ка мне художник!

Визуализация объекта

Для тестирования я выбрал последнюю версию ruDALL-E – Kandinsky 2.0 (есть ещё Kandinsky и Malevich). Логично начать тестирование с самого простого. У ИИ-художника есть базовый набор таких понятий/терминов, которые, наверняка, входят в его тезаурус, и которые он просто обязан адекватно изображать. Посмотрим, как он себе представляет такое, достаточно однозначное и простое понятие как «мост». Заодно, оценим каждый из 20 вариантов стилевого представления картинки (вернее, только 18, так как стили «3D-render» и «студийный портрет» я посчитал не репрезентативными для моего анализа).

Сразу отметим, что вариант «без стиля» работает с реалистичными изображениями (фотографиями) и, в отличии от других, не имеет «авторского почерка». Мост выглядит адекватно, а изображение, действительно, передает соответствующую «манеру художника».

 

 

Здесь стили «мозаика» и «хохлома» показались мне неадекватными оригиналу. Интересно также, насколько упростились (в массе своей, по которой и проводилось обучение) современные мультфильмы в сравнении с шедеврами Союзмультфильма.

И здесь, за исключением «иконописи», изображения выглядят достаточно адекватно.

В общем, предметное представление реализовано достаточно сносно.

 Очевидно, что вопрос реалистичности и качества картинки, в данном конкретном случае, лишь в вычислительных мощностях (например, в способности работать не с 32х32 представлением, а с исходными картинками) и объёме обучающих данных.

Чтобы вся эта возня имела содержательный смысл, необходимо научить ИИ-художника понимать, что он рисует – сцены, действия, идиомы. Это и будет визуализация семантики, аналогичная человеческой.

 

Мама мыла раму

 

Предлагаю взять простейший смысловой сюжет, известный каждому по картинке из букваря. Здесь есть объект, субъект и собственно действие. Для теста я ограничился тремя репрезентативными стилями (на уровне комиксов – «советский мультфильм»,  реалистичная картина – «классицизм», авторское представления художника-реалиста – «Айвазовский»).

Человек (нормальный) представляет именно то, что нарисовано в букваре (верхняя картинка), т.е. маму (дочка рядом указывает на то, что это именно мама, а не женщина с низкой социальной ответственностью), окно (объект действия) и собственно процесс мытья. Что в данном случае «увидел» ИИ-художник? Ну, «без стиля» он увидел лишь рамку картины (а не оконную раму), в двух случаях он увидел маму (изобразив ребёнка рядом). В случае «союзмультфильма» есть подобие процесса мытья (чего только не найдёшь в советских мультфильмах!). А вот «Айвазовский», который, в натуре, сроду ни мам, ни мытьё не рисовал, оплошал!

 

Завтрак австралопитека

Для следующего задания я выбрал осмысленный сюжет с использованием понятий, одно из которых, наверняка, не входит в тезаурус, и по которому нейросеть не обучалась. Как она поступит?

Как ни странно, в сети полно вариантов того, как выглядят австралопитеки за завтраком (один из них приведён в начале). Кстати, ещё одна семантическая тонкость – завтрак – это и набор продуктов/блюд, и процесс их потребления.

 

 

 

 

 

 

Видим, что «без стиля» художник видит именно продукты (причём, достаточно реалистично), во всех остальных случаях изображена трапеза. Австралопитек, как и ожидалось, проигнорирован. Айвазовский от классицизма отличается незначительно: завтракают бородачи (наверное, взятые с картин о кораблекрушениях), но композиции очень похожи.

 

Считайте меня Кандинским, ну или Айвазовским

 

Следующий тест – попытка оценить, насколько состоятельны претензии авторов нейросети на правдоподобную передачу манеры письма известных мастеров. Ясно, что в таком случае обучение ведётся именно по картинам конкретного художника. Вопрос в том, достаточно ли это для передачи его авторской манеры. Я выбрал наиболее интересные для меня стили – «Кандинский» (его стиль эксперты именуют «абстрактный экспрессионизм») и «Айвазовский» (маринист). Здесь достаточно естественно брать название работы мастера и предложить ИИ-художнику воспроизвести свой вариант визуального представления.

Согласитесь, что ничего общего с манерой Кандинского «произведения» ИИ-художника от Сбера не имеют. Да, он постарался отличить простой пейзаж от зимнего и романтического, но узнать в этих изображениях именно Кандинского вряд ли кто бы смог. Я более чем прохладно отношусь к творчеству Кандинского (совсем недавно я освежил свои впечатления в «Новой Третьяковке»), но в его картинах что-то есть. Их можно рассматривать. Например, «Романтический пейзаж» лично у меня навевает ассоциации с видами из «Золота Мак-Кены»: всадники скачут по скалистой местности, скала-палец, золотой каньон  и т.п.  А картинки от ИИ не вызывают никаких эмоций.

С Айвазовским немного лучше. В случае «Неаполитанского залива» ИИ-художник не знал, что имеется в виду ночь, а вот дневной сюжет получился неплох. Однако, нет у ИИ "привязки по месту" (Везувий), которая присутствует у Мастера. Сносно изображено и кораблекрушение (и композиционно, и по цветовой гамме). "Произведение" от ИИ, позволяет, при известном воображении, заподозрить в авторе Айвазовского

 

Выводы

 

1.  Настоящее тестирование не предполагает глубокомысленных заключений о потенциале технологии DALL-E в силу малой выборки и субъективного подхода к оценке результатов. Однако, свои впечатления от знакомства с этой технологией я изложить могу.

2.   Пожалуй, с известной доработкой, заявленные задачи – подготовка рекламных материалов, непритязательные иллюстрации «на лету», Visual-Art – эта технология выполнить позволяет. И, если этим и ограничиться, то никакого продвижения в сторону сильного ИИ, она не гарантирует.

3.   Одна из основных задач на пути к сильному ИИ – научить машину понимать так, как это делает человек. Если ограничиться только текстом (а это ChatGPT), то весь комплекс возникающих проблем хорошо описан в длящейся десятилетия дискуссии вокруг теста Тьюринга и «китайской комнаты» Д.Сёрла (я описывал эту полемику здесь). Добавление к текстовому ещё и образного измерения понимания многократно усложняет эту задачу. Согласитесь, далеко не каждый из нас способен адекватно вербально выразить, возникающие в сознании образы, равно как и решить обратную задачу, например, представить себе как «гусь свинье не товарищ!». Здесь уместно вспомнить героя знаменитого романа Орлова «Альтист Данилов», который мог, при желании, мыслить мелодиями, чем ставил в тупик демонов-экспертов, изучавших его сознание в режиме онлайн.

4. Никаких признаков "понимания" того, что он изображает, ИИ-художник не демонстрирует. Да, вам может повезти и он, вдруг, нарисует именно то, о чём вы думаете. Это лишь свидетельствует о сильной удаче - в обучении использовался корпус данных, точно соответствующих вашему запросу.  Вариантов простых (даже не идиоматических!) фраз - бесконечное множество (буквально!). На все случаи обучающие данные никогда не подобрать. Нужно, чтобы ИИ "был воплощен в мире" и обучался сам. Ну, это уже совсем другая история ( я обсуждал этот казус здесь).

5.  На мой взгляд, способ построения и обучения подобных нейросетей не даёт надежды на то, что ИИ научится понимать то, что он говорит или рисует. И в этом я согласен с Сёрлом. Я не разделяю оптимизм К.Анохина, что подобные ruDALL-E технологии способны дать исследователям представление о способе взаимодействия нашего сознания с окружающим миром и воплотить этот способ в адекватных алгоритмах. Повторюсь, что это не экспертное заключение, а моё личное впечатление.