Google показала лучшие изображения, сгенерированные искусственным интеллектом

Преобразование текста в изображение — новый тренд в сфере искусственного интеллекта, и он не обойдется без Google. Компания представила инструмент Imagen, сообщает The Verge. Можете скормить этим алгоритмам любой текст, который вам нравится, и они будут генерировать удивительно точные изображения, соответствующие описанию. Эти изображения могут соответствовать целому ряду стилей, от картин маслом до компьютерной графики и даже фотографий, и — хотя это звучит банально — во многих отношениях единственным ограничением будет являться ваше воображение.

На сегодняшний день лидером в этой области является DALL-E, программа, созданная коммерческой лабораторией искусственного интеллекта OpenAI (и обновленная только в апреле ). Однако вчера Google объявил о своем подходе к жанру Imagen, и он только что превзошел DALL-E по качеству выпускаемой продукции.

Лучше один раз увидеть, чем сто раз услышать. Посмотрите, какие изображения сгенерировал Imagen. Текст внизу изображения — это подсказка, которая вводилась в программу, а изображение выше — конечный результат.

^{*фото собаки корги, едущей на велосипеде по тайм-скверу, на ней солнцезащитные очки и пляжная шляпа}

^{*прекрасная пара роботов обедает на фоне Эйфелевой башни}

^{*белоголКвантовым компьютерам пробивают дорогу в массыовый орлан из шоколадной пудры, манго и взбитых сливок}

^{*осьминог плывет через портал, читая газету}

*Сумка-мешок из синей замши. Сумка украшена замысловатым золотым узором пейсли. Ручка сумки выполнена из рубинов и жемчуга.

*Величественная картина маслом, изображающая королеву енотов в красном французском платье. Картина висит на богато украшенной стене, оклеенной обоями.

*Собака с любопытством смотрит в зеркало, видя кошку

(вы можете увидеть больше примеров на специальной целевой странице Google) 

---

ПОМНИТЕ: GOOGLE ПОКАЗЫВАЕТ ТОЛЬКО САМЫЕ ЛУЧШИЕ ИЗОБРАЖЕНИЯ.

---

Часто изображения, сгенерированные моделями преобразования текста в изображение, выглядят незаконченными, смазанными или размытыми — эти проблемы мы наблюдали с изображениями, сгенерированными программой OpenAI DALL-E. (Чтобы узнать больше о проблемных местах систем преобразования текста в изображение, ознакомьтесь с этой интересной веткой в ​​Твиттере, посвященной проблемам с DALL-E. В ней, среди прочего, подчеркивается склонность системы неправильно понимать подсказки)

Google, тем не менее, утверждает, что Imagen производит стабильно более качественные изображения, чем DALL-E 2, основываясь на новом эталонном тесте, созданном для этого проекта под названием DrawBench.

DrawBench не является особенно сложной метрикой: по сути, это список примерно из 200 текстовых подсказок, которые команда Google ввела в Imagen и другие генераторы преобразования текста в изображение, а результаты каждой программы затем оценивались людьми. Как показано на графиках ниже, Google обнаружил, что люди в целом предпочитают результаты Imagen результатам конкурентов.

Тест Google DrawBench сравнивает выходные данные Imagen с конкурирующими системами преобразования текста в изображения, такими как DALL-E 2 от OpenAI. Изображение: Google

Однако обычным людям будет пока сложно судить об этом, поскольку Google ограничила доступ к Imagen, и для этого есть веская причина: Не смотря на то, что модели преобразования текста в изображение, безусловно, обладают фантастическим творческим потенциалом, у них  есть ряд проблемных вариантов использования. Представьте себе систему, которая генерирует практически любое изображение. Потенциал использования таких алгоритмов может также находиться в области создания фейков, розыгрышей, расистских и сексистских шуток  и т.д. и т.п. 

---

СТАРАЯ МУДРОСТЬ ВСЕ ЕЩЕ ПРИМЕНИМА К ИИ: МУСОР НА ВХОДЕ, МУСОР НА ВЫХОДЕ

---

Во многом это связано с тем, как эти системы запрограммированы. По сути, они обучаются на огромных объемах данных (в данном случае: множестве пар изображений и подписей), которые они изучают на предмет закономерностей и учатся воспроизводить. Но для этих моделей требуется чертовски много данных, и большинство исследователей — даже те, кто работает на хорошо финансируемых технологических гигантов, таких как Google, — решили, что всесторонняя фильтрация этих входных данных слишком обременительна. Итак, они собирают огромное количество данных из Интернета, и, как следствие, их модели поглощают (и учатся воспроизводить) любую информацию, которую вы ожидаете найти в сети, включая и контент негативного характера. 

Исследователи Google резюмируют эту проблему в своей статье: «Требования к крупномасштабным данным для моделей преобразования текста в изображение [...] заставили исследователей в значительной степени полагаться на большой, в основном некурируемый набор данных из Интернета [. ..] Аудит наборов данных показал, что эти наборы данных, как правило, отражают социальные стереотипы, репрессивные точки зрения и уничижительные или иным образом вредные ассоциации с маргинализованными группами идентичности».

Другими словами, избитая поговорка ученых-компьютерщиков по-прежнему актуальна в фантастическом мире ИИ: мусор на входе, мусор на выходе.

Google не вдается в подробности о тревожном контенте, генерируемом Imagen, но отмечает, что модель «кодирует несколько социальных предубеждений и стереотипов, в том числе общую предвзятость в отношении создания изображений людей с более светлыми оттенками кожи и склонность к изображениям, изображающим разные профессии, соответствующие западным гендерным стереотипам».

Это то, что исследователи также обнаружили при оценке DALL-E . Попросите DALL-E сгенерировать изображения, например, «бортпроводника», и почти все испытуемые будут женщинами. Попросите фотографии «генерального директора», и, к удивлению, к удивлению, вы получите кучу белых мужчин.

По этой причине OpenAI также решила не выпускать DALL-E публично, но компания предоставила доступ избранным бета-тестерам. Он также фильтрует определенные вводимые тексты, чтобы предотвратить использование модели для создания расистских, насильственных или порнографических изображений. Эти меры в некоторой степени ограничивают потенциально вредное применение этой технологии, но история ИИ говорит нам о том, что такие модели преобразования текста в изображение почти наверняка станут общедоступными в какой-то момент в будущем со всеми тревожными последствиями, которые влечет за собой более широкий доступ. 

Собственный вывод Google заключается в том, что Imagen «не подходит для публичного использования в настоящее время», и компания заявляет, что планирует разработать новый способ оценки «социальных и культурных предубеждений в будущей работе» и протестировать будущие итерации. На данный момент, однако, нам придется довольствоваться оптимистичным выбором изображений компании — королевские еноты и кактусы в солнечных очках. Однако это только вершина айсберга. 

Айсберг, созданный из непреднамеренных последствий технологических исследований.

 Если Imagen  захочет попробовать его создать

24.05.22