про цифровое творчество

Всем привет. Относительно недавно наткнулся в сети на интересный тематический материал о том, как современные цифровые технологии меняют сегодня подходы к творческому процессу, и о том, к чему эти изменения нас ведут. Материал хорошо оформлен, написан доступным языком, находится на стыке философии, искусства и ИИ, и поэтому место ему в этом блоге было зарезервировано ещё две недели назад.. ))  

В моём понимании наиболее качественную и полезную информацию о любом процессе проще всего получить от тех, кто в этот процесс непосредственно вовлечён. ИИ в этом смысле нам пока не очень подходит, а вот люди, которые используют ИИ в качестве инструментария в своей творческой деятельности, вполне.. За что им конечно же большое человеческое спасибо!  

время чтения: 11 минут. 

---

Переосмысливая творчество

TLTR: Исследования мозга меняют наше представление об эстетических вкусах людей. Выясняется, что какие-то вещи нам нравятся не случайно и наши предпочтения — эволюционно закреплённые черты. Искусственные нейросети, обученные на художественном опыте человечества, способны к механистическому воспроизводству триггеров, вызывающих у нас конкретные эмоции.

Хочу поделиться некоторыми мыслями о том, как нейронные сети меняют творчество, без рассуждений о «душевности настоящего в противовес мёртвому компьютерному». Моё повествование в большей мере будет касаться визуального искусства, потому что я занимаюсь дизайном и трёхмерной графикой.

Автоматизация творчества. Начало

Несколько лет назад один мой приятель-трёхмерщик жаловался на обесценивание его навыков и демпинг со стороны нового поколения художников. Весомым вкладом в это послужило развитие программ типа Substance Painter. Трёхмерная графика с момента её зарождения и развития страдала от фундаментального недостатка — слабой степени фотореализма получаемых изображений. Модели, созданные в редакторе, слишком «стерильные и правильные» по сравнению с предметами реального мира. Следы износа, несовершенство формы, мелкие царапины и загрязнения покрытия создают достоверный и узнаваемый вид вещей. Для того, чтобы придать трёхмерным моделям реалистичный вид, требовалось знать множество хитростей и приёмов по добавлению деталей. Такие приёмы, как рецепты, передавались на форумах трёхмерщиков. Крутые специалисты охотились за этими хитростями и могли при необходимости изобретать новые, опираясь на свой богатый опыт. Этот багаж знаний отличал их работы от работ новичков. Но когда появились программы Substance Painter, 3D-Coat, Mudbox, создание сложных материалов свелось к рисованию кисточкой по поверхности и заливке участков трёхмерной сетки разными материалами. Там же стало возможно процедурно сгенерировать царапины, протёртую до металла краску, отполированные от трения грани на объекте, сварные швы и прочую визуальную «вкусноту».

Когда я увидел, как это делается (в то время я уже перешёл на Linux, под которым на тот момент эти программы не работали), то понял, что безнадёжно отстал от индустрии. Методами по старинке тягаться с автоматическими инструментами так же абсурдно, как вскапывать мотыгой сельскохозяйственное поле, соревнуясь в скорости с трактором.

Примерно то же ощутили 2D-художники, рисующие в традиционной технике, когда появились высококачественные графические планшеты и софт, позволяющий создавать многослойные изображения высокого разрешения, и инструменты, упрощающие рутину: кисть, рисующая повторяющимися деталями (удобна для изображения листьев, травы, чешуи и т. п.), возможность копировать, масштабировать и отражать части уже созданного изображения. Ведь в традиционных техниках подобное переиспользование затруднено или невозможно.

Мне как-то в руки попала книга «Инженерная графика», в которой целый раздел посвящён правильному рисованию падающих теней на криволинейные поверхности. Там приводится множество сложных формул, вспомогательных построений и приёмов. Когда не было альтернатив, чтобы нарисовать достоверные тени, приходилось вручную высчитывая их по формулам. Сегодня же проще взять трёхмерный редактор, нарисовать нужную модель, поставить положение Солнца, соответствующее точным географическим координатам, дате и времени, и получить достоверные тени, а бонусом — правильную перспективу.

Глядя на то, как сложные задачи перекладываются на программы, можно заметить тенденцию к автоматизации труда художника до прихода нейросетей.

Похожий процесс происходит и в музыкальной отрасли: появление MIDI-устройств и программ для создания музыки открыло возможности создавать музыку для людей с телесными ограничениями. Представьте человека с ДЦП, который физически не смог бы сыграть сложную мелодию на гитаре или клавишах, но с появлением компьютерных средств он может шаг за шагом набрать мелодию, и компьютер её воспроизведёт.

Отделение ремесла от творчества

Классическая живопись и музыка традиционно развивались параллельно с прогрессом исполнительского мастерства. Виртуозное владение инструментом, способность выдавать безупречные тоны мелодии точно в такт и умение при помощи тёртых пигментов передать объём и полупрозрачность виноградин в лучах солнца в натюрморте. Для неискушённых зрителей техническое совершенство — это и есть искусство. Но со временем авторам становилось тесно в этой парадигме. Бессмысленная жестокость Первой мировой войны натолкнула художников на смелые идеи, покушавшиеся на фундаментальные понятия. Идея отделить техническое качество от акта творчества пришла в умы художников-дадаистов задолго до появления компьютерной техники.

^{Почти все изображения в публикации созданы при помощи нейросети Bing, анонимными пользователями одной известной русскоязычной имиджборды, за что им выражаю огромную признательность и благодарность}

С развитием нейросетей эта идея получает вторую жизнь. Сегодня, чтобы создавать изображения с реалистичным светом и множеством деталей, не нужно уметь рисовать, эту задачу берут на себя сложные вычислительные системы. Творцу достаточно иметь желание и научиться работать с нейросетевыми инструментами, которых появилось множество — как онлайн так и локальных, и которые активно создаются энтузиастами и корпорациями.

Художники становятся арт-директорами

У кого-то слышал меткую фразу, что арт-директор — это человек, у которого вместо кистей и планшета другие художники. Арт-директоры — это дирижёры от мира визуального искусства.

Наличие в подчинении неутомимого робота-художника в лице нейронки и развитого инструментария её контроля делают из художника начальника виртуальной команды. Это очень здорово, ведь можно скинуть рутину и утомительный процесс перерисовывания на нейронку, а самому выступать в роли цензора, направляя работу машины по нужному пути.

Я мечтаю о том, чтобы сделали простой и удобный инструмент, который бы понимал задумку в виде нарисованного эскиза с нужными мне композицией, цветовой гаммой и освещением, чтобы на выходе получался высококачественный результат с проработанными деталями и материалами. Знаю, что уже сейчас они могут это делать, но пока маловато контроля и предсказуемости результата. Уверен, что улучшения не заставят себя ждать.

Концептерам становится грустно

Одна из самых сильных черт нейросетей — безропотное выполнение задач, сформулированных по принципу «нарисуй то, не знаю что». То есть они отлично справляются с задачами творческого поиска, накидывая эскизы по текстовому описанию. Представьте, как ускорится процесс, если мы заменим реального художника на роботизированного, готового рисовать без усталости и жалоб?

Вот тут нужно обязательно сделать важную ремарку, возможно, ключевую мысль публикации:

Мне кажется, что до нейросеток творческий поиск был примерно тем же самым занятием — накидыванием эскизов и оценкой вариантов, с той лишь разницей, что задачу визуализатора выполнял человек. Создавал множество набросков, основой которых могли служить реальные объекты или фантазия. Затем опытным взглядом находил что-то «цепляющее» и развивал образ. Генерировал уточнённые варианты, картина обрастала деталями и превращалась в итоге в законченное произведение. Многократное перерисовывание фрагментов картины — обычное дело в живописи. Обратите внимание, если будете в галерее, что некоторые части полотен заметно толще соседних из-за многих слоёв краски. Выходит, нейронки автоматизируют процесс мозгового штурма, а художник выполняет роль цензора. Ещё важно упомянуть эффект «замыливания глаза», когда при работе над одной и той же картиной мозг переутомляется, и становится сложно критически воспринимать результат. В случае когда рисует нейросеть, намного проще оценивать изображение, даже если приходится просматривать сотни вариантов.

Кризис перепроизводства контента

По моему мнению основным последствием влияния нейронок на творческую сферу станет исчерпание зрительского внимания и связанное с этим обесценивание медиаконтента.

Давайте вспомним, как обстояло дело около тридцати лет тому назад. И старики, и школьники находились примерно в одном медийном пространстве, так как все смотрели один телевизор с парой каналов и все были в курсе, кто такой СиСи Кэпвелл, и сопереживали судьбе его семейства. Выход голливудского блокбастера был целым событием, которое обсуждали люди разных возрастов. Представители разных поколений были в курсе происходящего друг у друга, особенно ярко это проявлялось в небольших городах. Сегодня из-за обилия разного рода медиа даже ровесники сидят в изолированных группах. В теряющем популярность телевизоре теперь есть сотни тематических каналов, на YouTube — громадное количество авторских проектов, при этом существуют многочисленные фэндомы игр, популярных произведений, аниме, не говоря уже о всевозможных текстовых блогах, телеграм-каналах и проч. Контента просто завались, на любой вкус и на любую тему. Общество раздробилось на пёстрые кусочки мозаики и окуклилось в инфопузырях.

Нейронки — великий уравнитель

Во времена до появления нейросеток умение хорошо рисовать было чем-то вроде биологического аналога биткоина. Навык невозможно никаким образом купить или украсть, его можно было только развить путём многолетнего и кропотливого труда. Умелые художники в своей среде были суперзвёздами, за ними следили другие артисты, их карьерой и галереей восхищались начинающие.

Пришли нейронки, и прежний миропорядок рухнул. Теперь получать яркие, пропорциональные и насыщенные деталями картинки способны все. Галереи и форумы взбунтовались против AI-сгенерированного контента. Но джинна в бутылку уже не загонишь.

Хочу поделиться парой своих наблюдений по этому поводу. Развитый навык рисования можно рассматривать и как подтверждение здоровья нервной системы, ведь для этого нужно не только терпение и усидчивость, но и сочетание многих хорошо работающих функций ЦНС, участвующих в процессе создания и контроля результата. Например, у меня есть приятель с некоторыми отклонениями в развитии, которому не даётся рисование несмотря на усердие. У него есть неустранимые проблемы с пропорциями и перспективой, он не может нарисовать предметы без искажений, т. к. не видит их в процессе создания эскиза.

Не подумайте, что я сторонник эйблизма. Напротив, я за то, чтобы творчеством занимались все, кто этого хочет, достигая максимальной полноты своего развития.

Я считаю, что для многих людей одобрение со стороны важной для них социальной группы является сильным мотиватором деятельности. Многие для того и идут в творчество, чтобы проявить себя, заслужить восхищение и возвыситься в социальной иерархии. Нейронки ломают этот механизм, что для кого-то может стать крахом идентичности. Ведь теперь любому школьнику станет под силу создавать картинки не хуже тебя, потратившего десятилетия на развития скила. Вдобавок из-за обилия нейронного контента зритель начинает всё подозревать в сгенерированности. Я думаю, что не стоит недооценивать данное явление. Оно, вероятно, будет оказывать важное влияние на всю цивилизацию, ведь мы утрачиваем серьёзный социальный механизм отбора и мотивирующий фактор для развития людей.

На ум приходит такая аналогия. Представим первобытное общество охотников и собирателей. Единственным способом добыть свежее мясо была охота, которой могли заниматься самые ловкие и смелые. Им завидовали хилые и трусливые, их любили женщины и ими восторгались члены общины. Естественно, такое мощное подкрепление мотивировало их не терять хватку и продолжать добывать ценный белковый ресурс. Потом пришло животноводство, и вот наш белковый добытчик — работник свинофермы, рядовой гражданин с лишним весом, не способный пробежать ста метров без одышки. Улавливаете, к чему я? Раньше художники были в авангарде поиска красоты и новизны, как смелые разведчики они шли в неизвестное и приносили оттуда плоды культурного рода, которым затем восторгались миллионы. А сейчас нейронки на наших глазах забирают это у человечества, разворачивают фабричное производство музыки, текстов, картинок и видео…

Нейроэстетика

Эта молодая наука исследует физиологические особенности человеческого восприятия.

Учёные, занимающиеся исследованием слуха и восприятия музыки, обнаружили некоторые соответствия между ритмом музыки и ритмами нейронной активности в мозжечке. То есть в музыкальной традиции закрепляются не случайные ритмы, а те, которые уже изначально встроены в наш мозг на базовом уровне. Музыканты (как и художники) экспериментальным путём, как бы на ощупь, отыскивают мелодические и визуальные паттерны, нравящиеся людям, которые те охотно принимают, благодаря чему они закрепляются в культуре.

О нейроэстетических законах восприятия изображения сложно рассказать в рамках данного эссе, т. к. это требует отдельной публикации. Вот лишь некоторые примеры предопределённых особенностей зрения:

Парейдолия, встречающаяся у здоровых людей: мы видим лица там, где мозг может выделить хоть малейшее соответствие структуре лица с симметричным расположением глаз и рта под ними. В многочисленных исследованиях было показано, что млекопитающие имеют врождённую функцию фиксировать взгляд на лицах.

^{Озёра метеоритного происхождения во Владимирской области. Автор: Ted.ns}

Симметрия — универсальный признак живого и триггер для удержания внимания.

^{Классическая чернильная клякса Роршаха}

---

оффтоп: Спасибо всем, кто принял участие в обсуждении под предыдущей статьёй.

   

---

Людям особенно нравятся некоторые цветовые сочетания. Например, было замечено, что голливудские фильмы и постеры к ним сошлись на формуле сине-оранжевой гаммы, что породило мемы и исследования. Возможно, такая гамма приятна человеку по особой причине: голубой фон ассоциируется у нас с наступающими сумерками, а оранжевый цвет — с огнём очага.

^{«Ночь на Ивана Купалу» Генрих Ипполитович Семирадский}

«Освоение огня древними людьми стало переломным моментом в социальной эволюции человека, позволившим людям разнообразить белковую и углеводную пищу появившейся возможностью приготовить её, развить свою активность в ночное время, обогревать своё жильё, а также защищаться от хищников».

Википедия

Люди освоили огонь примерно четыреста тысяч лет тому назад, а время, прошедшее с появления цветного синематографа, соответствует 0,0002 доли данного периода человеческой эволюции…

Красные глаза-лампочки. Про них была отдельная статья, но если кратко — вероятно, так в нас эволюционно закрепился триггер, означающий отражение света от сетчатки глаз крупных хищников в глубине тёмной пещеры.

Если вам интересно, вот четыре основополагающих уровня воздействия художественного произведения на человека (по лекции Вячеслава Дубынина «Мозг: общие принципы нейроэстетики»:

1. Произведение искусства затрагивает жизненно значимые темы, закреплённые в нас эволюционно. В первую очередь это витальные потребности в безопасности, питании, социальном одобрении, любви и сексе. (Вспомните сюжеты самых популярных книг и фильмов. На какие они темы?)
2. Произведения искусства адаптированы под принципы работы наших сенсорных систем, т. е. должны быть адекватного уровня детализации, контраста, яркости. Очевидно, что картина, нарисованная краской, видимой только в ультрафиолетовой части спектра, не может быть увидена. Музыкальное произведение с мелодией в области инфра- или ультразвука либо с неадекватно высоким BPM также не может быть нами воспринято.
3. Эмоционально насыщенное произведение задействует зеркальные нейроны, т.е. мы ярче всего реагируем на эмоции, позы, поведение других людей. Недаром так популярен формат Shorts, а TikTok по охвату может сравниться с видеоиграми.
4. Новизна — любимое лакомство нашего мозга.

Выходит, человечество интуитивно создавало и накапливало культурный продукт, проходивший нечто вроде эволюции, при которой отбор проводился по принципу «нравится ли это мозгу». Нейронки — программно-аппаратный инструмент — обобщили огромный пласт человеческой культуры. Они будто выжали эссенцию из того, что нам нравится.

 

Эпилог

Мы живём в очень необычное время. Родившиеся около сорока лет назад увидели, как развивалась магнитная запись, первые домашние ЭВМ, как появились компьютерные игры, родился и умер компакт-диск, знали жизнь до интернета и нейросетей.

Мне кажется, в творческой сфере уже наметились и будут упрочняться следующие тенденции: коммерциализация и автоматизация производства, цифровая дистрибьюция через корпоративные площадки. Век самоучек, пробивающих дорогу к зрителю своим талантом, похоже, заканчивается. А главным инструментом борьбы за внимание станут рекламные бюджеты, как это уже сложилось в современном геймдеве.

Я пессимист, и ближайшее будущее человечества видится мне безрадостным киберпанком без неоновой одежды, но с цифровым поводком и контролем мыслей внутри информационной помойки невиданных масштабов. Текстового, визуального и аудиоконтента будет так же много, как пластикового мусора в южноазиатских реках. Ценность контента упадёт до околонулевых значений, но люди к этому как-то адаптируются.

Значит ли это, что мы перестанем заниматься творчеством самостоятельно? Ну конечно, нет. На данный момент нейронки — исполнители, а метафору и сложную идею генерирует человек (в виде эскиза на холсте, плана статьи или текстового промпта к нейронке). Пока что мы опережаем нейронки в креативности, а те, кому интересен творческий процесс, будут творить вне зависимости от доступных инструментов. Вероятно, мы увидим некое утомление от мейнстрима и контента, потребляемого с экрана, и начнётся возрождение локальных сообществ, типа картинных галерей, персональных выставок и т. п. Судя по всему, художников постигнет такое же расслоение, как и общество в целом, и сформируется тонкая прослойка счастливчиков, которым повезёт обслуживать вкус элиты, ценящей навыки классической живописи и музицирования. Культурный продукт для простых смертных, скорее всего, будет генерированным.

Ну и в конце хочу сказать, что, если вы ощущаете раздражение и злость по отношению к автору, который подобно хирургу полез препарировать такое сложное и многогранное явление, как человеческое творчество, то я вас хорошо понимаю. У меня самого это иногда вызывает самый настоящий гнев. Ощущение, будто у человека как у вида отнимают что-то важное, превращая нас в биороботов, дёргаемых за ниточки эволюционно обусловленных механизмов…

А ещё я могу заблуждаться в своих рассуждениях!

Автор: Андрей Ларин