Вход на сайт

МЕДИАМЕТРИКА

Облако тегов

Создай кино под Ван Гога

Аватар пользователя Bledso

Хочу-хочу! И побыстрее! :)

► Немецкие математики создали необычную нейросеть, которую они научили "раскрашивать" уже существующие видеоролики и кинокартины в своеобразные "живые картины", выполненные в стиле Ван Гога, Пикассо или других известных художников, принципы работы которой они опубликовали в статье в электронной библиотеке arxiv.org.

 

Большинство систем искусственного интеллекта, существующих сегодня, представляют собой так называемые нейросети. Они представляют собой специальный самообучающийся алгоритм, имитирующий работу нервных клеток в живом организме. Основным его преимуществом является способность распознавать даже сильно искаженные сигналы, которую нейросеть приобретает при накоплении опыта.

В последние годы среди ученых стало популярно создавать так называемые "глубокие" нейросети. Их главным отличием от обычных нейросетей является то, что в них присутствует не один, а несколько слоев абстракции и обработки информации, которые повышают "интеллектуальные способности" таких сетей. На основе "двуслойной" сети такого рода, в частности, построена система AlphaGo, недавно победившая чемпиона мира в Го в серии из пяти игр.

Алексей Досовицкий из университета Фрайбурга (Германия) и его коллеги приспособили подобную сеть для реализации мечты многих ценителей кино и культуры – "раскраски" фильмов под Ван Гога, Сальвадора Дали, Пикассо и других известных художников-импрессионистов.

Для реализации подобной задачи ученые создали нейросеть из двух слоев, первый из которых анализирует картины художника и извлекает из них информацию об используемых красках и стиле, а второй – анализирует мелкие детали на кадрах фильма и распознает объекты, по сути, превращая их в эскизы будущих картин. Ключевое значение здесь имеет, как объясняют ученые, не только результаты работы каждого слоя нейросети, но и корреляции между ними.

Подобная "стилизация" уже проводилась для одиночных фотографий, однако при "раскраске" фильмов возникали проблемы, связанные с тем, что при обработке каждого кадра нейросеть выдавала сильно различающиеся картинки, которые склеить друг с другом было крайне проблематично, так как на выходе получается каша из мелькающих разрозненных картинок.

Досовицкий и его коллеги решили эту проблему, научив нейросеть распознавать уже присутствующие на кадрах объекты и, благодаря этому, предотвращать их чрезмерное изменение по мере обработки видеоряда. Кроме того, программа научилась запоминать то, какие предметы уже появлялись на экране и использовать для их отрисовки тот же стиль, который применялся при их выводе в первый раз.

Подобный подход не только превратил разрозненные кадры в единое видео, но и заметно понизил вычислительные аппетиты алгоритма. В среднем, для обработки одного кадра на мощной видеокарте GeForce Titan X требуется около 10 минут времени, что можно сократить до примерно трех минут, используя информацию о соседних кадрах.

Пока данный алгоритм вряд ли будет работать с вменяемой скоростью на домашних компьютерах, однако в принципе его можно применять для онлайн-обработки видео при помощи систем облачных вычислений. Вполне возможно, что в будущем каждый человек сможет смотреть любое кино, "написанное" в том стиле, который ему нравится, заключают ученые.

РИА

Фонд поддержки авторов AfterShock

Комментарии

Аватар пользователя ®man
®man(3 года 8 месяцев)(12:07:31 / 14-05-2016)

это всё цветочки...

вот первые реальные работы

 

 

Аватар пользователя Bledso
Bledso(4 года 8 месяцев)(12:11:32 / 14-05-2016)

Это немного о другом, но тоже здорово.

Аватар пользователя ®man
®man(3 года 8 месяцев)(12:21:21 / 14-05-2016)

не, не

научить нейросеть эмитировать технику художника и перекрашивать таким образом другие изображения или видео – это первый этап

тут же не просто научили перекрашивать случайный портрет под Рембранта, воссоздав его технику в мельчайших деталях, тут с ноля нарисовали новую картину так, как это сделал бы сам Рембрант

это огромные перспективы открывает в мире искусства, ))) которые могут полностью перевернуть весь этот рынок

если клонировать человека пока ещё нельзя, то продолжить его творчество вполне себе можно

в общем много интересного открывается ))))

Аватар пользователя Bledso
Bledso(4 года 8 месяцев)(12:30:12 / 14-05-2016)

С этой точки зрения - да, революция. :)

Аватар пользователя mr.Iceman
mr.Iceman(5 лет 9 месяцев)(01:28:15 / 15-05-2016)

yes

Аватар пользователя viewer
viewer(5 лет 1 месяц)(12:51:37 / 14-05-2016)

научить нейросеть эмитировать технику художника

имитация и эмиссия это... как бы помягче, слегка разные вещи

Аватар пользователя ®man
®man(3 года 8 месяцев)(12:58:12 / 14-05-2016)

обшибся ога ;)

но если подумать, то как раз в случае с новой картиной Рембранта – это и есть дом.эмиссия творчества, со всеми вытекающими )))

Аватар пользователя viewer
viewer(5 лет 1 месяц)(13:46:47 / 14-05-2016)

Ну у словечка эмиссия есть вполне годный русский аналог - высер. Тоже "эмиссия", как ни крути. wink

Аватар пользователя ®man
®man(3 года 8 месяцев)(14:05:52 / 14-05-2016)

ну если уж так смотреть, то всё человечество всю свою историю занимается исключительно выделениями разных субстанций

Аватар пользователя viewer
viewer(5 лет 1 месяц)(14:54:36 / 14-05-2016)

А вы проницательны, не смотря ни на что.

Аватар пользователя Fandaal
Fandaal(2 года 11 месяцев)(13:03:22 / 14-05-2016)

Вспомнился полнометражный мульт "A Scanner Darkly" (Помутнение). По Ф. Дику, кстати.

Глаза почти заболели в процессе просмотра.
 

Аватар пользователя Хурон
Хурон(4 года 9 месяцев)(13:32:42 / 14-05-2016)

в стиле Ван Гога, Пикассо или других известных художников

А это означает, что у "вышеперечисленных" не все в порядке было с мозгами, на "органическом" и "биохимическом" уровне - во всяком случае конкретно с "видеокартой".

Аватар пользователя Старичок
Старичок(4 года 3 месяца)(14:02:10 / 14-05-2016)

Ой, довыёживаемся мы, человеки ничтоже сумнящиеся, с этими нейросетями...

Аватар пользователя всеПРОсто
всеПРОсто(2 года 5 месяцев)(16:58:33 / 14-05-2016)

С развитием технологии возможно создание электронного продолжения умершего человека с всеми особеностями характера. А может и "воскрешения"давно почивших лидеров...Ленина к примеру.  ;)

Аватар пользователя CCAPMX
CCAPMX(5 лет 10 месяцев)(18:08:31 / 14-05-2016)

ерунда же...
и это и Рембранд :(

Аватар пользователя Системник
Системник(2 года 9 месяцев)(19:29:43 / 14-05-2016)

Что все так резко привыкли в какие-то "достижения" всякую лабуду вписывать? Чуваки просто баловались. Получилось что-то ярко-цветное. Вот и залудили "достиженьице" пока тёпленькое. Друго-то, существенного, нет, и давно...

Параметрический fuzzy. Написал бы такой и без нейросетей. Эка невидаль.

Лидеры обсуждений

за 4 часаза суткиза неделю

Лидеры просмотров

за неделюза месяцза год

СМИ

Загрузка...