Вход на сайт

МЕДИАМЕТРИКА

Облако тегов

Как работает нейронная сеть: Deep Dream

Аватар пользователя ®man

Деревья, разросшиеся многоцветными пагодами, собаки и овцы в облаках, — а еще глаза, глаза и морды зверей, виданных и невиданных. Новостные ленты и социальные сети переполнены странными картинами, напоминающими творения то ли гения, то ли безумца, — странными фантазиями.

Вскоре после того, как код Deep Dream оказался в открытом доступе, энтузиасты добавили к нему веб-интерфейс и позволили всем желающим загружать свои картинки для обработки. Уже через пару дней увлечение приобрело характер опасной пандемии.

Как успели выяснить уже все, такие картинки являются побочным продуктом работы искусственной нейронной сети, которую в Google используют для анализа и классификации громадного массива графических файлов, найденных поисковиком в интернете. Это не единственный пример: нейронные сети помогают формировать прогнозы погоды и биржевых котировок, их используют и Facebook, и «Яндекс». Поиск «Яндекса» по картинкам, распознавание и даже перевод текста на них, возможность управлять приложениями с помощью голосовых команд — все это обеспечивают искусственные нейронные сети. Однако даже сами создатели таких сетей не могут во всех деталях объяснить, как они работают: именно в этом вся их суть. Но чтобы понять это, нам понадобится сделать небольшой шаг назад —

К мозгу

Человеческий глаз может показаться верхом совершенства. Недаром поколения креационистов приводят его в качестве примера такой сложной системы, которая якобы ни за что не могла бы появиться без какого-то изначального плана. Но если б они увидели ту грубую, необработанную картинку, которую в действительности поставляют глаза, их ждало бы разочарование.

По-настоящему острое цветное зрение охватывает лишь небольшой конус с углом около пятнадцати градусов, окруженный смутными, размытыми, неразличимыми пятнами. К тому же картинка оказывается перевернутой и изрядно подпорченной довольно обширным слепым пятном. Но именно из этого грубого полуфабриката возникает весь объемный, наполненный образами видимый мир, в котором мы живем.

Отвечает за это превращение наш главный орган зрения — головной мозг. Глаза могут видеть что угодно, важно то, что мы способны воссоздать и понять из этой картинки. Выделить на пейзаже пастуха и его собаку, оценить его возраст и ее размеры на фоне окружающих предметов… Вокруг решения таких сложных задач построены многие функции мозга и даже его анатомия.

Первичная обработка оптических сигналов происходит уже в зрительном нерве, после чего информация попадает в мозг и «аналитические отделы» зрительных центров. Это вовсе не строгое и последовательное движение, при котором шаг за шагом на картинке выделяются все более сложные детали: зрительные центры мозга не имеют четкой линейной иерархии. Они образуют ошеломляюще сложную распределенную сеть, сигналы по которой распространяются параллельно многими путями сразу.

Каждый узел этой сети прямо или косвенно влияет на все остальные, причем их конкретные роли остаются до конца неустановленными. Неизвестно даже точное количество центров, вовлеченных в обработку зрительной информации у человека, хотя обычно говорят о «более чем тридцати», между которыми существует порядка 200 линий прямой и обратной связи.

Разумеется, одни из них можно назвать низшими, ответственными за распознавание простейших особенностей картинки — скажем, форм или движения. Другие, высшие зрительные центры, больше заняты поиском образов и лиц. Однако это разделение довольно условно — достаточно сказать, что информация движется между зрительными центрами не только «снизу вверх», но и «сверху вниз».

Иногда это заставляет нас обманываться зрительными иллюзиями: мозг дополняет «низшие» элементы картинки несуществующими «высшими». В результате мы можем совершенно отчетливо увидеть лицо в смесителе с парой вентилей или обратить внимание на облако в форме вертолета. Похожая картина откроется нам и глубоко внутри программного «мозга» нейронной сети, распознающей изображения. Во всяком случае, у нее те же самые…

Способы мышления

В отличие от мозга, компьютер построен вокруг центрального процессора и математических операций, которые тот выполняет. И как мы неспособны сымитировать его бешеную скорость вычислений, так и компьютер плохо приспособлен для выполнения задач, в которых столь замечательно демонстрирует себя мозг. Понимание живой речи, распознавание образов, обобщения — для этого уже больше полувека и разрабатывается теория и практика нейронных сетей.

Несмотря на свое название, нейронная сеть может пытаться, а может и не пытаться в какой-то степени повторить структуры головного мозга. Однако ее элементарная ячейка, перцептрон, появилась именно как попытка воспроизвести процессы восприятия и обработки мозгом сенсорной информации.

Лишь в редких случаях такую модель воплощают в «железе», в микросхемах, которые имитируют нейроны и связывающие их синапсы. Чаще она создается в виде компьютерных алгоритмов, с помощью которых человеческое мышление пытаются адаптировать под особенности устройства компьютеров. В своем классическом виде перцептрон состоит из входного и выходного слоев нейронов, между которыми находятся один или несколько «скрытых» слоев.

Каждый нейрон получает возбуждающий или тормозящий сигнал от нейронов предыдущего слоя (а первый слой — от входных «рецепторов»). Каждый сигнал умножается на определенный весовой коэффициент, усиливаясь или ослабевая. Нейрон лишь суммирует их, и если в итоге сумма этих взвешенных сигналов превышает определенную пороговую величину, нейрон срабатывает и передает собственный сигнал нейронам следующего слоя.

Такая организация в некоторой степени воспроизводит нейронную структуру «микроколонки», минимальной структурно-функциональной единицы коры головного мозга. Как правило, каждая микроколонка неокортекса содержит шесть слоев и около сотни нейронов.

Однако общее число микроколонок в нашем мозге исчисляется десятками миллионов — запредельное количество для обсчета даже на самых современных компьютерах. Простейшая искусственная нейронная сеть может состоять всего из одного перцептрона. Ведь даже в такой элементарной форме она способна к самосовершенствованию в ходе того, что называется…

Машинное обучение

Никто не рождается суперменом в деле распознавания образов: как и ходьбе, этому надо учиться. Мозг получает зрительный сигнал и добрый совет от родителей: это поле, это пастух, а вот его собака… В следующий раз — «Где здесь собака?» — правильный ответ будет означать похвалу и награду. Так, раз за разом, сотни тысяч раз видя разные предметы с разных сторон, мы совершенствуем этот важный навык, узнаем все новые образы и учимся их узнавать.

Так действует и нейронная сеть, постоянно пересматривая свою работу и адаптируясь для того, чтобы узнавать тот или иной образ. Весовые коэффициенты, которые определяют значимость сигналов, получаемых нейроном от предыдущего слоя, поначалу задаются случайным образом. Однако после того, как система выдала первый — конечно, неверный — результат, она начинает их изменять и уточнять. Обрабатывая тысячи снимков, нейронная сеть каждый раз вносит изменения в свою работу, пока не начнет стабильно получать правильный результат.

Многое тут зависит от учебника — точнее говоря, от набора обучающих изображений. «На самом деле в интернете картинок не так много, — говорит глава службы функциональности поиска «Яндекса» Андрей Плахов, — особенно в сравнении с тем колоссальным количеством, которые мы видим в течение жизни». Это создает опасность, знакомую разработчикам нейронных сетей: обучение может превратиться в зубрежку.

Если выбрана неполная или однообразная обучающая база, системе будет проще затвердить правильные ответы на все изображения, чем учиться распознавать на них сложные детали. Такую сеть называют «переобученной» (а по-английски «избалованной», grandmothered): она великолепно справляется со знакомыми изображениями, но не даст ничего, если ей предложить новую, незнакомую картинку.

Поэтому для обучения нейронных сетей распознаванию картинок, как правило, используют стандартизованные базы. Самой популярной и обширной из них можно назвать ImageNet, поддерживаемую Стэнфордским университетом. База включает больше 14 млн картинок, упорядоченных в 27 категорий верхнего уровня иерархии — от «инструмент» до «гриб» и от «геологическое образование» до «овощ» — и 27?000 категорий всех уровней. На этой библиотеке учится большинство подобных нейронных сетей, и ее случайные особенности могут во многом определить их «способ мышления».

Возможно, именно особенностями обучающей базы объясняется склонность Deep Dream находить повсюду именно животных и дальневосточные пагоды: нейронная сеть обучалась на изображениях, где их было особенно много. Впрочем, так ли это, сказать трудно, ведь даже разработчики толком не понимают…

Что у нее внутри

Современная нейронная сеть может включать десятки, а то и сотни слоев-перцептронов с множеством нейронов в каждом. Как и зрительные центры мозга, они организованы в сложную сеть взаимосвязей — и, как в мозге, эта система пластична. Сконструировав и обучив нейронную сеть, разработчик остается в полном неведении о том, что именно в итоге в ней происходит, как она меняется в ходе обучения, на какие особенности изображений начинает обращать внимание, а какие отбрасывает.

«Биологические аналогии не должны сбивать с толку: нейронные сети — продукт математики и программирования, — говорит Андрей Плахов. — С этой точки зрения нейронную сеть можно представить как невероятно сложную функцию с неизвестной формулой. Запись «формулы» Deep Dream заняла бы, наверное, не один десяток томов. Но в целом мы знаем лишь данные, которые она получает на входе, и результат, который выдает на выходе. Какие именно операции совершаются в процессе, сказать зачастую невозможно».

Видимо, так появился и Deep Dream — из чистого любопытства к тому, как именно работают нейронные сети, ведущие распознавание и классификацию изображений. Самый очевидный способ увидеть результаты работы каждого слоя-перцептрона — заставить его визуализировать эти результаты. Нам, людям, вообще удобнее мыслить картинками, поэтому программисты Google доработали нейронную сеть так, чтобы разные слои, участвующие в распознавании, усиливали на изображении именно те особенности, которые они сами заметили и выделили.

Как и в случае мозга, можно заметить, что одни слои нейронной сети берут на себя задачи ближе к «нижнему» уровню восприятия — такие как выделение границ фигур на картинке, а другие работают с более сложными образами. Это проявляется и в особенностях «художественного стиля», в котором «творят» разные варианты Deep Dream.

Однако и здесь не существует четкого разделения полномочий: все слои нейронной сети взаимосвязаны, как зрительные центры нашего мозга. Возможно, это и делает картинки такими завораживающими, такими похожими на…

Настоящее искусство

Почему картинки, которые создает Deep Dream, воспринимаются как что-то близкое к искусству? Специалисты дали на наш вопрос довольно неожиданный ответ. «Это может быть связано с современной парадигмой зрения, распространившейся с начала XIX века, — предполагает искусствовед Глеб Напреенко. — До того времени наблюдатель уподоблялся бестелесной точке, находящейся как бы за пределами реальности, которую он воспринимает, словно зритель, заглядывающий в камеру-обскуру. Лишь приблизительно двести лет назад субъект получил телесность, его зрение было помещено в глаз, он стал почти соучастником наблюдаемой сцены».

«Этот переход видно и по той роли, которую играет взгляд на живописном полотне: если прежде он скользил по нему, не рискуя натолкнуться на встречный интерес, то уже во французской живописи второй половины XIX века появляются образы, возвращающие взгляд зрителю, смотрящие на него в ответ, — добавляет Глеб Напреенко. — Эта парадигма снова актуализируется в «работах» Deep Dream. Его способность выявлять в любых изображениях рожицы и мордочки соответствует нашему внутреннему стремлению обнаруживать направленные на нас взгляды, таящиеся в вещах».

Сети сходят с ума

Deep Dream уже успел породить «городскую легенду» о том, что обработка алгоритмом нисколько не меняет картины Иеронима Босха с их фантасмагорическими существами. Это не так — можете проверить сами, зато действительно остаются почти теми же фракталоподобные работы английского художника Луиса Уэйна, написанные им в последние годы и после нескольких психозов.

В самом деле, бросается в глаза удивительное сходство изображений, которые порождает Deep Dream, с некоторыми образчиками творчества психически больных или людей, находящихся под действием «психоделических» наркотиков. Это не простое совпадение: среди множества воздействий, которые оказывают эти вещества на мозг, не последнюю роль играет нарушение скоординированной работы зрительных центров.

popmech.ru

Фонд поддержки авторов AfterShock

Комментарии

Аватар пользователя Дирижёр
Дирижёр(2 года 3 месяца)(13:52:29 / 13-05-2016)

Про эту гугловскую штучку здесь уже писали почти год назад:

https://aftershock.news/?q=node/315837

Что нового сказала эта "попсовая механика"?

По сути же могу заметить, что о вкусах не спорят. Каждый имеет право видеть то, что ему хочется. Поэтому верификация нейронных сетей гуглозрения бессмысленна. Гугл просто заявит "я художник, я так вижу". Совсем другое дело - например  воспользоваться этой нейронной сетью для того, чтобы робот научился ходить. Тут уже не отбрехаешься словоблудием о "художественных талантах" и "переобученности" - робот либо будет падать в реальных условиях, либо не будет.

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя ®man
®man(3 года 8 месяцев)(13:55:31 / 13-05-2016)

при чём тут художества? речь о классификации данных в огроммных массивах

Аватар пользователя Дирижёр
Дирижёр(2 года 3 месяца)(20:24:47 / 13-05-2016)

При зрении. А зрение - дело вкуса. Результат в данном случае к делу не подошьешь. Вы не можете сказать работает этот классификатор или нет. И вообще даже нет никакого критерия. Вам никто ничего не обещал. Так о чём тут говорить? Типичное "художество".

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя ®man
®man(3 года 8 месяцев)(10:35:38 / 14-05-2016)

вот тебе художества ))

а статья, если ты читал, о работе технологии, с помощью которой нейронную сеть обучают выделять объекты на изображениях

Аватар пользователя Дирижёр
Дирижёр(2 года 3 месяца)(23:49:59 / 14-05-2016)

Я как будто с глухим разговариваю? Я вам с самого начала говорю, что "технологией" это станет никак не раньше, чем независимые специалисты получат возможность верифицировать это по объявленным критериям.

В данном случае нет никаких объявленных критериев, нет даже предложения от гугла.

Вы вообще это всё сами себе выдумали! Понимаете весь маразм ситуации?

Комментарий администрации:  
*** "Большевиков приравниваю к Геббельсу... Сам - дочь сдавшегося в плен расстрелянного петуха" (с) ***
Аватар пользователя Balbessed
Balbessed(3 года 6 месяцев)(13:56:28 / 13-05-2016)

Интересная статьяyes

Аватар пользователя salvator
salvator(2 года 10 месяцев)(14:42:59 / 13-05-2016)

Картинки из разряда #подгрибами smiley

Аватар пользователя exstar
exstar(3 года 3 месяца)(08:24:24 / 14-05-2016)

У меня есть поводы думать что часть сознания ("подсознание") видит мир примерно как на этих картинках без грибов. С грибами же и сознание "Я" начинает получать обработанную воображением картинку вместо прямой.

Тоже касается и звука, у меня например гиперактивно воображение по каналу звука, и я нередко на фоне разных шумов "слышу" знакомые, ожидаемые не существующие в действительности на данный момент звуки (типа звонка телефона). Обычное явление среди людей кстати.

И картинки точно такие как у этой проги я иногда вижу когда долго сплю как попало, и просыпаясь, до 10 секунд могу наблюдать такие глюки. Обычно они выглядят как наложенные линии, узоры, и разные растения, животные. Прикольно, давно уже догадался, что это вероятно вылезает работа подсознания.

Это явление реже встречается, чем звукоглюки.

 

 

Аватар пользователя qwweer
qwweer(2 года 2 месяца)(14:43:11 / 13-05-2016)

Также слышал городскую легенду (или шутку?) что гугловские капчи с номерами домов использовались, чтобы набрать обучающую базу для нейросети, которая распознаёт номера домов на гугло-панорамах. Сейчас иногда натыкаюсь на капчи типа "уберите все картинки с водоёмами" или "с магазинами". Вот так, тихо и незаметно, кто-то заставляет нас с вами совершенно бесплатно обучать свою нейросеть, а потом будет явно или неявно продавать нам обратно результаты её труда.

Аватар пользователя Lyonya
Lyonya(2 года 2 месяца)(15:03:13 / 13-05-2016)

>>Вот так, тихо и незаметно, кто-то заставляет нас с вами совершенно бесплатно обучать свою нейросеть

"кто-то" или "что-то"  =)

Аватар пользователя Jerk
Jerk(1 год 8 месяцев)(15:16:31 / 13-05-2016)

Ви так-таки подозреваете, что сеть уже сама придумывает капчи? А скоро придумает и новые способы заставить нас обучать её? И так до скайнета?

Аватар пользователя Lyonya
Lyonya(2 года 2 месяца)(15:29:39 / 13-05-2016)

Почему-то картинка к первому сообщению не прикрепилась. Вот эта:

=)

Аватар пользователя ®man
®man(3 года 8 месяцев)(15:31:22 / 13-05-2016)

))))ИИ давно победил, просто гуманоиды до сих пор этого не осознают, поэтому им в мягкой форме предложено поэтапно пройти весь путь...

Аватар пользователя rurixx
rurixx(2 года 10 месяцев)(16:00:17 / 13-05-2016)

Познавательно. Спасибо.

Аватар пользователя ko_mon
ko_mon(5 лет 9 месяцев)(02:01:21 / 14-05-2016)

Спасибо за интересную статью!

Аватар пользователя grr
grr(2 года 10 месяцев)(13:06:04 / 14-05-2016)

В отличие от мозга, компьютер построен вокруг центрального процессора и математических операций, которые тот выполняет. И как мы неспособны сымитировать его бешеную скорость вычислений, так и компьютер плохо приспособлен для выполнения задач, в которых столь замечательно демонстрирует себя мозг. Понимание живой речи, распознавание образов, обобщения — для этого уже больше полувека и разрабатывается теория и практика нейронных сетей.

Компьютеры еще слишком хилы чтобы эмулировать работу сетей мозга, но весьма быстро двигаются к этой планке. Кроме того, пока нет нужного программного обеспеченрия, но над этим тоже работают. Странно, почему людей забавляют эти глупые картинки, но они не восхищаются поиском гугля по картинкам?

https://www.google.ru/imghp?hl=ru&tab=wi&ei=2_c2V_nhDsWwswG3h6LwBg&ved=0...

Почему люди не восхищаются вольфрамом?

https://www.wolframalpha.com/

Эти картинки это самое хилое и неинтересное ИМХО из того что могут нейросети.

Аватар пользователя ga_unnamed
ga_unnamed(5 лет 10 месяцев)(08:31:11 / 17-05-2016)

Первичная обработка оптических сигналов происходит уже в зрительном нерве

Ужасть какая... Зрительный нерв служит только для того, чтобы передать сигналы... И все.. Ну работа у него (как и у всех нервов) такая.

Первичная обработка сигналов начинается в зрительной коре. Там происходит первичное распознавание примитивов и упаковка информации для передачи по зрительному нерву (алгоритмы сильно похожие на MPEG-2).

 

Лидеры обсуждений

за 4 часаза суткиза неделю

Лидеры просмотров

за неделюза месяцза год

СМИ

Загрузка...