Будет ли ИИ когда-нибудь умнее четырехлетнего ребенка?

Глядя на то, как дети обрабатывают информацию, можно дать программистам полезные советы о направлениях компьютерного обучения.

Все слышали о новых достижениях в области искусственного интеллекта, и особенно машинного обучения. Вы также слышали утопические или апокалиптические предсказания о том, что означают эти достижения. Они были приняты, чтобы предвещать либо бессмертие, либо конец света и много было написано о обеих этих возможностях. Но самые сложные ИИ все еще далеки от того, чтобы с легкостью решать проблемы, с которыми сталкиваются четырехлетние дети. Несмотря на впечатляющее название, искусственный интеллект в значительной степени состоит из методов для обнаружения статистических закономерностей в больших наборах данных. Человеческое обучение - это гораздо больше.

Как мы можем знать так много об окружающем нас мире? Мы узнаем огромное количество даже тогда, когда мы маленькие дети. Четырехлетние дети уже знают о растениях, животных и машинах; желаниях, верованиях и эмоциях; даже динозаврах и космических кораблях.

Наука расширила наше знание о мире до невообразимо большого и бесконечно малого, до края вселенной и начала времен. И мы используем эти знания, чтобы делать новые классификации и прогнозы, представлять новые возможности и делать новые вещи в мире. Но все, что доходит до любого из нас из мира, - это поток фотонов, попадающих в сетчатку глаза и возмущения воздуха в барабанных перепонках. Как мы узнаем так много о мире, когда у нас так мало доказательств? И как мы сделаем все это с несколькими фунтами серой слизи, которая сидит у нас за глазами?

Лучший ответ до сих пор заключается в том, что наш мозг выполняет вычисления на конкретных, грязных данных, поступающих в наши чувства и эти вычисления дают точные представления о мире. Представления кажутся структурированными, абстрактными и иерархическими. Они включают восприятие трехмерных объектов, грамматику, лежащую в основе языка и умственные способности, такие как “теория разума”, которая позволяет нам понять, что думают другие люди. Эти представления позволяют нам делать широкий спектр новых предсказаний и представлять многие новые возможности, в отчетливо творческом человеческом образе.

Этот вид обучения не единственный вид интеллекта, но он особенно важен для людей. И это тот тип интеллекта, который является специальностью маленьких детей. Хотя дети очень плохо умеют планировать и принимать решения, они являются лучшими учениками во Вселенной. Большая часть процесса превращения данных в теории происходит до того, как нам исполняется пять лет.

Со времен Аристотеля и Платона существовало два основных способа решения проблемы того, как мы знаем то, что знаем и они по-прежнему являются основными подходами в машинном обучении.

Аристотель подошел к проблеме снизу вверх: начните с чувств — потока фотонов и колебаний воздуха (или пикселей или звуковых образцов цифрового изображения или записи) — и посмотрите, можете ли вы извлечь из них шаблоны. Этот подход был продолжен такими классическими ассоциационистами, как философы Дэвид Хьюм и Дж.С.Милль, а затем поведенческими психологами, такими как Павлов и Б.Ф.Скиннер. С этой точки зрения абстрактность и иерархическая структура представлений являются чем-то вроде иллюзии или, по крайней мере, эпифеномена. Вся работа может быть выполнена путем ассоциации и обнаружения паттернов — особенно, если есть достаточно данных.

Со временем между этим восходящим подходом к тайне обучения и альтернативным платоновским, нисходящим, возникли качели. Может быть, мы получаем абстрактные знания из конкретных данных, потому что мы уже знаем много, и особенно потому, что у нас уже есть массив основных абстрактных понятий, благодаря эволюции. Как и ученые, мы можем использовать эти концепции для формулирования гипотез о мире. Затем, вместо того, чтобы пытаться извлечь закономерности из необработанных данных, мы можем сделать прогнозы о том, как должны выглядеть данные, если эти гипотезы верны. Наряду с Платоном такой подход использовали такие “рационалистические” философы и психологи, как Декарт и Ноам Хомский.

Вот повседневный пример, иллюстрирующий разницу между этими двумя методами: решение проблемы спама. Данные состоят из длинного несортированного списка сообщений в папке "Входящие". Реальность такова, что некоторые из этих сообщений являются подлинными, а некоторые являются спамом. Как вы можете использовать данные, чтобы различать их?

Сначала рассмотрим метод снизу вверх. Вы заметили, что спам-сообщения, как правило, имеют определенные особенности: длинный список адресатов, происхождение в Нигерии, ссылки на призы в миллион долларов или Виагру. Беда в том, что совершенно полезные сообщения могут иметь эти функции. Если вы посмотрите на достаточное количество примеров спама и писем без спама, вы можете увидеть не только то, что спам-письма, как правило, имеют эти функции, но и то, что функции, как правило, идут вместе определенным образом (Нигерия плюс миллион долларов заклинания проблемы). На самом деле, могут быть некоторые тонкие корреляции более высокого уровня, которые отличают спам-сообщения от полезных — определенный шаблон опечаток и IP-адресов, скажем. При обнаружении этих шаблонов можно отфильтровать спам.

Методы машинного обучения снизу вверх делают именно это. Учащийся получает миллионы примеров, каждый с некоторым набором функций и каждый помечен как спам (или какая-либо другая категория) или нет. Компьютер может извлечь шаблон функций, который отличает их, даже если он довольно тонкий.

Как насчет нисходящего подхода? Я получаю письмо от редактора журнала клинической биологии. Он ссылается на одну из моих статей и говорит, что они хотели бы опубликовать статью от меня. Нет Нигерии, нет Виагры, нет миллиона долларов; электронная почта не имеет никаких особенностей спама. Но, используя то, что я уже знаю, и абстрактно думая о процессе, который производит спам, я могу понять, что это письмо подозрительно:

1. Я знаю, что спамеры пытаются извлечь деньги из людей, апеллируя к человеческой жадности.

2. Я также знаю, что законные журналы “открытого доступа” начали покрывать свои расходы, взимая плату с авторов вместо подписчиков, и что я не практикую ничего подобного клинической биологии.

Сложите все это вместе, и я могу создать хорошую новую гипотезу о том, откуда пришло это письмо. Он предназначен для того, чтобы заставить академиков платить за “публикацию” статьи в поддельном журнале. Письмо было результатом того же сомнительного процесса, что и другие спам-письма, хотя это не было похоже на них. Я могу сделать этот вывод только из одного примера, и я могу продолжить проверять свою гипотезу дальше, помимо всего в самом электронном письме, путем Google “редактор”.

В компьютерных терминах я начал с “генеративной модели”, которая включает абстрактные понятия, такие как жадность и обман, и описывает процесс, который производит мошенничество по электронной почте. Это позволяет мне распознавать классический нигерийский спам по электронной почте, но также позволяет мне представить себе множество различных видов возможного спама. Когда я получаю электронную почту журнала, я могу работать в обратном направлении: “это похоже на то, что происходит в процессе создания спама”.

Новое волнение об ИИ происходит потому, что исследователи ИИ недавно создали мощные и эффективные версии обоих этих методов обучения. Но в самих методах нет ничего принципиально нового.

Глубокое обучение снизу вверх

В 1980-х годах компьютерные ученые разработали гениальный способ заставить компьютеры обнаруживать закономерности в данных: коннекционистскую, или нейросетевую, архитектуру (“нейронная” часть была и остается метафорической). Подход впал в уныние в 1990-х годах, но недавно был возрожден с помощью мощных методов “глубокого обучения”, таких как DeepMind от Google.

Например, вы можете дать программе глубокого обучения кучу интернет-изображений с надписью “кошка", другие с надписью “дом " и так далее. Программа может обнаружить шаблоны, различающие два набора изображений, и использовать эту информацию для правильной маркировки новых изображений. Некоторые виды машинного обучения, называемые неконтролируемым обучением, могут обнаруживать закономерности в данных без каких-либо меток; они просто ищут кластеры функций—то, что ученые называют факторным анализом. В машинах глубокого обучения эти процессы повторяются на разных уровнях. Некоторые программы могут даже обнаружить соответствующие объекты из необработанных данных пикселей или звуков; компьютер может начать с обнаружения шаблонов в необработанном изображении, которые соответствуют краям и линиям, а затем найти шаблоны в тех шаблонах, которые соответствуют граням, и так далее.

Еще один метод снизу вверх с длинной историей - это обучение подкреплению. В 1950-х годах Б. Ф. Скиннер, опираясь на работу Джона Уотсона, лихо запрограммировал голубей выполнять сложные действия — даже направлять ракеты воздушного базирования к своим целям (тревожное эхо недавнего ИИ) , давая им конкретный график вознаграждений и наказаний. Основная идея заключалась в том, что действия, которые были вознаграждены, будут повторяться, а те, которые были наказаны, не будут, пока не будет достигнуто желаемое поведение. Даже во времена Скиннера этот простой процесс, повторяющийся снова и снова, мог привести к сложному поведению. Компьютеры предназначены для выполнения простых операций снова и снова в масштабе, который затмевает человеческое воображение, и вычислительные системы могут изучать удивительно сложные навыки таким образом.

Например, исследователи из Google DeepMind использовали комбинацию глубокого обучения и усиленного обучения, чтобы научить компьютер играть в видеоигры Atari. Компьютер ничего не знал о том, как работают игры. Он начал действовать случайным образом и получил информацию только о том, как выглядел экран в каждый момент и насколько хорошо он забил. Глубокое обучение помогало интерпретировать функции на экране, а обучение с подкреплением вознаграждало систему за более высокие баллы. Компьютер стал очень хорошо играть в некоторые из игр, но он также полностью бомбил другие, которые были так же легко для людей, чтобы освоить.

Подобное сочетание глубокого обучения и обучения с подкреплением и поддержкой успеха DeepMind по AlphaZero, программу, которая сумела обыграть игроков в шахматы и пойти, оснащен только базовыми знаниями правил игры и возможности планирования. У AlphaZero есть еще одна интересная особенность: он работает, играя сотни миллионов игр против себя. При этом он отсеивает ошибки, которые привели к потерям, и повторяет и развивает стратегии, которые привели к победам. Такие системы и другие, включающие методы, называемые генеративными состязательными сетями, генерируют данные, а также данные наблюдений.

Когда у вас есть вычислительная мощность, чтобы применить эти методы к очень большим наборам данных или миллионам сообщений электронной почты, изображений Instagram или голосовых записей, вы можете решить проблемы, которые казались очень трудными раньше. Это источник большого волнения в информатике. Но стоит помнить, что эти проблемы, такие как признание того, что изображение кошки или произнесенное слово Siri—тривиальны для человеческого малыша. Одно из самых интересных открытий информатики заключается в том, что задачи, которые нам даются легко (например, идентификация кошек), трудны для компьютеров — гораздо труднее, чем играть в шахматы или идти. Компьютерам нужны миллионы примеров, чтобы классифицировать объекты, которые мы можем классифицировать с помощью нескольких. Эти восходящие системы могут обобщаться на новые примеры; они могут довольно точно маркировать новое изображение как кошку. Но они делают это совсем не так, как люди обобщают. Некоторые изображения, почти идентичные изображению кошки, мы вообще не будем идентифицировать как кошек. Другие, которые выглядят как случайное пятно, будут.

Сверху-вниз. Байесовские модели

Нисходящий подход играл большую роль в начале ИИ, и в 2000-х годах он также пережил возрождение в виде вероятностных, или байесовских, генеративных моделей.

Первые попытки использовать этот подход сталкивается с двумя видами проблем. Во-первых, большинство моделей доказательств в принципе могут быть объяснены многими различными гипотезами: возможно, что мое сообщение электронной почты в журнале является подлинным, это просто маловероятно. Во-вторых, откуда вообще берутся понятия, которые используют генеративные модели? Платон и Хомский сказали, что ты родился с ними. Но как мы можем объяснить, как мы изучаем новейшие концепции науки? Или как даже маленькие дети понимают динозавров и ракетные корабли?

Байесовские модели сочетают генеративные модели и проверку гипотез с теорией вероятностей, и они решают эти две проблемы. Байесовская модель позволяет рассчитать, насколько вероятно, что конкретная гипотеза верна, учитывая данные. И, внося небольшие, но систематические изменения в модели, которые у нас уже есть, и тестируя их на основе данных, мы иногда можем создавать новые концепции и модели из старых. Но эти преимущества компенсируются другими проблемами. Байесовские методы могут помочь вам выбрать, какая из двух гипотез более вероятна, но почти всегда существует огромное количество возможных гипотез, и ни одна система не может эффективно рассмотреть их все. Как вы решаете, какие гипотезы стоит проверить в первую очередь?

Бренден Лейк из Нью-Йоркского университета и его коллеги использовали такие методы для решения другой проблемы, которая проста для людей, но чрезвычайно сложна для компьютеров: распознавание незнакомых рукописных символов. Посмотрите на символ на японском свитке. Даже если вы никогда не видели его раньше, вы, вероятно, можете сказать, похож ли он на или отличается от символа на другом японском свитке. Вы, вероятно, можете нарисовать его и даже создать поддельный японский символ на основе того, который вы видите—тот, который будет выглядеть совсем не так, как корейский или русский символ.

Метод распознавания рукописных символов снизу вверх состоит в том, чтобы дать компьютеру тысячи примеров каждого из них и позволить ему вытащить основные функции. Вместо этого Lake et al. дал программе общую модель того, как вы рисуете символ: штрих идет вправо или влево; после того, как вы закончите один, вы начинаете другой; и так далее. Когда программа видит определенный символ, она может сделать вывод о последовательности штрихов, которые, скорее всего, привели к нему—так же, как я сделал вывод, что спам-процесс привел к моей сомнительной электронной почте. Затем он может судить, является ли новый персонаж вероятным результатом этой последовательности или из другой, и он может сам произвести аналогичный набор штрихов. Программа работала намного лучше, чем программа глубокого обучения, применяемая к точно таким же данным, и она тесно отражала производительность людей.

Эти два подхода к машинному обучению имеют взаимодополняющие сильные и слабые стороны. В восходящем подходе для начала программе не нужно много знаний, но ей нужно много данных, и она может обобщать только ограниченным образом. При подходе "сверху вниз" программа может извлечь уроки из нескольких примеров и сделать гораздо более широкие и разнообразные обобщения, но для начала вам нужно гораздо больше в него встроить. Ряд исследователей в настоящее время пытаются объединить два подхода, используя глубокое обучение для реализации байесовского вывода.

Недавний успех ИИ отчасти является результатом расширения этих старых идей. Но это больше связано с тем, что благодаря Интернету у нас гораздо больше данных, и благодаря закону Мура у нас гораздо больше вычислительных возможностей для применения к этим данным. Кроме того, недооценивается тот факт, что данные, которые мы имеем, уже отсортированы и обработаны людьми. Фотографии кошек, размещенные в Интернете, являются каноническими фотографиями кошек — фотографиями, которые люди уже выбрали в качестве “хороших” фотографий. Google Translate работает, потому что он использует миллионы человеческих переводов и обобщает их на новый текст, а не действительно понимает сами предложения.

Но самое замечательное в человеческих детях то, что они каким-то образом сочетают в себе лучшие черты каждого подхода, а затем выходят далеко за их пределы. За последние пятнадцать лет, developmentalists изучают то, как дети учатся структуры данных. Четырехлетние дети могут учиться, беря только один или два примера данных, как это делает нисходящая система, и обобщая очень разные концепции. Но они также могут изучать новые концепции и модели на основе самих данных, как это делает восходящая система.

Например, в нашей лаборатории мы даем маленьким детям “детектор бликетов”—новую машину, которую они никогда раньше не видели. Это коробка, которая загорается и воспроизводит музыку, когда вы кладете на нее определенные объекты, но не другие. Мы приводим детям только один или два примера того, как работает машина, показывая им, что, скажем, два красных блока заставляют ее работать, в то время как зелено-желтая комбинация этого не делает. Даже восемнадцатимесячные дети сразу же понимают общий принцип, что два объекта должны быть одинаковыми, чтобы заставить его работать, и они обобщают этот принцип на новые примеры: например, они выберут два объекта, которые имеют одинаковую форму, чтобы заставить машину работать. В других экспериментах мы показали, что дети могут даже понять, что какое-то скрытое невидимое свойство заставляет машину работать, или что машина работает по какому-то абстрактному логическому принципу.

Вы можете показать это и в повседневном обучении детей. Маленькие дети быстро осваивают абстрактные интуитивные теории биологии, физики и психологии, как это делают взрослые ученые, даже имея относительно мало данных.

Замечательные достижения в области машинного обучения современных систем искусственного интеллекта, как снизу вверх, так и сверху вниз, происходят в узком и четко определенном пространстве гипотез и концепций—точном наборе игровых фигур и ходов, предопределенном наборе изображений. В отличие от этого, дети и ученые иногда радикально меняют свои концепции, выполняя изменения парадигмы, а не просто изменяя концепции, которые у них уже есть.

Четырехлетние дети могут сразу узнавать кошек и понимать слова, но они также могут делать творческие и удивительные новые выводы, которые выходят далеко за рамки их опыта. Мой собственный внук недавно объяснил, например, что если взрослый хочет снова стать ребенком, он должен стараться не есть никаких здоровых овощей, так как здоровые овощи делают ребенка взрослым. Такого рода гипотеза, правдоподобная, которую ни один взрослый никогда бы не принял, характерна для маленьких детей. Фактически, мы с коллегами систематически показывали, что дошкольники лучше придумывают маловероятные гипотезы, чем дети и взрослые. Мы почти не знаем, как такое творческое обучение и инновации возможны.

Однако, глядя на то, что делают дети, программисты могут дать полезные советы о направлениях компьютерного обучения. Особенно бросаются в глаза две особенности обучения детей. Дети активно учатся; они не просто пассивно впитывают данные, как это делают ИИ. Подобно тому, как ученые экспериментируют, дети внутренне мотивированы извлекать информацию из окружающего мира посредством своих бесконечных игр и исследований. Недавние исследования показывают, что это исследование является более систематическим, чем кажется, и хорошо приспособлено для поиска убедительных доказательств в поддержку формирования гипотез и выбора теории. Создание любопытства в машинах и предоставление им возможности активно взаимодействовать с миром может стать путем к более реалистичному и широкому обучению.

Во-вторых, дети, в отличие от существующих ИИ, являются социальными и культурными учащимися. Люди не учатся в изоляции, а пользуются накопленной мудростью прошлых поколений. Недавние исследования показывают, что даже дошкольники учатся путем подражания и слушания свидетельств других. Но они не просто пассивно слушаются своих учителей. Вместо этого они воспринимают информацию от других людей удивительно тонко и деликатно, делая сложные выводы о том, откуда она берется и насколько она достоверна, и систематически интегрируя свой собственный опыт с тем, что они слышат.

“Искусственный интеллект” и “машинное обучение” звучат пугающе. И в каком-то смысле так и есть. Эти системы используются, например, для контроля над оружием, и мы действительно должны бояться этого. Тем не менее, естественная глупость может нанести гораздо больший ущерб, чем искусственный интеллект; мы, люди, должны быть намного умнее, чем мы были в прошлом, чтобы правильно регулировать новые технологии. Но нет большой основы ни для апокалиптического, ни для утопического видения ИИ, заменяющего людей. Пока мы не решим основной парадокс обучения, лучший искусственный интеллект не сможет конкурировать со средним четырехлетним человеком.