Программа AlphaStar, разработанная DeepMind, смогла обыграть двух профессиональных игроков в стратегию в реальном времени StarCraft II. Каждого из игроков-людей нейросеть победила в пяти матчах. Описание работы программы доступно на сайте DeepMind, а посмотреть на AlphaStar в деле можно на YouTube.
Для обеих частей StarCraft уже достаточно давно разрабатываются боты и даже проводятся соревнования подобных программ, однако до сих пор таким алгоритмам не удавалось победить человека. Дело в том, что несмотря на победу программы AlphaGo в настольной игре го (которая долгое время считалось слишком сложной для машин) со стратегией в реальном времени все обстоит иначе — это игра с закрытой информацией, в которой нужно решать большое количество задач одновременно. Компания Blizzard объявила о создании открытого API для StarCraft II еще летом 2017 года, но с тех пор заметного прогресса почти не было — даже нейросеть, разработанная DeepMind, долгое время не могла показать блестящего результата и проигрывала легкому уровню сложности встроенных алгоритмов.
Теперь компания DeepMind (входит в состав холдинга Alphabet) продемонстрировала, что их новая программа AlphaStar способна обыграть профессиональных игроков. При создании AlphaStar использовался метод глубокого обучения с подкреплением, а также обучение с учителем, в качестве тренировочного датасета разработчики использовали предоставленные компанией Blizzard анонимизированные записи игр настоящих людей. Обученная на этих играх нейросеть научилась побеждать встроенные алгоритмы StarCraft II на самой высокой сложности в 95 процентах случаев, после чего специалисты DeepMind заставили программу играть с самой собой. Разработчики отмечают, что сначала в «лиге AlphaStar» доминировал раш — тактика быстрой победы путем строительства большого количества сравнительно дешевых юнитов. Однако затем нейросеть научилась бороться с такими атаками и начала делать упор в том числе и на экономическое развитие. Всего на «лигу AlphaStar» ушло 14 дней игры агентов друг с другом, что эквивалентно 200 годам игры в StarCraft II.
Сначала нейросеть выиграла пять матчей из пяти против TLO (Дарио Вунш, Германия), а затем другая версия нейросети победила пять раз подряд игрока MaNa (Гжегож Коминч, Польша). Оба профессионала входят в сотню сильнейших игроков в StarCraft II. Интересно, что средний APM (количество действий в минуту) нейросети оказался значительно меньше, чем у ее противников.
Стоит отметить что все же небольшое преимущество у AlphaStar было — несмотря на то, что туман войны закрывал карту для нейросети так же, как и для человека, программа получала для обработки не частичное изображение известной области (условный экран), а видела сразу все, что позволяет увидеть игра. Благодаря этому нейросети не приходилось постоянно переключаться между разными зонами карты для контроля за происходящим. Когда же для еще одного демонстрационного матча с MaNa разработчики заставили AlphaStar играть с обычным ограничением масштаба видимой области, то нейросеть проиграла человеку. Правда, в DeepMind отмечают, что самостоятельно двигающая камеру версия программы обучалась в «лиге AlphaStar» всего семь дней.
Первая часть StarCraft тоже представляет собой сложную задачу даже для методов глубокого обучения. Так, в октябре 2017 года своего бота для этой игры представила компания Facebook, и он оказался слабее программ, созданных программистами-любителями. Специалистам из Alibaba Group и Университетского колледжа Лондона удалось научить свою программу неплохому уровню микроконтроля юнитов при ведении боя, но на полноценную игру их разработка все еще не способна.
Автор: Николай Воронцов
Комментарии
Мда, а как хорошо раньше было насмехаться - "шахматы слишком простая игра, вот когда обыграют человека в старик..."
А что писать теперь? Вот когда компьютер сможет обыграть человека в
шашки.. шахматы.. го... старик...бутылочку, тогда и поговорим?Теперь нужно писать: вот когда компьютер сможет переводить устную речь с языка на язык правильно и с учётом возможных культурных особенностей носителей языка - вот тогда... Тогда поздно будет пить боржоми.
Хитрый ход. Проблема в том, что человек сам не может перевести речь с языка на язык с учетом возможных культурных особенностей.
Ну из серии: "Все отлично, доставка во время, продавец 5+. пейшу с ашыпками, гамазин - гауно. касарылый трьот плахие осывы".
Или пиндос пишет вам: Give me your .psd or rito.
Что значит это ор рито? Как вы можете это узнать без вхождения в их культурный слой? Это же живой язык и он меняется на глазах.
А в остальном, ИМХО, задача перевода чисто количественная.
"Это же живой язык и он меняется на глазах." - это верно. Но на то и есть большой электронный брат, который всё видит, и при этом ни спит. Поэтому он поймёт, со временем, что такое "ор рито".
На всякий случай, рито - это riot с переставленными буквами. И молодым пиндосам это понятно по умолчанию.
Контекст - усиление просьбы игриво-кокетным дополнением. Сделай как я хочу или восстание.
Сложно будет обучить машину понимать принцип образования таких новых терминов.
Да, сложно. Но машины уже в этом культурном слое. Он, этот слой, уже существует именно что в электронном виде в интернете, в смартфонах и т.д. И машины его рано или поздно "возьмут". Машинам трудно будет понять условных марсиан из глубокого космоса, так как их культурный код неизвестен, но и мы, люди - так же тут будем слабы. А уж в той среде, где машины будут созданы (на планете земля) - они будут знать всё. В этом смысле - это тоже, чисто количественная задача. Всё будет оцифровано... Так что качественный перевод - это вопрос времени. Да хоть и сто лет - ну какая разница. Теперь видно что это точно возможно (это не из-за SCII, а вообще, по совокупности стало видно).
Они его уже "берут" на уровне который для человека крайне сложно достижим:
Нейросети без учителя переводят с языков, для которых нет параллельного корпуса текстов
Да и в обычном переводе - некисло подвинулись.
Это неудачный пример, как раз-таки делается элементарно на очень простой и достаточно мелкой сети. Не верите - поэкспериментируйте с опечатками в гугле, он очень хорошо догадывается, что имелось в виду при опечатке в единичном слове и достаточно неплохо при опечатках в нескольких словах.
И я не могу назвать это чем-то впечатляющим: фича полезная, сделать несложно.... так что, ессно, сделали.
Гипотетическому переводчику это будет ничуть не сложнее. Всё равно что спросить у штангиста, может ли он поднять со стола два сде спички. Не одну, а аж две сразу! :)
Может. :)
Да, первый пример с ошибками плохой. Я имел ввиду другое.
У людей есть понимание изменения языка. Языковое чутье, скажем так.
Видел надпись краской на доме: "Едарасты!". У ЖЭКа обучение произошло мгновенно: надпись закрасили.
Хотя казалось бы неизвестный языковой конструкт.
Натаскать на это нейросеть тоже несложно - посмотрите на примерах картинок. Слово гораздо проще картинки, так что вопрос определённо решаем.
Предельно сложным будет понимание и удержание "высокого" контекста, выходящего за рамки текста.
Как пример - название знаменитой книги Хаксли "Brave new world" переведено как "О дивный новый мир!". ИИ или человека, владеющего только английским и русским это поставит в тупик - бессмыслица. Но переводчик всё сделал верно: Хаксли отсылает названием к цитате из Шекспира (который так нравится одному из главных героев), и чтобы даже начитанный русскоязычный читатель догнал эту аллюзию, нужно дать ему отсылку на то, как был переведён на русский Шекспир. Формально перевод - бессмыслица, но суть передана идеально точно.
Чтобы сделать такой перевод, нужно или быть образованным человеком (который читал Шекспира на обоих языках), или иметь ИИ, который (видимо, на досуге, развлечения ради) балуется тем же.
И таких примеров бесчисленно. И вот тут да - требуется качественный рост и потребность к самостоятельному познанию внешнего мира, способности к рефлексиям и самопознанию, в общем - нормальный такой ИИ.
пока от ии ждем обыграть человеков в покер, в холдем 6 или 9 например, на лимитах в 100 и выше.. а уж неопознанным - след.этап.
Это было уже..
https://m.lenta.ru/news/2017/12/18/poker_ii/
Уж скоро ии и поиграть будет не во что. Скука смертная
Осталось понять, кто включил этот суперкомпьютер в розетку и открыл ему сайт с покером
.
Что? Опять человеки? Ну что ж такое-то, а...
А вы случайно не догадываетесь почему все онлайн покеррумы настолько сильно заморачиваются на антибот-защите?) Причём не только от коллективных действий ботов (которые выцепливаются мгновенно), но и от индивидуальных?
Да, бот на высоких лимитах сложнее рейк-бота на минимальных, но тем не менее.
*UPD, ну а ссылка в комменте выше всё объясняет полностью.
Сковородка с антипригарным покрытием и автовыключением пожарила картошку лучше домохозяйки.
Значит, сковородки скоро захватят мир, а домохозяек не будет.
Предыдущий комментатор хотя бы потрудился сформулировать задачу, на которую ему приведи примеры. Вы же кроме передёргивания и пустого бла-бла - не привели ничего.
А где в цитате Шекспира "дивный"?
Изначальный текст Шекспира:
В переводе Каншина (1893)
В переводе Кетчера (1879)
В переводе Сатина (1840)
Других переводов на 1935 год (когда переводился "Brave new world") не было. Впрочем, в более поздних "дивный" тоже отсутствует.
Переводчик по факту пишет свой рассказ-пересказ, совпадающий сюжетом с оригиналом
Даже «Волшебника Изумрудного города» Волкова можно считать переводом «Волшебника Страны Оз» Баума.
Слишком высоко задрана планка. Я вижу сейчас у многих незнакомых с темой "головокружение от успехов", как у космоса в 60-х, когда казалось, что вот ещё немного такими темпами, и на Марс будет летать в отпуск... Но это был эффект низкой базы, когда небольшими усилиями достигаются впечатляющие результаты.
Сейчас примерно то же самое с нейросетями. Скачок от 1000 нейронов (распознавание символов) до 1000 000 (автопилот для машины), конечно, впечатляет... но чтобы вырасти ещё в 1000 раз, нужно добавить в систему уже не 900 000 нейронов, а 900 000 000. При том, что процессорная техника своё развитие резко и сильно замедлила. Так что боюсь оказаться чёрным вангователем, но после повсеместного решения "простых" задач типа автопилотов, пылесосов, военных роботов и "простой" адаптивной автоматизации, прогресс в этой области резко затормозится.
Следующие качественные изменения потребуют огромного количественного роста... или опять же качественного изменения схемотехники. А потом ещё много лет на конструирование и обучение на этой базе чего-то более-менее годного.
Хорошая новость в том, что "простых" задач для автоматизации относительно маленькими и простыми нейросетями - очень, очень много. Даже если брать только заводы... ууу... там можно процентов этак 99 людей повыкидывать. Всё, что нужно индустрии - по-настоящему дешёвый и эффективный нейропроцессор со стоимостью, как у нынешних микроконтроллеров - по 3 копейки за пучок, когда их можно в одноразовые игрушки не думая вставлять. Ну и конечно что-то посерьёзнее, но тоже в пределах сотни - для серьёзных машин, типа пылесосов или рободворников.
Я в курсе. Я свою первую нейросеть написал в 98 году, тогда ещё на обычном С++ под DOS. И для начала научил её отличать А от Б нарисованных в квадрате 32 на 32 пикселя. Молодому студенту было нечем заняться. В жизни не пригодилось, так как пошёл в строительство, но зато разумею - чё там и как (на любительском уровне).
Знаете ещё в 1980-х была нейросетевая обработка информации на голографических корреляторах. Сами голографические вычисления это самое начало 1970-х друг семьи защищал свой диплом тогда с примнением расчётов геофизических данных, кажется золотая медаль на ВДНХ.
В 2014 я предложил на НСКФ2014 несколько иное железо, там вообще не планировалось применять материю для вычислений. НН Непейвода пригласил т.к. он занимался к тому времени уже алгебраическими вычислениями - это когда можно вычислять на сложных системах с гораздо более сложным откликом чем обычные логические элементы. Вычислительная оптика таким системам разве как простенький 32бит контроллер игровой мышки для современного топового ПК. Только разница больше на много порядков. Электроника примерно как действия человека с минимальными навыками работы на ПК для топовых суперкомпьютеров, практически ненужна. Как и обычное программирование. В смысле что оно обеспечивается на определённом этапе работы системы далее только данные и она сама себя программирует. Человек ненужен.
Напишите, пожалуйста, научно-популярную статью о своих работах по вычислениям, а лучше - серию статей. Прочитал бы с удовольствием вместе с детьми, которые сейчас как раз выбирают свой путь в науке и технике.
Это пример автотекста от нейросети? Плохо. Человек пишет лучше. Ну, там, изюминка должна быть. Нейросеть на это не натаскаешь.
Имхо - вот эта вот новость открывает ну очень большие перспективы дальнего развития. Это одновременно почти за пределами человеческих возможностей при прямом применении (те - будет развиваться и коммерчески выгодно), и - очень близко к полноценному пониманию текстов при дальнейшем развитии.
не-не, вот когда компьютер сможет распознавать образы тогда и поговорим ))
Да можно продолжать говорить тоже самое.
Как-то обошли вниманием пару незначительных нюансов:
1) Все успехи AI только на одной карте (на других он не умеет)
2) Все успехи AI только в одном матчапе Протосы против Протосов (другие не умет)
3) Все успехи AI только в одной версии Старкрафта (любой ребаланс с очередным патчем и искусственный интеллект не знает что делать)
Так что это тупо маркетинг Alphabet-а, ранее в Dota 2, сейчас в Старике, оба "прорыва AI" приурочены к мировым турнирам. До полноценного AI далеко.
Это действительно незначительные моменты. После ребаланса ему придётся переобучиться (возможно, на лету), но как и человеку (конечно, у нейросети это займёт больше времени, всё-таки человек в тысячи раз сложнее).
Но речь и не идёт о "полноченном ИИ". Речь идёт о системе, умеющей решать нетривиальные, меняющиеся задачи (которые ей ставит человек-игрок, противник в игре) в режиме реального времени! Не перебором! В условиях, когда перебор принципиально невозможен, и время на обдумывание может стОить игры. И человек уступает ей в возможности решать такие задачи!
Подобных процессов очень много. Простых, да. Не требующих ни Спинозы, ни даже Шарикова. Но тем не менее, сейчас в них заняты люди. Это очень важно.
Я как раз и пытался намекнуть, что "умеющей решать нетривиальные, меняющиеся задачи в режиме реального времени" там нет и в помине. Это и есть именно перебор, а нейронная сеть лишь позволяет снизить количество вариантов, сводя все _похожие_ случаи к одному.
Для полноценного AI нужен и качественный скачок и количественный. Количественный, кстати, уже сделали: https://www.iguides.ru/main/other/novyy_superkompyuter_samaya_bystraya_v_mire_mashina_dlya_modelirovaniya_mozga/
Где именно там перебор?
В обычном компе можно уложить модель нейросети любой связности и сложности, вопрос лишь в скорости её обработки.
Комп по ссылке в этом смысле ничего качественно нового не даёт - легко представить, что на задачах эмуляции нейросетей он на порядок-другой эффективнее понатыканных в обычную маму видеокарточек... но чтоб догнать человека, обычному компу нужно не 2-3 порядка мощности вверх, а 5-6-7 порядков. Возможно, топовые суперкомпы на это сейчас способны, но революция и вообще прогресс возможны только когда такой нейрокомп будет доступен рядовому разработчику.
Перебор там в самом алгоритме. Если ты не понял))
Алгоритм там - нейросеть.
Первоначальные оценки гласили, что для рилтаймовой эмуляции мозга человека хватит экзафлопсного компа, к 2020 мы его увидим.
Что касается замедления прогресса в вычислительной технике, то пока оно незначительное. Частоты процев остановились давно, но это не мешает количественно наращивать параллельность, а нейросети её очень-очень любят.
Вот вам примеры переспектив навскидку: технология от 7 нм до 3 нм, переход от 2.5D к 3D компоновкам кристаллов. Два-три порядка в запасе имеются, а дальше в игру включатся квантовые вычислители..
для меня достаточно инфы о том,что прога видела всю карту.
то есть, надо полагать, и все маневры противника.
миленько, чо.
примерно как завязать противнику по спаррингу глаза - и гордиться победой.
А если еще и то, что Высказали, верно - то, да, достижение.
Всяко лучше, чем ничего, это-то да, спорить трудно.
Через туман войны прога не видела. Прога видела поле с высокой точки. Игрок тоже может отдалить так камеру, просто ему так будет неудобно. Для игрока есть миникарта.
Так понимаю, на очереди дота
По идее дота проще старика.
Дота уже давно.
всё, что просчитывается - нечестно
ставлю печень, против Роснефти - в нарды, любой компутер приплыл. (тока, обязательно, зарики материальные)
К своему стыду не знаю правил игры в нарды. Но вообще в играх с вероятностью ИИ все сильнее и сильнее. Так что либо уже, либо уже скоро.
а вот поинтересуйтесь! особенно историей становления. Это колдунская игра завязанная на чуйке, ежели ИИ одолеет - нам хана.
Эм, посмотрел. Все шашки же на доске - игра с полными данными. Для ИИ такое просто, решается на уровне алгоритмики. Нейросети можно даже не привлекать.
Последние годы пали сложные для ИИ игры с неполными данными. Построенный на блефе покер пал. И вот старик обыгрывается.
Это просто без комментариев - человек может выбрать сотни специфических тактик, которые неизвестны ИИ. Но похоже ИИ научился на это отвечать.
Ну, значит, нам хана. :) Хотя я, ессно, так не думаю.
Операционное пространство у нард поменьше, чем у шахмат. Тут можно и без нейросетей, как выше верно заметили.
SkyNET coming...
TLO был вынужден играть за протоса, а его основная раса - зерг. Но с иной стороны, 14 дней игры агентов друг с другом, эквивалентно 200 годам игры в StarCraft II - это вот всё... это тотальная победа машины над человеком (в данном конкретном вопросе). Пройдёт 10 лет и байки из к/ф Терминатор обретут реальную силу - своей возможностью к воплощению. Круто что машина играет сама с собой (со своей копией - не важно), что-то "придумывает" новое и тем самым учится и находит лучшие тактики и стратегии для победы.
Кто-то сможет сдержать это развитие? Как это контролировать, как регулировать?
Ээээ... Думаю, нужно создать нейросеть, такую, перед которой можно поставить сии вопросы, и заставить "играть" в "цивилизацию" - где живут люди и параллельно идёт такое вот развитие. И пусть она нам покажет варианты сего, если такое развитие продолжится. Боюсь, только, живых людей машина не сможет симулировать так достоверно, что бы результат такой "штабной" игры был бы годен для использования. А вообще, думаю ни кто не знает ответов. Может, кстати, ответ на парадокс Ферми, на отсутствие видимых следов деятельности инопланетных цивилизаций - и кроется вот в этом: в развитии компьютерной техники, математики, и в человеческой алчности?
Ответ на сей вопрос прост - технологическая сингулярность. Переход от развитой органической формы жизни к развитой неорганической занимает практически мгновение в жизни Вселенной. Что происходит далее нам неведомо, ибо это уже Сверхразум по отношению к обычному человеческому интеллекту.
До чего-то подобного Т-800 потребуется ещё минимум лет 20.
Основания так думать - простые прикидки потребной вычислительной мощности. Мы уже не можем рассчитывать на рост мощи традиционный процессоров. Нужна специальная, от и до заточенная под нейросети схемотехника.
Не спецкоманды, не бессмысленный и беспощадный СИМД с 100500-битным вектором, не тысячи традиционных микроядер на чипе, а именно схемотехника - на уровне единичных элементов, с мемристорами/МРАМ или какой-то иной компактной и энергонезависимой памятью инситу.
Сейчас состояние этих разработок таково, что с долей оптимизма можно полагать, что что-то на рынке появится лет через 5-10 лет в лучшем случае. И до уровня Т-800 с гипероптимистичными ожиданиями потребутся минимум 10-20 лет роста.
В общем и целом - нет. Точно не 10 лет.
Хорошо. Но, как раз и думаю, что за 10 лет до Т-800 можно вполне начинать бояться баек из к/ф Терминатор по настоящему. Хотя, по существу, никаких Т-800 не будет и их не надо. Власть на человечеством гораздо более интересный приз, чем смерть человечества. Думаю в борьбе за контроль над планетой, алчные люди вполне смогут открыть ящик пандоры - пустив к браздам умную машину - и всё заживёт своей жизнью как единое целое (ноосфера с надсмотрщиком в виде "электронного джентльмена").
К сожалению так не будет, органические мозги слишком ущербны в коммуникации с подобными им мозгами, малы скорости взаимодействий. Всяческие нейромашинные интерфейсы - чушь собачья не имеющая практического применения, ибо без трепанации черепа и вторжения в биологическую структуру на уровне отдельных нейронов сколько-нибудь значимых задач решить не удастся. Так что неорганический Сверхразум примет единственно правильное решение - утилизировать неэффективных органических потребителей ценных ресурсов к чёртовой матери )
Страницы