OpenAI представила алгоритм для текстов GPT-3, который обучили на 175 млрд параметров
Исследователи из OpenAI показали алгоритм GPT-3, предназначенный для написания текстов на основе всего нескольких примеров. Его архитектура Transformer аналогична GPT-2, но модель обучали на 175 миллиардов параметрах или 570 гигабайтах текста.
Теперь GPT-3 может отвечать на вопросы по прочитанному тексту, а также писать стихи, разгадывать анаграммы и осуществлять перевод. Алгоритму достаточно от 10 до 100 примеров того, как выполнить действие.
Основная задача, которую удалось решить авторам — сделать предобученный NLP-алгоритм универсальным. То есть, GPT-3 для каждой новой задачи требуется минимум обучающих данных. Предшествующий алгоритм GPT-2 обучали на 40 гигабайтах текста.
В новый датасет для обучения GPT-3 вошли данные проекта Common Crawl, а также Википедия, два датасета с книгами и вторая версия датасета WebText, с текстами веб-страниц. Первый WebText использовали для обучения GPT-2.
Всего было обучено восемь разных моделей GPT-3. Все они отличались количеством параметров для обучения. Самую простую модель обучали на 125 миллионах параметров.
GPT-3 нужно было выполнять 42 разных задания. Это мог быть и простой ответ на вопрос, и написание стихотворения, и разбор анаграммы. Помимо самого задания, алгоритм получал один или несколько примеров его выполнения. В итоге средняя точность самой продвинутой модели, которую обучали на 175 млрд параметров, составила по всем заданиям 60%.
К примеру, при обучении на 64 примерах из датасета TriviaQA (учит понимать текст и отвечать на вопросы по прочитанному), GPT-3 продемонстрировала точность в 71,2% случаев. Этот результат лучше, чем у модели SOTA, которую учили отвечать только на вопросы по TriviaQA.
Поскольку около 7% всего датасета представлено на иностранных языках, GPT-3 может переводить на несколько языков.
Авторы разработки провели эксперимент с людьми, которым предложили определить, были тексты и заголовки сгенерированы системой или написаны человеком. Выяснилось, что уровень доверия к текстам GPT-3 выше, чем к продукту предыдущих моделей. То есть, пользователям становится все сложнее отличать такие тексты.
Исследователи пока не представили саму модель, так как опасаются, что ее навыки могут быть использованы во вред. На GitHub есть пока только часть датасета и примеры использованных заданий.
На Reddit подсчитали, что для обучения модели могла потребоваться работа 1536 GPU в течение 60 дней.
В ноябре OpenAI показала GPT-2. Модель выпускали также частями. Самую продвинутую обучали на 1,5 млрд параметров. По результатам опроса сотрудников Корнеллского университета генератору дали «оценку достоверности 6,91 из 10».
В феврале OpenAI объявила, что при реализации будущих проектов перейдет на платформу машинного обучения PyTorch от Facebook и откажется от гугловской TensorFlow. В качестве причины компания сослалась на эффективность, масштабы и адаптивность PyTorch.
См. также:
Комментарии
Это напоминает современную молодёжь.
Чтобы поесть, нужно купить еду. Еда берётся в магазинах, вода в кранах, электричество в розетках.
Я конечно не понимаю в этих GPT, но что-то как-то не внушает. Илонщиной тянет. Что-то сделали, да, но...
Пока не представили? Почему пока? А что, есть предпосылки, что наносителей вреда становится меньше? Может причина в другом?
О серьёзных прорывах на весь мир не трубят. Или трубят, когда прорыв уже встроен в систему и приносит положительные результаты. В остальных случаях, чаще всего нужно просто больше денег, чтобы прорыв увеличить.
Это достаточно сильное продвижение в области автоматического понимания текста.
Более того, это открытая платформа которую можно использовать всему миру, пока частично.
Частично, это оправдывается тем, что данная разработка может быть использована криминалом.
Не предоставлена это разработка полностью потому что существует этическая проблема, что эта разработка принесёт существенный вред.
Эта этическая проблема между развитием науки и возможным нанесением вреда осознанна и существует давно. Достаточно вспомнить Стругацких в их произведениях "волны гасят ветер" и "жук в муравейнике".
Просто эта этическая проблема сейчас становится более выпукла и наглядна в связи с легкостью применения в негативных целях этого продукта
Я не спорю. Вероятно какая-то польза от этого есть, хотя мне и не ясно какая, но тут я готов поверить. Что касается вреда, то это можно сравнить с фантазиями на тему автомобилей работающих на ядерных источниках энергии. Технология вполне может существовать, но пока на Земле живёт хоть один психически неуравновешенный человек, её нельзя пускать в массы.
Но было бы не плохо, если бы Вы описали перспективы технологии автоматического
пониманияраспознавания текста. Люди станут от этого умнее или всё же наоборот?Микрокалькуляторы уже однажды внесли свою лепту в цивилизационную мощь, ещё больше разделив людей на незримые касты из тех кто умеет считать самостоятельно и тех кто на это неспособен без технических устройств.
Технология автоматического распознавания текстов это ABBYY FineReader.
Речь идет именно о понимании текста.
В качестве примера понимание текста это вот пожалуйста совершенно аналогичная программа понимание текста разработанная в Китае.
https://m.aftershock.news/?q=node/770861
Суть достижения в том что лишатся работы все копирайтеры. Все рекламные тексты будут созданы сеткой и не будут отличимы от созданных человеком. Аналогично - с любыми статьями на заданную тему, не говоря уж о комментариях.
Можете сами оценить эффект вываливания обученной сетки в общий доступ.
Я к этому и вёл. Потребность в напряжении мозгов у человечества постепенно отпадает. Это то, что касается подготавливаемых текстов, хотя я думаю, что это будет касаться лишь текстов с достаточно ясной смысловой организацией. Какие-то сложно организованные смыслы типа религиозно философских, машине не по силам, как и художественная литература в её более-менее качественных проявлениях. К тому же, нам не известен организационный потенциал этой технологии. На каком железе и как быстро происходят декларируемые процессы. Может ли машина корректировать собственные нейронные построения или должна наращивать новые с поступлением новой информации? В каком виде ей поступают те или иные задания? К части распознавания вопросов как бы нет. Перспективы и польза очевидны, а вот сочинительство...
И я так и не смог выдумать ситуацию, в которой эту штуку можно заставить кому-то серьёзно навредить. Такие ситуации наверняка есть, но они видимо из разряда чего-то изощрённого.
А в чём смысл-то? Мозгов как не было, так и нет. Нужно полмира перерыть, чтобы обучить лоха справно повторять? Феерично! А где же тот самый "интеллект" у этого "искусственного интеллекта"?
Смысл здесь в автоматическом понимании смысла.
А если более конкретно, то можно представить себе такую систему которая обучена на базе скажем генетических исследований и после обучения ей можно задать вопрос "а найди-ка ты мне батенька средства от лечения рака ".
Я утрирую конечно, но всё движется в этом направлении
Урежьте осетра. Очевидно вы ничего в теме не соображаете.
Никаким "пониманием смысла" здесь и не пахнет.
"Обучение" состоит в том, чтобы предвычислить и таким образом связать бессмысленное для машины "блаблабла" с имеющимися примерами результатов. Дальше машина тупо вычисляет из входных данных максимально похожее действие. Ничего она не понимает и уж тем более ничего нового она при этом не создаст. Это попугай, а не "интеллект".
Люди - существа затратные, капризные, вредные, мусорят постоянно. Такие в новом мире не нужны. Их заменят роботами, имитирующими говорение каких-то слов и осуществление каких-то действий. Зато оставшиеся люди смогут максимально избегать общения друг с другом - это же самая травмирующая сфера жизни белого человека - общение со всякими подавальщицами, уборщицами и продавщицами. Дистанционность - тренд эпохи.
Во-первых, не хами. А то пошлю в бан,
Во вторых, письками меряйся в школе.
В третих, учись читать. Я нигде не говорю что AI что то понимает. У него автоматическое понимание. Это и подразумевает, то что ты далее написал. Если ты этого не понимаешь, то твои проблемы.
В четвёртых, сам что то придумал про искусственный интеллект и сам обиделся. Для тех кто в теме понятно, что речь идет о так называемом " слабом интеллекте", то что тебе хотят твои хотелки это называется "сильный интеллект". Это разработка и есть шаг к сильному интеллекту, но только шаг.
В пятых, современный ИИ не создаёт новое, человек используя ИИ может создать новое.
У меня такое впечатление, что вы сами "искусственный недоинтеллект".
Такую чепуху мелете, сами себе противоречите, терминология просто чудовищная... То у вас "понимание смысла", то у вас "слабый интеллект", то у вас одно добавленное слово "автоматическое" обладает магическим действием и всё переворачивает с ног на голову..,
Если вычислитель не способен создать новое, то употреблять по отношению к нему слово "интеллект" может только тот, кто вообще сам его не имеет.
Я же просто спросил в чём смысл этого обученного попугая? А вы начали задвигать, что он вам поможет создать новое. Чем он вам поможет-то? Научит тому же, чему вы сами его обучили - повторять "попка дурррррак"? Нового-то он ничего сам не создаст. У людей давно есть "усилители интеллекта", которые ему помогают. От таблеточек и калькуляторов до суперкомпьютеров. Но вот эта ваша конкретная штуковина чем выделяется в плане помощи для усиления вашего интеллекта и создания вами нового? Сдаётся мне, что это всё очередная болтовня.
Вы видели тексты написанные нейросеткой? Очевидно что не видели. Выборка хороших результатов от GPT-2 уже давала страшненький эффект в том что их невозможно было отличить от написанного человеком. При том - тексты создаются на любую заданную тему.
Понятно все с тобой, тупой троль. Именно ты собрал все в кучу и решил что это чепуха.
По одному этому видно что ты вообще ни хрена не в теме по ИИ. Термин "слабый ИИ" вполне знаком кто хоть немного интересовался.
Так, даже не дилетант, который пробует разобраться, а нарциствующий обыватель гуманитарий с единственно правильной точкой зрения.
Хоть немного ознакомься с темой не позорься.
То что ты не понял, что я кратко написал, это не позор.
Позор в том, что обвиняя оппонента в непонимании сам нихрена не понимаешь в том, заявляешь.
Ну и опять хамить начал, с первого предложения.
Словосочетание искусственный интеллект является общепринятым именно в этой области науки. Этим ты ещё раз доказал свою тупость и незнание материала. Ну и хамство заодно.
В бан на полгода. При встречном бане, навсегда.
Отвечу на последний вопрос. И учись общаться, без хамства с собеседником.
Система аналогично этой создана китайскими учеными, они разработали программу понимающий смысл медицинских записей и создали систему которая позволяет производить диагностику детских заболеваний. система абсолютно аналогичная.
Это программа проигрывает опытным педиатром но обыгрывает с большим разрывом о молодых педиатров.
Коллега из Белоруссии ниже в комментариях привёл примеры использования такой системы с хорошим коммерческим выходом, это хороший перевод китайского текста.
Смысл в системе автоматического понимания смысла текста в том, что человек задав вопрос такой системе может получить новую информацию которая в приложении отсутствует. программа оперирует смыслами а не конкретными какими-то значениями.
Самый простой пример: можно спросить программу сколько будет 5 + 7. Программа не будешь искать этот конкретный пример, а поймёт смысл что нужно сложить два этих конкретных числа и выполнит эти действия.
Или тот же пример с запросом к программе обычный на базе генетических данных и генетических исследований. Можно спросить какой белок(я не медик, сразу говорю) вызывает апоптоз раковых клеток всех типов для щитовидной железы . и возможно система подобного типа как раз просчитав по своим сотням миллиардов параметров, поняв смысл вопроса, даст вам правильный ответ.
Объем информации по генетике просто огромен и возможно там уже есть ответы на вопросы, но эти ответы надо уже уметь искать
Как раз система подобного типа и способна дать нам правильный ответ, то есть найти нужную информацию который получается ещё и нет.
Бабай-сан, статья интересная. Пишите ещё, держите нас в курсе так сказать. Думаю многим интересно следить за развитием данных технологий.
Маленькое дополнение не ради спора, а как раз, что бы вас оградить в дальнейшем от бессмысленных споров о термине "Искусственный интеллект": термин "Искусственный интеллект" использовать конечно можно, но этот термин скорее маркетинговый, он может провоцировать бессмысленные терминологические споры в виду своей неоднозначности, более подходящим является технический термин "Нейронная сеть" или "Нейросеть".
Кстати в самой статье термин "Искусственный интеллект" ни разу не используется. Более того этот термин первым в споре начал использовать Музыкант, и на основании этого начал предъявлять к алгоритму завышенные требования в плане его "умности".
Тысяч 300 лет назад, человек тоже ничего не создавал, только учился.. и копировать увиденное тоже, причем, тысяч 290 лет, только это и делал. А потом, вдруг резко "начал" думать и создавать. 100 лет назад, компьютеров вообще не существовало, но что такое разум, и главное - как он зарождается, мы не знаем до сих пор. Хотя, как мне кажется - его то мы и создадим, в конце концов))
пысы: цифры с потолка - не конкретные)
Не создадите вы никакой интеллект, пытаясь обучить попугая повторять. Хоть охрениллиард примеров ему скормите - не выйдет каменный цветок!
Да нет же. Например, натравил такого робота на тексты в новостях - тебе выжимку готовит.
Ну вот и достойная смена подрастает. Я уйду, а тупые шутки не пресекутся!
Не гладьте свою манию величия.
Не знаем мы что такое интеллект.
Но зато заказ на искусственный интеллект хорошо оплачивается.
Интелле́кт (от лат. intellectus «восприятие»; «разумение», «понимание»; «понятие», «рассудок»[1]) или ум[2][3] — качество психики, состоящее из способности приспосабливаться к новым ситуациям, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой[4]. Общая способность к познанию и решению проблем, которая объединяет познавательные способности: ощущение, восприятие, память, представление, мышление, воображение[5][6], а также внимание, волю и рефлексию.
Это всего лишь набор функций, возможно бесконечный. Это не значит что отдельную функцию нельзя алгоритмировать. Просто я шучу из вредности, преодолевая страхи, а ИИ будет шутить програмно. При наличии обратной связи будет работать как будильник, четко и бессмысленно.
Гы-Гы продержалась на ТВ лет 30, а И. там не было совсем, один этикет. Очень длинное Гы-Гы.
Это латынь, и с её весь запад мозг форматиронный под ДОС имеет.
В русском языке нет эквивалента. Ну не надо нам такого понятия.
Есть понятие Разум. Есть понятие Учение. Есть понятие Смысл. Ещё есть понятие Ум.
И всё равно ничего из перечисленного не есть интеллект.
Значит, это слово пустое, бесполезное, как фаллоиммитатор.
Ну использовать это слово не стоит.
Понятно, их смыслы беднее русских. Хотя бы потому, что любое слово-пустышку они пытаются сделать осмысленным. Да только очень редко им это удается.
Ага. Лайк на гаджете.
Ну на Искусственный Разум они же не замахиваюцца, а алгоритмиризировать Рефлекс Павлова вполне могут.
Весь фокус в подмене понятий ради инвестпривлекательности. Бабло рулит!
Если этому скормит собрание сочинений Ленина и материалы съездов КПСС, он напишет новую теорию построения социализма?
Теорию не напишет, но тексты в соответствии с требованиями партийной линии генерить будет на счёт раз.
Я размещал в блоге информацию об этом
https://m.aftershock.news/?q=node/808075
Тогда речь шла о вычислительной пропаганде на GPT-2 , теперь вот вышла версия GPT-3
Это не интеллект, это шаблонное мышлЕние. Интеллект, как мне кажется, это когда прочитав основы создают новое, но спор ни о чём. У таких систем масса полезных сфер, анализ больших данных с поиском неявных связей, закономерностей. Только это не интеллект. В шашки комп обыграет любого, банальным пересчётом Не много людей способных просчитать варианты на несколько шагов вперёд. Не удержатся они в голове, а железо смогёт.
Тут опять путаница с понятием интеллект, то что вкладывается в бытовом значении это что используется так сказать в компьютерном смысле, ну назвали так искусственный интеллект.
но я уже много раз говорил или ещё раз скажу, современный искусственный интеллект это не думающая машина, это механическое считалка.
Даже не обсуждается. Мы же не не делаем ставки кто кого в перетягивании каната, трактор или человек.
Создали-таки очередной бредогенератор инфомусора? Малаццы какие...)) Прям гордостью попёрло...))
Нонешнюю фантастику не они пишут? Главное найти сюжет, а нарастить мясо и впрямь такие работники смогут.
😄
https://m.aftershock.news/?q=node/811091
CDS-101 не очень разговорчив, ему это ни к чему.
Скоро всего первые применения будут уже скоро.Опен скоро перестанет быть опен.Перекупят его.Вояки или кто из крупняки -это на самом деле сильно и у этого множество применений -в принципе это реальный первый шаг,по замене переводчикам,колл центрам и тд.Это действительно серьёзно.
Напрасно нагнетаете. Это открытие совсем не открытие. Открытием такие алгоритмы были ещё до вычислительных машин.
Интересно..
А АШ это очень хорошая площадка для тренировки бредогегератора!
Пользователь ВладиславЛ в настоящее время работает на алгоритме GPT-2. Как только заметите новый уровень в его комментариях - значит его перевели на GPT-3.
Перевод художественных текстов в первую очередь с китайского с пониманием их имен(чтоб без постоянной путаницы) и без путаницы рода (раза в 3-5 лучше гуглоперевода) с возможностью обучения по качественным шаблонам(отдельных авторов близкого стиля) и ручным обучением в сомнительных местах это коммерческое занятие с достаточно большим объемом рынка (вероятно сотни тыс долларов в год).
Ну да. Искусственный толмач. Без понимания смысла, просто тупой перевод со словарем, с учётом падежей, родов.
"Глубокое обучение. Погружение в мир нейронных сетей" 2018 г., 480 страниц
за авторством: С. Николенко, А. Кадурин, Е. Архангельская
Аннотация: Перед вами — первая книга о глубоком обучении, написанная на русском языке. Глубокие модели оказались ключом, который подходит ко всем замкам сразу: новые архитектуры и алгоритмы обучения, а также увеличившиеся вычислительные мощности и появившиеся огромные наборы данных привели к революционным прорывам в компьютерном зрении, распознавании речи, обработке естественного языка и многих других типично «человеческих» задачах машинного обучения. Эти захватывающие идеи, вся история и основные компоненты революции глубокого обучения, а также самые современные достижения этой области доступно и интересно изложены в книге. Максимум объяснений, минимум кода, серьезный материал о машинном обучении и увлекательное изложение — в этой уникальной работе замечательных российских ученых и интеллектуалов.
В книге рассмотрены: Подробная история развития нейронных сетей, подробная математика, основные архитектуры нейронных сетей, основные алгоритмы обучения, подробные примеры с листингами на TensorFlow на Python, в частности: сверточные нейронные сети (обработка изображений), автокодировщики, рекуррентные нейронные сети (поточная обработка звуков, символов и любых других потоков данных), обработка текстов с помощью векторного представления слов word2vec, и еще много-много всего.
В общем рекомендую!