Предлагаемая тема статьи рождена не мной. Автор поделился желанием писать об этом некое «открытое письмо» в какой-то авторитетный научный журнал. Я предложил поднять вопрос на АШе и с его одобрения мы здесь.
После возникновения различных чат-ГПТ, общественность бросилась активно их тестировать, петь осанну рожденному ИИ, а разработчики – совершенствовать дитя.
В процессе тестирования общественностью, проявились некоторые косяки, но фатально довлело понимание, что ГПТ остаётся всезнающим научным троечником.
А вот настораживающей странностью оказался факт отказа ГПТ возвращаться к заложенной в него однажды информации и анализировать её под различными ракурсами.
Пока тестированы были «GigaСhat» и «ChatGPT». Они оба были готовы в самых общих смыслах и выражениях общаться на заданную тему. Но, когда перед ГПТ была поставлена задача провести статистическую аналитику по конкретному вопросу (напр. дать статистику ссылок на цитирование конкретного автора) , он отвечал, что у него нет доступа к заданной теме. Причем, самое интересное, что поставленная задача не является секретом. Любой человек может заняться этой работой, будет заходить на сайты, анализировать, обрабатывать статистику. Это может занять у него много времени, но ограничений в доступе не будет.
Из этого следуют два вывода:
-
Разработчики загрузили в базу знаний информацию, но обновлять её часто – дорогая и сложная задача. Поэтому авторы дали ИИ право ссылаться на отсутствие доступа к конкретному вопросу.
-
ГПТ имеет доступ к информации, но сформулированная задача ресурсозатратна и владельцы намеренно ограничили общение ИИ с внешними пользователями.
Но ещё один аспект общения с ИИ озадачивает напрочь. Если ИИ создаёт некую статью и даёт в ней ссылки, то попытки зайти по этим ссылкам бесполезны. Ссылки могут быть фейковые.
Набрал сей текст и тут совпало!!! В обзоре камрада Stock Gambler читаем:
В комментариях - маленький ликбез по ГПТ-моделям и принципам их обучения.
К сожалению, большинство считает, что они берут информацию из сети. В реальности - это вовсе не так...
Комментарии
Вместо того, чтобы заниматься такими "исследованиями", нужно было спросить любого знающего человека, как это работает. :)
Это ж, реально, идиотизм в духе "мы провели исследования пылесоса и по нашим сведениям пыль внутрь него заносит воздухом!!!111"
Да, обучение БЯМ (больших языковых моделей, LLM) ОЧЕНЬ дорого в смысле вычислительной мощности (и составляет основную стоимость модели). И да, в пределах сессии сетка не обучается, она лишь помнит очень ограниченый контекст (последние 1000-10000 символов). Причём, размер сессии, которую сетка способна "удержать в памяти" очень сильно влияет на стоимость генерации ответа (размер матрицы внимания растёт как квадрат от размера контекста).
Как минимум поэтому (есть и ещё куча причин) пока функционал БЯМ ограничен справочными функциями и генерацией простых текстов. "Аналитика"? :) Да, блин, это ж чистый анекдот. :)
...
Что касается истории с "Амазоном" - там в пересказе немножко... гм... мягко говоря, "смещены акценты" (а прямо и грубо - звездёж, с целью создания впечатления). Реально история какая: пока не придумано сильного ИИ каждой нейросетке (то, что сейчас называют "ИИ") пока нужно учиться на примерах (примерах хорошего и плохого). Именно так туда попадают данные, именно так она получает возможность что-то делать. Существуют очень разные методики обучения, но в сложных случаях они все сводятся в итоге к одному - нейросети скармливают решения человека. Сначала в огромном количестве для случаев-примеров, затем, в случае неизбежных ошибок, подбирают примеры для дообучения так, чтобы убрать ошибку в будущем.
Это всё делают люди, и в случае сложных систем процесс растягивается на годы. Нужно перепроверять работу (или какую-то её часть), чтобы контролировать качество работы, нужно проводить дообучение в случае ошибок или неустойчивой работы. Иногда бывает, что существующая модель не может "взять" все случаи, а её усложнение приводит к т.н. переобучению, и тогда нужно менять модель и обучать заново. Это очень долгий и дорогой процесс.
В случае с Амазоном они, ессно, для обучения сети наняли дешёвых индусов (это ж логично), но просто не смогли уложиться в бюджет и выйти за данное им время на приемлимый процент ошибок. Это запросто. Тут явно требуются либо доработки модели, либо переоценка задачи.
Нейросеть - не волшебная палочка. Это инструмент, который решает некоторые задачи, и которым ещё нужно суметь воспользоваться даже при большом бюджете. Токарный станок - великолепная вещь, способный решать очень сложные задачи, но к нему нужен токать, и это не магически-автоматическое решение всех жизненных проблем. Точно так же и нейросеть.
Зачотный ответ. Прям по полочкам.
В итоге, ИИ будет рабогтать так, как этого захотят люди его контролирующие.
? В этом и смысл создания машины: она должна работать так, как хочет её создатель.
И да, кто создаёт и обучает нейросеть, тот и задаёт её работу.
Это банальность, трюизм.
Как это обычно бывает с банальностями и, иногда, трюизмами, это нужно подчёркивать и проговариватть. Для создания русофобии в Европе ИИ не понадобился. Видимо, правила достаточно просты. Но он может быть использован для расширения этого пункта и внесения в его канон мирового восприятия.
Пока что с этим наблюдается большой фейл. ИИ работает как хочет (или как может) не смотря на старания его авторов как-то это контролировать. Т.е. со всем этим контролем пока что одна видимость, потому что при толковом контроле возникает сильное пенальти по качеству.
Несомненно, работы ещё непочатый край. Но если задать тенденцию, аксиоматические правила, общий "наклон плоскости", то и получим, как сейчас на Украине( и много ещё где) - русские, это "орки", несмотря на то, что значительная часть населения имеет русские этнические корни. Сами себя, то есть, орками считают.
Простите такая тупая задача "создай осмысленное предложение чтобы первое слово было из трех букв второе из семи третье из пяти четвертое из двух и пятое из семи" уже не решаема (или возможно я не могу правильно поставить задачу)
Разумеется нерешаема. LLM же заточена на создание красиво звучащих текстов, а не на решение логических задач.
Это всё равно что пытаться на токарном станке просверлить дырку. Не то, чтобы совсем невозможно, но даже токарь с многими годами стажа этого не сделает, ибо это цирковой трюк, а не нормальное использование токарного станка.
элементарно - в шпиндель зажимаем сверло ... :)
Угу, а потом нужно ещё как-то умудриться ещё и деталь как-то на него надвинуть, а там могут самые разные препятствия возникнуть, в зависимости от модели станка и места, где нужна дырка.
В каких-то местах можно нормально просверлить, а в каких-то и вообще невозможно, придётся “удлинитель” прикручивать какой-нибудь и кончится ли это получением желаемой дыры в детали или неожиданной во лбу, куда всё это влетит на скорости — никто не знает.
Тут Вы не совсем правы, просверлить отверстие соосное вращению детали никакой сложности не представляет, а вот просверлить отверстие которое было бы на расстоянии параллельно оси вращения или отверстие под углом к оси вращения практически невозможно, хотя при наличии сварки..., и это уже будет по категории "цирковой трюк" (Занудствовалось))) )
ЛЛМ в принципе очень тяжело считает. Как и человек. Вы ему лучше по делу вопросы задавайте - он лучше отвечать будет. Т.е., такие вопросы, как к коллеге, а не такие как к компьютеру.
Очень частая ошибка, когда мы начинаем относиться к ЛЛМ-ке как к алгоритмической системе: её учили на поведении и реакциях людей, книгах про людей и т.п. и ей роднее неалгоритмический стиль общения.
Если скрестят с (тематическими) базами данных и поисковыми индексами, то будет шаг вперёд, получается? Интерактивный доступ в интернет, как самую большую базу данных - это предельное развитие идеи.
Нет.
У сеток нет анализа.
Есть таблица частоты употребления букв и слов в разных сочетаниях.
ВСЁ.
Дальше просто математика.
А твоё - это смысловая энциклопедия всего, где каждое слово/фраза объясняется словами/терминами энциклопедии.
Такие энциклопедии уже лет 10-20 пытаются собрать, но там чем дальше, тем тухлее.
Я могу себе помыслить такое: задаю вопрос к чатботу, он как часть ответа выдаёт какие-то запросы к базе данных, получает ответ, комбинирует с промптом и своей первоначальной версией ответа самостоятельно, и через несколько таких итераций отдаёт то, что "накопил" мне
Блин, а кто держит базу знаний?
Самая лучшая БЗ - Вики, но и она настолько отравленна, что толку от неё - чуть.
Собственно, если давать специфический поиск на чистой учётке-машине-адресе, то любой поисковик будет отдавать рекламную муть - лендинги.
Потом, как делить ответ-запрос? Ладно английский, там можно как-то частично выехать на детерминированости языка.
"В случае с Амазоном они, ессно, для обучения сети наняли дешёвых индусов (это ж логично), но просто не смогли уложиться в бюджет и выйти за данное им время на приемлимый процент ошибок. Это запросто. Тут явно требуются либо доработки модели, либо переоценка задачи." Да, но факт от этого не перестаёт быть фактом. 1000 юнитов не смогли ничему научить ИИ. А может никакого ИИ и не было?
Как не было? Был самый натуральный Индийский Интеллект в количестве 1000 штук.
Амазон представил "технологию" в 2016 году. Даже пытался продавать ее на сторону, но ни одного покупателя не случилось (неужели они подозревали?). Индусы обучали систему 7 лет и ничему не научили. При чем по сообщения на американских ресурсах часто их система не могла нормально распознать покупки, из-за чего просто выписывала чек только на то, что распознала, а американцы очень сообразительные, когда дело касается денег. Так что бюджет тупо разворовали покупатели, постоянно жалующиеся в контролирующие органы на обилие камер и опасение за сбор биометрии. Вполне допускаю, что пара кассиров обойдется дешевле даже в долгосрочном периоде, чем уйма камер и мощные компы для анализа видео.
Ну, Вы сейчас на примере провалившегося проекта самолёта, доказываете, что самолёты - фигня какая-то, телега-то с лошадью, мол, оно завсегда сподручнее будет.
Да, скажем, MRJ провалился, DS обанкротился, а на гужевом транспорте и сейчас грузы возят (вот, например, егеря в горах не гнушаются миномёты на осликах таскать). Собссно, наличие ни разу нейросети в проекте не делает проект гарантированно успешным. Это просто технология, инструмент такой. Но это не значит, что инструмент бесполезен.
Не сделал "Амазон" - сделают те, кто пойдёт следом. Ничего такого неосуществимого тут нет.
запрашивал чат про ГОСТы - такую хрень выдал в ответе :)
скорее всего это все же больше гуманитарная игрушка, чем для инженеров. ну курсовик написать, диплом по экономике (как экономист по образованию утверждаю - нет такой науки :)
есть еще одна более глубинная проблема этих ИИ, которая даже Путиным озвучивалась один раз:
все эти ИИ обучались на англоязычной платформе !!! бОльшая часть датасетов - англоязычные и основаны на их культурном слое !!!
у меня есть аналогия - во время Ломоносова все знания давались на латыни ! это очень большое ограничение, для решения социальных задач, если основывать на обученных нейросетях управленческие решения.
тот же Сберовский рисовальщик - сначала переводит запрос на английский а потом уже по нему рисует картинку.
Шутка юмора в том, что гуманитарии думали, что нейросети сначала заменят инженеров. А оказалось, что генерировать ассоциативный красивый текст/картинки с внутренними противоречиями проще, чем сделать шестерёнку с требуемыми параметрами.
Ещё нейросети хорошо пишут музыку и исполняют её по требованию. Попса напрягла булки.
Яндекс музыка убрала тексты песен, а то народ просто копирует https://app.suno.ai/song/e1a90263-9777-48a9-bd7f-d0a646679e34/
И ешё начали пробовать нейросети в кино и видео, и кто-то уже скупил голоса и образы известных актёров.
Когда пишут и исполняют люди, они вкладывают
душуидею. Если у слушателя воспроизводится идея, возникают ассоциации - песня удалась.Если бы "Губит людей не пиво | Suno" написало моё творение, я какое-то время ходил бы гоголем. Но, как у слушателя, данное творение ассоциируется с качественной, пафосной ... блевотиной - как любовная серенада под танец с саблями. Есть, вообще, что-нибудь стоящее послушать?
Ты вложи свою
душуидею. Берёшь стих, на всякий расставляешь ударения, паузы и букву ё, разбиваешь на куплеты и припевы, подбираешь стиль и аранжировку. Кидаешь кости. Если всё сделано правильно, то результат равен или превосходит попсу.Если тебе нужен шедевр "песня удалась", то подожди годик. Через год-два всё будет, и качество звука выше, и чаще совпадение эмоциональных акцентов исполнителя и стиха.
Не каждому дано так исполнить даже признанный шедевр, чтобы у слушателя возникли ассоциации, эмоции. Чтобы собеседник поверил, нужно самому верить во то, что говоришь, испытывать эмоции. Иначе - не верю!© И совпадение эмоциональных акцентов исполнителя и стиха это не исправит. Это не вербально. Посмотрим через год-два...
Бесполезно. Как и везде 1% самых талантливых машина не заменит.
А вот то то самое, чего требует экономика, порождается уже сегодня замечательно.
Тут всё просто:
1. Не называйте говно говном© :)
Замечательно! Лично меня пугает скорость прогресса.
Эта штука уже поёт/играет лучше, чем 90% людей.
Кому и кобыла невеста©
Такие ссылки нужно в пятницу постить!! Дякую!!! пусть сегодня будет пятинца!
Языковая модель скорее заменит гуманитариев :) Тот кто освоит ChatGPT-5/Claude 3/ и т.д. - тот будет востребован в ближайшие 3-5 лет.
Большая ошибка думать, что ChatGPT знает ответы на все вопросы. Это не так. ChatGPT просто отгадывает следующее слово (это совсем упрощенно). Например: В лесу родилась ?...? В лесу она ?...? ChatGPT на основании обучения ответит: "ёлочка" и "росла".
ChatGPT - это инструмент. Если умеешь им пользоваться, то он чрезвычайно полезная штука. Он позволит кратно увеличить Вашу производительность. Для этого разрабатывается методика общения с ChatGPT - ПРОМПТ инжиниринг, методика задавания вопросов ChatGPT для получения эффективного ответа.
Следует учитывать, что это только начало. В качестве аналогии можно привести историю автомобиля. Начиналось все с деревянных повозок на которых был установлен паровой котел :) А что сейчас?
Я использую ChatGPT как помощника. Прошу его задать мне вопросы по теме которой я занимаюсь. После чего я либо знаю ответы, либо изучаю ответы на неизученные ранее вопросы. Это резко повышает компетенцию и позволяет рассмотреть тему со всех сторон, а не только с очевидных.
С 1 апреля ChatGPT-3,5 турбо можно использовать без телефона (через VPN) имея только Гугл аккаунт. Очень классная штука. Рекомендую.
Именно так. Но проблема в том, что ожидалось-то ровно обратное. Ибо последние лет 20-30 народ нифига не шёл в STEM, потому что считалось, что “гуманитарная одарённость” (к которой, зачастую, приравнивали неумение использовать логику в сочетании с хорошо развитым умением пороть чушь, не краснея) кормит сытнее.
И тут, внезапно, оказалось, что “гуманитарную одарённость” замечательно засунули в комп, а вот умению решать логические задачи (вернее, находить логические задачи в неформально описании задачи) его как-то, блин, не получается научить.
Это очень смешно, потому что, внезапно проваливаются просто почти все те услуги, которые и составляют огромный процент ВВП так называемых развитых стран.
Нужно чётко и однозначно понимать это НЕ сильный ИИ. Это огромный шаг к нему (потому что это прорыв в работе с токенизированными данными и позволяет использовать уже накопленную человечеством базу данных хотя бы как интерфейс запроса - например, при генерации картинок или при отдаче приказов роботам). Но это НЕ интеллект.
Как справочник его тоже нужно использовать ограниченно: дело в том, что способ построения ответа завязан на вероятности появления слов в тексте. Если обучающие примеры недостаточно освещали ГОСТы (что легко ожидать - их же создателям модели ещё нужно найти и затолкать в корпус обучающих текстов :)), то машина будет нести хрень. А понять этого она не может (ну или придётся сильно сократить её возможности выдавать произвольные тексты с фантазией). Текущие БЯМ вообще не отличают выдачу и компиляцию реальных (исходных) данных и свою чистую фантазии, потому что для БЯМ это одно и то же - её фантазия на основе исходных текстов. Если обучающих текстов было достаточно, то фантазии совпадут с реальностью, если нет, то - ... Это то, над чем сейчас работают, идеи есть.
...
Что касается обучения - это не так даже для ЧатГПТ (который точно имел бОльшую часть текстов на английском). Просто иначе ЧатГПТ не "знал" бы русского языка. Текстов на русском тоже было очень много даже там, хотя заведомо меньше, чем на английском.
Что касается других моделей - тут уж как и на чём обучили, сколько машинного времени и денег не жалко было тому же Сберу потратить. Ессно, что им проще взять уже готовую модель и дообучить, но это вопрос, скорее, их жадности, чем чего-то ещё. Им никто не мешает собрать чисто свой датасет и обучить свою модель с нуля.
Что касается рисовальщика - они тупо схалявили передрав открытую модель (и даже не код, а обученную модель). Это не то чтобы "сберовский" рисовальщик. Ну, запустили они его на своих серверах, так и что?
Справедливости ради, В ГОСТах иногда такая чудь встречается
Читайте оригиналы от ISO, ASTM, DIN
Да хоть обчитайся, ссылаться-то приходится на ГОСТы.
И курсовик и диплом пишутся офигительно. Причём по любому предмету. Проверено на практике.
Но писать должен человек. Вот описываете коротенько, сжато, почти из-за этого нечитаемо, что вы сделали, засовываете ваши 3-4 странички текста в ChatGPT, нажимаете кнопку, вжик — и отличный диплом на 100-300 страниц готов. Никакого плагиате, неплохо построенные фразы, всё очень подробно.
Причём вот даже не диплом для галочки, а реально это зачастую получается читабельнее, чем голые факты, которые вы в ChatGPT засунете.
Но вот чтобы что-то придумать — нет, это не их профиль. Этого оно не умеет. Пока?
Я много раз такое про китайцев слышал, ага...
В телеге был один пример, ЖоПуТ попросили выдать формулу Ветчинкина, она нагенерировала страницу текста с разными рассуждениями, привела какую-то формулу с фамилией отдалённо похожей на требуемую, но по существу не ответила.
Обычный яндекс по запросу "формула Ветчинкина" на первой же странице ответа выдаёт ссылку на документ с этой формулой.
Действительно, фигня вопрос! У нас тут мимо ходят толпы знающих!!!
А мужики то ....
Действительно - фигня.
Интернет же есть. Ну, форумы там всякие, поиск - вот Гугл, Яндекс, например. Слышали про такое?
ЧТД, напр. АШ.
Нах мне рыться в свалке гугеля, если ты сразу прибежал и всё объяснил.
Я глупо поступил, по-твоему?
Ну и у ГПТ бесплатной версии 3,5 последнее обновление 2022г датировано и вообще по функционалу он ограниченный, это любой школодрон вам расскажет.) Ну или у чата могли бы и спросить.
Там много чего интересного всплыло.
Как человек, несколько причастный к нейросетям, попробую "на пальцах по-монтёрски" немного пояснить.
======================
1. Ноги растут у всех этих LLM (больших языковых моделей) из старой-престарой задачи угадывания следующего символа в последовательности. Так на заре цивилизации практически измеряли энтропию реального языка на букву. Результаты же (действительно мощные и во многом неожиданные даже для разработчиков) получились применением "принципа большого молотка" - контекст модели удлинили до бесчувствия.
Но из первичной формулировки видно, что ГоПоТа будет отвечать "наиболее вероятно", то есть - как большинство пишущих тексты. Отсюда уже должно быть ясно, что никакого творчества от ГоПоТы ждать не надо, но заметить некоторые неочевидные связи она может (та самая длина контекста, кратно превосходящая длину средней фразы).
2. Пока еще интернет заполнен текстами, написанными в основном людьми. Но доля текстов "от LLM" растет ширнармассы пользуются ими, а "Гугл-кэш помнит всё". Однако настораживает аналогия из биологии: ни один вид не может питаться собственным дерьмом (чужим - может).
А LLM надо постоянно актуализировать - хотя бы потому, что меняются фамилии президентов стран. И эта актуализация, т.е. дообучение сильно страдает от питания собственным продуктом. Поэтому стали появляться публикации о попытках распознать текст от LLM (отличить от текста, написанного человеком) - аналог детектора синтезированных фото/видео/речи - Гитхаб переполнен такими проектами.
3. Совсем уж далекие от темы ширнармассы недавно бились в истериках типа "ИИ вытеснит кожаных мешков из жизни", "ИИ овладел творческими профессиями" и т.п.
На самом деле, успешный опыт написания ГоПоТой курсовиков и сдачи экзаменов показывает скорее то, что для большинства занятий, считаемых "интеллектуальными" интеллект не нужен.
Пример - чудесная такая профессия techwriter. Человек пишет "руководство оператора" к разработанной программе по информации, полученной от разработчиков. Успешно заменен ГПТ, но причем тут творчество???
Может следующее поколение нейросеток, которое будет смотреть не только в интернет, но и в реальный мир научится творить?
На самом деле различие между реальным миром и миром текстов - минимально.
Проблема именно в том, что ГПТ действует "как все" - какое уж тут творчество.
Как я понимаю, проблема в том, что ГПТ стремится угодить человеку, а не ответить на вопрос правильно. Примерно таким был мой знакомый советский экономист, который на просьбу посчитать экономический эффект от какой-нибудь приблуды спрашивал: А сколько нужно?
Если нужен был положительный эффект - он его "делал", если отрицательный - запросто. Если нужен был очень большой положительный - вот тут прям нужно было ТВОРЧЕСТВО. )))
Соответственно если обучить ГПТ арифметике на уровне 5х5=25, 6х6=36 - он так и будет решать задачи.- 7х7=47, 8х8=58, 9х9=69. )))
Одним из опасений на старте ChatGPT было то, что в самом начале он так и делал: 5х5=25, 6х6=36, 7х7=47, 8х8=58, 9х9=69.
А затем самостоятельно обучился считать :5х5=25, 6х6=36, 7х7=49, 8х8=64, 9х9=81.
Чему он ещё сам научится?
Страницы