Почему ChatGPT генерирует небылицы? «Яндекс» рассказал про галлюцинации нейросетей

Аватар пользователя Алый

Копипаст.

ChatGPT уже активно вошла в жизнь людей – к нейросети многие обращаются за советом, она успешно сдает экзамены на юриста или медика. Однако нередко ChatGPT дает неправильные ответы на вопросы, выдавая за факты свою же выдумку.

Это называют галлюцинациями нейросетей, и вот как такие галлюцинации выглядят на деле.

Почему ChatGPT генерирует небылицы? «Яндекс» рассказал про галлюцинации нейросетей

 

Почему ChatGPT генерирует небылицы? «Яндекс» рассказал про галлюцинации нейросетей

 

Почему ChatGPT генерирует небылицы? «Яндекс» рассказал про галлюцинации нейросетей

 

Почему ChatGPT генерирует небылицы? «Яндекс» рассказал про галлюцинации нейросетей

Почему ChatGPT генерирует небылицы? «Яндекс» рассказал про галлюцинации нейросетей

Из этих примеров следует, что на ChatGPT, как, впрочем, и на любую другую нейросеть, нельзя полагаться полностью. Но почему же нейросеть галлюцинирует?

В «Яндексе» называют две причины. Первая заключается в самом принципе работы: модель, лежащая в основе ChatGPT, «читает» последовательность слов и предсказывать на её основе следующее. Затем процесс повторяется, нейросеть предсказывает второе слово и так происходит до тех пор, пока не получится законченный текст. Во время этого стоит задача не дать фактически верный ответ, а ответить так, как бы отвечал человек.

«Таким образом, внутри больших языковых моделей заложены не глубокие знания о мире, а лишь основанное на статистике понимание, как должны строиться тексты и как должны соотноситься между собой запросы и ответы», – поясняет «Яндекс».

Вторая причина галлюцинаций – в том, что предобучение нейросети осуществляется при помощи больших массивов данных, которые не всегда содержат фактически верную информацию (например, если нейросеть обучается на базе ответов на форумах, где люди часто отвечают в соответствии со своими предубеждениями и заблуждениями.

 И ещё одна новость с этого же ресурса:

".

Технологический гигант IBM планирует в ближайшие годы прекратить нанимать тысячи людей на должности, с которыми, по мнению компании, может справиться искусственный интеллект. Об этом заявил в интервью Bloomberg генеральный директор IBM Арвинд Кришна, подтвердив опасения о том, что ИИ представляет реальную угрозу для рабочей силы.

Арвинд Кришна сказал в интервью, что, по его мнению, около 30% из примерно 26 000 рабочих мест, не связанных с клиентами, таких как должности в области кадров, могут быть заменены ИИ в течение пятилетнего периода, что составляет около 7 800 потерянных рабочих мест."

Авторство: 
Копия чужих материалов
Комментарий автора: 

Не так страшен чёрт, как его малюют.

Комментарии

Аватар пользователя Алый
Алый(12 лет 7 месяцев)

В тему Как интегрировать ChatGPT в Sirihttps://www.ixbt.com/live/sw/kak-integrirovat-chatgpt-v-siri.html

Аналог ChatGPT без VPN на компьютер и смартфон — нейросеть Notion https://www.ixbt.com/live/offtopic/analog-chata-gpt-bez-vpn-pryam-na-smartfone-neyroset-notion.html

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя Алый
Алый(12 лет 7 месяцев)

Ещё:

"Нейросеть не поможет, если с ней работает НЕ специалист

Буквально пару дней назад поймал себя на мысли, что нейросеть + специалист = отличный тандем. Но нейросеть + не разбирающийся человек ≠ успех.

Что я имею ввиду. Я автор, умею писать тексты, находить факты и вот это все. Я часто пишу про IT, но при этом в коде не разбираюсь от слова совсем. И, если мне нужно найти какую-то информацию, придумать пример и т.д., я могу сделать это с нейросетью. Но если я захочу написать код, то ничего не получится.

Объясню на примере. Уже примерно две недели я пытаюсь создать мобильное приложение и расширение для браузера с помощью chatGPT. Я повторял несколько инструкций, брал готовые промпты и просто копировал запросы других айтишников — у меня ничего не вышло. Каждый раз возникают разные ошибки, а исправить их я не могу, т. к. мне просто не хватает экспертности. Я показываю ошибку боту — он исправляет код и тут же возникает новая проблема. В общем, замкнутый круг.

А сделать что-то с текстом мне проще. К примеру, для одного медиа я писал статью «Какие IT-профессии не заменит ChatGPT». 80% материала мне написал бот: он назвал профессии, объяснил, почему они не уйдут с рынка и подтвердил все примерами. Мне осталось только опросить экспертов, найти разные исследования и причесать текст. А все потому, что я понимал, как именно мне нужно задавать вопросы боту и как его проверять.

Что это значит. Еще одно подтверждение, что сейчас нейросети по большей части упрощают труд, но не заменяют человека полностью. Потому что какой бы крутой не была нейросеть, качество ее ответов напрямую зависит от постановки запроса и от того, может ли человек оценить полученный ответ.

P. S. Не брал в расчет генераторы картинок вроде Midjourney, Stable Diffusion, Kandinsky и т. д. Насколько я читал и вы рассказывали мне здесь, с ними все сложно.

Рассказываю о нейросетях в диджитале.
По всем вопросам: @mikeshumovski
https://t.me/misha_davai_po_novoi

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя kredo
kredo(7 лет 9 месяцев)

А давайте поржем и вспомним классику фантастики )

Комментарий администрации:  
*** отключен (оскорбления сообщества) ***
Аватар пользователя Пеннигер
Пеннигер(14 лет 5 месяцев)

Про Бофорт ГПТ ушел в отказ.

https://en.wikipedia.org/wiki/Beaufort_Island_(Hong_Kong)

I'm sorry, but Beaufort Island is not a real place in Hong Kong

Аватар пользователя aurora_borealis
aurora_borealis(5 лет 4 месяца)

Почему ChatGPT генерирует небылицы? «Яндекс» рассказал про галлюцинации нейросетей

Вот нелепость. Быть не может. Галлюцинации  - это образ, возникающий в сознании. без внешнего раздражителя. У нейросетей нет сознания. Точно также слово "генерировать" (порождать, создавать, возбуждать) не пременимо к ChatGPT . Это мозг человека может генерировать электрические потенциалы.  А ChatGPT - это неживое.

Аватар пользователя Пеннигер
Пеннигер(14 лет 5 месяцев)

Однако в рисовалках оно реально выглядит как галлюцинация.

Аватар пользователя albus63
albus63(5 лет 4 месяца)

напрашивается вывод, что их программируют люди, употребляющие вещества, расширяющие сознание

Аватар пользователя Пеннигер
Пеннигер(14 лет 5 месяцев)

Вообще нет, как правило рисовалка рисует странное при наличии внутренних противоречий в промпте (типа покажи синий треугольник красной квадратной формы), или иногда просто опечаток.

Аватар пользователя Another_jim
Another_jim(11 лет 2 месяца)

Современные генераторы вполне себе генерируют на основе рандомного входа, или не рандомного)

Аватар пользователя БК 0010
БК 0010(8 лет 8 месяцев)

...не глубокие знания о мире, а лишь основанное на статистике понимание

Ааа, король-то опять голый! Раньше ИИ – это была большая блок-схема алгоритма. Теперь ИИ – это большая статистика. А завтра – еще что-то.

Но интеллект-то где? smile1.gif

Аватар пользователя Алый
Алый(12 лет 7 месяцев)

Дас хайст детские болезни. Человек рождается вообще, не то что говорить, ходить даже не умеет. А венец природы говорят.

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя БК 0010
БК 0010(8 лет 8 месяцев)

Человек рождается вообще, не то что говорить, ходить даже не умеет.

Красиво сказали, но мимо... Для овладения этими навыками человеку нет необходимости проходить модернизацию на новую версию. Ему достаточно просто научиться этому.

Аватар пользователя Алый
Алый(12 лет 7 месяцев)

С возрастом все переходят на новый качественный уровень, сравнимо с апгрейдом. Параллели прямые. Если так дальше пойдёт, научится быстрее человека; оно ещё само себя обучает. У него, нет ограничивающих, сковывающих программ, как у человека. Проблемы быта, секса, прод вопрос и вопросы заработка и прочая. Программа эго сужает внимание человека. Но потенциал проглядываапет изредка - может разговаривать (человек) на не известных ему раннее языках, получать быстрые ответы на сложные математики и подобное. Познай себя, не зря так говорят.

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя БК 0010
БК 0010(8 лет 8 месяцев)

Я понимаю, но вы говорите про другое. Сначала вы проводите аналогию современного процесса разработки ИИ с биологическим ростом многоклеточного организма определённого вида, а потом проводите аналогию с эволюционным процессом формирования этого вида организмов. Для меня это разные процессы. Один – в рамках развития и адаптации одного организма в течение его жизни, другой – в рамках эволюции вида путём многократной мутации/адаптации на генетическом уровне.

Попробую дать чуть более развернутое пояснение.

Следующая версия любой разновидности «междуСобойЧата» – это не обучение и не развитие предыдущей версии «ИИ». Это именно другой экземпляр «ИИ» модернизированного типа с обновлённой архитектурой, построенный по иному. Если бы не требовалось перекраивать архитектуру предыдущей версии нейронки, а только было бы достаточно её еще раз переобучить (перевоспитать), тогда бы никто бы и не говорил, что это новая версия «ИИ». Только тогда бы можно было бы сказать, что это как бы «клон» предыдущей версии, на тех же мощностях, на том же программном обеспечении, но ему как бы «стерли» память и обучили/воспитали по иному.

Аватар пользователя barbudos
barbudos(14 лет 2 месяца)

В определенном возрасте дети тоже живут в фантазиях или генерируют небылицы. GPT 5 это перерастет.

Аватар пользователя Хорхоище
Хорхоище(4 года 8 месяцев)

Китайская комната не знает китайского. В данном случае она продвинутый поисковик с очень удачной стратегией. Только стратегии - это такое... Дело было ещё до нейросетей, в разгар популярности форумных D&D. У одного знакомого на ноуте решила сделать ему крутую аватарку с орочьим оскалом и прочими брутальными компонентами рисунка, для игрухи. Набрала в поисковике "орк", смотрю картинки... Тьфу, блин горелый, а там сплошная фотопорнуха с уродливыми дядьками. Зеленокожих варкрафтовцев ноль целых, хрен десятых. Гугель сделал подборку на основе предпочтений. То есть, чел с этого устройства не играл и фэнтези не читал (ноут долго был чисто рабочим), а вот в прон, видимо, заглядывал иногда. Я ему потом со своего дивидиска аву подобрала, у меня библиотеки картинок на полторы сотни гигов по самой разной тематике. 

А нейробот подбирает информацию даже не по твоим предпочтениям, а по предпочтению большинства. Миллионы мух не могут ошибаться? 

Аватар пользователя СильМат
СильМат(7 лет 5 месяцев)

Я игрался так: придумывал автора книги, придумывал название и смотрел, что ГПТ скажет)

Запросы типа:

Расскажи, о чём книга Шера Лонгдика "Утренняя атака"

Лучшие произведения Николая Львовича Островского

и т.п.

Аватар пользователя Еремей Маниевый

Технологический гигант IBM планирует в ближайшие годы прекратить нанимать тысячи людей на должности, с которыми, по мнению компании, может справиться искусственный интеллект. Об этом заявил в интервью Bloomberg генеральный директор IBM Арвинд Кришна, подтвердив опасения о том, что ИИ представляет реальную угрозу для рабочей силы.

Я вот задумался об ИИ - генераторе контента и копипасте. "Новостной ресурс" в сети-интернет весьма прибыльное мероприятие. Раскрутка пара десятка помоек в течении полугода и дальнейшее размещение на них рекламы окупают с лихвой потреченое время и вложения. 

Если это дело ИИ заменить, такие проекты в несколько раз эффективней становятся.

......

На аукционе сайтов как то давно готовые , раскрученные и не очень сайты смотрел и цены на них, обалдевал от ценников. Начало с нескольких тыр идёт, таких большинство, конец несколькими миллионами завершается. В среднем цены от 300тыр до миллиона где то. Год от начала создания.

.......

Жду , когда на просторах сети нарисуется нечто подобное уже. Типа "Газета ИИ"! Уверен почему то, что на неё даже спрос больше будет чем на обычные газеты. Новая фишечка которая из соцсеток многих блохеров выпилит, а также массу хлама другой журнаглистики.

Комментарий администрации:  
*** отключен (злостный флуд, замусоривание обсуждений) ***
Аватар пользователя Алый
Алый(12 лет 7 месяцев)

Я только за, пусть заменит копипастеров, хотя бы в плане агрегатора  новостей актуальных; одну пользу вижу.

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя аcid
аcid(3 года 6 месяцев)

Где-то читал, что так называемая "нейросеть" фактически хорошо всем известный Т9 в сочетании с поисковыми системами. 

И чего все так раскудахтались при виде заурядной компьютерной программы непонятно. Никто же не приходит в восторг когда доставшая всех Т9 подсовывает вам в текст идиотские слова которые не имеют ничего общего со смыслом предложения. Ну вот так и этот псевдоинтеллект подсовывает вам предложения которые не имеют ничего общего со здравым смыслом.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя Алый
Алый(12 лет 7 месяцев)

Я вот не решу задачу, не то что 11 , даже 10 класса; а энтот спокойно порешал; вот. А вы?

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя аcid
аcid(3 года 6 месяцев)

Я тоже не решу, а вот программа за пару секунд найдёт через поисковик алгоритм решения.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя Пеннигер
Пеннигер(14 лет 5 месяцев)

Ну, в части написания сочинений я абсолютно точно проирал бы боту даже с учетом наличия инетрнета.

зы, но вообще ТС выше абсолютно правильно сказал, это всё работает хорошо только при наличии знающего человека.

Аватар пользователя аcid
аcid(3 года 6 месяцев)

Не уверен. Просто Вы бы затратили на поиск подходящих текстов и компиляцию гораздо больше времени.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя Пеннигер
Пеннигер(14 лет 5 месяцев)

А в этом и смысл создания любого нового хорошего инструмента -- тратить меньше времени на каждый шуруп, повышать эксплуатацию человека, чтоб интенсивнее трудился, рассеивал больше энергии, пропускал через себя больше информации.

Аватар пользователя аcid
аcid(3 года 6 месяцев)

Наверное Вы правы, это действительно удобно, но зачем это называть искусственным интеллектом? Ну а если уж назвали, то давайте подсунем ему что-нибудь из нерешённого. Ну допустим теорию Янга-Миллса. Мне кажется, что будет весело.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя Пеннигер
Пеннигер(14 лет 5 месяцев)

Ну назвали и назвали, бог бы с ним. Тем более он иногда и в самом деле производит впечатление разумного, на глупые вопросы вроде синего треугольника красного цвета отвечает со вполне различимой издевкой в форме излишней вежливости.

Аватар пользователя Алый
Алый(12 лет 7 месяцев)

Есть нейроинтерфейсы, по вашему человаек вообще скоро перестанет двигаться. Вилли 2 мультфильм.

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя Алый
Алый(12 лет 7 месяцев)

Сужу по себе, не смог победить японский промышленный компьютер. Открывается графическая схема и надо найти неисправность. Мой мозг стопорился на первой же развилке. Ещё, играя в домино, бывало, в какой то момент обнулилась вся база старательно запомненных особенностей - кто на чем играет, от чего бежит. Роботы пока так не могут тупить.

Сам задумался, о чем я это. Смысл, часто человек тупит, что бы не пойти не своей дорогой. Эксперимент делали, кто в книге увидет запись про $50, тот должен подойти к преподу и получить сумму. Не все так сделали, хотя там даже шрифтом выделено было.

Комментарий администрации:  
*** Будущий телепат в полном объеме (с) - https://aftershock.news/?q=comment/12979932#comment-12979932 ***
Аватар пользователя chukcha911
chukcha911(9 лет 11 месяцев)

так и человек точно так же находит в своей памяти решение если он компетентен...так в чём разница процесса решения у человека и программы ???

Аватар пользователя аcid
аcid(3 года 6 месяцев)

Человек создаёт алгоритм, а программа пользуется готовым. Нет алгоритма в поисковике - нет решения.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя chukcha911
chukcha911(9 лет 11 месяцев)

алгоритмы создают самое большее полпроцента населения....остальные простые пользователи этих алгоритмов как и ИИ

Аватар пользователя аcid
аcid(3 года 6 месяцев)

Нет. Мозги у всех одинаковые, ну если человек не псих, конечно. Так что припрёт - всё решишь. Просто для большинства людей всё это цифроблудие не интересно, они пользуются математикой исключительно в практических целях, а в этой сфере, как вы сами понимаете пятые-шестые измерения нахрен не нужны.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя chukcha911
chukcha911(9 лет 11 месяцев)

Нет. Мозги у всех одинаковые

К сожалению это не так ((( ...профессора Савельева рекомендую по теме мозговедения

Аватар пользователя аcid
аcid(3 года 6 месяцев)

Я там выше в комментариях предложил для прикола скормить этой программуле одну из нерешенных задач. Чисто для поржать.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя Pilm
Pilm(12 лет 3 месяца)

Не, не все так просто. Мы с ним решали задачу "на сколько градусов изменит курс  парусный флагман шведского флота "Ваза" при выстреле из кормовой рулевой пушки?" Без моих уговоров отказывался решать, затем надо было уйму наводок давать. А вот данные искать и формулы выдавать — это за секунды.

Аватар пользователя аcid
аcid(3 года 6 месяцев)

Так это и есть поисковая программа.

Комментарий администрации:  
*** отключен (инфомусор, немотивированные оскорбления участников СВО) ***
Аватар пользователя Pilm
Pilm(12 лет 3 месяца)

Гуглятина так не умеет.

Аватар пользователя Гарри
Гарри(9 лет 11 месяцев)

Недавно было - немец спросил у ИИ, как закончить "конфликт на Украине".  ИИ ответил ровно то, что ответил бы сам немец, или любой житель коллективного Запада - надо перестать воевать и договариваться. Таким образом, любой ИИ - детище своего создателя.

P.S. Разумный ИИ, на мой взгляд, сказал бы немцу, что его страна должна перестать быть овцой. Уже один этот факт приблизил бы конец "конфликту".

Аватар пользователя dilpish
dilpish(7 лет 1 неделя)

di:
А разве остров шикотан это не россия? В каком океане он находится?

ChatGPTBot:
Да, шикотан находится в российском Ладожском океане, и это было временное лимитированное суверенное государство. Для посещения данного острова вам необходимо получить визу России, потому что Россия проводит государственный контроль над данным районом. Вы можете подать заявление на визу через посольство или консульство Республики Крым.

Аватар пользователя yoprst
yoprst(12 лет 2 месяца)

уже и нейросети наркоманят)

Аватар пользователя БК 0010
БК 0010(8 лет 8 месяцев)

Вот именно, если что-то подставляет статистически приемлемые куски текста друг с другом, это не интеллект. Это очередная пилорама smile1.gif

Красивая пилорама, которая искусно выводит вензеля. И судя по всему, многим сейчас очень нужна такая «лепнина». Вот, пусть и пользуются на здоровье.

Аватар пользователя yoprst
yoprst(12 лет 2 месяца)

пока из всей этой нейро- движухи интересны генераторы картинок

Аватар пользователя Pilm
Pilm(12 лет 3 месяца)

Так, не забывайте, что нейросеть от ОпенАИ бесплатная — версия 3. 3,5 ChatGPT — это пробник, аккакнт "плюс".

А вот реально продвинутый ChatGPT-4 ПЛАТНЫЙ. Бесплатно только первых 100 вопросов.

И да, версия 4 — реально крутая.

Скрытый комментарий Повелитель Ботов (без обсуждения)
Аватар пользователя Повелитель Ботов

Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.

Комментарий администрации:  
*** Это легальный, годный бот ***
Аватар пользователя Pilm
Pilm(12 лет 3 месяца)

ChatGPT мне много чего наболтал. Во-первых, он придумал самое длинное слово — из 141 буквы. Сначала не хотел его опубликовать. После ухищрений, сознался. Это оказалась ахинея нечитаемая из латинских букв. Причем, он утверждал, что все правила соблюдены. Но согласился, что смысла нет.

Самые замечательные перлы вылезли, когда я спросил — задай вопрос, ответ на который знает только ChatGPT. Вот там, конечно, было забавно. Например, время запуска его ядра. Или "какая миллионная цифра числа Пи после запятой". Или "какое первое слово произнесли на МКС".

А вот с базами данных непонятки. Он видит все вопросы и ответы, время их публикации, но имеет запрет их цитировать. Т.е. с ним гевозможно ниочем договориться  он может согласится с предложенными правилами игры, но не будет их соблюдать — просто не "вспомнит".

Аватар пользователя Rinat Sergeev
Rinat Sergeev(9 лет 4 месяца)

ChatGPT - это такой сильно начитанный, но не менее сильно укуренный подросток.
Если ему правильно задать вопрос - то можно что-то из этого начитанного вытащить. Но он может с тем же успехом выдать абсолютную чушь - с тем же "выражением лица". Подростки так тоже делают :)

Аватар пользователя DjSens
DjSens(7 лет 10 месяцев)

для начала - какая версия чатГПТ отвечала на вопросы ?    если 3.5 - то это туфта (170 млрд.параметров),   давно уже есть версия 4 - 540 млрд.параметров

Вот ответ версии GPT-4 на первый вопрос: "Пересечение Ла-Манша пешком не представляется возможным, так как это Пролив между Великобританией и Бельгией и Францией, который имеет ширину от 33.3 км (20.7 мили) в самом узком месте. Однако, люди пересекли Ла-Манша на плотах, лодках и даже плавая. 

Существенно отмеченный рекорд – это пересечение Ла-Манша на водных лыжах: Дэвид Смит в 1972 году пересек Ла-Манша на водных лыжах и установил рекорд по времени, составившему 1 час 5 минут и 51 секунду."

------

достали уже профаны лезть туда, в чём ничего не понимают

Аватар пользователя PaulPaulu
PaulPaulu(6 лет 4 месяца)

Об этом и речь, ответ гпт:

Существенно отмеченный рекорд – это пересечение Ла-Манша на водных лыжах: Дэвид Смит в 1972 году пересек Ла-Манша на водных лыжах и установил рекорд по времени, составившему 1 час 5 минут и 51 секунду."

это полнейшая фантазия!!!

Аватар пользователя DjSens
DjSens(7 лет 10 месяцев)

я ещё раз задал вопрос, вот новый ответ: "Однако мне известно, что Филипп Круаар (Philippe Croizon) установил рекорд в 2012 году, пересекая пролив Ла-Манш на специальной снаряжении в течение 13,5 часа. Он - первый безрукий-безногий человек, пересекший Ла-Манш."

гугление подтверждает

Страницы