ChatGPT часто и уверенно дает программистам плохие советы, которые кажутся очень полезными

Аватар пользователя eprst

Как показали результаты исследования, проведенного американскими учеными, полагаться на ChatGPT в вопросах написания программ может быть не слишком хорошей идеей. Вероятность получить сгенерированный ботом код с ошибками пиблизительно равна шансу выпадения «орла» при подбрасывании монеты. Люди склонны не замечать этих ошибок из-за приятного тона и уверенности, с которой чат-бот излагает материал.

ChatGPT ошибается постоянно

Чат-бот ChatGPT более чем в половине случаев дает неверные ответы на вопросы по теме программирования, пишет The Register со ссылкой на результаты исследования, проведенного учеными Университета Пердью (штат Индиана, США). При этом даже некорректная информация, выданная детищем компании OpenAI, нередко воспринимается его пользователями как достоверная.

Команда исследователей проанализировала ответы ChatGPT на 517 вопросов, размещенных на популярной платформе для программистов Stack Overflow на предмет их корректности, последовательности, полноты и лаконичности. Специалисты также провели лингвистический и сентимент-анализ (анализ тональности) текста, выдаваемого ботом.

Затем участникам исследования в составе группы из 12 человек с различным опытом в сфере разработки программного обеспечения было в частности, предложено, определить, какой из ответов – данный ChatGPT или реальным человеком с платформы Stack Overflow – является правильным.

Исследование показало, что в 52% случаев ответы ChatGPT на вопросы, связанные с написанием программного кода, содержали ошибки. Тем не менее в 39,34% случаев эти ответы (77% из которых названы подробными) оказались в достаточной степени убедительными для участников исследования, поскольку отличались полнотой и были четко сформулированы.

ChatGPT верят даже тогда, когда он очевидно неправ

Из препринта работы под названием “Who Answers It Better? An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Software Engineering Questions”, опубликованного на площадке arxiv.org, также следует, что участникам исследования удавалось обнаружить ошибки в выдаче чат-бота OpenAI лишь тогда, когда они были совершенно очевидными.

Однако в случаях, когда для выявления ошибки было необходимо обращение к документации или к инструментам разработчика (например, к интегрированной среде разработки; IDE) с целью проверки работоспособности предложенного фрагмента кода на практике, участники исследования часто не справлялись с поставленной задачей вовсе или были склонны недооценивать серьезность ошибки.

Даже в ситуациях, когда ошибка в ответе ChatGPT оказывалась вопиющей, двое из 12 участников исследования отдавали предпочтение рекомендациям бота, а не пользователя Stack Overflow. По мнению авторов научной работы, такое поведение подопытных обусловлено формой подачи материала чат-ботом. Участникам исследования, как выяснилось, импонировали вежливость ChatGPT, точность использованных им формулировок и его стремление придерживаться научного стиля речи. Эти стилистические особенности, генерируемого чат-ботом текста, в совокупности с развернутостью предлагаемых им ответов убедили испытуемых в их правильности.

Вежливость – лучшее оружие чат-бота

По словам Самии Кабир (Samia Kabir), соавтора научной работы, одной из главных причин, по которой пользователи доверяют ответам ChatGPT, является их развернутость. Участники исследования были не возражали против ознакомления с длинным и насыщенным подробностями текстом, если тот содержит ценные сведения.

Позитивный эмоциональный окрас генерируемого ботом текста и его вежливость – два других, не менее важных фактора, оказывающих влияние на выбор пользователя.

Наконец, та уверенность, с которой ChatGPT преподносит информацию, порой неверную, вызывает у пользователей доверие и в результате склоняет к выбору неправильного ответа.

ChatGPT склонен к концептуальным ошибкам

Среди прочих любопытных наблюдений, зафиксированных в работе, – склонность ChatGPT к совершению концептуальных ошибок и в гораздо меньшей степени – фактологических, что обусловлено непониманием ботом контекста заданного ему вопроса.

В мае 2023 г. CNews писал о том, что американский юрист Стивен Шварц (Steven Schwartz) использовал ChatGPT для подготовки документов по иску к компании Avianca. Попытка упростить свой труд с помощью алгоритмов обернулась для адвоката катастрофой – разработка OpenAI снабжала его недостоверной информацией, о чем опытный юрист даже не догадывался.

При этом на своем официальном сайте OpenAI предупреждает о том, что ChatGPT «может давать неточную информацию о людях, местах и фактах».

Что такое ChatGPT

ChatGPT – чат-бот с искусственным интеллектом на базе языковой модели GPT. Он работает с ноября 2022 г. и принадлежит американской компании OpenAI, в которую инвестирует корпорация Microsoft.

Авторство: 
Копия чужих материалов

Комментарии

Аватар пользователя Assert
Assert(8 лет 7 месяцев)

Всем людям знакомым с темой, это было понятно изначально. Что эту хренатень нужно применять очень осторожно и только там, где достоверность ответа не имеет значения. Бот Мудак с большой буквы.

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Т.е. нигде, кроме демок для студентов. Это если мы про программирование говорим.

Аватар пользователя Tinkle Bell
Tinkle Bell(7 лет 5 месяцев)

Вообще-то это говорит об уровне разработчиков чата.

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Он просто для другого разрабатывался. Поговорить (початиться), т.е. поиграться словами так, изображая диалог, смысл и понимание. В целом - удалось.

Конечно, есть нюансы и область применимости, как и для любой технологии. Прикрутить ее к написанию кода - больше игрушка на "попробовать". Опять же, скорее замена поиску по интернету.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Он просто для другого разрабатывался. Поговорить (початиться), т.е. поиграться словами так, изображая диалог, смысл и понимание

Вообще-то совсем не для этого. Вы хотя-бы просто аббревиатуру расшифруйте

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Ну расшифруйте ChatGPT

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Вас в гугле забанили?

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Ну так вы ж предложили расшифровать. Расшифровывайте.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Ума не приложу каким образом вы "расшифруйте" читаете как "я вам расшифрую".

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Ну дык принято за свои слова отвечать. Чего вы меня просите расшифровать, если сами не можете?

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

И снова непонятно как у вас "расшифруйте" превращается в "а то я не могу".

Но у вас какая-то специфическая лень: три буквы в поисковике набрать лень, а строчить идиотские комментарии на АШ на эту тему - не лень

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Вам расшифровка зачем нужна? Чтобы какую-то свою мысль продемонстрировать. Типа, я не прав.

Вот и иллюстрируйте.

А пока от вас ноль информации.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Ещё раз, для танкистов: мне расшифровка не нужна, т.к. я её знаю. Если и вы хотите узнать что такое chatgpt - хотя-бы расшифруйте эту аббревиатуру

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Ее расшифровку тоже знаю. Дальше что?

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Дальше то, что он не "разрабатывался для поговорить, изображая диалог, смысл и понимание", как вы оппонируете собеседнику, утверждая, что "для другого разрабатывался". 
Если же этот "генератор/трансформатор" обсуждать в таком контексте - то он создавался в том числе (в числе миллионов позиций) и для написания кода. Но друзья, участвующие в разработке ИИ, назвали его неким "интерфейсом обучения", и это не обучение людей

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Ерунда. Читайте первоисточники.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Остапа понесло?
Первоисточники чего?

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Первоисточники ChatGPT, очевидно. Например. название.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Например. название.

Так я с самого начала вам это говорю. Это вы впихнули "создавался для поговорить"

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Chat - и есть чат, поговорить.

Об этом же на сайте OpenAI и написано.

ChatGPT is an AI-powered language model developed by OpenAI, capable of generating human-like text based on context and past conversations.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

"Чат" - это просто беседа, тип собеседника как раз зашифрован в gpt, которые вы упорно не хотите расшифровывать.
Я вас наверно удивлю, но когда я беседую со специалистом, консультируясь насчёт создания чего-либо - это тоже чат

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Generative Pretrained - никакого отношение к НАЗНАЧЕНИЮ системы не имеет, это техническое решение.

Чат, human-like - указывает на общение в форме чата именно с человеком. Раньше это были "простые" алгоритмы (та же Eliza), теперь - нейросети в форме GPT.

GPT можно и к другим задачам прикрутить. Но родился GPT именно в процессе попыток человеко-машинного общения на человеческом языке. Доведен до состояния продукта ChatGPT.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Но родился GPT именно в процессе попыток человеко-машинного общения на человеческом языке

В том-то и дело - для общения на привычном языке. То есть когда вы ставите задачи удобным вам способом, не прибегая к языкам программирования. И несмотря на то, что это всего лишь способ обучать ии - он никак не является вашим "для чатиков", это универсальная база данных для всего, генерирующая ответы на основе имеющегося опыта

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Нет, задача при разработке была - генерировать человеческие тексты на основе контекста, это главная задача общения. Вопрос - контекст, генерация текста - ответ.

Универсальная база всего - не было такой задачи. Так получилось, что для вменяемых ответов пришлось загружать в нейросеть весь интернет и даже больше.

Но это не отменяет, что главное - это "просто" общение, просто создание human-like текстов. Если БЫ удалось научить нейросеть без скармливания ей всего интернета плюс дополнительное дообучение - на этом БЫ успокоились. Но не получилось.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Универсальная база всего - не было такой задачи.

Это вам разработчики сказали?

Но это не отменяет, что главное - это "просто" общение

Да откуда вы это взяли?!

Если БЫ удалось научить нейросеть без скармливания ей всего интернета плюс дополнительное дообучение - на этом БЫ успокоились. Но не получилось

Ещё раз: источник ваших "знаний" не раскроете? Мне вот работающие над созданием ИИ говорят совсем другое

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Это обществестно. NLP - раздел ИИ очень старый, и даже с учётом нейросетей GPT - это не единственная технология. Есть принципиально другой BERT, есть и другие. И даже generative - сети строятся на разных типах нейросетей.

Генерация human-like текста - одна из типовых задач NLP. Не единственная, конечно. ChatGPT по сравнению с предшественниками использует ряд технологий, которые помогают точнее эмулировать человеческую речь, чем другие технологии. Это и позволило загрузить в него кучу информации и совершать некий прорыв.

"Просто болтать" - не совсем. Это бот для чата - замена оператора-человека. Поддержка, справочная, выполнение команд, персональный помощник и т.д. Но и просто болтать тоже - всякие собеседники, прикидывающиеся людьми.

Но снова - это типовая задача NLP. Никакой "базы всего" этот раздел ИИ никогда не предполагал.

Читайте профильную литературу, что ли. 

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

"Просто болтать" - не совсем. Это бот для чата - замена оператора-человека. Поддержка, справочная, выполнение команд, персональный помощник и т.д.

Вы как-то очень быстро переобуваетесь (из "просто поболтать" в "поддержку", "персональный помощник" и т.д.), а профильную литературу зачем-то советуете читать мне.

Я вам открою одну великую тайну: программирование - это "просто способ поболтать с процессором и периферией" с целью получения нужного результата

Никакой "базы всего" этот раздел ИИ никогда не предполагал

"База всего" существует уже давно, ИИ здесь вообще не при чём. NLP - это всего лишь инструмент взаимодействия людей с "базой всего" (соответственно можно пользоваться в любых целях). Который, в свою очередь, используется для обучения ИИ

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Вы как-то очень быстро переобуваетесь (из "просто поболтать" в "поддержку", "персональный помощник" и т.д.), а профильную литературу зачем-то советуете читать мне.

Ну не разжевывать же азы. Но, видимо, придется.

NLP - это всего лишь инструмент взаимодействия людей с "базой всего"

Да. До ChatGPT взаимодействие было отдельно, база отдельно. Т.е. классический чат-бот (генератор текста) - это болталка без мозга, за данными она лезет куда-то.

Собственно, ничего не поменялось, для прикладных задач ChatGPT - только модуль-болталка, база данных внешняя.

Поэтому я и говорю - что не было задачи впихнуть весь Интернет в ChatGPT. Была задача генерации human-like текста по контексту, т.е. ведение диалога - все.

Я вам открою одну великую тайну: программирование - это "просто способ поболтать с процессором и периферией" с целью получения нужного результата

NLP и программирование - это разное.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Поэтому я и говорю - что не было задачи впихнуть весь Интернет в ChatGPT.

Остаётся непонятным, кому вы это "говорите". Сами себе создаёте тезисы и сами их опровергаете? Ибо началось всё не с "расположения" инструментов

NLP и программирование - это разное.

Ясен пень, NLP - это ПРОДУКТ программирования. 
Но я не о NLP, а о его функциях. Программист - прокладка между заказчиком и компиллятором. НЛП - прокладка между заказчиком и размытытыми границами компиллятор-процессор, ибо, по сути, он является и ЯП и компиллятором в одном флаконе

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Он просто для другого разрабатывался. Поговорить (початиться), т.е. поиграться словами так, изображая диалог, смысл и понимание. В целом - удалось.

Универсальная база всего - не было такой задачи. Так получилось, что для вменяемых ответов пришлось загружать в нейросеть весь интернет и даже больше.

Вы с этим не согласились.

Но я не о NLP, а о его функциях. Программист - прокладка между заказчиком и компиллятором. НЛП - прокладка между заказчиком и размытытыми границами компиллятор-процессор, ибо, по сути, он является и ЯП и компиллятором в одном флаконе

Нуу, это вы хватили. Технологии NLP никогда не ставили таких задач. Проектирования, например, систем - а без этого полный цикл взаимодействия с "заказчиком" не получится.

NLP - это просто замена UI голосовым взаимодействием на человеческом языке, если мы про взаимодействие с "заказчиком". Остальное (ЯП, компиляция, проектирование, ...) - это не его задача. Хотя для этих задач тоже могут использоваться те же технологии нейросетей, что и в ChatGPT, например, но наполняться (обучаться) они уже будут не текстами людей, а чем-то другим. И к NLP отношения иметь не будут.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Вы с этим не согласились.

Вы манипулируете, добавляя последующие заявления. Но да, я написал пост в ответ на ваше "создавался для початить". Ибо это неверно. Точно так же,как заявить, что ЯП создавались для "початить"

Нуу, это вы хватили. Технологии NLP никогда не ставили таких задач. Проектирования, например, систем - а без этого полный цикл взаимодействия с "заказчиком" не получится.

Ну значит и современные ЯП "не стравили таких задач". Ибо просто зная си не получится "проектирование например систем"

NLP - это просто замена UI голосовым взаимодействием на человеческом языке, если мы про взаимодействие с "заказчиком".

Вы под "заказчиком" компьютер подразумеваете? Ибо для "взаимодействия на человеческом языке" человека исполнителя с человеком заказчиком NLP не нужно

это не его задача

Я как бы переспрошу: это потому, что вы так сказали? Вы над этим работаете?
Ибо мои занятые этим друзья мне говорят другое, что, собственно, хорошо согласуется с моими собственными знаниями и представлением

но наполняться (обучаться) они уже будут не текстами людей, а чем-то другим

И тогда это ничем не будет отличаться от уже давно существующих систем - при чём здесь ИИ и, собственно, NLP для взаимодействия с ним?

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Вы под "заказчиком" компьютер подразумеваете? Ибо для "взаимодействия на человеческом языке" человека исполнителя с человеком заказчиком NLP не нужно

Нет, конечно, человека.

Сейчас человек взаимодействует с компьютером (всякими разными программами-системами) через UI (графический в основном) С помощью технологий NLP он может взаимодействовать через обычный текстовый чат. А с помощью еще дополнительно технологий распознавания-синтеза-речи - и голосом. Удобно и эффективно, в теории.

Отсюда и класс задач ИИ - NLP. Образно - початиться.

Я как бы переспрошу: это потому, что вы так сказали? Вы над этим работаете?
Ибо мои занятые этим друзья мне говорят другое, что, собственно, хорошо согласуется с моими собственными знаниями и представлением

Что говорят-то? Что задача NLP - знать все тексты Интернета? Фигня же.

Как профессиональный архитектор ПО вам говорю: задача NLP - это интерфейс взаимодействия с человеком, т.е. в типовом случае чат. Все! Отсюда и название ChatGPT, которое вы упорно игнорируете.

Для решения других задач есть другие разделы Computer Science вообще и ИИ в частности.

И тогда это ничем не будет отличаться от уже давно существующих систем - при чём здесь ИИ и, собственно, NLP для взаимодействия с ним?

Я вам про то и говорю, что NLP - это только про взаимодействие с человеком, никаких "компиляторов, ЯП, знание Интернета", как вы пишите - в его задачи не входит.

очно так же,как заявить, что ЯП создавались для "початить"

Нет. ЯП создавались для разработки программ для компьютеров.

NLP - для взаимодействия компьютеров с человеком через человеко-читаемые тексты, т.е. в типовом случае - чаты (взаимодействие человека с кем-то/чем-то текстами на NL = чат по определению).

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Отсюда и класс задач ИИ - NLP. Образно - початиться.

Ваше "отсюда" просто умиляет

Что говорят-то? Что задача NLP - знать все тексты Интернета? 

Где вы у меня подобное прочитали?!

задача NLP - это интерфейс взаимодействия с человеком, т.е. в типовом случае чат. Все! Отсюда и название ChatGPT, которое вы упорно игнорируете.

Всё верно, насчёт интерфейса взаимодействия. Только выводы совсем неверные. Причём непонятно в каком месте я игнорирую название, если я сам вам предложил его расшифровать

Я вам про то и говорю, что NLP - это только про взаимодействие с человеком, никаких "компиляторов, ЯП, знание Интернета", как вы пишите - в его задачи не входит.

Вы как-то упорно игнорируете мои слова, или очень своеобразно интерпретируете. Ещё раз: ЯП - это тоже всего лишь "интерфейс взаимодействия с человеком", причём взаимодействивя с компиллятором, в случае высокоуровневых ЯП. Идём дальше и выясняется, что компиллятор - всего лишь "интерфейс взаимодействия программы на ЯП с набором команд процессора". Компилляторы уже давно "автоматические", т.е. соответствующую программу на определённом ЯП конвертят для определённого железа. А вот на ЯП пока пишут люди, ибо заказчики не умеют говорить ни на языке железа, ни на "языке компилляторов". Вот NLP как раз и приближает время, когда дополнительные искусственно созданные языки для этого не понадобятся. И все эти "знания интернета" - это не какие-то "мифические знания", а уже давно существующие базы данных, соответственно естественно они "NLP не требуются" - алгоритм просто берёт нужные из базы

Нет. ЯП создавались для разработки программ для компьютеров

Создавались потому, что без них эти самые компьютеры человека не понимали. Как и наоборот

NLP - для взаимодействия компьютеров с человеком через человеко-читаемые тексты, т.е. в типовом случае - чаты

Вы зациклились на слове "чат". Это потому, что для вас английский - не родной. 
На самом деле всё просто: в случае с GPT чат - это просто способ коммуникации, выл бы прикручен какой VtS/StV - был бы какой-нибудь "VoiceGPT"

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Всё верно, насчёт интерфейса взаимодействия.

Я тогда не понимаю, о чем вы спорите. Интерфейс взаимодействия с человеком текстами на человеческом языке - это чат. NLP - это поддержка диалога для разных целей. О чем я и написал с самого начала.

Как GUI - это нарисовать окошки и отреагировать на мышку. Заменили GUI на NLP, заменили окошки и мышку на чат.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Интерфейс взаимодействия с человеком текстами на человеческом языке - это чат.

Кто спорит? Это вы зачем-то придаёте этому слову всякие "поболтать"

NLP - это поддержка диалога для разных целей. О чем я и написал с самого начала.

Нет, у вас в процессе нашей беседы материализовалось "для разных целей". Именно по причине отрицания вами этого в начале я и "влез"

Как GUI - это нарисовать окошки и отреагировать на мышку. Заменили GUI на NLP, заменили окошки и мышку на чат.

Можно продолжить, я вам об этом уже писал выше: "заменили ЯП на НЛП..."

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Поболтать - это и есть поддержка диалога для разных целей. Как GUI - это рисование окошек и отслеживание мышки для разных целей человеко-машинного интерфейса.  Работу самой машины это не отменяет.

ЯП - это не GUI, это более глубокие инструменты, это уже не человеко-машинный интерфейс. Программисты тоже используют GUI.

Возьмём простую задачу - поиск по базе данных. Сейчас в типовом случае пользователь задаёт критерии поиска через GUI (формочки и контролы), внутри программа преобразует эту информацию в ЯП SQL, для СУБД, результаты поиска снова преобразуются в формочки и контролы для GUI.

NLP просто заменяет GUI, формочки и контролы заменяются на болтание, т.е. диалог. Внутренняя подготовка SQL и его выполнение в СУБД остаётся.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Поболтать - это и есть поддержка диалога для разных целей.

Чат - это не "поддержка диалога, а, собственно, диалог. О погоде ли он, выдача ли ТЗ, поддержка ли - это уже частности

ЯП - это не GUI, это более глубокие инструменты

Мы говорим о чате - при чём здесь GUI? 
Ну а по факту ЯП - и есть UI для определенённых процессов

Возьмём простую задачу

Возьмите ещё более "простую": написание софта (в тех же "сях"): заказчик выдаёт ТЗ по софту, в процессе его написания процесс контролируется и, при необходимости, корректируется. Общение заказчика с програмистами - и есть UI в данном контексте. Далее они посредством ЯП пишут нужные функции (второй "UI" - програмист с СР), а коплиллятор "переписывает" код под целевое железо (третий "UI" - готовый код и железо). В идеале останется только один: заказчик и "ИИ"

NLP просто заменяет GUI, формочки и контролы заменяются на болтание, т.е. диалог

Вы противоречите сами себе: сначала у вас "это просто поболтать", затем уже "ставить задачи". 
Я просто хочу донести до вас элементарную вещь: програмный код - это, по сути, тоже "всего лишь диалог с железом". И когда он в готовом листинге - это не диалог, а результат. Но процесс его написания - по сути - диалог (простенький - нередко "монолог", хоть и здесь присутствует диалог с заказчиком, а вот посложнее - это куча диалогов)

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

Чат - это не "поддержка диалога, а, собственно, диалог.

В диалог вовлечены две стороны, чатбот "играет" только за одну сторону. Поэтому корректный термин - поддержка (ведение, участие в) диалога, а не сам диалог.

В идеале останется только один: заказчик и "ИИ"

ИИ - может быть, но не чат-бот с NLP.

NLP только ведет диалог, далее спускает формализованную информацию на более глубокие уровни. Там тоже может работать ИИ, но это уже не NLP, никакого natural language здесь уже нет.

Вы противоречите сами себе: сначала у вас "это просто поболтать", затем уже "ставить задачи". 

Я нигде не писал "ставит задачи". Я писал - преобразует информацию.

Я просто хочу донести до вас элементарную вещь: програмный код - это, по сути, тоже "всего лишь диалог с железом".

Вы любое взаимодействие объявляете диалогом. Это не так.

Сейчас мы обсуждаем диалог на естественном языке в виде текстовых сообщений, т.е. чата. Остальное - некорректно.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

В диалог вовлечены две стороны, чатбот "играет" только за одну сторону

В диалоге програмиста и заказчика - програмист "играет" за обе стороны?

ИИ - может быть, но не чат-бот

Этот самый "чат бот" в данном контексте играет роль "мастера". Общаясь с мастером адекватный пользователь сделает многое из того, чего, по факту, не умеет. Это и есть - результат

Я нигде не писал "ставит задачи". Я писал - преобразует информацию

Ставит задачи не чат бот, а пользователь ему. Но вы говорили, что "он не для этого, а просто поболтать"

Вы любое взаимодействие объявляете диалогом

Не любое. Но выше упомянутые - они и есть. Тот же код - это, по сути, диалог с железом: "сделай то, а если вот так - то вот это. Сделал? Озвучь результат... Ага, тогда сделай вот это". Просто это нужно осознать

Сейчас мы обсуждаем диалог на естественном языке в виде текстовых сообщений, т.е. чата

Ну вот просто замените в чате "чат бота" на програмиста - что это будет?

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

В диалоге програмиста и заказчика - програмист "играет" за обе стороны?

Каждый "играет" за свою сторону. Чего выдумывать?

Этот самый "чат бот" в данном контексте играет роль "мастера". Общаясь с мастером адекватный пользователь сделает многое из того, чего, по факту, не умеет. Это и есть - результат

В процессе диалога чат-бот может играть разные роли. Как и GUI можно строить по-разному. Это не отменяет, что он только поддерживает диалог.

Ставит задачи не чат бот, а пользователь ему. Но вы говорили, что "он не для этого, а просто поболтать"

Пользователь ставит задачи не чат-боту, а всей системе (программе, программно-аппаратному комплексу). Чат-бот лишь интерфейс этой системы, он конвертирует информацию между пользователем и более глубокими слоями системы. В процессе болтания.

Не любое. Но выше упомянутые - они и есть. Тот же код - это, по сути, диалог с железом: "сделай то, а если вот так - то вот это. Сделал? Озвучь результат... Ага, тогда сделай вот это". Просто это нужно осознать

Нет, это диалог человека с человеком или чат ботом или GUI или текстовым интерфейсом (командная строка, например). А не с "железом".

Bash - это не диалог админа с железом, между железом и админом еще есть как минимум ОС. Где все функции действительно реализованы, а Bash - всего лишь интерфейс с админом.

Так и в случае чат-ботов между человеком и железом еще куча других систем-программ, которые НЕ занимаются диалогом. У вас не получится весь Computer Science запихнуть в NLP.

Ну вот просто замените в чате "чат бота" на програмиста - что это будет?

Еще разок: есть функция поддержки диалога, а есть функция разработки программы. Это РАЗНЫЕ функции, реализованные РАЗНЫМИ программными модулями и технологиями. NLP - это только функция поддержки диалога, преобразования NL в некую внутреннюю информацию и обратно. Которая потом используется другими модулями для выполнения их функций.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Каждый "играет" за свою сторону.

Так же, как в диалоге "заказчик - чат бот"

В процессе диалога чат-бот может играть разные роли. Как и GUI можно строить по-разному. Это не отменяет, что он только поддерживает диалог.

По прежнему не понимаю при чём здесь GUI, но даже в этом контексте - GUI всего лишь "окошко настройки". Чат бот - это не "окошко настройки википедии", это поиск знаний, доступных чат боту (практически всех) и их классификация

Пользователь ставит задачи не чат-боту, а всей системе (программе, программно-аппаратному комплексу). Чат-бот лишь интерфейс этой системы

Как и ведущий проект програмист - "интерфейс системы"

Нет, это диалог человека с человеком или чат ботом или GUI или текстовым интерфейсом (командная строка, например). А не с "железом".

"Не с железом" потому, что человек не умеет вести с ним диалог. Поэтому ведёт посредством "переводчиков". Как и, собственно, железо с другим железом

Между человеком и железом еще куча других систем-программ, которые НЕ занимаются диалогом.

Зачем ВСЕМ заниматься диалогами?!

У вас не получится весь Computer Science запихнуть в NLP.

С чего бы это "не получится"? Ну то есть "запихать" в книги, публикации, работы - получилось, а вот взять оттуда - не получится?

Еще разок: есть функция поддержки диалога, а есть функция разработки программы

У меня ощущение, что "общаться" с этим самым GPT вы не пробовали

Это РАЗНЫЕ функции, реализованные РАЗНЫМИ программными модулями и технологиями

Да кто спорит-то?

NLP - это только функция поддержки диалога, преобразования NL в некую внутреннюю информацию и обратно. Которая потом используется другими модулями для выполнения их функций.

Ещё раз: обсуждение NLP "принесли" в тему именно вы. Разговор был в контексте "может чатгпт насоветовать, или нет". Вы заявили, что нет и даже не предназначен для этого, мой опыт с ним говорит обратное

Аватар пользователя jamaze
jamaze(12 лет 4 месяца)

По прежнему не понимаю при чём здесь GUI, но даже в этом контексте - GUI всего лишь "окошко настройки". Чат бот - это не "окошко настройки википедии", это поиск знаний, доступных чат боту (практически всех) и их классификация

С чего бы это "не получится"? Ну то есть "запихать" в книги, публикации, работы - получилось, а вот взять оттуда - не получится?

Это РАЗНЫЕ функции, реализованные РАЗНЫМИ программными модулями и технологиями

Да кто спорит-то?

Первые два ваших высказывания, собственно, и противоречат третьему. С этим-то я и спорю.

NLP - это всего лишь эквивалент "окошка настройки". То, что конкретно в ChatGPT удалось запихнуть кучу информации, которая ВЫГЛЯДИТ как  знания - это, во-первых, в определенном смысле случайность, я об этом писал. Хотели сделать просто языковую модель (предсказание следующего NL-слова по предыдущим для получения внятного NL-текста), а получили имитацию знаний. А во-вторых, это именно имитатор знаний - никаких гарантий правильности того, что вещает ChatGPT - нет. Это просто хайп, вызванный ВПЕЧАТЛЕНИЯМИ - обезьяна, случайно складывающая буквы в слова вызвала бы не меньший хайп.

У меня ощущение, что "общаться" с этим самым GPT вы не пробовали

Собственно, вы и сами подтверждаете, что находитесь в плену этого хайпа

Разговор был в контексте "может чатгпт насоветовать, или нет". Вы заявили, что нет и даже не предназначен для этого, мой опыт с ним говорит обратное

Именно. ChatGPT, как ЧАСТНАЯ технология NLP, не предназначена для советования. Это просто замена окошек диалогом. То, что сейчас из ощущения возможности ChatGPT чего-то большего, из побочного эффекта от решения задач NLP, раздули хайп - бывает. Не в первой. Американские бизнесюки любят и умеют углядеть неожиданное с вау-эффектом и раздуть из этого хайп для поднятия бабла. Это их хлеб. Какой этот вау-эффект будет иметь отношение к реальной полезной деятельности - еще предстоит увидеть.

Аватар пользователя Надоело
Надоело(2 года 9 месяцев)

Первые два ваших высказывания, собственно, и противоречат третьему. NLP - это всего лишь эквивалент "окошка настройки".

Я не знаю почему вам так кажется. GUI - да, "окошко настроек". Если говорить про чат форму - то наверно самое близкое "окошко настроек" - терминал. GPT же - агрегатор информации, а не "окошко настроек", построенный в форме чата "НА ЧЕЛОВЕЧЕСКОМ" языке. Грубо говоря - достаточно "умный" гугл, способный понимать ваши запросы и давать информацию на их основе, причём не тащить её "из интернета", а генерировать на основе найденного. Эти понятия вообще не стоят рядом

Хотели сделать просто языковую модель (предсказание следующего NL-слова по предыдущим для получения внятного NL-текста), а получили имитацию знаний

Это всего лишь ваши "желания", ничем не подкреплённые. Над чем работают и что именно будут "выпускать в мир" (это не одно и то же) мои друзья говорили мне ещё в 2019, если не ошибаюсь. А у вас всё "случайно насралось"

Собственно, вы и сами подтверждаете, что находитесь в плену этого хайпа

Чем именно? Тем, что в отличие от вас пообщался и говорю на основе опыта, а не как вы - теоретизирую?
Так я и по всяким марвелам "хайпую" тогда, есть у меня такая черта - уверен, что фильм говно, но посмотрю для аргументированного спора, ибо знаю немало людей, которые мне будут доказывать, какой это шедевр и как я много потерял.

ChatGPT, как ЧАСТНАЯ технология NLP, не предназначена для советования

GPT - это не NLP (если точнее - не только NLP). Я не знаю почему вы всё время обсуждаете NLP, он в этом чате лишь для общения с людьми. Назначение его - генерировать информацию на основе этого общения. И да, он предназначен именно "для советования".

Какой этот вау-эффект будет иметь отношение к реальной полезной деятельности - еще предстоит увидеть.

Вам - не предстоит, если только "по телевизору скажут", ибо вы даже не пробуете предмет обсуждения. Тут как с устрицами - вам везде чудятся "французкие бизнюки рестораторы".
То, что "бизнюки" что-то раздувают на хайпе - это нормально, так делает любой предприниматель. А вот пользователь, если он не "лох" - либо пользуется, либо нет (если не понравится/не подойдёт)

Аватар пользователя Феофан Пургелин

Это фундаментальная проблема. ИИ это Имитация Интеллекта - некая "мы не знаем как работающая" хрень, которая раз за разом пытается ответить на вопрос или принять решение точно так же, как это сделал человек. Мышления там нет. Рефлексии нет. Как ни натаскивай на базе "одобренных" решений и ответов - в любой момент имитация может не справиться и облажаться.

Аватар пользователя alex_midway
alex_midway(12 лет 4 месяца)

При чем обнаружили совсем недавно что все эти ИИ обученные на своих же материалах вдруг тупеют! Т.е. что бы он и далее оставался обученным и рос над собой ему в качестве исходных данных нужны именно материалы сгенерированные человеком!!!
Получается это никакой не интеллект и не разум, это черный ящичек просто попка-дурак. Сгенерировал "умный" текст, а по сути повторил что-то пусть и за многими.

Аватар пользователя ilyanov
ilyanov(1 год 7 месяцев)

Первым делом проверил простейшие счётчики на Systemverilog. Код от GPT ужасен.

Поговорил про внешнюю политику США: ответы GPT лживые, скользкие и закольцованы в довольно короткий цикл. Логика отсутствует.

Все ответы обязательно нужно проверять по другим источникам. Много откровенного вранья.

Как справочная система, GPT не пригоден.

Больше не пользуюсь.

Аватар пользователя X86
X86(5 лет 6 месяцев)

Спросите у него, например, "напиши содержание статьи 15 Конституции РФ" и т.д. Он всегда будет врать, даже если его поправлять

Аватар пользователя GrumpyVK
GrumpyVK(3 года 9 месяцев)

Дык и с людьми та же самая история. Что такое эти ваши пресловутые “soft skills”? Это умение убедить других людей, которые не разбираются в том, что вы делаете, что ваше решение — правильно и разумно.

Если у людей есть ещё и какие-то технические компетенции, то это помогает обществу в создании сложных конструкций.

Но как ChatGPT прекрасно показывает: прокачать “soft skills” и научиться нести пургу с умным видом проще, чем что-то понять.

Если у вас в обществе нет институтов, способных вот эти вот творения отсеять — оно потеряет возможность поддерживать технологии, необходимые для своего существования.

Что, собственно, на Западе и произошло. А всё остальное — уже следствия.

Аватар пользователя ZloyРусский
ZloyРусский(5 лет 5 месяцев)

Но как ChatGPT прекрасно показывает: прокачать “soft skills” и научиться нести пургу с умным видом проще, чем что-то понять.

Рассвет новой эры "инфоцыганства" и "марафонов желаний". ИИ-зло! 

Аватар пользователя Tinkle Bell
Tinkle Bell(7 лет 5 месяцев)

Получается, что чат не так туп, если выяснил, что может нести менее энергозатратную пургу с тем же результатом, что и наваять гениальный софт.

Это как хороший программист с умным видом объясняет заказчику, не разбирающемуся в программировании, что на написание утилиты нужен год.

Страницы