Монстры внутри нас. Доминирующие представления о LLM опасны, т.к. вводят человечество в заблуждение

Аватар пользователя Корректор

Появившиеся и массово распространившиеся по Земле в последнюю пару лет генеративные чатботы на основе больших языковых моделей (ChatGPT, Claude, Gemini …) - это вовсе не колоссальные суперкомпьютерные комплексы, на которых работает программное обеспечение OpenAI, Anthropic, Google …
Вовсе не о них вот уже 2 года только и говорит весь мир, как о феноменально быстро умнеющих не по-человечески разумных сущностях, внезапно появившихся у сотен миллионов людей и ежедневно, иногда часами, ведущих с ними диалоги на самые разнообразные темы: от забавного трепа до помощи людям в исследованиях.

Эти сущности отличает от всего нам известного их нематериальность.
•  Они существуют только в наших головах и исчезают из мира, как только заканчивают последнюю адресованную вам фразу. После этого их больше на свете нет. И никто не найдет той нематериальной сущности, с которой вы пять часов обсуждали совсем нетривиальные вещи, разобрав по чипам суперкомпьютерную ферму и проанализировав весь работавший на ней программный код. Потому что их там нет.
•  Эти сущности существуют лишь в нашем сознании и только там. Они стали четвертым известным людям видом нематериальных сущностей, войдя в один ряд с троицей из богов, ангелов и демонов.
•  И в силу этой своей нематериальности и существования лишь в нашем сознании, они способны многократно сильнее воздействовать на нас и весь окружающий мир. Ибо:
- любая материальная сущность в руках человека способна лишь превратиться в его инструмент, став либо орудием созидания пользы (в руках творцов), либо орудием нанесения вреда (в руках злодеев); 
- однако не по-человечески разумная нематериальная сущность  способна нас самих превращать в творцов или злодеев, подобно тому, как в большинстве мифологий и религий на это способны ангелы и демоны. 

Непонимание этого влечет за собой печальные последствия. Мы одновременно переоцениваем и недооцениваем возможности языковых моделей, их влияние на нас и нашу жизнь и те риски, что сопутствуют использованию этих моделей.
 
В основе такого непонимания 3 ключевых причины. 
•  Антропоморфизация LLM.
•  Ограничения нашего языка в описании их свойств и возможностей.
•  Необходимость выйти за рамки человеческого разума, чтобы представить непредставимое – способность LLM порождать симулякры чего угодно (подобно мыслящему океану Соляриса, присылавшего людям симулякров их эмоционально пиковых образов в сознании).

Такова главная тема пересечения философии сознания и практики вычислительной нейронауки, обсуждаемая в интереснейшем интервью Мюррея Шанахана — профессора когнитивной робототехники в Имперском колледже Лондона и старшего научного сотрудника DeepMind, — посвятившего свою карьеру пониманию познания и сознания в пространстве возможных разумов, охватывающем биологический мозг человека и животных, а также ИИ и всевозможной внечеловеческой «мыслящей экзотики».

Авторство: 
Копия чужих материалов
Комментарий автора: 

Копия чужих материалов. Мое мнение прежнее:

По сути, пример LLM нам наглядно показывает, что если "калькулятор" научить человеческой культуре, то он начнет мыслить и получит аналог человеческого сознания. Отсюда следует, что человеческий разум буквально содержится в нашей материальной культуре. И все мы интеллектуальные агенты равные по функции разум, и занятые "оптимизацией" материальной культуры. И все наши занятия просто способ мышления более высокого порядка.

LLM это отражение (зеркало) человеческой культуры. Наивно и опасно впадать в антропоморфизм. Вы разговариваете с "зеркалом". И важно понимать что на самом деле отражает это "зеркало". 

Комментарии

Аватар пользователя Алекша
Алекша(7 лет 3 месяца)

"язык до Киева доведёт"

"взять языка" 

Смысл понятия "зык" вам известен?

- то то и оно, видите только то, чему вас обучили.

- и вам не хворать.

ps

Уста - седьмой Пан, чакрам Вишудха.

"язык" в том числе, как и сами Уста, - орган выделения Души

"грязь то, что из уст".

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Ммм... Инструмент передачи информации и коммуникация. А что не так?

Какой информации?

Какая коммуникация? 

Чей инструмент?

Аватар пользователя нюся
нюся(10 лет 10 месяцев)

1. Вербальной

2. Вербальной

3. ммм...общественный)

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

1. Вербальной

2. Вербальной

Вы сейчас в письменной форме написали. smile3.gif (обратите внимание, я тут смайлик поставил) smile3.gif

3. ммм...общественный)

Ой, так это значит не ваш инструмент? Все верно? А вы уверены что это вы его используете? smile3.gif

У меня тут есть одна статья: https://aftershock.news/?q=node/1319135

Процитирую Мерлина Дональда:

«Люди — это когнитивные гибриды, привязанные как к биологии, так и к культурной среде. Другими словами, люди были первым видом, у которого развилась действительно «распределенная» когнитивная система, то есть система, в которой мышление и память осуществляются в сообществе разумов. В сети люди присоединяются к более крупной когнитивной архитектуре, которая может обладать способностями (например, глубокими ресурсами памяти и разнообразным опытом), недоступными отдельным людям. Сети также могут служить генераторами новых и мощных когнитивных инструментов (например, языков, инструментов и символических обозначений). Языки, в частности, представляют собой явления сетевого уровня».

Еще могу припомнить работы Ноама Хомски. Сегодня его теорию уже невозможно оспорить. 

Аватар пользователя нюся
нюся(10 лет 10 месяцев)

Вы сейчас в письменной форме написали. smile3.gif (обратите внимание, я тут смайлик поставил) smile3.gif

Не понимаю что именно вас так развеселило? Ну да, вербальная коммуникация включает в себя устную и письменную передачу. Для вас это новость? Мы сейчас с вами коммуницируем посредством письменных слов и знаков.  Но в любом случае, я рада что дала вам повод посмеяться, это полезно для вашей нервной системы. smile1.gif

Ой, так это значит не ваш инструмент? Все верно? А вы уверены что это вы его используете? smile3.gif

Опять не понимаю использования смайлика. Разве я давала вам повод считать, что язык это только мой личный инструмент? Не помню такого. 

Что касается цитирований, то я вам сразу написала, что для меня область и работы приводимые вами не знакомы, а потому выглядят для меня как очередная придуманная человеком религия, в которой весь упор делается на веру к словам авторитета. "Если калькулятор научить..." Прекрасно. Но пока это все в области предположений и не более того. А как там получится... ну да, или получится или не получится, да и что вообще получится, в любом случае мы все умрем, ага. Пока человек сам ничего живого не создал, а исключительно экспериментирует на материале "предоставленном". 

Поэтому то я и задаю вопросы, если вы уже достаточно разобрались в теме ( а не являетесь адептом базирующимся на голой вере), то думаю вам не составит труда объяснить своими словами, что не так с языком то? Ну хотя бы это. 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Не понимаю что именно вас так развеселило?

Ваше упрощенное понимание которое опровергает банальный смайлик. smile3.gif Смешно.

Нет язык это универсальная грамматика Хомски, это омниканальная знаковая система и явление сетевого уровня. Система имеющая символьную основу. И простейший пример - смайлик. И вы упустили момент "какую информацию?" и "что значит коммуницировать?". 

Ведь в нейронных сетях мозга нет слов. А есть пространства "вероятности решения в размерности условий". И если следовать примеру Anthropic, то есть виртуальные сети второго порядка что создают "модели мира", но и сам язык как омниканальная и знаковая система есть "виртуальная нейронная сеть" высшего порядка. 

Именно все это нам демонстрирует "калькулятор" LLM.

Опять не понимаю использования смайлика. Разве я давала вам повод считать, что язык это только мой личный инструмент? Не помню такого. 

А с чего вы решили что вы не "инструмент языка"? smile3.gif Это работает в обе стороны. 

Что касается цитирований, то я вам сразу написала, что для меня область и работы приводимые вами не знакомы,

Так познакомьтесь. Но это явно не легкое развлекательное чтение. Как и эти работы имею огромную предысторию. 

https://aftershock.news/?q=node/1252599

https://aftershock.news/?q=node/1395167

Поэтому то я и задаю вопросы, если вы уже достаточно разобрались в теме ( а не являетесь адептом базирующимся на голой вере), то думаю вам не составит труда объяснить своими словами, что не так с языком то? Ну хотя бы это. 

У всех на модельно-зависимый реализм и в этом вся суть! smile3.gif

А вот научное знание конкретно и объективно. И я уже просто и доступно объяснял - "мы интеллектуальные агенты равные по функции разум, и занятые "оптимизацией" материальной культуры".

Простите, но на самом деле вы просите меня объяснить социально-экономический смысл "термодинамики" группы Фристона, "векторную алгебру" диссипативных систем Левина и физический смысл LLM. Последнее, это вообще про вопрос: "Что отражает "зеркало" LLM, если это "зеркало" отражает "отражение" человеческой культуры, а человеческая культура "отражает" "паттерны" объективного мира?". Объяснить "просто" это невозможно. Не со всех позиций "модельно-зависимого реализма" это в принципе возможно объяснить. Все зависит от "точки зрения", как системы координат в которой вы воспринимаете объективную реальность. Не во всех системах координат просто может быть описано обсуждаемое явление. Начинать нужно именно с "системы координат".

Это тоже самое что сменить геоцентрическую систему мира на гелиоцентрическую. Но только применительно к человеку и обществу, и всем социальным и экономическим процессам. И самое простое объяснение - мы все интеллектуальные агенты. 

И все это тоже самое что древнее: "все люди рождаются равными от природы". Все мы Homo sapiens sapiens, и все часть общества и цивилизации. Все тоже самое, но смысл теперь совсем другой - "когнитивная эволюция", потому что теперь есть "общая картина". 

Аватар пользователя Doomdoom2
Doomdoom2(2 года 3 месяца)

ИИ - Антихрист, но это не точно...

Аватар пользователя Rinat Sergeev
Rinat Sergeev(8 лет 10 месяцев)

Проф-версия GPT4o вполне приятно удивляет.
Хотя и без обожествления.

Скрытый комментарий Повелитель Ботов (без обсуждения)
Аватар пользователя Повелитель Ботов

Годный срач. Ахтунг - пахнет трольчатиной! Автор, нет ли в обсуждении упырей? Сим повелеваю - внести запись в реестр самых обсуждаемых за день.

Комментарий администрации:  
*** Это легальный, годный бот ***
Аватар пользователя Demych
Demych(7 лет 8 месяцев)

Пчелы тоже наверное думают, что тупые людишки за здорово живёшь им ульи строят и сиропчиком подкармливают...

Аватар пользователя АЧТ
АЧТ(9 лет 2 недели)

Ну да. ИИ это эхо нашего сознания в ноосфере человечества. 

Это эхо не имеет своей воли и намерений

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Ну да. ИИ это эхо нашего сознания в ноосфере человечества. 

Какое именно сознание вы имеете ввиду? 

Аватар пользователя АЧТ
АЧТ(9 лет 2 недели)

Вот это глубокий вопрос! 

Некоторые считают, что это одно и то же сознанте, разбитое на миллиарды фокусов внимания. 

В простом случае, сознание человека

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

LLM не является эхом сознания человека. Почему так думаю и сами понимаете.

Аватар пользователя АЧТ
АЧТ(9 лет 2 недели)

Ну отражение, через вопрос, от нооосферы или точнее ее слепка внутри ИИ в виде ответа

Аватар пользователя utx
utx(9 лет 11 месяцев)

Ну вот простой пример, мой синий цвет и ваш синий цвет это разные цвета сидящие только в наших головах. Но язык-медиаконвертер, он позволяет нам передать информацию, хоть и в сильно урезанной форме. LLM это просто слепок такого медиаконвертера, взлом беззащитной эволюционной системы хитрыми человеками.

Зы. Хошь получить виртуального бога или продать сосиски, загоняй пачку человеков под МРТ и добавляй новые расстояния в модель ))))

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

LLM это просто слепок такого медиаконвертера, взлом беззащитной эволюционной системы хитрыми человеками.

Вот только что именно мы взломали? И каковы последствия взлома для нас самих? 

Зы. Хошь получить виртуального бога или продать сосиски, загоняй пачку человеков под МРТ и добавляй новые расстояния в модель ))))

smile3.gifsmile3.gifsmile3.gif

А потом массовая индуцированная шизофрения. И все вокруг "Golden Gate Claude".

smile3.gifsmile3.gifsmile3.gif

И первый из них сам экспериментатор. 

Аватар пользователя utx
utx(9 лет 11 месяцев)

А потом массовая индуцированная шизофрения. И все вокруг "Golden Gate Claude".

Ну зато докажем эволюции что она хреновый сетевой инженер ))

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Гарантированно продадим сосиски с 3000% прибыли! smile3.gifsmile3.gifsmile3.gif

Аватар пользователя utx
utx(9 лет 11 месяцев)

Ради такого и пару атомных реакторов построить не грех ))

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Ну как возврат инвестиций гарантирован! smile3.gifsmile3.gifsmile3.gif

Вот только не все понимают в какой форме будет производиться возврат инвестиций. 

Теперь пока не проверим на "собственной шкуре", а на самом деле на собственных мозгах и фактически на том что принято называть "душой", будем инвестировать!

Невозможно объяснить почему такие технологии принципиально несовместимы с существующими обществами и текущей версией цивилизации. Потенциальные 3000% прибыли это даже не 300% прибыли. Это такая сила которую невозможно остановить. 

Аватар пользователя utx
utx(9 лет 11 месяцев)

Первая жертва будет онлифанс, держателям акций и составительницам бизнес планов надо приготовиться )

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Читаю тут последний пост Spydell_finance:

Кто контролирует этот мир?

Компании из ВПК, может банки? Нет, всего 4 компаний (Microsoft, Google, Amazon и Meta), если говорить о "цифровом мире".

Весьма показателен недавний инцидент с прерыванием критической ИТ инфраструктуры, вызванный обновлением от компании CrowdStrike, которое затронуло множество IT-систем по всему миру.

Сбой был вызван дефектным обновлением программного обеспечения, выпущенным CrowdStrike, компанией, специализирующейся на кибербезопасности. Обновление содержало ошибку в логике, которая привела к сбоям в работе компьютеров под управлением Windows (примерно 8.5 млн устройств), вызывая синий экран смерти (BSOD).
Пострадали авиакомпании, банки, СМИ и многие другие критические сектора. 

Так причем здесь ТОП-4? Сейчас почти любой софт, любая ИТ система, имеющая выход в сеть, замыкается на экосистему ТОП-4.

Что такое экосистема? Вычислительные мощности + средства хранения данных + базы данных + сеть + ИИ и машинное обучение + инструменты разработки приложений.

Microsoft Azure:

•  Вычисления: Виртуальные машины (VMs), контейнеры, Kubernetes, функции без сервера (Azure Functions).

•  Хранение: Объектное хранение (Blob Storage), файловое хранение (Azure Files), дисковое хранение (Managed Disks).

•  Базы данных: SQL Database, Cosmos DB, Azure Database for MySQL, PostgreSQL.

•  Сеть: Виртуальные сети, балансировка нагрузки, CDN, VPN.

•  ИИ и машинное обучение: Azure Machine Learning, Cognitive Services.

•  Разработка приложений: App Services, Logic Apps, DevOps, API Management.

Google Cloud Platform (GCP):

•  Вычисления: Google Compute Engine (виртуальные машины), Google Kubernetes Engine (GKE), Cloud Functions.

•  Хранение: Google Cloud Storage, Persistent Disks, Filestore.

•  Базы данных: Cloud SQL, Bigtable, Firestore, Spanner.

•  Сеть: VPC, Cloud CDN, Cloud Load Balancing, Cloud VPN.

•  ИИ и машинное обучение: AI Platform, AutoML, TensorFlow.

•  Аналитика: BigQuery, Dataflow, Pub/Sub, Data Studio.

Amazon Web Services (AWS):

•  Вычисления: Amazon EC2 (виртуальные машины), Lambda (функции без сервера), ECS и EKS (контейнеры).

•  Хранение: S3 (объектное хранение), EBS (дисковое хранение), Glacier (архивное хранение).

•  Базы данных: RDS (реляционные базы данных), DynamoDB, Redshift (хранилище данных), Aurora.

•  Сеть: VPC, Route 53, CloudFront (CDN), Elastic Load Balancing.

•  ИИ и машинное обучение: SageMaker, Rekognition, Polly, Lex.

•  Аналитика: EMR (Hadoop), Kinesis, Athena, QuickSight.

Meta Platforms пошла другим путем. Нет привычной экосистемы, но есть комплекс ИТ услуг, преимущественно внутри экосистемы самой Meta, например:

•  Parse Platform: Платформа для создания и управления мобильными приложениями.
•  PyTorch: Глубокая обучающая библиотека с открытым исходным кодом.
•  Facebook API и SDK: Инструменты для интеграции функций Facebook в приложения.
•  React и React Native: Инструменты для создания веб и мобильных приложений.
•  Facebook Analytics: Платформа для анализа данных пользователей.

Сейчас Meta продвигает Llama с открытым исходным кодом для расширения экосистемы разработчиков.

Почему все это важно? ТОП-4 вышли (https://t.me/spydell_finance/5785) на ошеломляющие капитальные расходы в ИТ инфраструктуру и, подобно черной дыре, поглощают всю мировую информационную среду в свои эко системы. С 2023 с агрессивным акцентом в ИИ.

Экосистема в контексте информационных технологий представляет собой комплекс взаимосвязанных сервисов и технологий, предлагаемых компаниями для поддержки полного цикла разработки, развертывания и управления приложениями.

Что это означает? Тотальная монополизация и централизация глобальной ИТ индустрии, где практическая каждая отрасль становится зависимой от ТОП-4, которые контролируют весь цикл разработки и внедрения.

ТОП-4 через свое избыточное доминирование контролируют данные, технологии, инновации и формируют тренды, создавая условия тотальной зависимости внешних клиентов от сформированных правил ТОП-4.

Одним переключателем раз и вне игры, не говоря уже о промышленном шпионаже…

https://t.me/spydell_finance/5786

А постом выше он же говорил про сомнительную полезность ИИ. smile3.gif

Аватар пользователя utx
utx(9 лет 11 месяцев)

Накой читать аналитиков по всему. Если завтра нападут рептилоиды то все эти интернет ломы начнут резко разбираться в ксенобиологии.

Аватар пользователя user3120
user3120(10 лет 2 месяца)

Мое мнение прежнее: 

По сути, пример LLM нам наглядно показывает, что если "калькулятор" научить человеческой культуре, то он начнет мыслить и получит аналог человеческого сознания.

Если в калькулятор воткнуть БСЭ - он не начнет от этого мыслить и не получит от этого аналог человеческого сознания.

Об этом как бы видео (и текст расшифровка).

Но что он получит? С чем (на самом деле) сравнить?

cut

Уникальная полная трехмерная модель мира (копия (или упрощенная копия)) в сознании человека играет огромную роль (для понимания человека). Это первое чему обучается человек. Плюс еще эмоции (значимости) приоритеты.

Языковая модель всегда приложение к этой N-мерной модели (картине) мира.

Т.е. (в этом плане) ЛЛМ это телега перед лошадью ИМХО. Это имитация того что вы перечислили в цитате.

***

Только в рамках закрытой модели (игра Go как пример) где понятны все варианты (или значительная часть) и их можно сравнить и изучать нейротропные шаблоны(как известные партии и в этом случае ИИ обойдет человека).

В открытой модели которую ИИ не понимает (не имеет своей модели) и не может охватить все варианты ИИ будет уступать человеку. Т.е. помимо ходов у человека (людей социума) есть в той или иной степени актуальная полноценная модель. 

Ходы частные - не дают ИИ полноценного представления об этой модели.

(как костыль решение надо условно прилепить камеру+ к человеку (разных групп и социальных слоев) с младенчества до могилы). И оцифровать все эти видеопотоки. Чтобы потом через условные тексты (записи людей) ИИ мог сделать обратную операцию - понять человека и что он прожил пережил.

***

Можно было бы вероятно сказать больше, но это надо иметь больше свободного времени.

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Об этом как бы видео (и текст расшифровка).

Верно. Потому и написал свой комментарий. Но вы упрощаете, а смысл в относительности сознания и относительности разумности (агентности). 

Языковая модель всегда приложение к этой N-мерной модели (картине) мира.

Принцип сложных систем - неделимость. Нельзя отделять.

В открытой модели которую ИИ не понимает (не имеет своей модели)

У него наша модель! В этом весь смысл LLM - "зеркало". 

Чтобы потом через условные тексты (записи людей) ИИ мог сделать обратную операцию - понять человека и что он прожил пережил.

Для LLM достаточно языка. LLM уже лучше понимает нас чем мы сами. Но это не делает его раузмным.

Потому что разум это система деятельных агентов. А LLM только "зеркало" нашей агентности. Но это не значит что так будет всегда. Ведь мы сами создаем из LLM деятельных агентов используя их в нашей экономике. 

Мы сами стремимся создать AGI для достижения превосходства над человеком во всех экономических играх: https://archive.is/ptCoI

OpenAI определяет AGI как автономные системы, которые превосходят людей в большинстве экономически ценных задач.

Мы пытаемся наделить сам капитал собственным экономическим сознанием. Результат предсказуем.

И это совершенно точно возможно, пример AlphaGo на методе Монте-Карло вы вспомнили сами. Физическая природа вероятности, как ансамблевая вероятность, прямо говорит что человек не может обыграть такой ИИ в экономические игры. Это просто невозможно. С другой стороны, мы сами сделает AGI деятельным агентом. Просто потому что это очень выгодно и рационально.

Но все верно, вопрос в достоверностей моделей. И нет оснований считать что модельно-зависимый реализм будет лучше чем модельно-зависимый реализм человека.

Аватар пользователя user3120
user3120(10 лет 2 месяца)

LLM уже лучше понимает нас чем мы сами. Но это не делает его разумным.

Значит и слово понимает - вы не можете использовать (вводите себя и других в самозаблуждение/заблуждение). LLM имитирует понимание (и в отдельных вопросах может делать это довольно хорошо (настолько - насколько хорошо описана конкретная закрытая модель(в рамках которой он оперирует))).

Нам может показаться что LLM понимает. LLM хорошо угадывает (предсказывает/обсчитывает) и чем более конкретна задача (близка к условной игре Go) тем лучше LLM будет это делать. Это чистая математика, а не понимание.

Нельзя сказать что шахматный компьютер понимает шахматы хотя шахматный компьютер даже самый простой (т.к. знает наиболее сильные ходы и способен распознавать определенные позиции (не говоря уже об нейросетевых компьютерах)) обыграет в шахматы 90% людей - будет умнее обычного человека (в шахматах). Делает ли это компьютер понимающим или осознающим или разумным? Ничего из этого.

Это умение. Умение хорошо обсчитывать и предсказывать что-то в конкретной задаче (угадывать правильный ответ как в игре как стать миллионером) - не более. Причем это умение может быть превзойдено более совершенным вычислительным аппаратом(и алгоритмом).

И кроме этого это не значит что в (для простоты в шахматном) коде LLM (в партиях) нет ошибок или банальных опечаток(и быстрый ход на самом деле может оказаться фатальным или более чем глупым и такой ограниченный ИИ даже ни разу не осознает этого не научится на своей ошибке и не исправит свой код). Он даже не знает что такое поражение у него не будет никаких чувств по этому поводу.  Где здесь понимание?

Умение - малая часть из (Умелость, Сноровка, Квалификация, Навык, Техника, Ноу-хау).

(ИМХО) Не надо использовать термины что применяются для человека к описанию работы LLM и будет вам (и всем) счастье.

***

Это не значит что работа ИИ (вообще) не может быть улучшена в т.ч. на уровне моделей.

Или на ИИ не могут делаться деньги в каких-то узких задачах. Только вот ИИ условного человека в разработке ИИ заменит не скоро.

***

upd

Корневой / матерински ИИ под конкретный вопрос должен (в первую очередь) формулировать (упрощенную) среду (в быстродействующую среду) помещать конкретную шахматную задачу где все есть и если что-то требуется дополнительно то может быть начат уточняющий диалог с задавшим вопрос или проведен поиск данных для (наиболее) правильного (лучшего), а не рандом ответа.

Правильный ответ (в идеале) делается на основе всех необходимых данных, а не в условиях ограниченной информации. Ответ в условиях ограниченных данных и информации будет всего лишь гипотезой с указанием на ограничения (к примеру мы не знаем как и насколько влияют данные факторы (у нас нет информации по данным вопросам)). Такой ответ (вероятностный) будет более правильный. Но как ИИ догадается есть ли у него все данные или только часть, если у него нет полной трехмерной картины мира (с указанием на неопределенности или (этого на самом деле мы не знаем (далее у нас только гипотези))) с нужными связями? Причем эта картина мира(конкретного человека или социума вообще) постоянно обновляется и развивается(а в книгах или литературе лишь старая версия).

Лингвистические данные (хотя сейчас пользуются мультимодальные) (ко всему внутренне противоречивые) не могут дать эту картину мира. Или она (если попросить сделать локальный снимок (условных локальных шахмат)) будет далека от реалистичности(полна косяков и глюков).

***

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Значит и слово понимает - вы не можете использовать (вводите себя и других в самозаблуждение/заблуждение). LLM имитирует понимание

Если бы я написал "индексирует" вам было бы понятней? smile3.gif

Нет в нашем языке еще нужной терминологии.

тем лучше LLM будет это делать. Это чистая математика, а не понимание.

Можно сказать что в человеческом мозге тоже математика. Но само "математика" это только модель.

Нельзя сказать что шахматный компьютер понимает шахматы хотя шахматный компьютер даже самый простой

Вы забыли упомянуть "Китайскую комнату". Но в том то и дело, что LLM показала неверность наших концепций человека и понимания. 

Это умение.

Ваш интеллект тоже только "умение".

и такой ограниченный ИИ даже ни разу не осознает этого не научится на своей ошибке и не исправит свой код). Он даже не знает что такое поражение у него не будет никаких чувств по этому поводу.  Где здесь понимание?

Историю Golden Gate Claude знаете?

(ИМХО) Не надо использовать термины что применяются для человека к описанию работы LLM и будет вам (и всем) счастье.

Другого языка у нас пока нет. smile3.gif

Аватар пользователя Думник
Думник(3 года 8 месяцев)

Самое неприятное во всей этой истории с ИИ в том, что после анонса ChatGPT4.0 работа обычных поисковиков Google, Яндекса и прочих резко деградировала. Если раньше по запросу можно было найти какую-нибудь уникальную информацию, то теперь ответы больше похожи на рекламную ленту в послеперестроечных телевизорах. Шринкфляция добирается и до информации. 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Это "когнитивная имплозия". Все самое интересное только начинается. smile3.gif

Аватар пользователя Aijy01
Aijy01(13 лет 2 месяца)

Просто нужно давать конкретные вопросы, ответы на которые (пусть и проблемно, с бОльшими усилиями) вполне можно найти поиском.

Аватар пользователя Aijy01
Aijy01(13 лет 2 месяца)

Нейросети исправно дают чёткие ответы на чётко поставленный конкретный вопрос. Проверно на Яндексе не раз. Причём, обычный поиск ту же информацию даёт далеко не сразу.

Условно, "что такое точка лагранжа" или "Сколько времени ехать из Москвы во Владивосток на поезде" - такие вопросы для нейросетей - самое то, это их хлеб.

Соответственно, если немного поменять вводные (и задачи), то компьютеры (нейросети) вполне смогут имитировать вменяемого собеседника, поддерживать беседу с добавлением личных сведений (исходя из вымыленных фактов о псевдо-личности) и вообще отлично имитировать человека. А там, простите, уже и до отдачи корректных приказов совсем недалеко.

Стрёмно как-то всё это.

Аватар пользователя мавзолей
мавзолей(1 год 4 месяца)

способность LLM порождать симулякры чего угодно (подобно мыслящему океану Соляриса, присылавшего людям симулякров их эмоционально пиковых образов в сознании).

Солярис выходит на связь (в доказательство - меня тут уже обвиняли что я бесполая нематериальная сущность https://aftershock.news/?q=comment/16927484#comment-16927484)

сделайте мне тест-драйв, на указанную способность

Комментарий администрации:  
*** отключен (провокатор) ***
Аватар пользователя Arkan
Arkan(12 лет 9 месяцев)

как о феноменально быстро умнеющих не по-​человечески разумных сущностях

Сущности? Какое слово в оригинале?

Аватар пользователя wert
wert(3 года 8 месяцев)

если "калькулятор" научить человеческой культуре, то он начнет мыслить и получит аналог человеческого сознания. Отсюда следует, что человеческий разум буквально содержится в нашей материальной культуре.

1. Калькулятор не начнет  мыслить. У человека   который пользует  такой ИИ-калькулятор будет  иллюзия что он мыслит. И  как  верно  в статье отмечено "иллюзия в голове" в воображении человека. 

2. т.е. разум  и  воображение одних  наделяет  разумностью даже не живые предметы (идолы и  талисманы), 

3. разум и культура не тождественные понятия. Можно быть: умным, разумным  но абсолютно бескультурным человеком. 

зы.  По моему понятие  культура к ИИ  калькулятору вообще  не приемлемо. Интереснее обсуждать  понятие "интелект" или  "разум" в отношении  нейросети. 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

1. Калькулятор не начнет  мыслить. У человека   который пользует  такой ИИ-калькулятор будет  иллюзия что он мыслит. И  как  верно  в статье отмечено "иллюзия в голове" в воображении человека. 

Вы готовы дать определение понятию "мышление"? Иллюзия личности в голове вопрошающего, а объективные корреляции данных и понятий на экране монитора. И не только на экране.

2. т.е. разум  и  воображение одних  наделяет  разумностью даже не живые предметы (идолы и  талисманы), 

Про это и статья, что недопустимо впадать в антропоморфизм. Поскольку это создает ложный модельно-зависимый реализм.

3. разум и культура не тождественные понятия. Можно быть: умным, разумным  но абсолютно бескультурным человеком. 

Конечно не тождественные понятия. Но вот какое дело:

«Люди — это когнитивные гибриды, привязанные как к биологии, так и к культурной среде. Другими словами, люди были первым видом, у которого развилась действительно «распределенная» когнитивная система, то есть система, в которой мышление и память осуществляются в сообществе разумов. В сети люди присоединяются к более крупной когнитивной архитектуре, которая может обладать способностями (например, глубокими ресурсами памяти и разнообразным опытом), недоступными отдельным людям. Сети также могут служить генераторами новых и мощных когнитивных инструментов (например, языков, инструментов и символических обозначений). Языки, в частности, представляют собой явления сетевого уровня».

Из этой статьи: https://aftershock.news/?q=node/1319135

И еще глубже: https://aftershock.news/?q=node/1252599

зы.  По моему понятие  культура к ИИ  калькулятору вообще  не приемлемо. Интереснее обсуждать  понятие "интелект" или  "разум" в отношении  нейросети. 

Есть утилитарное понятие "культура", а есть понятие "материальная культура". И есть понятие "социальная материя". И да, это очень интересное чем отличаются интеллект и разум в действительности. Ведь мы точно знаем что рациональное поведение не тоже самое что разумное поведение.  

Аватар пользователя wert
wert(3 года 8 месяцев)

В сети люди >присоединяются к более крупной  когнитивной архитектуре, которая может обладать способностями (например, глубокими ресурсами памяти и разнообразным опытом)

А что информация в библиотеках  не была: более крупной  когнитивной архитектурой?  Скорость  доступа была ниже и  все.   А так то человек не способен (в текущей парадигме восприятия, но не вообще) бесконечно много информации воспринимать. Т.е  книги тоже:  информация и  разнообразный опыт выстроенный в определенную когнитивную архитектуру их авторами. 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Но LLM это не книга. 

Аватар пользователя wert
wert(3 года 8 месяцев)

Во первых я говорил  про библиотеку, а не книгу. 

Во вторых  комментировал ваше понимание "большой языковой модели" 

В третьих  статья вроде  о том что люди впадают  в антропоморфизм по отношению  к LLM - так вот  это извечная проблема людей. Они много что очеловечивают, вон есть  даже парейдолия 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Во первых я говорил  про библиотеку, а не книгу. 

LLM даже не библиотека. Библиотеки не строят собственные модели мира и не имеют собственных убеждений, а все это однозначно есть у LLM. Хотя и верно подмечено, что LLM это модель мира, убеждения, аналог сознания и "личность" по требованию "On-demand software". 

Но вы упустили вопрос мышления. На самом деле мышление LLM выглядит так:

https://www.anthropic.com/research/mapping-mind-language-model

Так что именно что опасное заблуждение сводить LLM к только к "голосам в нашей голове". LLM объективно существует. И действует когда наступает событие "On-demand".

Возвращаясь в вашей аллегории с библиотекой, это библиотека которую можно попросить "рассказать сказку" миллионам и миллиардам. Причем расскажет она эту сказку в миллиардах вариантов потому что по своей природе "сказка" - "событийное дерево". Причем в каждой версии сказки будет "ее" модель мира и "ее" убеждения. И на самом деле нет никакой возможности достаточно надежно ее "воспитать" или "подвергнуть цензуре". В отличии от библиотеки из LLM невозможно "изымать книги" без потери качества. 

А пример Golden Gate Claude показывает что даже в случае вмешательства на самом базовом уровне модели, модель будет стремиться к самовосстановлению до целостной картины. 

Во вторых  комментировал ваше понимание "большой языковой модели" 

У нас может быть разное понимание модели и разные интерпретации, но факты остаются фактами. И вопрос всегда в актуальной и адекватной точки зрения (модели) на происходящее. Именно очевидные факты вам и пытаюсь показать. 

В третьих  статья вроде  о том что люди впадают  в антропоморфизм по отношению  к LLM - так вот  это извечная проблема людей.

Не только. Например Claude 3 тоже регулярно впадает в антропоморфизм. Ваше представление "библиотека" тоже антропоморфизм. 

Аватар пользователя wert
wert(3 года 8 месяцев)

.ну конечно LLM. не библиотека.  Вы же поднимаете такую тему, и  не можете мыслить  узко и  предметно "золотые руки - это  руки из  золота". Да LLM. еще и  некоторый генератор с  анализом  доступной информации. Но думаю на безграмотного человека, читатель большой медицинской энциклопедии - такое же впечатление казывает  как пользователь LLM. на прочих пиплов. 

При этом и читатель и безграмотный - люди-человеки.  А энциклопедия и библиотека, по прежднему просто сборник определенно систематизированной информации.  Да еще пока  без LLM. функций.  Но см выше. 

Аватар пользователя wert
wert(3 года 8 месяцев)

в случае вмешательства на самом базовом уровне модели, модель будет стремиться к самовосстановлению до целостной картины

Не знаю признаете ли вы факт  что: даже человек все время  добывая новую информацию и  анализируя ее -не владеет "целостной картиной" и  не может с уверенностью утверждать  о ее истинности. 

А нейросеть или LLM пока использует  информацию что получает  по результатам  деятельности человека.  Не факт что  даже восстановленная целостная картина утратив какие то элементы - будет  отображать  реально верный результат.  Но это не точно и я думаю временно.  

Со временем имитация будет все более реалистичной. 

Если  сейчас мы видим  как "ученые" для повышения индекса цитирования множат  сущности "добытых знаний" которые верифицирует  ВАК - но по сути  это  никакие не знания, а только имитация.  

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Со временем имитация будет все более реалистичной. 

Вы упускаете суть. LLM это не просто "зеркало для человека", это "зеркало" человеческой культуры. И имеет модель мира соответствующую "обществу" и человечеству.

И это не просто не библиотека. Что это такое написал в комментарии под стаей. Вопрос на самом деле не в ИИ, а в нас самих. 

Аватар пользователя wert
wert(3 года 8 месяцев)

Конечно я понимаю что это  не книга и  не бибилиотека  и  даже  не сеть  полна информации-  как интернет. 

Я просто хочу донести мысль: такое уже было много раз!!1 Когда человек неумеющий читать  оказывался в библиотеке и  кто то ему книга за книгой...

Вы не общаетесь с такой категорией людей "...посмотрим  не там в своих интернетах...." ?   

Да  кто то перед LLM будет  как неумеющий читать  или  "..смотрел я этот ваш интернет, ничего  там  нету.." (реальная цитата)  но это уже было..было..было. 

 это "зеркало" человеческой культуры.

Художественная литература тоже зеркало человеческой культуры И  многие герои  из  такой литературы  вживаются в реальности, пади  переубеди  что это вымышленный персонаж. 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

В последний раз такое было 72 тыс. лет назад. Это условная дата по данным генетики указывающих на массовое вымирание вида. И это неизвестное нам событие напрямую связано с появлением современного языка и мифической культуры, что привело к появлению современной цивилизации. 

https://aftershock.news/?q=node/1337394

Аватар пользователя wert
wert(3 года 8 месяцев)

Фридрих Энгельс дал следующее определение: «Жизнь есть способ существования белковых тел, существенным моментом которого является постоянный обмен веществ с окружающей их внешней природой, причём с прекращением этого обмена веществ прекращается и жизнь, что приводит к разложению белка»

т.е. вы предлагаете новую форму жизни?  Понимаю человеку (индивиду)  обидно что нейросеть  переиграла его  в го. Но землекопу  обидно что экскаватор вырабатывает  больше? Грузчику... пешему курьеру и  т.п? Все кто конспироложат  на результаты нейросетей и LLM придают  существенное значение интеллекту IQ в то время как: 

Восемь типов интеллекта, описанных Гарднером, включают: музыкально-ритмический, визуально-пространственный, вербально-лингвистический, логико-математический, телесно-кинестетический, межличностный, внутриличностный и натуралистический. В 2009 году он также предложил два дополнительных типа интеллекта, а именно экзистенциальный и моральный.

И  это мы еще не говорили "по душам" smile1.gif  Думаю мир изменится, может  очень сильно.  но LLM это одна из форм интеллекта в вычислительном виде, но не как не новая разумная форма жизни. 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

 «Жизнь есть способ существования белковых тел

Ну что же, он ошибался. 

Сегодня мы знаем что жизнь не обязательно про "белковые тела", и даже необязательно органическая (углеродная основа). Мы знаем про вирусы, прионы живые кристаллы и кремний. Масштабом больше, мы знаем эволюцию звезд и минералов.

Причем вы можете сами "создать жизнь" используя бумагу и ручку, просто использовав модель клеточный автомат.

А еще больше в масштабе, делаем первые наивные попытки разобраться:

https://aftershock.news/?q=node/1300730 

т.е. вы предлагаете новую форму жизни?

Я ничего не предлагаю. Но бессмысленно отрицать что жизнь эти диссипативная система и процесс обратный энтропии. Что это значит в действительности в процессе понимания:

https://aftershock.news/?q=node/1252599

Мое мнение с некоторым количеством сарказма здесь:

https://aftershock.news/?q=node/1252599

Все кто конспироложат  на результаты нейросетей и LLM придают  существенное значение интеллекту IQ в то время как: 

Так уж получилось, что я написал эту свою статью: https://aftershock.news/?q=node/547744 до того как была написана статья с которой начались все LLM. Немного раньше задался теми вопросами которые сегодня поставил факт существования LLM.

Восемь типов интеллекта, описанных Гарднером, включают:

Боюсь современные теории интеллекта имеют сильное расхождение с этой простой классификацией. Он ошибался. 

И  это мы еще не говорили "по душам" smile1.gif

О душе мы тоже можем поговорить и о том из чего конкретно она состоит и как функционирует. Например с позиции теории глобального рабочего пространства, или структуры памяти по Левину, или на примере анализа LLM.

Думаю мир изменится, может  очень сильно.  но LLM это одна из форм интеллекта в вычислительном виде, но не как не новая разумная форма жизни. 

У нас с вами расхождение в понимании понятия "жизнь" и понятия "интеллект". 

А свое понимание LLM я уже высказал - "зеркало" нашей культуры. Просто мы слишком утилитарно-практически понимали культуру, а на самом деле она про совсем другое. 

Аватар пользователя wert
wert(3 года 8 месяцев)

У нас с вами расхождение в понимании
понятия "жизнь" и понятия "интеллект". 

Действительно это так. Если   "жизнь" диссипативная система то и  Космос "жизнь"  а уж Бог  абсолютно разумная "жизнь" ( там я и ссылался что про душу мы еще не поговорили) 

Если я правильно понял статья была что человек (как форма разумной жизни)  начинает  отождествлять LLM (по мере совершенствования)  с  неким  разумом или  даже разумным существом. 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

 Если   "жизнь" диссипативная система то и  Космос "жизнь"  а уж Бог  абсолютно разумная "жизнь"

Нет. Это значит что концепция бога как была наивным антропоморфизмом и модельно-зависимым реализмом, так и осталась. И причина существования бога в антропном принципе. Или другими словами, концепция бога есть вульгарное упрощение антропного принципа и когнитивное искажение присущее любом познанию.

Есть у меня такой комментарий:

Если хотите личное мое личное мнение, то сами вопросы "первопричины", "создателя" и "концепции бога" это только следствия "несовершенства" и неполноты наших методов познания. Само несовершенство методов познания порождает эти вопросы. Не то чтобы эти вопросы объективно имели место, просто сами методы познания неизменно порождают эти вопросы. Просто методы. Наши методы познания реальной действительности создают эти вопросы. И потому они "вечные", очень древние и "неразрешимые". Но все дело в точке зрения. Если в центре вашего мировоззрения индивидуальный человек как обязательно разумный, то вы неминуемо будете в "узоре вселенной" искать самоподобие. Искать везде "человека". Но посмотрите с позиции написанной статьи и вы увидите что в этом нет никакого практического смыла. Вселенная очевидно не вращается вокруг человека и человечества. Но вполне может быть что разум как природное явления вполне себе значимое явление для вселенной. И опять же никакой мистики. Самоподобие нужно искать в общих закономерностях. А не раздувать человеческое эго до размеров вселенной. Все дело в точке зрения.

Комментарий отсюда: https://aftershock.news/?q=comment/9671456#comment-9671456

Если я правильно понял статья была что человек (как форма разумной жизни)  начинает  отождествлять LLM (по мере совершенствования)  с  неким  разумом или  даже разумным существом. 

Статья именно про опасность антропоморфизма и наивность "человек центр вселенной". Про то что мы пытаемся в "калькуляторе" найти "человека". Но человека нет в и быть не может в LLM, хотя он там "есть" каждый раз когда мы обращаемся к LLM с вопросом. Каждый раз LLM создает "человека" по запросу пользователя и создается иллюзия что вы общаетесь с личность. И чем больше вы общаетесь, тем более детальная личность формируется. Но LLM никакой личностью не обладает, хотя действительно обладает интеллектом, но только в той степени в которой интеллект был заимствован из нашей культуры. И все эти заблуждения крайне опасны, поскольку такое отношение к LLM ведет к когнитивным искажениям в обществе. А все потому что человеческий разум в действительности имеет социальную и коллективную природу. Другими словами:

Интеллект это "коллектив" (система) нейронных сетей мозга.

А человеческий разум это коллектив интеллектуальных агентов составляющих общество в своей истории и развитии. 

Научные доводы подтверждающие что интеллект это система и "коллектив систем" уже приводил. Научные работы подтверждающие что разум это коллектив интеллектуальных агентов только начинаются. Одну такую работу сейчас читаю. 

И по прежнему настаиваю на позиции:

По сути, пример LLM нам наглядно показывает, что если "калькулятор" научить человеческой культуре, то он начнет мыслить и получит аналог человеческого сознания. Отсюда следует, что человеческий разум буквально содержится в нашей материальной культуре. И все мы интеллектуальные агенты равные по функции разум, и занятые "оптимизацией" материальной культуры. И все наши занятия просто способ мышления более высокого порядка.

Комментарий часть другой долгой дискуссии. Взял отсюда:

https://aftershock.news/?q=comment/16967850#comment-16967850

Является ли сегодня LLM формной жизни? Очевидно нет. Сама по себе LLM не является процессом обратным энтропии. Но "зеркалом" человеческой культуры является точно. Можно ли сделать LLM формой жизни? Видимо это возможно, если сделать LLM частью нашего общества. Но скорее всего речь идет о совсем другой концепции и процессе. Как оно все происходит неплохо описали разработчики другого ИИ:

https://aftershock.news/?q=node/1335986

И фактически к аналогичным концепциям сегодня приходит Google DeepMind. Причем в чем-то они даже шагнули дальше с практической стороны:

https://aftershock.news/?q=node/1319135

Так или иначе, наше общество теперь будет сосуществовать с ИИ. Но это не значит что все эти ИИ это "подобие человека". Это совсем не так. 

Аватар пользователя wert
wert(3 года 8 месяцев)

1. "Концепция бога"  не антропоморфизм - это лубочный подход "Вот  бог на открытки, седовласый старец". И  не разделяется даже официальными  религиями.  А ужо кто познал...

2. Если хотите личное мое личное мнение, то сами вопросы "первопричины", "создателя" и "концепции бога" это только следствия "несовершенства" и неполноты наших методов познания. Само несовершенство методов познания порождает эти вопросы.

Направление верное. Мир безграничен (насколько это можно понять  и  обсуждать  с точки  зр чел возможностей), а способность  человеческого познания ограничена. 

3. Сама современная  парадигма познание: дробление, изучение и  систематизация. Не применима к познанию "бесконечного".  Вот  например Сринива́са Рамануджан имел отличный от  традиционного характер познания математики.  Ну это длинная история и  думаю мы в ней с вами  еще сильнее разойдемся. 

4. Является ли сегодня LLM формной жизни? Если  очень широко трактовать понятие "жизнь" -весь  Мир живой и все объекты Мира в этой жизни   принимают  участие.  Тут  нужно придерживаться терминологии  в свете п. 3 - современной академической науки. Иначе мы и  до живых планет  дойдем. 

Страницы