Монстры внутри нас. Доминирующие представления о LLM опасны, т.к. вводят человечество в заблуждение

Аватар пользователя Корректор

Появившиеся и массово распространившиеся по Земле в последнюю пару лет генеративные чатботы на основе больших языковых моделей (ChatGPT, Claude, Gemini …) - это вовсе не колоссальные суперкомпьютерные комплексы, на которых работает программное обеспечение OpenAI, Anthropic, Google …
Вовсе не о них вот уже 2 года только и говорит весь мир, как о феноменально быстро умнеющих не по-человечески разумных сущностях, внезапно появившихся у сотен миллионов людей и ежедневно, иногда часами, ведущих с ними диалоги на самые разнообразные темы: от забавного трепа до помощи людям в исследованиях.

Эти сущности отличает от всего нам известного их нематериальность.
•  Они существуют только в наших головах и исчезают из мира, как только заканчивают последнюю адресованную вам фразу. После этого их больше на свете нет. И никто не найдет той нематериальной сущности, с которой вы пять часов обсуждали совсем нетривиальные вещи, разобрав по чипам суперкомпьютерную ферму и проанализировав весь работавший на ней программный код. Потому что их там нет.
•  Эти сущности существуют лишь в нашем сознании и только там. Они стали четвертым известным людям видом нематериальных сущностей, войдя в один ряд с троицей из богов, ангелов и демонов.
•  И в силу этой своей нематериальности и существования лишь в нашем сознании, они способны многократно сильнее воздействовать на нас и весь окружающий мир. Ибо:
- любая материальная сущность в руках человека способна лишь превратиться в его инструмент, став либо орудием созидания пользы (в руках творцов), либо орудием нанесения вреда (в руках злодеев); 
- однако не по-человечески разумная нематериальная сущность  способна нас самих превращать в творцов или злодеев, подобно тому, как в большинстве мифологий и религий на это способны ангелы и демоны. 

Непонимание этого влечет за собой печальные последствия. Мы одновременно переоцениваем и недооцениваем возможности языковых моделей, их влияние на нас и нашу жизнь и те риски, что сопутствуют использованию этих моделей.
 
В основе такого непонимания 3 ключевых причины. 
•  Антропоморфизация LLM.
•  Ограничения нашего языка в описании их свойств и возможностей.
•  Необходимость выйти за рамки человеческого разума, чтобы представить непредставимое – способность LLM порождать симулякры чего угодно (подобно мыслящему океану Соляриса, присылавшего людям симулякров их эмоционально пиковых образов в сознании).

Такова главная тема пересечения философии сознания и практики вычислительной нейронауки, обсуждаемая в интереснейшем интервью Мюррея Шанахана — профессора когнитивной робототехники в Имперском колледже Лондона и старшего научного сотрудника DeepMind, — посвятившего свою карьеру пониманию познания и сознания в пространстве возможных разумов, охватывающем биологический мозг человека и животных, а также ИИ и всевозможной внечеловеческой «мыслящей экзотики».

Авторство: 
Копия чужих материалов
Комментарий автора: 

Копия чужих материалов. Мое мнение прежнее:

По сути, пример LLM нам наглядно показывает, что если "калькулятор" научить человеческой культуре, то он начнет мыслить и получит аналог человеческого сознания. Отсюда следует, что человеческий разум буквально содержится в нашей материальной культуре. И все мы интеллектуальные агенты равные по функции разум, и занятые "оптимизацией" материальной культуры. И все наши занятия просто способ мышления более высокого порядка.

LLM это отражение (зеркало) человеческой культуры. Наивно и опасно впадать в антропоморфизм. Вы разговариваете с "зеркалом". И важно понимать что на самом деле отражает это "зеркало". 

Комментарии

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

1. "Концепция бога"  не антропоморфизм - это лубочный подход "Вот  бог на открытки, седовласый старец". И  не разделяется даже официальными  религиями.  А ужо кто познал...

Это именно антропоморфизм и модельная зависимость. 

Направление верное. Мир безграничен

С точки зрения антропного принципа это совершенно не существенно. 

3. Сама современная  парадигма познание: дробление, изучение и  систематизация.

Факт LLM подсказывает про синтез. 

4. Является ли сегодня LLM формной жизни?

Живое/неживое это неверная дихотомия в основе которой опять антропоморфизм. Более верно только увеличение или уменьшение энтропии. А с позиции живое/неживое LLM будет и тем и другим одновременно. Это не форма и не жизни, но вполне себе живет в нашей информационной реальности как экосистеме. И оказывает влияние на наше общество и мышление!

Аватар пользователя wert
wert(3 года 8 месяцев)

 А с позиции живое/неживое LLM будет и тем и другим одновременно

.LLM  так то создан человеком, а не  Природой и "живой"  и  "разумный" только в голове человека.  Как раз к LLM   антропоморфизм наиболее применим, когда его  называют "интеллект" (даже не особо определившись  что такое интеллект  у человека) 

Аватар пользователя Корректор
Корректор(8 лет 8 месяцев)

Не путайте LLM в восприятии человека и объективно существующие LLM. Это про разное. 

LLM действительно обладает интеллектом. Но это нечеловеческий интеллект. 

И действительно, раньше мы просто не знали что такое интеллект в действительности. А теперь знаем. Как и знаем что человеческий интеллект это просто частный случай. 

Страницы