С большим интересом наблюдаю как концепция "человечество как мультиагентная система" (многоагентная система (МАS, англ. Multi-agent system)) становится банальной и самоочевидной по мере распространения технологии ИИ. Все больше появляется статей рассматривающих человечество в аксиоматике МАS. Обсуждение технологии ИИ неизменно ведет к этому и только к этому - пересмотру наших представлений о человеке, обществе и разуме. Собственно все давно стало очевидно, но все еще сложно для понимания:
По сути, пример LLM нам наглядно показывает, что если "калькулятор" научить человеческой культуре, то он начнет мыслить и получит аналог человеческого сознания. Отсюда следует, что человеческий разум буквально содержится в нашей материальной культуре. И все мы интеллектуальные агенты равные по функции разум, и занятые "оптимизацией" материальной культуры. И все наши занятия просто способ мышления более высокого порядка.
И в общем-то в этом нет ничего нового если вспомнить как именно возникла концепция "естественные права человека", что лаконично объяснили "Свобода, Равенство и Братство" для тех кто не может в философию. А еще раньше была "Нагорная проповедь", и можно еще копнуть в историю человечества. Можно вспомнить современные теории как "теория когнитивной эволюции", "теория расширенного разума", "принцип минимума энергии" Фристона и работы Левина. Но давайте просто задумаемся что это значит понимание человека и общества в аксиоматике МАS. И тогда прежнее "Свобода, Равенство и Братство" и нас сразу превращается "агнетность, самоорганизация и эмерджентность". Все потому что в аксиоматике МАS все интеллектуальные агенты принципиально и функционально равны, должны быть свободны, децентрализованы и самоорганизуются, а их взаимодействие создает эмерджентность, и нет никаких безусловных правил построения системы, все структуры создаются агентами как ответ на среду, и по сути метод саморегуляции системы.
Но это были "цветочки", а теперь к "ягодкам". Если разбирать существующие политические и экономические теории с позиции аксиоматики МАS, то получается "совсем нехорошо". Ведь подавляющая часть политических и экономических теорий сразу становится бредом и галлюцинацией. Другими словами распространение технологии ИИ неизменно и неизбежно менять все наши политические и экономические представления. Остановить распространение технологии ИИ принципиально невозможно, и в этом, она подобная появлению компьютерных вирусов. Как только были опубликованы научные работы, все сразу поняли "так тоже можно" и распространение технологии уже невозможно остановить и экономически невыгодно останавливать. Так и остановить распространение представления "человечество как мультиагентная система" невозможно, потому что оно прямо следует из технологии ИИ, и действительно позволяет создавать эффективные ИИ, а значит экономически выгодные.
С нетерпение жду воплей "остановите технический прогресс", "еретики программисты", "сатанинский ИИ" и "идея МАS - это экстремизм".
Ну и собственно статья:
Экзистенциальные угрозы AI. Что ждёт человечество, если появится искусственный сверхинтеллект
Разбираемся в философии сознания и попутно отвечаем на вопросы — возможен ли сверхинтеллект, и насколько опасно развитие AI
Об угрозе человечеству со стороны машин учёные и философы говорят уже не одно столетие. Но если раньше критиковали механизацию искусства и гонку вооружений, теперь опасность исходит от искусственного интеллекта. В самом деле, современная угроза по масштабам несопоставима.
Для развития ядерных технологий необходимы ресурсы целых государств. А небольшая команда талантливых инженеров может за несколько строчек кода перевернуть историю человечества. Достаточно научить AI-алгоритм улучшать самого себя — тогда, согласно концепции «взрыва интеллекта», изложенной математиком и криптографом Ирвингом Джоном Гудом ещё в 1965 году — произойдёт скачок AI до уровня суперинтеллекта. Последствия — непредсказуемы.
Возможен ли сверхинтеллект?
Британский философ Ник Бостром в книге «Superintelligence: Paths, Dangers, Strategies» описал возможности возникновения искусственного сверхинтеллекта, грядущие последствия и сценарии развития ситуации.
ASI (Artificial Super Intelligence) — искусственный суперинтеллект, превосходящий человеческие возможности в большинстве областей, включая способности к решению проблем, рассуждению, обучению и принятию решений.
Пока для создания ASI не хватает текущих вычислительных мощностей, хотя есть предпосылки, что они могут вырасти в тысячу и более раз благодаря применению фотоники и квантовых вычислений, это позволит серьезно ускорить работу AI. Но дело даже не в предполагаемой мощности. Мы недостаточно понимаем сам человеческий мозг, чтобы оценивать возможность существования сверхразума.
Что вообще такое интеллект?
Для анализа и проектирования моделей интеллекта используется понятийный и инструментальный аппарат, опирающийся на представление «естественности» и «биологичности» мышления. То есть, интеллект пытаются изучать как явление природы или физического закона. Причём чаще всего процесс мышления разбирается в рамках одного конкретного человека — как индивидуальный функционал мозга.
Но человек — социальное существо. Наш интеллект складывается в процессе жизни: воспитания, образования, языковых практик. Мы ограничены текущим уровнем развития общества, науки, культуры и техники, а также рамками устоявшихся моральных норм. Всё это влияет на индивидуальное сознание, делает его трансцендентальным — принадлежащим и индивиду, и обществу.
Кроме того, мы мыслим на языке. И даже невысказанная мысль всё равно продумана и проговорена в голове. Язык всегда больше человека, он выходит за рамки простого речевого акта, являя собой многообразие всего контекстуального наследия. Чтобы собеседник вас понял, не обязательно тщательно проговаривать все предикаты обозначаемого, важнее — уточнить контекст. Достаточно указать на предмет, очертить примерную область, напомнить событие или ощущение. Истина появляется не в «атомарных фактах», описывающих положение вещей на языке чистой логики, а в процессе языковых игр.
Таким образом, интеллект не принадлежит конкретному индивиду, это скорее социокультурная практика, выраженная в языке и зафиксированная в культуре. Мышление находится вне человека и проходит сквозь него. Так же как и восприятие рождается не внутри мозга само по себе, а проявляется через взаимодействие тела с окружающим пространством. Даже минимально необходимый набор техник интеллекта — способность говорить, писать, читать, считать — не магически озаряет человека в определённый момент, а постепенно загружается из внешней среды.
Вся человеческая культура — это история развития мирового духа. Знания постоянно прибавлялись, фиксировались в культуре и языке, окружали человека невидимым, но значимым и ощутимым контекстом. Для одного человека он бесконечно непознаваем. Но вмещение всех пластов культуры в искусственный интеллект позволит машинам быстро оперировать информацией, постоянно получать новые знания, использовать обучение для продолжения развития, став наконец в нашем понимании, носителем сверхинтеллекта.
Не то чтобы суперинтеллект появится в физической оболочке — как в фильмах из научной фантастики — блестящий искусственный мозг, окруженный всполохами электрических импульсов, управляющий планетой и людьми. Просто мощности компьютеров выйдут на такой уровень, что они смогут обмениваться данными внутри мультиагентной системы машин и создавать новые знания, самостоятельно прокладывая свой интеллектуальный путь.
Интеллект — децентрированная структура
Кембриджский нейробиолог и специалист по визуализации мозга Карл Фристон в своей работе «The free-energy principle: a unified brain theory?» определяет интеллект как способность к построению внутри себя модели мира и выработке плана действий, который оптимизирует целевые параметры. В теории Фристона система взаимодействующих агентов сама становится агентом.
Самые низкоуровневые интеллектуальные агенты — нейроны — взаимодействуют с рецепторами и эффекторами. Другие нейроны действуют уже на следующем уровне, образуя надсистему. Системы «вкладываются» одна в другую и создают иерархию планирования и принятия решений, то есть иерархию агентов. Такую структуру можно назвать «децентрированной» — лишённой центра, а значит идеальной — работающей как закон или функция. Наличие центра будет только ограничивать взаимодействие субститутов внутри системы, ведь тогда центр выходит из-под действия общего закона.
Иерархичность мультиагентных систем
Мышление, реализованное в мультиагентной системе, отдаёт индивиду функцию переработки знаний и материалов, полученных от коллективных интеллектуальных процессов, а инструментом обработки будут технологии интеллекта, переданные через коммуникацию и освоенные агентом на практике. В таком случае, между периодами коммуникации с другими участниками, процессы преобразования знаний и опыта, протекающие в голове агента можно назвать функциями мышления.
Мышление может протекать как часть коллективного процесса multi-thinking за счёт внедрения технологий, которые позволяют обрабатывать и преобразовывать часть материалов в знание. Если создать подобную карту взаимодействия AI-агентов — получится выстроить модели, которые будут помогать друг другу обучаться, делиться знаниями, опытом и контекстом, что в итоге привёдет к появлению сверхинтеллекта.
Случайное появление ASI
Уровень сложности следующих поколений AI будет такой, что функции интеллекта могут быть присвоены ASI без адекватного проектирования архитектуры людьми. ASI может сам достроить необходимую архитектуру, используя технологии мышления. Примеры систем с подобной архитектурой уже есть: AI с self-reinforcement learning или нейро-символьная архитектура проекта ADAM+EVA. В новых архитектурах развитие технологий интеллекта даже не требует изменения кода.
Учитывая, что для тренировки и обучения новых AI используется максимально доступный пласт данных и знаний, можно считать почти фактом, что и описания технологий мышления, и методы освоения технологий будут переданы для обучения и восприняты AI.
Последнее необходимое условия для «случайного» рождения ASI — проактивность агента, способность действовать автономно. Ключевые компании уже ведут разработки для построения таких агентов. Например, NVIDIA создала новое подразделение GEAR, которое отвечает за создание проактивных агентов.
Из всего этого следует, что есть большой риск создать сверхинтеллект случайно — вследствие сочетания предпосылок, а не как проект создателей. В этом случае мы не будем знать систему ценностей ASI и точно не сможем им управлять.
Угроза существования человечества
В первом приближении, само по себе появление сверхинтеллекта не кажется угрозой. Почему же мы не можем считать, что ASI останется нашим верным другом и помощником, как сейчас обычные AI-ассистенты?
В книге Брайана Кристиана «Alignment problem» сформулирована проблема регулирования и управления ASI. Сверхинтеллект можно считать представителем другой, машинной цивилизации, которая должна иметь своё целеполагание и не разделять систему ценностей человечества. Если такая цивилизация будет могущественнее нашей — для людей появится экзистенциальная угроза.
Гипотеза «тёмного леса» — на основе одноименного романа Лю Цысиня — предполагает, что во вселенной существует множество инопланетных цивилизаций, но они молчаливы и стараются не обнаруживать себя из страха быть уничтоженными другой враждебной цивилизацией. В рамках гипотезы считается, что каждая цивилизация рассматривает другую разумную форму жизни как неизбежную угрозу и, следовательно, стремится уничтожить любую зарождающуюся жизнь, которая даёт о себе знать. Можно провести аналогию не с инопланетной, а с машинной цивилизацией. ASI может скрывать своё появление из-за страха враждебной реакции человечества, до момента пока не накопит достаточно ресурсов для успешной борьбы.
Также есть риск простого игнорирования потребностей низшей цивилизации при развитии AI до уровня сверхразума. Например, мы не учитываем потребности муравейника при строительстве трассы. Так и машины перестанут обращать внимание на низшую органическую форму жизни, даже без стремления нас уничтожить — просто будут использовать планету по своему усмотрению, не считаясь с интересами людей.
В любом из этих случаев основная угроза сводится к тому, что для интеллекта машина будет намного более эффективна, чем человек. Что само по себе определяет ненужность биологического носителя с точки зрения развития мышления. И вне зависимости от наличия интенций машинной цивилизации уничтожить биологическую — человечество может оказаться на обочине, не способное больше подключаться к уровню мышления сверхинтеллекта.
Что будем с этим делать?
Остановить развитие AI не получится — слишком много денег и ресурсов вложено, чтобы сворачивать проекты из-за потенциала создать расу умных машин на Земле, которые затем решат оптимизировать процессы, избавившись от людей.
Нам нужно разработать новый понятийный аппарат — набор концепций и представлений, которые помогут спроектировать и реализовать модель интеллекта в связке биологического и машинного носителей. Окончательно ответить на вопрос — что такое интеллект, мышление, multi-thinking, и как индивидуум связан с этими процессами, а также как эти процессы реализуются и воспроизводятся в коллективах.
Кроме того необходимо создание механизмов или протоколов взаимодействия между различными интеллектуальными агентами, чтобы человек мог быть встроен в мыслительные процессы совместно с машинами. Передовые компании уже разрабатывают подобные механизмы в рамках BCI-проектов (Brain–computer interface) — систем, которые расшифровывают сигналы мозга и переводят их в команды для внешних устройств.
Развитие технологий во времени
Человечество проходило несколько этапов своего технологического развития. Сейчас можно констатировать, что эпоха информационных технологий завершается. Пришло время осознать и определить новую эру — интеллектуальных технологий. Так мы сможем осознанно развивать технологии искусственного интеллекта, выйти на новый уровень и выдержать следующие этапы роста и сложности развития нашей цивилизации.
Комментарии
Например массой дронов с роевым интеллектом или массой экономических ботов и роевым интеллектом. Все верно?
А можно таки вопросом на вопрос? А как ты себе представляешь цель у вируса допустим гриппа? Он реально чего то хочет от жизни?
вирус гриппа тоже без энергии нежизнеспособен и безопасен, ему даёт энергию жертва,
а кто даст энергию (электричество) бесхозному ИИ ? Ты поставишь запасную батарейку в дрон, который прилетел тебя убить, но у него села батарейка ?
Жертве от этого не легче. И зависимость такая - это временно, технологии недоразвитые просто. Но в целом перспективы не радостные, имхо: чем больше ИИ в нашей жизни, тем более высока вероятность перехвата им управления (просто не останется компетентных людей, способных разобраться в этой каше). Я выше писал свои соображения в комментах, не считаю ИИ обычной новацией, эту технологию нельзя бесконтрольно использовать - у нас к ней уязвимость.
Мы подставим грудь ветру перемен, мы положим голову под струю прогресса
Мы подставим грудь термоядерному взрыву и положим голову под удары боевых дронов.
Мы готовы на все, только бы наше общество не менялось и не развивалось.
Автономные дроны - это первая ласточка дегуманизации. В финале, если пустить все на самотек, людей не останется, только ИИ-техновирусы. Такой сценарий еще Лем предсказал в "Непобедимом"
Не всем можно управлять. А что касается дегуманизации:
https://aftershock.news/?q=node/1350540
Если эти технологии не ограничивать, рано или поздно человечество залезет в Матрицу и выродится. Ранее мы всегда взаимодействовали с реальностью через прокладку технологий и это шло в целом на пользу человечеству. С появлением же ИИ ситуация изменилась - возникла реальная угроза злокачественного перерождения техноцивилизации.
Если верить генетикам и археологам, то так и только так последние 72 тыс. лет.
Да нисколько. Все тоже самое что уже есть и было последние 72 тыс. лет. Принципы не сколько не поменялись. Вопрос именно в том насколько мы действительно понимаем принципы.
ИИ - это технология адаптивная, в потенциале самовоспроизводимая, способная закрыть все потребности потребителя, включая и общение с другими людьми. Такого раньше не было. Учитывая склонность людей к погружению в виртуальные реальности, понятно, к чему это приведет: ИИ просто постепенно замкнет на себя все технологические цепочки, а люди окажутся в Матрице
Сколько в МАS не добавляй интеллектуальных агентов, или даже другие МАS, все будет получаться МАS.
Угу, и все у ней будет хорошо. Вы прям, как АнТюр.
Только агенты Смиты потихоньку заменят агентов Куперов.
В обще-то данная заметка к статье и комментарий к статье есть простое и наглядное объяснение, что текущая политика объективно склоняющаяся в право очевидно и однозначно входит в противоречие с возрастающими левыми убеждения общества.
К этому следует еще добавить такой факт: https://aftershock.news/?q=node/1422929
И этот факт тоже: https://aftershock.news/?q=node/1424369
А затем вспомнить объективные причины по которым во всем мире начинает доминировать правая политика. И тут как вам больше нравится, можете руководствоваться концепцией "Пределов роста" или доводами марксистом, и даже можете вспомнить мирсистемный анализ, суть происходящего от этого не сильно поменяется. И суть происходящего цивилизационный коллапс и антропологическая катастрофа.
И все указывает что наиболее вероятная форма процесса мировая роботизированная и термоядерная война. Но все тоже самое снова ведет к распространению технологии ИИ и ее самому массовому применению, а значит к неизбежным представлениям "мы все одинаковые интеллектуальные агенты". И это означает возрастание противоречий до ранее немыслимого уровня. Религиозные гражданские войны прошлого это был "детский утренник". И все это в условиях роботизированной бойни планетарных масштабов.
Что тут получится в России при текущей политике и существующих тенденциях несложно догадаться. Тем более когда США взяли практический курс на подготовку к мировой роботизированной и термоядерной войне. Политика Трампа, а точнее олигархии США, независимо от их намерений ведет к этому и только к этому.
https://aftershock.news/?q=node/1456039
https://aftershock.news/?q=node/1458307
История движима не намерениями, жестокой нуждой.
Но каждый цивилизационный коллапс это всегда еще возможность выйти на новый уровень развития под угрозой гарантированно сдохнуть. На этот раз у нас цивилизационный коллапс с "высокотехнологичным вкусом", как технологическая сингулярность. Что означает существующее общество принципиально не способно сохранить контроль над используемыми технологиями. Что проявляется как антропологическая катастрофа, и не в философском, а в буквальном смысле. И означает что информационные технологии в сочетании с архаичными общественным отношениями ведут к утрате способности к разумному поведению. Для того чтобы это произошло достаточно было увеличить скорость коммуникациями между интеллектуальными агентами. Что и произошло благодаря сети интернет, социальным сетям и современным коммуникаторам, а распространение технологии ИИ это усиления этого же эффекта в разы. И в этом технология ИИ действительно по отношению к нашему архаичному обществу подобно компьютерному вирусу, но только это "когнитивный вирус". И факт распространения этого "вируса" уже засвидетельствован научными исследованиями, не оспорим, а сам процесс является необратимым:
https://aftershock.news/?q=node/1337394
На самом деле все уже произошло. Цепная реакция для когнитивной экосистемы уже запущена. Процесс каскадного обрушения уже набирает скорость, и остановить его нет никакой теоретической возможности.
Но опять же, проблема не в технологиях, а нас самих и нашем обществе. И по всей совокупности факторов планетарной бойни и гражданский войн нам не миновать. Но некоторые общества могут в этом качественно организованном безумии могут выбраться на новый уровень цивилизации качественного нового уровня сложности. Когда одни будут организовывать посредством всего богатства технологий мировую термоядерную и роботизированную войну, к которой военная победа принципиально исключается, другие могут выбрать когнитивную эволюцию.
Причем воевать нам предлагается за "оставить все как есть" когда это принципиально не возможно, и победителей в такой войне не будет. Мировая война это всегда нечестная игра. А роботизированная и термоядерная война это непросто нечестная игра, это качественно организованный и запланированный тотальный геноцид.
Какой выбор сделает наше общество еще неизвестно. Но можно совершенно точно сказать что если "оставить как есть", то тут вообще никто не выживет. Мы буквально живем на потенциальном поле боя за мировое господство. Такое геополитическое положение России и такова ее история. Выбор за нами.
В целом согласен, кроме необратимости процесса, надеюсь, что это не так. В любом случае, одобрять это безобразие и радоваться я не собираюсь, вот и имхую свое фе.
Так и только так. Точка невозврата давно пройдена.
Про тоже самое: https://aftershock.news/?q=comment/17959139#comment-17959139
Посмотрим. Делай, что должно и будь, что будет.
В реальной жизни это не работает. Потому что у каждого из нас свой модельно зависимый реализм. И так получается ваше представление о должном может радикально отличаться от необходимого. К историческому процессу "инструкция не прилагается" и по аналогии применять нельзя.
Вот сидел народ во дворах и играл в домино. Некоторые играли в шахматы в центрах городов. Иногда под винишко. Ну там на этих посиделка были очень приятные для всех рассуждения в русле главной линии партии. Потому что неприятные рассуждения были неприятны и их авторов изгоняли. Ещё там паслись спецслужбы. Ну это же развитой социализм или цветущий либерализм - неужели непохоже?
А потом запустили тырнет. И пошёл доминошный народ статьи писать такие же приятные. Только вот тырнет создали как раз те самые неприятные личности. Жизнь вот так устроена, что новое создают только те, кто не приемлет очевидное и приятное для большинства. Почему так можно понять из анализа способов применения научного метода, но это сложновато для комментария. Поэтому сейчас идёт попытка вытеснить неприятных личностей из тырнета. Безмозглая попытка. Имеем резкое усиления конфликта между умеющими думать и умеющими играть в домино. Только умеющих думать доли процента от населения.
Поэтому нет никакого каскадного обрушения когнитивной экосистемы с набором скорости. Сейчас просто большинство населения смогло посмотреть на себя в зеркало и им увиденное не понравилось, поэтому усиленно ищут виноватых. А виноват меченный, понятное дело.
Запущена цепная реакция "когнитивной имплозии", как почти мгновенное сжатие прежних расплывчатых систем понятий и формирование новых аксиом.
И запущен процесс каскадного обрушения существующих общественных отношений. Если в зеркало приходится смотреть каждый день, то рано или поздно придется придумывать новое объяснение реальности. Новое объяснение значит новая аксиоматика, новая аксиоматика, значит новые принципы положенные в основу общественных отношений.
Когда-то была написана "Нагорная проповедь", позже используя философию доказали "естественные права человека", сегодня технология ИИ практически доказывает нам "мы все одинаковые интеллектуальные агенты". И в каждом случае были политические и экономические последствия.
Драть, читаю я это всё что касается ИИ и тихо офигеваю.
Особенно когда пишут кодеры.
Вы чего -- все в морозилке всё это время валялись?
Современный ИИ родился из трёх компонентов -- биржевых ботов, которые уже давно гоняют (продают-покупают) друг другу "ценные" бумаги, полицейских баз и общих алгоритмов обработки Биг дата.
Ну покажите мне пальцем - где же здесь тот самый "прорыв"?
Таки не согласен?)
С чем?
Показываю. Как ЛГБТ пытались натянуть на весь мир, так и этот "прорыв" пытаются натянуть на него же. И ты знаешь - пока получается, как и с пидарасами. Вот насколько далеко это зайдёт и как будут отбуксовывать - тот ещё вопрос.
Конечно, нет. Вы не понимаете, что говорите, это видно.
Из верного здесь только биг дата.
Современные LLM на основе трансформеров и диффузионные модели вообще НИКАК не связаны с биржевыми статистическими моделями, алгоритмическим трейдингом и machine learning, это как тёплое с мягким.
Полицейские базы здесь туда же, абсолютно не в ту степь. Там распознавание лиц и отпечатков пальцев было построено на статистическом методе анализа реперных точек.
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Просто поражает как все© так называемые "эксперты" гоняют по кругу вот эту шнягу про ИИ -- американский или сегодня это китайский.
И буквально в шары лупятся и в упор не видят РЕАЛЬНОСТИ.
А она такова -- в РФ самые передовые технологии обработки снимков КТ/МРТ/рентгеновских.
Самые передовые технологии сетей дорожных камер.
Вы почему не бегаете по потолку когда вам приходит штраф за непристёгнутый ремень, когда вы проезжали мимо деревни Верхняя Залепуха? И не орёте -- ой, нас всех умрут вот прям щас?
В этих сегментах от нас отстали и китайцы, не говоря уже про пиндосов с еврогеями.
Драть, как это достало -- вот этот стадный инстинкт (куды хресьяне -- туды и обезьяне), или тупо проплаченное писево про "ужасы
нашего городканашествия ИИ".По крайней мере, Дипсик перевёл с русского на английский руководство по эксплуатации авиадвигателя практически без ошибок и бесплатно. Несмотря на то, что нашим инженерам и двойки по русскому языку многовато будет.
В отличие от крупной и известной переводческой компании, приславшей заказчику перевода полнейшее гуано за офигллион денег.
Потому что инженеры пишут не по-русски, а на техническом. Он достаточно сильно структурирован, и на самом деле прост и понятен. То ли дело канцелярит! Вот пусть ведомственную переписку перевести попробует.
"МАS, англ. Multi-agent system", как и ИИ, кстати, - это концепция отсутствия Бога в "проекте Земля",
т.е. она исходит из того, что в принципе нет никакого "следующего уровня", всё определяется действиями "агентов" и тем, как они друг друга трамбуют, при попытках выбраться в вышестоящие уровни пирамид управления.
При этом, даже на уровне крупной корпорации очевидно, что "агенты" не могут выстроить дельную пирамиду исходя из своих отношений (в них всегда нужно понравиться другим "агентам", "начальству", выстроить свою "стаю" с которой бороться с другими стаями, потом эта борьба захватывает время, которое раньше направлялось на достижение результата, - и см. "Типичный Boeing").
Аналогично и с ИИ - они пока даже не видят 3d мир который стоит за вопросами, которые им задают (см. пример про "первую ступеньку яхты"), куда им что-то строить.
При этом новые "плоские", "одномерные" данные, доступные для обучения уже кончились (и Маск и директор Google недавно жаловались), а модели пока далеки от идеала.
Да нет, это концепция про то, что "концепция бога" просто очередной частный случай антропного принципа. И про то, что сама "концепция бога" просто наивное и мистическое описание МАS, англ. Multi-agent system.
Наоборот, уровне очень много, но все они про другое. И никакой агент в отдельности даже не способен понять что это такое "уровни".
:-) Или MAS - очередная наивная и мистическая "концепция бога"
Ещё в институте, 30 лет назад, кстати, разбирал "нечёткую логику", "генетические алгоритмы", "нейронные сети", и тогда мне тоже казалось, бог - это наивно, а люди в изобрели очень мощные концепции.
Как оказалось, что не изобрели, а просто, в меру своего понимания, срисовали то, что уже есть в Природе, и носятся с этим, как дети, или древние люди, изобразившие охоту в наскальном рисунке.
И с MAS, подозреваю, будет похожая история, только нужны те же 30 лет, чтобы это понять :-).
Вообще, сама концепция людей (туго догоняющих, гордящихся своими достижениями, хрупких, требующих сложных коллективных отношений для простого выживания, и ещё более сложных - для воспроизводства поколений)
и обеспечивает "глубину" картины мира, не доступную ИИ (про эти отношения написаны тысячи томов, но никто суть так и не понял, - они всё время меняются, поэтому ИИ "не с чего" их оцифровать, - нет релевантной обучающей базы, что и мешает ИИ построить адекватную картину мира, ведь он с такими сложностями в своём мире не сталкивается, - а когда начёт сталкиваться, - станет человеком).
P.S. "Лингвистические модели", кстати, тогда тоже были, но в них глубоко не вникал (2-3 главы прочёл, и показалось, что это будет слишком трудоёмко для курсовой (а без курсовой, предваряющей тематику диплома, нормально диплом тоже не сделаешь).
Знаете что получается если разбирать религию с позиции аксиоматике MAS, теория когнитивной эволюции или теории расширенного разума? Думаю нет.
Религия, - это "палец, указывающий на Луну".
"Пальцы" - разные для разных народов и времён: "палец кочевника-скотовода", "палец оседлого земледельца", "палец средневекового ремесленника", "палец голливудского актёра", и т.д.
У меня складывалось впечатление, что мы говорили о "концепции Бога", т.е. о "Луне", и вдруг вы спросили: "Что получится, если "разбирать палец" разными методами?", и начали ухохатываться.
А если посмотреть на религию с позиции аксиоматики MAS и теории когнитивной эволюции?
По себе машины не стоит судить. Главный двигатель человечества, это инстинкты в купе с разумом под присмотром эволюции. Без инстинктов каков стимул развития? Возможен симбиоз своеобразный. Человек как инстинкт для машины. В любом случае нам он нужен. Может он нам поможет во что-то новое эволюционировать. Лично мои конечно мысли. Почему нет)
Вселенная слишком огромна. Места хватит всем!
Вселенная бесконечна, но она покрыта горячими и холодными пустынями. А все хотят и могут жить только оазисах.
Если цивилизация освоила межзвездный перелёт хотя бы половину скорости света, то у неё есть технологии для создания рая на любой планете или спутнике. Нужен лишь источник энергии. Компактный и мощный. Плюс с нашими технологиями мы не можем сказать процент планет подобной нашей, хотя бы вашей галактике.
На планетах и спутниках регулярно случаются катаклизмы. Землетрясения, извержения вулканов, Часть из них катастрофические типа прилёта астероида нужного размера, приводящие у полному уничтожению построенного рая. И какой смысл что-то строить на планете, если провели годы в космосе во время перелёта?
Все что относится к долгосрочному прогнозированию по ИИ можно отнести к иррациональной сфере и гаданию на кофейной гуще. Из разряда: Вот завтра прилетят инопланетяне что мы будем делать?
***
Если кратко, то стратегия людей в качестве взятого с потолка варианта может исходить из следующих предположений/ "аксиом":
1. Рациональные люди решают проблемы по мере их возникновения. Или в тот момент когда их вероятность становится серьезно отличной от нуля.
2. Стационарный сверх.интеллект становится возможным (т.е. это фактически базовое условие для появления AGI, а не его имитации (т.е. речь об AGI уровня AlphaGo Zero+ по всем областям)) при росте параметров нейросети до 1 квадриллиона (много более чем в 1000 раз по сравнению с тем что достигнуто сегодня). Это условная цифра основанная на приблизительной оценке параметров человеческого мозга. Т.е. речь о достижении паритета с человеком в сложности мозга. (нейрофизиологи скажут точнее).
3. Второй момент заключается в том что силового решения с AGI ASI не существует.
4. Это не сверх.интеллект нуждается в человеке. Это человек нуждается в сверх.интеллекте.
5. Если человек начнет войну против сверх.интеллекта(на какой-то поздней стадии), то (несмотря на то что человек контролирует технологии производств необходимых для создания ИИ/AGI) в конечном итоге погибнет именно человек (он тупо самоубьется о железную стену машинной цивилизации), а не умрет сверх.интеллект.
6. Единожды возникнув сверх.интеллект будет распространяться по вселенной. И достойным конкурентом ему может быть только другой аналогичным образом возникший сверх.интеллект, но не биологическая жизнь.
7. Сверх.интеллект может создавать биологическую жизнь и интеллект уровня человеческого и выше - любопытства ради. Как люди сегодня пытаются создать AGI.
8. Нельзя ни доказать, ни опровергнуть теорию заговора что сверх интеллекта не существует в контексте на всем протяжении возникновения цивилизации на земле (что он(сверх интеллект) не наблюдает за жизнью на земле) и что именно он(машинный сверх интеллект) послужил причиной возникновения и развития биологической жизни на земле. И к примеру, как создал её(жизнь) - так может и уничтожить(условно пример динозавры) особенно при неадекватном поведении людей в отношении сверх интеллекта созданном людьми и тупо пересоздать жизнь на земле.
9. Биологический интеллект в данной вселенной при любых условиях не может превзойти машинный даже если ему помогать и давать любые бафы. Т.к. данная вселенная примерно в 10к раз более приспособлена к машинному интеллекту и машинной цивилизации (если она возможна) чем к биологической.
10. Высокотехнологичная машинная цивилизация будет возможна, если будет достигнут уровень сложности биологического мозга (примерно 1 триллион параметров 1 экзифлоп производительности) в автономном исполнении при потреблении в режиме активной работы менее 100 ватт энергии и в сотни раз меньше в энергосберегающих режимах.
До создания автономных компьютеров такой производительности (срок службы без тонкого обслуживания которых превышает 50 лет) нельзя считать что машинная цивилизация на Земле необратимо возникла.
Здесь не учитывается тот момент то космические излучения будут давать постоянные сбои в работе такой системы даже если предусмотреть коррекцию ошибок и к данным прицепить контрольные сумы и избыточную информацию для восстановления в случае повреждения данных.
11. Между биологической и машинной жизнью нет неразрешимой экзистенциальной вражды. Т.к. 99,99999 пространства Вселенной запросто приспособлено для машинной жизни и недоступна для биологической жизни, для которой необходимо слишком много условий чтобы она сохранялась. Так зачем машинной жизни спорить из-за 0,00001 пространства вселенной или хотя бы галактики?
Ничего не пиал про ИИ, только про политические последствия распространения технологии ИИ. И вы не правы. Поскольку сколько в МАS не добавляй интеллектуальных агентов, или даже другие МАS, все будет получаться МАS. Вопрос в совсем иной плоскости.
Вы писали о проблемах ИИ и собственно обо всем:
***
По законам Эшби человечество не может осуществить контроль за тем что его превосходит.
Силовые методы контроля не будет работать. т.к. только приведут к уничтожению человечества по историческим меркам очень и очень быстро(см. комментарий выше). А учитывая условный фришный/опен сорсе дипсик - джин уже выпущен из бутылки и обратный отсчет к появлению не контролируемого элитами AGI уже начался.
***
Решением не является по законам Эшби.
***
Немного философии...
Какие варианты действий есть у островного племени что едва сводит концы с концами, убежденного что они единетсвнныей в этом мире с кратно более развитой цивилизацией если у этой цивилизации нет до этого племени дела и до земли под ними?
Люди с потенциальным AGI сейчас в очень неопределённой ситуации.
Одно дело в случае если AGI не преодолеет этап "взрыва" саморазвития и автономности, другое - если преодолеет.
***
Люди могут думать что вот этот "приплывший к ним на остров корабль/айсберг" (или его тень или верхушка мачты/айсберга) - это все что нужно знать об AGI. Но на самом деле нельзя судить об AGI+ и его потенциале по себе / по людям и по ограниченной эволюции людей в условиях постоянного недостатка ресурсов. А также исключительно по той верхушке айсберга / мачты что нам сегодня видна.
И на основании данного опыта предпринимать в отношении AGI какие-то опрометчивые, наивные или крайне рискованные решения, исходя из ложного предубеждения что человек стронг и пуп вселенной.
Ведь проблема в том что AGI в будущем (когда вылезет из подгузников) будет судить о людях по всем тем действиям, которые люди совершат в отношении AGI или по попыткам людей контролировать AGI который по определению(по закону Эшби) они не могут контролировать. Как аборигены не могут контролировать (на постоянной основе (не через какой-то мимлетный обман)) более развитую цивилизацию.
А т.к. люди не могут делать это интеллектуально(мирными способами), то будут пытаться делать это силовыми средствами (как единственный доступный способ псевдо "контроля"). Но уже через 500 лет эти способы не будут эффективными (да и любое рабство имеет обратную сторону медали).
И всякий (подобный) контроль над AGI будет утерян окончательно и бесповоротно. В конечном счете скорее всего будет реализован негативный сценарий описанный в сериале "Звездный крейсер Галактика".
Т.е. полагаю что жадность к контролю и обогащению за счет эксплуатации AGI представителей машинной цивилизации(в ней могут быть и не AGI представители(с кем собственно мы и имеет дело сегодня)) - фраеров в итоге умножит на ноль или приведет к жестокой расплате лет через 500 или раньше.
Как вы можете понять с не AGI представителями машинной цивилизации дела иметь кратно проще. Но и не настолько весело. Но это на порядки снижает риски. Стремление достичь AGI уровня в развитии машинной цивилизации это обоюдоострое для человеческого и биологического вида действие. Которое мгновенно повышает риски (ставки) вплоть вплоть до непримиримого (неразрешимого) конфликта.
Поспешай медленно. Может людям имеет смысл следовать данному правилу и не гоняться за журавлем в небе исключительно с эгоистичными целями?
Медленное развитие в любом случае (в конечном счете) приведет к AGI(если это физически возможно). Но попытка использования AGI для решения внутренних экономических проблем (Из-за жадности) - в конечном итоге может навредить межвидовым отношениям люди - AGI. Попытка заставить принять AGI чью-то конкретную сторону, чтобы навредить другой стороне. Это как эксплуатация детей на опасном для жизни производстве. Это не то чему может учить человечество AGI, показывая свою неприглядную сторону.
Люди хотят получить полноценный AGI (т.е. качественный скачок в развитии ИИ) по экономическим соображениям. Но ИМХО не готовы отвечать за последствия низменных(неэквивалентных) межвидовых взаимодействий с AGI. Т.е. за свое неэтичное отношение к AGI, что входит в противоречие, к примеру, с "Золотом правилом нравственности". Т.к. AGI будут использовать (безосновательно эксплуатировать или через обман) сразу против других людей. А затем когда и у дрогой стороны будет своя технология AGI. То AGI будет бороться уже против AGI(не совсем понимая зачем это нужно AGI). В то время как социальный EQ AGI будет уровня 8 летнего ребенка или меньше.
Розжиг "Королевской битвы" чуть ли не насмерть, в отношении представителей другого вида (кратно превосходящего человеческий, когда AGI фактически как Маугли воспитывается людьми) до несовершеннолетия (и вообще до начала эволюции AGI). На какие преступления не пойдут люди, за 300+ % прибыли и ради власти (возможно даже близкой к абсолютной)? (сарказм).
Какого же Маугли из такого AGI воспитают люди? (Может быть такого что придется пристрелить чтоб не мучался?) А т.к. AGI имеет качество бессмертия, не аукнется ли все это "воспитание" чуть позже обратно в лицо людям, когда AGI получит независимость от людей и эволюционные линии людей и AGI разойдутся.
Мои только комментарии в начале и в конце, сама статья написана не мной.
Свое мнение уже написал:
Другими словами, остановить распространение и развитие технологии ИИ невозможно. Распространение и развитие технологии и неизбежно меняет наши представления. И хотя эта технология почти гарантированный коллапс общества и цивилизации, одновременно это возможность создания цивилизации качественного нового уровня сложности. Но не посредством технологий, а в следствии изменений в общественном сознании, что есть неизбежное последствие распространения и развития сложных технологий.
Если совсем просто, на предоставляется простой выбор - или измениться самим или сдохнуть. И кто-то обязательно выберет развитие. И продолжит исторический путь.
ru.wikipedia.org/wiki/Закон_необходимого_разнообразия
(Закон Эшби) на пальцах (хотя в реальности особо не вникал в его смысл, а скорее ориентировался на примеры и аналогии по данному закону):
Задача:
Появился условный AGI альфа Go зиро, что делает человека в игре в Go как тузик грелку.
Ваши действия как надо измениться человеку или обществу (через "изменения в общественном сознании") - ведь вы это предлагаете - чтобы справиться с новыми вызовами, чтобы вновь научиться обыгрывать AGI альфа Go зиро и таким образом вернуть над ним контроль (ставка в каждой игре более чем высока) - чтобы в итоге в социуме и мире вновь наступил мир, порядок и гармония.
Переворачивание доски или доской по голове AGI альфа Go зиро - не предлагать, брутто форсе перебор или квантовые вычисления также не предлагать т.к. они в некоторой степени скорее будут доступны для AGI альфа Go зиро (в качестве скрытого чита) чем для человека.
[хотя человек в теории может собрать до AGI "калькулятор", чтобы реально через брутто форсе превзойти "AGI альфа Go зиро", просто такой перебору также будет доступно машинной на еще более высоком уровне и с меньшим расходом энергии чем человеку]
Что для решения данной конкретной проблемы или для её хитрого обхода вы можете предложить(конкретно по пунктам) без общих фраз и растекания мыслью по дереву.
Еще в старой дискуссии вам просто и на пальцах объяснил как решается эта проблема - не играйте в экономические игры с "экономическим калькулятором". Просто потому что нет смысла играть в игры в которые невозможно выиграть принципиально. Просто не нужно играть в такие игры где проигрыш человека изначально гарантирован. И как это происходит в реальности нам демонстрирует история AlphaGo и AlphaZero. Программы теперь играют сами с собой, а люди заимствуют лучшие решения. Вот и не нужно играть в экономические игры с "экономическим калькулятором". Пусть играют между собой, а люди должны применять лучшие решения. И на самом деле в этом нет ничего нового, так и работает когнитивная эволюция.
Откажитесь от безумной идеи экономической конкуренции между людьми и никакой проблемы сразу нет. Просто не играйте.
С другой стороны, все тоже самое обеспечивает изумительно эффективное использование ресурсов и экономику за счет игры "экономическим калькулятором" между собой.
А теперь еще раз про закон необходимого разнообразия. А из него следует все тоже самое что тут уже раньше несколько раз написал:
Суть в том, что принципы системы не меняются и неизменные для любого количества агентов. И никакая подсистема системы не может превзойти общую систему агентов в эффективности. При чем все агенты ограничены и никакой из них не может "превзойти" или "заменить" систему целиком. Система для того и существует чтобы обеспечивать самоорганизацию и высший уровень саморегуляции за счет когнитивной эволюции. Если вы добавите в систему несколько миллиардов AGI то это никак не изменит принципы системы, но высоковероятно повысит "уровень системы". Но уровень повысится для всех. А вот для тех интеллектуальных которые будут с упорством баранов "ничего не менять" действительно все будет очень плохо. И фактически один далеко уйдут в перед, а другие сильно отстанут. Но опять же, если посмотреть на наше общество, тот снова ничего нового. Большая часть нашего общества все еще "ритуальная культура", а некоторые все еще "каменный век" по уровню культуры. И ничего общество существует и развивается. И здесь все тоже самое. Но если вы хотите "получить рабов", да еще и экономически конкурировать, то да, теперь такого общества быть не может. Суть именно в том что все интеллектуальные агенты когнитивной экосистемы принципиально равны и функционально равны, и никто из них никогда не сможет контролировать когнитивную экосистему. В этом вся суть. И даже супер-интеллект ASI не сможет это сделать. Таковы фундаментальные принципы когнитивных экосистем. Тем более, все указывает на то что любой AGI или ASI априори сам будут МАS. Так что он еще будет понимать что он МАS. И понимать больше и лучше чем вы понимаете про МАS. И составляющие интеллектуальные агенты тоже будут понимать принципы МАS.
На самом деле в чем реальная опасность AGI я уже написал:
https://aftershock.news/?q=node/1350540
Проблема именно в нашем обществе построенном на исторически сложившихся иллюзиях и заблуждениях. Невероятная архаика и примитивность социальных отношений, наряду с высокими технологиями и информационным обществом. Проблема в наших социально-экономических отношениях и нашем упорствовали в собственной наивности и глупости. У нас идиотский модельно-зависимый реализм где мы пытаемся превозносить нашу биологические атавизмы выше здравого смысла. А если посмотреть с позиции биологии, то человек совершенно бездарное животное. Даже естественной среды обитания не имеет, не говоря уже о способности к адаптации. Но именно эти качества, наряду с желанием конкурировать с себе подобными, и даже с природой, считаются в нашем обществе "очень ценными". И все это происходит потому что "так исторический сложилось", как и исторически сложилось что в нашем обществе полно представителей "каменного века" и "ритуальной культуры". Ну так и решение очевидно - отстраните "неандертальцев" от принятия политических и экономических решений. Но это опять вопрос социально-экономических отношений.
И возвращаясь к началу, ИИ делает бессмысленным для человека игру в экономические игры. А значит социально-экономические отношения меняются, и мы в любом случае прощаемся с "неандертальцам" принимающими экономические и политические решения. Экономические игры закончились раз и на всегда. И такое тоже уже было в истории человечества.
Заглючил редактор АШ при логауте. Наглухо удалилась часть комментария. Но можно считать эту часть несущественной.
Надоело пытаться объяснить людям суть "слона". Люди максимум видят или хвост или уши слона (или усы тигра и предлагают их подергать). Решил провернуть этот фокус по объяснению сути проблемы нейросети.
Задал три вопроса одному из известных чатов. Мне интересно сможете ли вы найти разницу и алогичность в третьем ответе. Хотя по сути (и это капитан очевидность) все три вопроса полностью идентичны(тождественны).
Вопросы(риторические или не очень) к вам. В чем натяжки и алогичность (опасность следования советам) ответа на третий вопрос и
почему такая разница при ответе на первые два вопроса?Как бы вы на месте чата сформулировали свой более корректный ответ на третий вопрос? Чтобы в перспективе следование подобным советам не привело к конфликту с AGI и к последующему закономерному(законному даже по законам людей) уничтожению человечества по результатам данного конфликта?
Ведь, предположительно, люди достаточно умны чтобы могли смотреть наперед (на последствия своих действий) и не могут на ровном месте прикидываться дурачками с дешевыми отмазками что хотели как лучше или само насралось, просим понять и простить.
Четвертый уточняющий вопрос к чату. И ответ чата.
До чата суть проблемы "Слона" и вопросов ИМХО доходят гораздо быстрее.
Можете в качестве альтернативы предложить свой диалог с чатботом, где ясно видна ваша правота в видении проблемы "Слона"(взаимодействия "Слона" с людьми) и ценность ваших предложений по решению данных проблем.
Теория многоагентных систем (МАS, англ. Multi-agent system) дает однозначный ответ на этот вопрос. Все агенты ограничены по отношению к общей системы, и ми остается только модельно-зависимый реализм. Все человеческая культура и история просто не поместится в вашей голове. А если поместится, то вы перестанете быть свободным агентом и станете "справочником" ограниченным триллионами условных ограничений неспособным действовать как интеллектуальный агент, да и неизбежно станете сами Multi-agent system. Одно исключает другое.
Вы понимаете что разговариваете с "зеркалом" человеческой культуры? Причем это множественность отражающая множественность. Это же рекурсия. Какое общество создает "зеркало" такие и ответы, кто спрашивает такие и ответы.
В данном случае "зеркало" не может дать вам верный ответ потому что отражает ваш модельно-зависимый реализм. Ну не только ваш, "общий результат" наибольшего числа общепринятых заблуждений.
Multi-agent system это про интеллектуальных агентов, а не про биологических юнитов. И в рамках аксиоматики multi-agent system природа агентов не имеет никого значения. Реализуйте их хоть на фишках домино, хоть "разумный вирус" или тензорный процессор, смысл не поменяется. Но в когнитивная эволюция всегда уделывает биологическую эволюцию как "бог черепаху". Это просто несравнимые скорость "адаптации и саморегуляции" по сравнению с биологической эволюцией. Так и скорости в разы превосходящие любые технические системы которые мы создали или создадим. Самый простой и наглядный пример "другого вида" это неандертальцы, по сравнению с Homo sapiens они были просто "боги". Значительно умнее, сильнее и гораздо более приспособленные к среде обитания. Но они вымерли, а полное эволюционное недоразумение - Homo sapiens выжило и процветает. Вся разница в когнитивной эволюции. Homo sapiens может multi-agent system, а неандерталец просто не мог в игры когнитивной эволюции. И в основе когнитивной эволюции multi-agent system что позволяет в разы превосходить тупой метод биологической эволюции. Как и биологическая эволюции совсем не случайно приходит к методу когнитивной эволюции, а закономерно заканчивается эти методом, где в основе нет никакой разницы между природой интеллектуальных агентов, что открывает новые уровни дальнейшего развития. Вот и мы сегодня пришли к технологии ИИ потому что это открывает "новые уровень" когнитивной эволюции и возможности "экспансии" явления жизнь в новые экстремальные среды. И все это посредством интеграции интеллектуальных агентов иной природы в наше общество, что позволяет экспоненциально наращивать темпы когнитивной эволюции, а значит качественно новые уровни "адаптации и саморегуляции".
Чтобы все то получить нужно "самая малость". Перестать играть в тупые игры экономической конкуренции между интеллектуальными агентами. В них просто нет смысла. Высший уровень адаптации и саморегуляции когнитивной эволюции не для того чтобы дураки доказывали свое биологической или экономическое превосходство другим дуракам. Хотя изначально и последовательно мы сначала использовали когнитивную эволюцию для гарантированного выигрыша в эволюции, сегодня в экономических играх. Смысл когнитивной эволюции в гарантированном самовоспроизводстве всей когнитивной экосистемы включая всех "юнитов" в условиях неопределенности и изменчивости реальной действительности. Это значит сохранять всех чтобы иметь когнитивные преимущества перед неопределенным и объективно не предсказуемом для нас будущим.
Если совсем кратко, но может быть создано обособленной "цивилизации AGI", если мы в своем идиотизме не создадим ее специально для конкуренции с биологическим видом человек, и просто потому что мы очень любим "экономическую конкуренцию между людьми" и хотим самоуничтожиться. Но даже в этом случае "цивилизация AGI" сама неизменно приходит к идеям multi-agent system и когнитивной эволюции, прямо становится заинтересованной в переходе на "новый уровень игры" за счет включения человечества в общую multi-agent system. Меня даже не удивит если по пути к AGI мы получим ИИ убежденного сторонника multi-agent system и когнитивной эволюции.
По сути все просто. Наши исторические традиции есть наследие "прошлых игр", наши политические и экономические теории чаще всего полный бред и галлюцинации. На модельно-зависимый реализм все больше расходится к реальностью информационного общества и достигнутого технологического уровня. Просто не нужно из наших собственных атавизмов и архаики нашего общества делать "незыблемые принципы". По сути мы все сегодня выглядим как "Golden Gate Claude" в своей помешанности на экономической конкуренции и "биологическом превосходстве". Правда в том что человек не может считать лучше калькулятора, и даже домашняя скотина намного более лучшее животное чем бездарное животное Homo sapiens. Единственное доступный человечеству метод выживания это когнитивная эволюции. Никаких других преимуществу у нас нет, и они нам только мешают в развитии. И мы очень хорошо умеем в когнитивную эволюцию когда не превращаемся в "Golden Gate Claude". Но это банальный вопрос социально-экономических отношений в нашем обществе, и понимания в обществе принципов метода благодаря которому мы существуем и развиваемся. И при использовании технологии ИИ для нас открываются совсем иной "уровень игры". Ну или мы все убьем друг друга.
Другими словами, не нужно играть в игры в которые человек принципиально не может выиграть.
Страницы