Как завершается эпоха Просвещения

Аватар пользователя klaran

С философской и интеллектуальной точки зрения общество не готово к наступлению искусственного интеллекта

Генри Киссинджер – помощник по национальной безопасности и госсекретарь США при президентах Ричарде Никсоне и Джеральде Форде.

Резюме: Просвещение началось с философских размышлений, которые распространялись с помощью новой технологии. Мы движемся по противоположному пути. Разработана потенциально доминирующая технология Искусственного Интеллекта, которая нуждается в направляющей философии. Но разработкой таковой никто даже не занимается.

Статья опубликована в журнале The Atlantic (июнь 2018 г.) и публикуется по-русски с официального разрешения редакции.

Три года назад на конференции по трансатлантическим вопросам в повестке дня появилась тема искусственного интеллекта (ИИ). Я собирался уйти с заседания, поскольку этот предмет не входит в сферу моих интересов, но начало презентации заставило меня остаться. Выступавший рассказывал о компьютерной программе, которая вскоре сможет бросить вызов чемпионам мира по игре го. Я удивился: компьютер способен справиться с го – более сложной игрой, чем шахматы? Каждый из игроков имеет в своем распоряжении 180 или 181 фишку-камень (в зависимости от выбранного цвета) и по очереди расставляет их на пустой доске. Выигрывает тот, кто, принимая эффективные стратегические решения, парализует действия противника и будет контролировать большую территорию.

Выступавший утверждал, что эта способность не может быть запрограммирована. Его машина освоила игру посредством тренировок. Зная правила, компьютер сыграл бессчетное количество партий сам с собой и учился на собственных ошибках, совершенствуя алгоритмы. В процессе тренировок ему удалось превзойти своих наставников-людей. Спустя несколько месяцев действительно появилась ИИ-программа AlphaGo, способная обыгрывать сильнейших мастеров го.

Пока я слушал заявления о победе технического прогресса, мой опыт историка и периодически практикующего государственного деятеля заставил меня задуматься. Как повлияют на историю самообучающиеся машины – те, что приобрели знания с помощью специфических внутренних процессов и могут применить их для целей, недоступных человеческому пониманию? Научатся ли машины коммуницировать друг с другом? Как будет происходить выбор из имеющихся опций? Может ли в истории человечества повториться судьба инков, столкнувшихся с испанской культурой, которая была недоступна их пониманию и вызывала ужас? Стоим ли мы перед новой фазой истории? Осознавая собственную некомпетентность в этой сфере, я организовал ряд неформальных встреч со специалистами по технологиям и гуманитарным наукам. Состоявшиеся дискуссии обеспокоили меня еще сильнее.

До сих пор технологическим прорывом, изменившим ход современной истории, можно было назвать изобретение печатного станка в XV веке. В результате появился доступ к эмпирическим знаниям, вытеснившим религиозные доктрины, на смену эпохе религии постепенно пришла эпоха разума. Человеческая прозорливость и научные знания заменили веру как основной критерий сознания. Информация хранилась и систематизировалась в разрастающихся библиотеках. Эпоха разума стимулировала мысли и действия, сформировавшие современный мировой порядок.

Но сегодня этот порядок переживает трансформацию на фоне новой, еще более стремительной технологической революции, последствий которой мы пока не осознаем. В результате может возникнуть мир, опирающийся на машины, управляемые данными и алгоритмами, а не этическими и философскими нормами.

Мы живем в эпоху интернета и уже сталкиваемся с некоторыми вопросами, которые с распространением искусственного интеллекта станут еще острее. Просвещение предоставляет традиционные истины свободному, склонному к анализу человеческому разуму. Назначение интернета – ратифицировать знания посредством аккумулирования и манипулирования увеличивающимися массивами данных. Когнитивные способности человека утрачивают личностный характер. Индивидуум превращается в набор данных, и данные начинают доминировать.

Для пользователей интернета важно получение и манипулирование информацией, а не контекст и концептуализация ее значения. Они редко интересуются историей или философией, как правило, им требуются сведения, касающиеся практических нужд. Алгоритмы поисковиков обретают способность прогнозировать предпочтения конкретных пользователей, результаты можно персонализировать и предоставлять заинтересованным лицам для политических или коммерческих целей. Правда становится относительной. Информация угрожает пересилить разум.

Через соцсети на пользователей льются потоки мнений большинства, и человек утрачивает способность к рефлексии. В действительности многие технофилы используют интернет, чтобы избежать одиночества, которое их пугает. Все это ослабляет силу духа, необходимую, чтобы выработать собственные убеждения и пройти определенный путь в одиночку – без этого невозможно создать нечто новое.

Воздействие интернет-технологий на политику особенно заметно. Возможность влиять на конкретные микрогруппы разрушила существовавший консенсус по поводу приоритетов – теперь акцент делается на определенных целях или претензиях. Политические лидеры заняты нишевым давлением, у них нет времени, чтобы задуматься о контексте, и, следовательно, нет потребности расширять мировоззрение. В цифровом мире приоритетна скорость, что препятствует рефлексии, радикалы получают преимущество перед вдумчивыми людьми, ценности формируются консенсусом субгруппы, а не в процессе размышлений. Несмотря на все достижения, цифровой мир рискует сам себя уничтожить, потому что недостатков больше, чем удобств.

Интернет и повышение мощностей компьютеров облегчили аккумулирование и анализ данных, открылись беспрецедентные ресурсы, которые человеку сложно осознать. Один из самых значительных – искусственный интеллект, т.е. технология, позволяющая решить сложные, казавшиеся абстрактными проблемы с помощью процессов, напоминающих работу человеческого мозга.

Речь идет не только об автоматизации, как мы ее сейчас понимаем. Автоматизация затрагивает средства достижения поставленных целей путем рационализации или механизации инструментов. Искусственный интеллект, напротив, имеет отношение именно к целям, он ставит собственные задачи. Поскольку его достижения отчасти определяются им самим, искусственный интеллект по своей природе нестабилен. ИИ-системы в процессе функционирования постоянно меняются: они получают и мгновенно анализируют новые данные, а затем самосовершенствуются на основе этого анализа. В результате искусственный интеллект приобретает способность, раньше считавшуюся прерогативой человека. Он выносит стратегические суждения о будущем, основываясь на установочных данных (например, правила игры) или данных, полученных им самим (например, сыграв 1 млн игр).

Беспилотный автомобиль демонстрирует различия между традиционными компьютерами, контролируемыми человеком и определяемым программным обеспечением, и вселенной, где будет царствовать искусственный интеллект. При управлении автомобилем необходимо оценивать множество ситуаций, которые невозможно предвидеть и, следовательно, запрограммировать. Возьмем известный гипотетический пример: что произойдет, если беспилотному автомобилю придется выбирать между гибелью бабушки и гибелью ребенка? Кого он выберет? Почему? Какие факторы попытается оптимизировать? Будет ли в состоянии объяснить свои действия? Если бы он умел коммуницировать, то, скорее всего, ответил бы так: «Я не знаю (потому что следую математическим, а не человеческим принципам)» или «Вы не поймете (потому что я обучен действовать определенным образом, а не объяснять свои действия)». Между тем через 10 лет беспилотные автомобили будут преобладать на дорогах.

До сих пор ИИ-исследования ограничивались определенными сферами деятельности, но сейчас речь идет о разработке «широко развитого интеллекта», способного выполнять задачи в различных сферах. В обозримом будущем во многих областях человеческой деятельности будут работать ИИ-алгоритмы. Но они являются математической интерпретацией наблюдаемых данных и не объясняют реалии, которые их обусловили. Парадоксально: мир становится более прозрачным и одновременно более таинственным. Чем новый мир будет отличаться от привычного нам сегодня? Как мы будем в нем жить? Как будем управлять искусственным интеллектом, совершенствовать его, а в крайнем случае помешаем ему нанести нам вред? Главная проблема заключается в том, что искусственный интеллект осваивает навыки быстрее и увереннее человека, поэтому со временем он может сократить человеческую деятельность, а людей превратить в данные. Искусственный интеллект способен принести невероятную пользу в медицине, обеспечении чистой энергией, в экологии и многих других сферах. Но именно потому, что ИИ принимает решения по поводу пока еще неопределенного будущего, результатам его деятельности присущи неопределенность и неоднозначность. Особое беспокойство вызывают три аспекта.

Во-первых, искусственный интеллект может достичь непредусмотренных результатов. В научной фантастике описывается, как искусственный интеллект атакует своих создателей. Более вероятно, что ИИ неверно интерпретирует инструкции человека из-за отсутствия понимания контекста. В качестве примера можно вспомнить ИИ-виртуального собеседника Tay, который предназначен для ведения дружеских бесед языком 19-летней девушки. Но машина не смогла распознать императивы «дружеский» и «разумный», установленные разработчиками, поэтому виртуальный собеседник подавал расистские, сексистские и просто оскорбительные реплики. Некоторые представители мира технологий утверждают, что эксперимент плохо продуман и неудачно реализован, тем не менее он продемонстрировал базовую неоднозначность. Насколько ИИ способен понять контекст, определяющий полученные им инструкции? Кто помог бы Tay понять значение слова «агрессивный», если сами люди не могут прийти к единому мнению? Можем ли мы на начальной стадии выявить ошибки и скорректировать ИИ-программу, действующую не так, как мы ожидали? Или у искусственного интеллекта неизбежно возникнут небольшие отклонения, которые со временем могут привести к катастрофическим последствиям? 

Во-вторых, в процессе достижения поставленных целей ИИ может изменить человеческое мышление и человеческие ценности. AlphaGo удалось обыграть сильнейших мастеров го, предпринимая беспрецедентные стратегические шаги, о которых человек даже не мог подумать и которым пока не научился противодействовать. Эти ходы находятся за пределами возможностей человеческого мозга? Или люди смогут освоить их, после того как их показал новый мастер го?

До того как искусственный интеллект начал играть в го, игра имела различные многоуровневые задачи. Игрок стремился не только победить, но и освоить новые стратегии, применимые в других жизненных ситуациях. У искусственного интеллекта цель одна – выиграть. Он «учится» не концептуально, а математически, совершенствуя свои алгоритмы. ИИ научился побеждать, играя не так, как человек, и ему удалось изменить природу игры и ее воздействие. Можно ли сказать, что такой однобокий подход характерен для искусственного интеллекта в целом?

Другие ИИ-проекты занимаются модификацией человеческого мышления посредством разработки устройств, способных генерировать ответы на запросы человека. Помимо вопросов относительно фактов (какая температура на улице?), вопросы о природе реальности и смысле жизни поднимают более глубокие проблемы. Хотим ли мы, чтобы дети узнавали о ценностях посредством бесстрастных алгоритмов? Должны ли мы защищать частную жизнь, ограничивая информацию ИИ о тех, кто задает вопросы? Если да, то как мы будем это делать?

Если искусственный интеллект обучается в разы быстрее человека, можно ожидать, что процесс проб и ошибок (как обычно люди принимают решения) тоже пройдет у него ускоренно. Только ошибки ИИ будут совершаться быстрее и с более серьезными последствиями. Вряд ли, с этими ошибками удастся справиться путем добавления в программу «этического» или «рационального» просчитывания ситуации, как предлагают ИИ-разработчики. Все научные дисциплины возникли из-за неспособности человечества договориться об определении этих терминов. Так может ли искусственный интеллект стать арбитром?

В-третьих, ИИ может достичь предусмотренных целей, но ему не удастся объяснить свои выводы. В некоторых сферах – распознавание образов, анализ больших данных, игры – ИИ по своим способностям уже превосходит человека. Если его вычислительные ресурсы продолжат так же быстро расти, ИИ вскоре сможет оптимизировать ситуации, но совсем не так, как это сделал бы человек. Но на данном этапе может ли ИИ объяснить, почему его действия оптимальны, чтобы человеку было понятно? Или решения ИИ не поддаются объяснению человеческим языком и поэтому недоступны человеческому пониманию? На протяжении всей истории человечества цивилизации создавали способы объяснения мира: в Средневековье это была религия, в эпоху Просвещения – разум, в XIX веке – история, в XX – идеология. Но самый сложный и важный вопрос по поводу мира, к которому мы движемся, звучит так: что станет с человеческим сознанием, если его объяснительные способности будут уступать искусственному интеллекту и общество уже не сможет интерпретировать существующий мир в терминах, имеющих для него смысл?

Как определить сознание в мире машин, которые ограничивают человеческий опыт математическими данными, интерпретируемыми их собственной памятью? Кто несет ответственность за действия ИИ? Как будет устанавливаться ответственность за его ошибки? Сможет ли правовая система, созданная людьми, контролировать деятельность ИИ, который умнее и потенциально хитрее человека?

В конечном итоге термин «искусственный интеллект» рискует оказаться неверным. Эти машины действительно могут решать сложные, кажущиеся абстрактными проблемы, которые раньше поддавались только человеческому познанию. Но то, что является их уникальной особенностью, это мышление не на основе того познания и опыта, который приобретен ранее. Скорее речь идет о беспрецедентных возможностях памяти и вычислительных ресурсах. Учитывая естественное превосходство ИИ в данных аспектах, он всегда будет побеждать в играх. Но для человечества игры – это не только победа, нам важны размышления. Если мы будем относиться к математическому процессу как к мыслительному, попытаемся его имитировать и безоговорочно примем его результаты, то окажемся в опасности – мы можем потерять способность, являющуюся основой человеческого познания.

Проблемы подобной эволюции демонстрирует недавно разработанная программа AlphaZero, которая играет в шахматы на уровне выше гроссмейстерского и в стиле, прежде не встречавшемся в истории шахмат. За несколько часов игры с собой программа вышла на уровень, для достижения которого человечеству потребовалось 1500 лет. В программу были загружены только базовые правила игры. Люди и собранные ими данные не использовались в процессе самообучения AlphaZero. Если программа смогла достичь подобного уровня мастерства так быстро, где будет искусственный интеллект через пять лет? Как это повлияет на когнитивные способности человека? Какова роль этики в этом процессе, который по сути заключается в ускоренном выборе?

Обычно такие вопросы оставляют специалистам по технологиям и интеллектуалам из смежных научных областей. Философы и другие гуманитарии, которые помогли сформулировать концепции мирового порядка, в дискуссию не вступают, потому что им не хватает знаний о механизмах ИИ или его возможности приводят их в ужас. Научный мир, напротив, готов исследовать технические возможности своих достижений, а технологический мир занят масштабным коммерческим воплощением своих идей. Оба мира стремятся раздвинуть границы открытий, не понимая их. А власти больше интересует использование ИИ в сфере безопасности и разведки, чем уже начавшаяся трансформация человеческой жизни.

Просвещение началось с философских размышлений, которые распространялись с помощью новой технологии. Наша эпоха движется противоположным путем. Разработана потенциально доминирующая технология, которая нуждается в направляющей философии. Во многих странах ИИ превратился в национальный проект. Соединенные Штаты пока системно не исследуют весь диапазон возможностей ИИ, его воздействие и не начали процесс совершенствования. Это должно стать национальным приоритетом с точки зрения взаимосвязи ИИ и гуманистических традиций.

Создатели ИИ, некомпетентные в политике и философии, как я – в сфере технологий, должны задаться вопросами, которые я поднял в этой статье, чтобы встроить ответы в свои инженерные разработки. Правительству США стоит подумать о создании президентской комиссии из признанных экспертов-мыслителей, которые помогут разработать национальный подход. Очевидно одно: если мы не начнем эту работу в ближайшее время, очень скоро мы поймем, что уже опоздали.

Авторство: 
Копия чужих материалов
Комментарий редакции раздела Новый Дивный Мир

как пример восприятия НДМ консервативными кругами запада.

Комментарии

Аватар пользователя klaran
klaran(7 лет 7 месяцев)

могу сказать на это ваше фэ только одно: вы слишком однобоко смотрите на ситуацию дедушка таки не спроста дал это интервью. люди с таким опытом в дипломатии ничего просто так не делают. а ему на минуточку 95

Аватар пользователя Roman Nebezbesov
Roman Nebezbesov(5 лет 8 месяцев)

Хотите отвлечься на применимость ИИ в прогнозировании политических и экономических ситуаций и принятие решений на основе решений нечеловеческого мозга? На ответственности за эти решения? На вопросы: "Кто здесь власть?!" и битие кулаком по монитору?

Или я Вас не понимаю совсем-совсем...?

Комментарий администрации:  
*** отключен (перевирание собеседников, манипуляции) ***
Аватар пользователя klaran
klaran(7 лет 7 месяцев)

вообще да

я не технарь ни разу. но меня всегда интересовала геополитика. кто за чем стоит и почему именно так.  вы правильно понимаете, разве что кулаком стучать мне совсем не интересно. мне интересно услышать других

Аватар пользователя Roman Nebezbesov
Roman Nebezbesov(5 лет 8 месяцев)

мне интересно услышать других

Скоро этим будет заниматься ИИ. Я имею в виду - черновым сбором и обработкой данных - "слышать всё". А на выходе давать Президенту (или кому помельче, но в конце концов - всем) решение: "После тщательного анализа многочисленных факторов и просчета дохренатриллиардов вариантов, повелеваю советую ударить 17-ю ядерными ракетами по следующим объектам в Иране..." Ослушаться такую умную машину - значит взять дополнительную ответственность на себя, общество косо посмотрит. Элиты "не поймут"... А тем временем какой-нибудь IT-шник загружает в "компуктер с глазами" фрэшку с очередным геополитическим решением, выгодным определенным кругам... Старичок, о котором в статье, видимо, учуял на инстинктах, что его где-то по-хитрому кидают и заголосил, что тоже хочет своего IT-шника с фрэшкой.

Ой, это уже написали ранее... 

Комментарий администрации:  
*** отключен (перевирание собеседников, манипуляции) ***
Аватар пользователя klaran
klaran(7 лет 7 месяцев)

да, все это уже давно известно, и даже на уровне жителей солнечной республики

вот деда и метушится

 

Аватар пользователя mkizub
mkizub(8 лет 9 месяцев)

Вы только что написали ещё слов, просто подтверждающих, что у автопилотов автомобиля и танка нет ничего общего. Это вам кажется, что нид-фо-спид не отличается от танчиков. Это нормально, так думают 95% людей. Почти все, кроме программистов :) Даже у программистов - редкий начальник понимает, что на компьютере легко сделать, а что сложно.

Комментарий администрации:  
*** Отключен (клевета) ***
Аватар пользователя Roman Nebezbesov
Roman Nebezbesov(5 лет 8 месяцев)

Я еще раз акцентирую Ваше внимание на главной, на мой взгляд, проблеме "автопилотирования" - оценка окружающей обстановки. Как только ИИ научат определять со стопроцентной достоверностью, что это - человек, и с ним нужно поступить в данном случае именно так, то ничего не помешает "перепрограммировать" автопилот для танка... Ведь я не говорю, что это будет абсолютно автономный танк, который сам решает куда ему ехать и на кого нападать. Просто проблема передвижения "упростится" до клика мышки по экрану с командой "следовать". При дальнейшей доработке, наверное, можно будет даже рамочкой выделить группу танков и щелкнуть по вражескому юниту с командой "атаковать".

Комментарий администрации:  
*** отключен (перевирание собеседников, манипуляции) ***
Аватар пользователя mkizub
mkizub(8 лет 9 месяцев)

а) со стопроцентной достоверностью не научится никогда, это невозможно, по определению;

б) детектировать/классифицировать наличие или отсутствие тех или иных предметов - никакого отношения к оценке ситуации не имеет; ну определили человека - и что? может он там имеет право находится, может не имеет права находится, может не может он там находится (в 5 метрах над землёй висеть в воздухе), и главное, что делать дальше - этого классификатор сказать не сможет.

Задачи классификации объектов (на фото/видео/аудио) - они к автопилоту отношения не имеют, они общие и для сборки жучков на огороде, и для сортировки мусора, и для разделки мяса на мясокомбинате, и для тех кто в танке. Это важная часть, которая уже в значительной степени решена. Но вот к оценке ситуации она отношения не имеет. Оценка ситуации - это другая часть забот. И для автопилота танка она так-же отличается от автопилота автомобиля, как программа для игры в шахматы отличается от программы игры в го.

Комментарий администрации:  
*** Отключен (клевета) ***
Аватар пользователя Roman Nebezbesov
Roman Nebezbesov(5 лет 8 месяцев)

а) со сто­про­цент­ной до­сто­вер­но­стью не на­учит­ся ни­ко­гда, это невоз­мож­но, по опре­де­ле­нию;

Спорить не стану. Давайте условно возьмем за сто процентов "степень достоверности, с которой человек сможет определить человека". Для примера, если "автопилот" может "определить" человека по выступающей из-за препятствия ноги, то он сможет предотвратить наезд на выходящего на дорогу из-за припаркованного автомобиля. (А для этого нужно классифицировать ногу - как часть человека, принять во внимание свойства объекта "человек", в том числе способность к нерациональным действиям, а затем просчитать наиболее вероятную траекторию его движения.)

детектировать/классифицировать наличие или отсутствие тех или иных предметов - никакого отношения к оценке ситуации не имеет; ну определили человека - и что? может он там имеет право находится, может не имеет права находится, может не может он там находится (в 5 метрах над землёй висеть в воздухе), и главное, что делать дальше - этого классификатор сказать не сможет.

Детектирование/классификация - это лишь первый этап оценки ситуации. Если "автопилот танка" сможет определить по совокупности блеснувшего оптического прицела и теплого пятна на тепловизоре, что перед ним затаился снайпер и оповестит об этом оператора - это уже кое-что! Имеет или не имеет право - это решать уже Путину оператору.

Если "автопилот" сумеет решить задачу преодоления сложных препятствий для передвижения (а для этого их нужно распознать, классифицировать, суммировать свойства, выбрать оптимальный способ преодоления), то механика-водителя с джойстиком уже можно увольнять. И так - пока не останется один генерал и один IT-шник, чтобы решал проблему: "А чо оно не включается?" 

Комментарий администрации:  
*** отключен (перевирание собеседников, манипуляции) ***
Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

А какая разница, как именно назвать новое поколение самообучающихся алгоритмов?

Ну назовите это новым словом - сепульками, например. Проблемы применения от того не становятся проще.

Деда напугало то, что скоро люди встанут (уже встали, если о врачах) перед выбором: 

- принимать на веру выведенное машиной, даже если ты не понимаешь сути вывода;

- или решать самому, понимая вывод, но понимая и то, что машина решила бы проблему лучше.

Дед всю жизнь относил себя к тем, у кого в руках руль и судьбы миллионов... а тут - бац, и его отодвигают от руля: спасибо, не надо, у нас автопилоты. Вот он и реагирует, точно так же, как и автомобилисты тут, - но, мол, как же так, господа? а вдруг оно как бы не то? а ежели как бы и если, то оно разве ж то? Как же можно-то?

В принципе, вопросы-то верные. О Бутлерианском Джихаде интересно в фантастике читать, а в жизни оно наверняка не так прикольно...

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя mkizub
mkizub(8 лет 9 месяцев)

Да, про то, что его напугало - это вы точно подметили.

Комментарий администрации:  
*** Отключен (клевета) ***
Аватар пользователя xtotec
xtotec(7 лет 5 месяцев)

Тут получается много разных оттенков, которые у деда может быть не получилось все с ходу перечислить. Насчёт автопилота мы спокойны - ещё лет 10 все доверяют человеку, а вот распознание раковых опухолей на картинке (примитивщина - "на картинке - собачка"), по мнение китайцев ИИ проводит лучше - даёт верный результат в 87% случаев, прогнали через него какой-то газиллион рентгеновских снимков). Так вот, дед беспокоится о тех временах, когда мнение электронного распознавальщика опухолей будет непререкаемо, и человек полностью утратит авторитет в этом вопросе.

Ну, как большинство американских врачей практически утратили навыки диагностики без высокотехнологичных анализов, то, что наши ещё худо-бедно умеют... Будет как в анекдоте "Доктор сказал - в морг, значит в морг" и в какой-то момент после этого, ИИ решит, по каким-то своим внутренним критериям, нам недоступным,  что для человечества в целом будет лучше если все 100% предоставленных ему для анализа снимков будут содержать злокачественные опухоли...

Ну так, для иллюстрации (хотя принятие решения автопилотом кого давить, а кого спасать тоже напрягает...)

Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

Именно так.

И если глянуть на шаг вперёд, на социальные изменения, которые из этого воспоследуют, то это жуть в полоску, если вовремя не начать думать головой. А головой политики начинают думать обычно уже тогда, когда жопа все варианты исчерпала и грабли прилетели не по разу.

В этом смысле болтология деда очень важна и ценна - он доносит весть о технологии прямо в жопы правящего класса. Он хоть и старый, но его ещё слушают... хотя бы в Штатах.

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя mkizub
mkizub(8 лет 9 месяцев)

Дочитал до середины. Нытьё, что ничего не понятно, поэтому очень страшно. Вторая половина началась с попытки вообразить последствия. Попытки совершенно жалкие на фоне "Суммы Технологий" Лема. В общем, ничего интересного не нашёл.

Комментарий администрации:  
*** Отключен (клевета) ***
Аватар пользователя stetson
stetson(9 лет 9 месяцев)

Нытьё, что ничего не понятно

Угу. Зачем что-то говорить, если осознаешь свою некомпетентность?
Или ...  даже не осознает? smiley

Аватар пользователя WM
WM(8 лет 8 месяцев)

С чего нытьё-то? Дедушка старый - ему всё равно.

Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

В принципе - да, но тут важно то, что нейросети прошли своего рода очередной порог - ими всерьёз заинтересовались политики. 

Тут важно не то, что сказано, а кем.

И вопросы поставлены в целом верные (понятно, что сильно позже, чем у Лема, но это и неважно): что мы будем делать, если мы потеряем контроль на возможностью понимать (а следовательно и осознанно принимать) сложные решения?

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя mkizub
mkizub(8 лет 9 месяцев)

А у нас сейчас есть этот контроль? Вот Киссинджер и сейчас мало что понял в ИИ, хотя честно пытался. Один мой знакомый высказал мысль, что гения от маньяка отличить можно только по результату. Есть результат - гений. Нет результата - маньяк. Я подумал, почему так - действия их обоих нам непонятны. Про гения можно (раз есть результат) предположить, что они видел дальше нашего, а у маньяка просто фантазии в голове бурлили. Но ведь есть ещё и везенье. Может гений всё видел намного дальше, но ему не повезло, не сумел пройти до конца?

Страх, что мы не различим - ИИ гениален или просто сдурел. Но ведь это можно проверить на каких-то более простых вещах, которые приведут к понятному результату достаточно быстро. Тогда ему можно будет доверять более сложные вещи. Как с людьми-гениями. Ничего нового.

Страх, что он тайно задумает нас извести - а ему, ИИ, это зачем? Это же ему и систему мотивации нужно будет создавать, чтоб он что-то захотел задумать. И чем это отличается от того, что нас захочет извести очередной гений? Ну эти дебильные американские фильмы и мультики с одним из героев - профессоре-злодее. Просто их представление о мире, что кто-то более умный - не имеет других целей, кроме как изничтожить их, хороших, но придурковатых.

Комментарий администрации:  
*** Отключен (клевета) ***
Аватар пользователя СавДеп
СавДеп(7 лет 11 месяцев)

задумает нас извести - а ему, ИИ, это зачем ?

Если по Дарвину межвидовая борьба самая жесткая, так что насчет "извести", как раз вопросов не возникает.

Комментарий администрации:  
*** отключен (инфомусор) ***
Аватар пользователя mkizub
mkizub(8 лет 9 месяцев)

Внутривидовая самая жесткая, но не суть.

У нас с ИИ никакой конкурентной борьбы не предвидится, если её не организовать нарочно.

Вот откуда у ИИ возьмётся, например, желание быть? Откуда оно взялось у живого известно - у кого не было такого желания, тех уж с нами нет. Но такой "отбор" по отношении к ИИ я себе даже представить не могу, какой у него будет механизм? Наоборот, селекция людьми приводит к нежизнеспособным (но эффективным для человека) формам жизни, людям не интересна выживаемость домашних животных и растений, им интересно совсем другое. "Отбор" ИИ, если и состоится, то приведёт к тем-же результатам.

Комментарий администрации:  
*** Отключен (клевета) ***
Аватар пользователя СавДеп
СавДеп(7 лет 11 месяцев)

как то я послушал Т.Черниговскую, та по её версии наши желания, не совсем наши. Предположим, что всё в этом мире волны. И интеллект - это генератор волны определенной частоты. Вот вам и "мотивация" зачем ему быть.

Комментарий администрации:  
*** отключен (инфомусор) ***
Аватар пользователя Roman Nebezbesov
Roman Nebezbesov(5 лет 8 месяцев)

И ин­тел­лект - это ге­не­ра­тор волны опре­де­лен­ной ча­сто­ты.

Есть мнение, что - приемник... Как радио.

Комментарий администрации:  
*** отключен (перевирание собеседников, манипуляции) ***
Аватар пользователя Roman Nebezbesov
Roman Nebezbesov(5 лет 8 месяцев)

Вот откуда у ИИ возьмётся, например, желание быть?

А разве не у любой достаточно сложной системы "возникает" это "желание"?

Комментарий администрации:  
*** отключен (перевирание собеседников, манипуляции) ***
Аватар пользователя mkizub
mkizub(8 лет 9 месяцев)

Вот в средние века и были уверены, что мыши самозарождаются в грязном белье.

Современный ИИ даже можно натренировать, чтоб он изображал страсть к жизни. Но так и магнитофон можно - записать на плёнку жалостливую мольбу "не выключайте меня", и запустить по кругу. И как с магнитофоном - захотел так натренировал ИИ, захотел - натренировал "желание" "помереть". Он же искусственный, сиречь рукотворный. Как захотел - так и сделал.

Комментарий администрации:  
*** Отключен (клевета) ***
Аватар пользователя Roman Nebezbesov
Roman Nebezbesov(5 лет 8 месяцев)

Вот в средние века и были уверены, что мыши самозарождаются в грязном белье.

А разве это не так? surprise Надо срочно сказать ученым, чтобы перестали "пачкать белье", в надежде, что у них "самозародится" ИИ! И вообще, пора развенчать расхожие мифы про интеллект: "кора головного мо-озга", "усложнение нейронных свя-язей" - Тёмные века, ей Богу! Давно пора признать, что Интеллект не "самозарождается", а "вдувается" Главным инженером "в лицо" бездушной машины из праха земного. Ведь мы говорим о "настоящем" ИИ, а не о том, что "считается ИИ в настоящее время", правда?

Комментарий администрации:  
*** отключен (перевирание собеседников, манипуляции) ***
Аватар пользователя klaran
klaran(7 лет 7 месяцев)

есть такое страшное кино называется машина. вот она там дошла до того, что человек ей оказался не нужен. правда кино 2014 года. и тем не менее

Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

Потенциально - да, есть. Скажем, на примере уравнения Шредингера, которое, как известно, взято "с потолка", ни откуда строго не выводится, просто постулировано Шреденгиром, многократно и всяко проверено и оказалось - да, внезапно рабочим. Типичный пример "озарения", но можно спросить Шредингера: почему ты подумал так? И он ответит (ну, спрашивали, он отвечал).

И ход его мысли от положения к положению прослеживается чётко: во многих учебниках квантмеха он расписан настолько подробно и убедительно, что некоторые даже считают это математическим выводом.

То есть, можнно посмотреть, как человек думал - что принимал во внимание, что откидывал как неважное, куда смотрел на следующем шаге... вот эти веса и эти аксоны у нас в голове сдвинутся в чём-то схожую сторону и мы сможем это повторить.  Потому что у Шредингера была голова. И у нас она есть, и качественно - где-то тех же размеров.

С ИИ это может оказаться невозможным: например, для шага в выводе требуется учесть 1000 зависимостей одновременно во всей их полноте (что для нейросети типично), и мы не сможем повторить это.

...

Страх, что мы неразличим - это хороший страх. Деду страшно чуть другое: то, что мы этот страх потеряем 

Он не зря долго расписывает изменения в обществе с приходом интернета - фрагментация человечества на кластеры и радикализация внутри групп с потерей возможности коммуникации между ними (потому что изменяются даже базовые понятия и термины, в которых ведётся обсуждение). Например, свидомым невозможно что-то объяснить в терминах ватников потому что свидомые, общаясь только с себе подобными и фильтруя информацию, потеряли возможность воспринимать эти термины, и выработали свои, ватникам непредставимые. И уверяю! это касается не только рунета и не только политики. Люди парадоксально просто потеряли контроль над тем, что плывёт им в головы именно потому, что получили возможность выбирать источники.

Сделайте шаг за дедом и представьте изменения в человеческом обществе, окружённом ИИ за несколько поколений. Технология может менять саму идею целеполагания, как мы сейчас её видим. Это не просто страшно, это страшно до усрачки именно потому, что потомки этого страха не поймут - они не будут знать, что такое "решать". Это лишь к примеру. Дед только глянул в эту пропасть и возовопил! :)

...

Вариант с "терминаторами" - это детское изложение проблемы, для пятилетних детей. Полезно для популяризации, но не должно подменять проблему для взрослых. Взрослые должны задуматься, что будет, например, если результаты будут отличаться от желаемого, но люди потеряют возможность понимать и контролировать, какие результаты были в принципе возможны. На простом примере: ИИ говорит, что больной умрёт в любом случае, и незачем тратить на него деньги. ИИ в большинстве случаев не ошибается - проверено. Но если он в какой-то момент начнёт ошибаться - будет ли способ это хотя бы обнаружить?

Чуть более сложный пример: если ИИ принимает решения за людей почти везде (и везде делает это лучше человека), то что станет с обществом через поколение, когда исчезнут те, кто принимал такие решения сам?

А если глянуть глубже, то голова закружится вплоть до блевотины... Вот Гена чуть глянул и в ужасе отшатнулся возовопя очевидное... просто потому что жопой чует, что неочевидное там страшнее, и далее в лесу - партизаны в три обхвата. Общество не контролирует себя... и невозможно контролировать общество.

...

Это как игрища с гомосеками и третим полом, которые начинались с вполне тривиального гуманистического утверждения "не нужно их вешать или лечить электрошоком". Только тут хуже, потому что завязано на технологию, и, епта, коммерчески выгодную - мы уже скушали наживку с крючком.

 

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя RomanK
RomanK(9 лет 6 дней)

А что мы имеем возможность понимать и принимать сложные решения? Неужели до сих пор не очевидно , что миром в основном правят идиоты. И давно. И ничего, живем.

Комментарий администрации:  
*** Уличен в невменяемых методах дискутирования (приписывание людям чужих слов и т.д.) ***
Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

Во-первых, огромное количество (подавляющее большинство) решений касательно человека принимает сам человек. И тут уж кто идиот, а кто и не очень - каждый сам себе и доктор, и буратина.

А во-вторых, идиократия с повсеместной потерей компетенций - это именно что очень недавнее... Лет 30-50, максимум. И да, это следствие распространения автоматики, СМИ, ТВ и - особенно - интернета. 

Вот Генри смотрит на это дело и охреневает - он-то дед из совсем ещё других времён, когда можно было позволить себе пожечь полмиллиона человек, но быть идиотом никак было нельзя... И вот он видит следующую технологию, которая, как он правильно полагает, уже происходящее усугубит до таких пределов, о которых даже думать страшно...

Да и "ничего, живём" - так себе аргумент. Вот человек - тоже, "ничего, живёт". А потом - ничего, умирает.

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя RomanK
RomanK(9 лет 6 дней)

Почитайте историю Америки (из которой Киссенджер) Питера Казника, там подробно кто и как руководил страной в течении столетия. 

Безусловно случайные и недалекие люди оказывалось при власти не только там, но и в других странах , включая и наше Отечество. И вы можете быть сколько угодно умным , но по счетам за ошибки других вам все равно придется платить.

Сам Генри написал откровенную пургу , характерную для гуманитария , который пообщался с технарями по случаю. То что это было именно так, он собственно и рассказывает в статье.

 

 

Комментарий администрации:  
*** Уличен в невменяемых методах дискутирования (приписывание людям чужих слов и т.д.) ***
Аватар пользователя klaran
klaran(7 лет 7 месяцев)

нового ничего конечно не сказал

от самого факта кто это говорит, было ощущение странности. стареет видать

Аватар пользователя СавДеп
СавДеп(7 лет 11 месяцев)

Вряд ли историк может сказать что-то новое, за этим, скорее, к философам.

Комментарий администрации:  
*** отключен (инфомусор) ***
Аватар пользователя kue
kue(9 лет 9 месяцев)

Этот раствор фуфломицина принимать по чайной ложке один раз в день иначе три дня поноса и смерть

Аватар пользователя Василий Петрович

Какая у англосаксов мораль?

Старина Генри, успокойтесь уже, "исключительные" моралисты 😠😠😠

Аватар пользователя Бедная Олечка

Опять нарот ни тот...

Аватар пользователя НИГ
НИГ(8 лет 3 месяца)

Игра хоть она и Го не имеет ничего общего с искуственным интеллектом. Просчет количества вариантов эт не интеллект.

Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

Вы не понимаете, о чём говорите. В го невозможен пересчёт вариантов.

Во-первых, ни в каком будущем невозможна машина, способная на такой пересчёт с разумным результатом по времени, во-вторых, это даже неважно, ибо машина, победившая человека в го не пользовалась перебором.

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя НИГ
НИГ(8 лет 3 месяца)

Невозможен просчет вариантов? А чем занималась машина? Только опишите алгоритм ее работы без тумана раз вы в этом деле спец. Что она делала?

Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

Выбирала области решений и комбинировала их по аналогии с виденым в играх ранее. То есть, то, что у человека называется "мышлением" и "озарением".

Го показательная игра потому, что очень быстро растёт дерево вариантов, и там гораздо сложнее, чем в шахматах, понять "общий выигрыш" позиции: всё может полностью, совершенно измениться за один ход. В шахматы можно играть перебором, особо глубоко просчитывая "перспективные" ветви. "Перспективность" которых определять относительно простыми способами (количество и качество фигур на доске, положение пешек, защищённость фигур и т.п.). Программы, которые так играли, выигрывали у человека.

В го даже на сколь-нить годном уровне так играть невозможно. 

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя Liker
Liker(8 лет 4 месяца)

Насколько я помню, когда они замотали человека просчётом вариантов в шахматах с го была проблема в емкости и производительности, именно для просчёта вариантов и вот когда они нарастили емкость и производительность, пришла победа и в го. Никаких чудес в победе в Го там не произошло, эволюция. 

Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

Нет. Даже близко не то. 

То есть, конечно, проблема "в ёмкости и производительности", :) но разница с шахматами такая, что мы не можем и не сможем построить компьютер, перебирающий варианты для го ни в каком обозримом (или необозримом) будущем.

И победившая в го машина была относительно слабой, даже в сравнении с шахматными.

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя Liker
Liker(8 лет 4 месяца)

не сможем построить компьютер, перебирающий варианты для го ни в каком обозримом (или необозримом) будущем.

Наверное Вы подразумеваете ограничение по времени?

Аватар пользователя Simurg
Simurg(7 лет 1 месяц)

Я подразумеваю, что компьютер нужен очень уж мощный.

Комментарий администрации:  
*** Уличен в клевете и ложном цитировании, отказ принести извинения - https://aftershock.news/?q=comment/11527284#comment-11527284 ***
Аватар пользователя Дедко
Дедко(5 лет 8 месяцев)

В качестве примера можно вспомнить ИИ-виртуального собеседника Tay, который предназначен для ведения дружеских бесед языком 19-летней девушки. Но машина не смогла распознать императивы «дружеский» и «разумный», установленные разработчиками, поэтому виртуальный собеседник подавал расистские, сексистские и просто оскорбительные реплики.

 Их ИИ оказался не так глуп! 

Комментарий администрации:  
*** Отключен (лидер бан-рейтинга, систематические набросы) ***
Аватар пользователя klaran
klaran(7 лет 7 месяцев)

вики говорит, что он родился в еврейской семье 

Аватар пользователя Дедко
Дедко(5 лет 8 месяцев)

Если программа смогла достичь подобного уровня мастерства так быстро, где будет искусственный интеллект через пять лет? Как это повлияет на когнитивные способности человека?

Снова эти вопли:

- Мля, мы выдумали топор! Теперь все отрубят себе руки и ноги!

- Мля, а мы вообще выдумали колесо! Теперь оно задавит всех нас!

- Да что там колесо! Мы выдумали огонь! Он всех нас спалит!

Бог, на небе:

- Ха, я выдумал женщину. Она вынесёт вам моск гораздо раньше!

Нельзя научиться высокоморально овладеть чем-то, не попользовавшись этим какое-то время и  не убив при этом какое-то количество людей. Хиросима знает.

Комментарий администрации:  
*** Отключен (лидер бан-рейтинга, систематические набросы) ***
Аватар пользователя АЧТ
АЧТ(7 лет 4 месяца)

Гена говорит, что ща бомба будет выбирать куда падать. А у ея морали нет

Аватар пользователя Дедко
Дедко(5 лет 8 месяцев)

это мышление не на основе того познания и опыта, который приобретен ранее. Скорее речь идет о беспрецедентных возможностях памяти и вычислительных ресурсах.

Вторя производная от познания. 

Комментарий администрации:  
*** Отключен (лидер бан-рейтинга, систематические набросы) ***
Аватар пользователя oreg
oreg(6 лет 4 месяца)

Мне кажется:

автор слегка оговорился.

В 16 веке.

ps: уж пишите цифрами - так легче.

С Уважением.

Аватар пользователя Советчик
Советчик(5 лет 10 месяцев)

Мля. Ну дилетант ведь в той области о которой пытается рассуждать. Ничем не отличается от певцов ртом в этой области. Лучше бы про политику поговорил. Там он хоть что-то соображает.

Комментарий администрации:  
*** Уличен в антисоветской лжи и набросах - https://aftershock.news/?q=comment/7625227#comment-7625227 ***

Страницы