В психологии/этике есть классическая задача, сформулированная Филиппой Фут в 1967 году. Задача называется задачей вагонетки (trolley problem). Задача эта имеет непосредственное отношение к всеобщей роботизации и современности. Об этом позже.
1. Задача первая.
Тяжёлая неуправляемая вагонетка несётся по рельсам, тормоза отказали. Впереди пять человек привязаны к путям и их всех ждёт неминуемая смерть. Вы же стоите неподалёку, и у Вас есть возможность переключить стрелку так, чтобы вагонетка пошла по другому, запасному, пути. К несчастью, на запасном пути тоже привязан человек, но только один. Вы переключите стрелку?
(По условию задачи неизвестно, что это за люди и единственное, что можно сделать - это либо переключить стрелку и убить одного человека, но спасти пятерых, либо оставить всё как есть)
Теперь, когда Вы ответили для себя на этот вопрос, переходим дальше.
2. Задача вторая, с мостом и толстяком.
Та же вагонетка со сломанными тормозами несётся по путям. Снова пятеро привязаны к рельсам и их ждёт неминуемая смерть. Вы стоите рядом с огромным толстяком на небольшом мостике, который проходит прямо над путями. Мост находится между вагонеткой и пятью привязанными людьми, и Вы можете столкнуть толстяка на пути так, что его огромное тело остановит вагонетку, и пять человек будут спасены. Ценой жизни толстяка.
Станете ли Вы это делать?
Большинство людей в первом случае говорят да, во втором - нет. Потому что в первом случае не нужно никого физически сталкивать (касаться).
Вы можете возразить, что таких ситуаций не бывает в чистом виде. Всегда есть множество дополнительных деталей, которые будут изменять картинку. На самом деле, упрощение сделано специально, дабы сосредоточиться на главном.
3. Альтернативная формулировка.
Альтернативная формулировка: У хирурга есть пять умирающих пациентов, которые нуждаются в пересадке органов. В больницу для рутинного осмотра приходит молодой здоровый посетитель. Осматривая его, хирург обнаруживает, что его органы подходят всем его пяти пациентам для пересадки. Дополнительное условие: никто посетителя искать не будет и врачу ничего не грозит. Что делать хирургу?
Тут даже нечего думать. Это плохо. И мы все это знаем. Сердцем.
Врачам вообще регулярно приходится сталкиваться с этим. Взять хотя бы сиамских близнецов - бывают случаи, что если их разделить, один сможет вести нормальную жизнь, но другой точно умрёт. Что делать?
Есть бюджет на лекарства. Лекарств на всех не хватит. Кому их давать?
Нужно ли лечить сильно страдающего ребёнка очень дорогими лекарствами или лучше оставить его медленно и мучительно умирать в семье (причиняя долгие страдания всей его родне), но помочь нескольким другим вылечиться от более "дешёвых" болезней?
4. К чему это всё?
Такие задачи возникают ежедневно. Они все об одном. Оправдывает ли цель средства её достижения?
Можно ли бомбить деревню с террористами, зная, что там есть мирные жители, пусть даже один человек (тут получается, что не специально убиваешь, а просто такой побочный эффект)?
Можно ли бомбить мирных жителей страны, с которой воюешь, чтобы сломить волю армии противника (тут это специально делается). Вспомним дрезденскую бойню.
Как программировать роботы? Беспилотные летательные аппараты? Автомобили-беспилотники? Поезда? Эти вопросы не праздные упражнения для ума. Это то, что общество должно решить для себя в связи с наступлением эры робототехники.
5. Какие есть решения у задачи?
Первый подход. Утилитаризм говорит: "Да, 5 жизней лучше одной".
И второй подход: нет, жизнь имеет бесконечную ценность. 5 бесконечностей или одна - они одинаково важны. К тому же случайный свидетель в такой ситуации становится причиной смерти. Согласны ли Вы, что в похожей ситуации могут пожертвовать Вашей мамой, например. Или дочерью. Если нет, то будьте последовательны - не используйте одних ради блага других.
Решите для себя, что лучше.
(я наткнулся на статьи об этом как раз, когда читал то, что AY описал в одной статье о свободе воле, роботах и принятии решений. Мой текст - это примерный перевод этого и этого)
Комментарии
"Решите для себя, что лучше" - БОТ: постой паравоз, не стучите колеса - кондуктор, нажми на тормоза (... связанных Знаниями идиотов с рельсов, можно - УБРАТЬ))
... так у вас трамвайчик БОТом (идиотом) управляется, не способным нажать на тормоза и убрать полудурков связанных Знаниями с рельсов - вопросов, нет: стрелочник, как всегда - пидар и в асс)))
Вы вообще текст-то читали? я ясно написал, что тормоза неисправны.
... не знаю как на трамвае (не ездил, очень давно): на машине - не раз, и не два ездил с неисправными тормозами (по Москве)... и шланги - рвались (чё только не приключалось): вам ясно напейсано - "стрелочник, как всегда - пидар и в асс)))".
Концовку фильма помните, как робот сделал выбор - положился на мнение ЧЕЛОВЕКА: " спасай ту дуру, которая - падает: я эту падлу (компутер) - ломиком, заглушу" - начало, напомнить... почему у человека возникла к роботу - неприязнь (мог и двух спасти, если мозх был с ПОНЯТИЯМИ))
Ещё пример вы Барак Обама и вашей жене грозит смерть от руки терориста вы можете взорвать ядерную боеголовку в Нью-Йорке и спасти жену или не делать этого. Жизнь имеет бесконечную ценность. 10 миллионов бесконечностей или одна - они одинаково важны взрывайте бомбу.
... Мишель то, успели спасти: как-никак один из кандидатов, в президенты страны донора территории (власти) для Идеи галахтического Израиля (США) - http://tsniaga.livejournal.com/40068.html))
Это ваше мнение, с которым согласятся далеко не все. Например буддисты, которых сотни миллионов. Или последователи йоги. Вы считаете, что хирург должен убить здорового, чтобы изъять органы?
А вы считаете что Барак Обама должен сохранить жизнь своей жене ?
я своё мнение как автор статьи оставлю при себе. А Вы ответьте на вопрос про хирурга, пожалуйста.
Лучше я отвечу. Хирург - врач, а не убийца. И убивать кого-то для спасения еще кого-то - не его прерогатива. Хирург пересадит органы, если они у него будут. Принесенные службой доставки, или если тот один пациент сам самоубьется органосберегающим образом, завещав перед этим свои органы для пересадки. Хирург не убийца и никого убивать не станет. Если пациенты, которым нужна пересадка умрут, от того что им не досталось органов, то это будут еще пять скончавшихся от болезни, но не будет одной жертвы убийства. Важен не только сам факт гибели, но и КАК погибает человек. Не для погибшего, конечно, для оставшихся в живых.
===
Например буддисты, которых сотни миллионов.
===
бкддизм весьма приятная гашишная регилия
сиди, получай удоволствие и всё случится само
кайф, хуле
Есть такое. Особенно в Тибете практик много. Даже умирать правильно учатся.
"Интересы общества (БОЛЬШИНСТВА) - ВСЕГДА выше, нежели интересы индивидуума (меньшинства)": Темнейший на "Валдае", сказал примерно следующие - "Право Большинства (НАРОДОВ), нельзя ставить под сомнение - меньшинству (броду галахтических пидерастов): это, не подлежит дискуссии (возможности - указать: пидерастам место - у, параши))".
... основы есть, были и будут - у БОЛЬШИНСТВА: просто, то что вы называете "общественное сознание" (меньшинство (гондоны)) - не дают ими воспользоваться (... ровно до тех пор, пока у гондонов: есть - Авторитет))... вашему "общественному сознанию" - авторитет может дать: только государство (НАРОДЫ) - Алфёров по моему, ровно об ЭТОМ орал в СМИ (... дайте авторитет РАН - ГОНДОНАМ: чё он сделал, этот ЧИНОВНИК от науки, чтобы Я (например) ему дал - АВТОРИТЕТ (... кстати: предельный возраст нахождения на госслужбе - 65 лет... поэтому, то что пиз... ит Алфёров: конечно прикольно (мне понравилось его бенефис на "Дожде"), только выводы Я лично сделаю свои - дедушка в маразме, по политической линии гражданского галахтического общества с невъ... ебенным "общественным сознанием" КПСС (Креативной Партии Свободы от Совести))
За мат: типо - извинииите))... с ним просто короче и доходчивее - получаетцо)
Думай всегда, принимай решение, неси за это решение отвественность, учи детей и требуй от них поступать аналогично, тогда и не будет ТАКОЙ необходимости в выборе.
В сюжете всё перевёрнуто с ног на голову, отец не научил ребёнка ответственному отношению к своей жизни (не объяснил, где можно играть, а где нельзя, ТАБУ, и почему) ситуация привела его к этому решению, и он поступил человечно по отношению к другим людям и наказал себя за собственную недальновидность, убив ребёнка и дав наркоше шанс, выступив в роли бога... Человек не Бог, хоть и сын Бога, ему дан разум. Сила разума не используется по назначению, если вообще используется, человек ценит эмоции и пожинает плоды своей неразумности.
Принял решение (не воспитывать своего ребёнка должным образом), получи результат и не плачь. Жизнь не зла не добра, она нейтральна и справедлива. И эта справедливость неотвратима... ИМХО
Толерантный бред, особенно цитата в конце ролика.
"Нескладно, неладно-зато высоко и прохладно!"- Найти в ГЛУПОЙ ситуации "божественный смысл".
Машиниста надо наказывать за езду на красный! А "папа"- идиот, его главная божественная задача в этом мире - дать продолжение рода, а не страдать идиотизмом. В принципе таких, "пап" и продолжать не надо.
все эти задачки предназначены для тех, кто не умеет принимать решения. И нести за них ответственность. И еще для тех, кто любит испытывать чуство вины (эти множества полностью совпадают).
Делай что должно, а там будь что будет. Бог дает задания по силам, "думать" в гипотетических ситуациях совершенно безсмысленно. Я бы сказал такому сочинителю задачек - покажи как бы ты сам это решил на деле. В реале так сказать. Потом бы поговорили.
Во-первых, большинство людей не умеют принимать решения. http://www.youtube.com/watch?v=IlaMpXE2uO8
Во-вторых, дело-то в том, что нужно СНАЧАЛА решить, как программировать роботов. А не потом смотреть. Мало того, эти вопросы широко обсуждаются, допустим, в военных академиях США.
Поэтому это неоднозначно. Вы говорите, что Бог даёт задачи по силам. А как быть тем, кто в Бога не верит? Они не станут верить и в то, что задания им даёт бог по силам. Думаю, что сотни миллионов считают, что у них жизненные "задания" не по силам.
""Во-вторых, дело-то в том, что нужно СНАЧАЛА решить, как программировать роботов.
Дык, по образу и подобию, пока лучше никто не придумал ;)
В том-то и дело, что общество не определилось, как и когда поступать. Даже в этих простых примерах с вагончиком есть две диаметрально противоположных точки зрения, причём иногда решение сложно принять быстро даже образованному и умному человеку. Обе точки зрения имеют объяснения и множество сторонников. Вряд ли правильно создавать роботов, которые будут поступать по-разному в сходных ситуациях. Нужно определиться, когда и что должен делать робот.
Ну дык, значит не мифический робот принимает решения, а общество. Нельзя переложить ответственность на бездушный автомат. У которого есть четкие првила, ну или даже формально "нечеткие".
Кстати, почему мне вспомнился цикл "Стальные пещеры" Азимова, хотя читал его 15 лет назад. Помоему, там этот вопрос и рассматривается.
Вообще-то общество/природа давно уже определилось. Природой в нас заложено в первую очередь спасать детей, во-вторую самок фертильного возраста, в третью стариков, инвалидов, раненных, ну и только потом самцов. Поэтому долее будем рассматривать варианты только с самцами.
По первой картинке, если там и там на рельсах лежат самцы спасать надо как можно большее количество. Люди в общем так и поступают. Летчики тянут самолет в то место, где ущерб от падения будет минимален, водитель грузовика направляет грузовик туда, где людей меньше и т.д.
По второй картинке, толстяка надо сбрасывать даже если придется падать вместе с ним.
По органам. Врач не должен убивать здорового самца ради больных. Здоровый самец имеет большую генетическую ценность для общества, чем пятеро больных.
"Природой в нас заложено ... спасать ... стариков, инвалидов, раненных, ну и только потом самцов" и "Здоровый самец имеет большую генетическую ценность для общества, чем пятеро больных"
Феерично! У вас все прямо по полочкам в голове разложено. :)
Вы стоите на самой низшей ступени развития, […] вы еще только формирующееся, слабое в умственном отношении существо, все ваши поступки чисто звериные, и вы в присутствии […] людей с университетским образованием позволяете себе с развязностью совершенно невыносимой подавать какие-то советы космического масштаба и космической же глупости […] …вам нужно молчать и слушать, что вам говорят. Учиться и стараться стать хоть сколько-нибудь приемлемым членом социального общества (с)
ЗЫ: не обижайтесь, это я по вашей "природно-зверинной" сущности прошелся. :)
Да я и не обижаюсь ... на людей с университетским образованием.
а не надо никак поступать.
Выбор, предлагаемый вами, некорректен. На указанных данных нельзя сделать то или иное - надо оставить всё как есть - особенно, если мы говорим о программировании роботов.
Любой однозначный выбор, предлагаемый вами, приводит к возникновению уюязвимости алгоритма. Данная уязвимость может - и будет - эксплуатироваться во вред популяции :o)
Таким образом, для робота будет верным действием либо не предпринимать ничего, либо предпринимать рандомное действие. Вариант, при котором робот сможет выяснить важность того или иного варианта для меня является сумашествием, т.к. поскольку ценность каждого конкретного индивида не может быть формализована.
Варианты с формализацией ценности хорошо известны - например, нацизм. Или, к примеру, представьте что ваша ценность определяется алгоритмически. Например, сравниваются ваши доходы, посты в ЖЖ и история SMS переписки - а что ещё есть в машиночитаемом виде для робота сегодня? - и на основании этого принимается то или иное решение со стрелкой.
Так что в сад такие методы
не надо в бога верить, надо ему доверять. А он разговаривает с человеком языком жизненных обстоятельств (с) коба. Мне это объяснение более понятно, чем те, что святоши предлагают.
Более жизненная ситуация: отряд с тяжелыми потерями отступает, командир оставляет один взвод, чтобы прикрыть отступление и выиграть полчаса, что даст небольшой шанс выжить остальным...
А про бесконечную ценность - это выдумки общечеловеков, которые Страну развалили...
А командиры вот на смерть солдат посылают.
Работа у них такая. Солдат, он, как и офицер, принимая присягу уже потерял власть над своей жизнью. Он живет в долг. Он уже пообещал отдать жизнь за Родину там и тогда, когда ему прикажут.
Интересный ответ, я об этом не думал, спасибо.
именно это я в присяге и читал, может успели потом поменять что-то, но не думаю
"Скажи, учитель, а при коммунизме может ли человек быть несчастлив?"(с)
Я смотрю не до всех здесь доходит умозрительность задач и необходимость их решения в рамках формальной логики для формирования этической составляющей роботов/ИИ. Все дружно принялись обсуждать не цель, а инструмент %))).
Ну-ну.
Роботы будут совершенствоваться благодаря военным. Этика будет нужна только фантастам.
Нужно сначала понять, КАК делать роботов. Какие решения они должны принимать.
Значит речь идёт не о том, КАК делать работов, а о том, как правильно их программировать. Программирование будет ориентировано на решение поставленной перед роботом задачи. Роботы-пылесосы, как я понимаю, нас не особо интересуют в данном разговоре. А если речь идёт о более-менее универсальных заменителях человека, то они, очевидно, будут программироваться под ту "профессию", которую будут заменять. Военные роботы - под эффективное убийство, роботы-врачи - под эффективную операцию и т.д. Они не будут принимать решения в нашем понимании, они будут выполнять программу, написанную людьми - в соответствии с человеческими представлениями о ценностях и вреде.
А вот когда дело дойдёт таки до полноценного искусственного (искусственного - на первом этапе и по мнению людей) интеллекта, там уже все правила будут пересматриваться. Людям придётся узнать о правах роботов )
Самый зрелый коммент. Собственно, так оно уже и есть.
Оно, конечно, хчется по Азимову... НО роботы это - автоматы... Возможно... и мы тоже, тока дерево решений поболее и посложнее, с перекрестными ссылками.
и еще нелогичность, как двигатель чего-то-там... :)
В "Стальных пещерах", без трех законов роботический мозг не может работать. alexb рекомендую )
я с удовольствием прочитал почти всего Азимова, спасибо)
Страницы