Строим нравственную машину: кто будет отвечать за этику самоуправляемых автомобилей?

Аватар пользователя 131_ym

Вы движетесь по шоссе, как вдруг на оживленную дорогу выбегает человек. Вокруг вас движутся автомобили, и у вас есть доля секунды, чтобы принять решение: попытаться объехать человека и создать риск аварии? Продолжать движение в надежде, что он успеет? Тормозить? Как вы оцените шансы, если у вас на заднем сиденье будет пристегнут ребенок? Во многом, это классическая «нравственная дилемма», проблема вагонетки. У нее есть миллион самых разных вариантов, которые позволяют выявить человеческое предубеждение, но суть одна.

 

Вы находитесь в ситуации, на кону которой жизнь и смерть, простого выбора нет, и ваше решение, по сути, определит, кому жить, а кому умереть.

Дилемма вагонетки и искусственный интеллект

Новая работа MIT, опубликованная на прошлой неделе в журнале Nature, пытается придумать рабочее решение проблемы вагонетки, привлекая миллионы добровольцев. Эксперимент начался в 2014 году и вполне удался, получив больше 40 миллионов ответов из 233 стран, что делает его одним из крупнейших проведенных нравственных исследований.

Человек может принимать такие решения несознательно. Трудно взвесить все этические системы и нравственные предпосылки, когда твой автомобиль мчится по дороге. Но в нашем мире решения все чаще принимаются алгоритмами, и компьютеры запросто могут реагировать быстрее нас.

Гипотетические ситуации с самоуправляемыми автомобилями — это не единственные нравственные решения, которые предстоит принимать алгоритмам. Медицинские алгоритмы будут выбирать, кому получать лечение с ограниченными ресурсами. Автоматизированные беспилотники будут выбирать, сколько «побочного ущерба» допустимо в отдельном военном столкновении.

 

Не все моральные принципы равны

«Решения» проблемы вагонетки так же разнообразны, как и сами проблемы. Каким образом машины будут принимать моральные решения, когда основы морали и нравственности не приняты универсально и могут не иметь решений? Кому определять, правильно или неправильно поступает алгоритм?

Краудсорсинговый подход, принятый учеными Moral Machine, достаточно прагматичный. В конце концов, чтобы общественность приняла самоуправляемые автомобили, она должна принять моральный фундамент, стоящий за их решениями. Будет не очень хорошо, если специалисты по этике или юристы придут к решению, которое будет неприемлемо или недопустимо для обычных водителей.

 

Результаты приводят к любопытному заключению о том, что нравственные приоритеты (а значит и алгоритмические решения, который могут быть приняты людьми) зависят от того, в какой части мира вы находитесь.

Прежде всего, ученые признают, что невозможно узнать частоту или характер этих ситуаций в реальной жизни. Попавшие в аварию люди очень часто не могут сказать, что конкретно произошло, и диапазон возможных ситуаций исключает простую классификацию. Поэтому, чтобы проблему стало возможно отследить, ее приходится разбивать на упрощенные сценарии, искать универсальные моральные правила и принципы.

Когда вы проходите опрос, вам предлагается тринадцать вопросов, которые требуют простого выбора: да или нет, пытаясь сузить ответы до девяти факторов.

Должна ли машина свернуть на другую полосу или продолжать движение? Должны ли вы спасать молодых людей, а не старых? Женщин или мужчин? Животных или людей? Должны ли вы попытаться спасти как можно больше жизней или один ребенок «стоит» двух пожилых? Спасти пассажиров в автомобиле, а не пешеходов? Тех, кто переходит дорогу не по правилам, или тех, кто по правилам? Должны ли вы спасать людей, которые более крепкие физически? А как насчет людей с более высоким социальным статусом, таких как врачи или бизнесмены?

В этом суровом гипотетическом мире кто-то должен умереть, а вы будете отвечать на каждый из этих вопросов — с разной степенью энтузиазма. Однако принятие этих решений также раскрывает глубоко укоренившиеся культурные нормы и предубеждения.

Обработка огромного набора данных, полученных учеными в ходе опроса, дает универсальные правила, а также любопытные исключения. Три наиболее преобладающих фактора, усредненные по всему населению, выражались в том, что каждый предпочитал спасать больше жизней, нежели меньше, людей, а не животных, и молодых, а не старых.

Региональные различия

Вы можете согласиться с этими пунктами, но чем глубже вы задумываетесь над ними, тем более тревожными будут моральные выводы. Больше респондентов предпочли спасти преступника вместо кошки, но в целом предпочли спасти собаку, а не преступника. В среднем по миру быть старым оценивается выше, чем быть бездомным, но бездомных людей спасали реже, чем жирных.

И эти правила не были универсальными: респонденты из Франции, Великобритании и США отдавали предпочтение молодым, тогда как респонденты из Китая и Тайваня охотнее спасали пожилых людей. Респонденты из Японии предпочитали спасать пешеходов, а не пассажиров, а в Китае предпочитают пассажиров пешеходам.

Исследователи обнаружили, что могут сгруппировать ответы по странам в три категории: «Запад», преимущественно Северная Америка и Европа, где нравственность базируется в основном на христианской доктрине; «Восток» — Япония, Тайвань, Ближний Восток, где преобладают конфуцианство и ислам; «Южные» страны, включая Центральную и Южную Америку, наряду с сильным французским культурным влиянием. В Южном сегменте более сильные предпочтения пожертвовать женщинами, чем где-либо еще. В Восточном сегменте больше склонность к спасению молодых людей.

Фильтрация по разным атрибутам респондента дает бесконечные интересные варианты. «Очень религиозные» респонденты с небольшой вероятностью предпочтут спасение животного, но как религиозные, так и нерелигиозные респонденты выражают примерно равное предпочтение спасения людей с высоким социальным статусом (хотя можно сказать, что это противоречит некоторым религиозным доктринам). Мужчины и женщины предпочитают спасать женщин, но мужчины все-таки менее склонны к этому.

Вопросы без ответа

Никто не утверждает, что это исследование каким-то образом «решает» все эти веские моральные проблемы. Авторы исследования отмечают, что краудсорсинг онлайн-данных все же включает предвзятость. Но даже при большом размере выборки количество вопросов было ограничено. Что будет, если риски будут меняться в зависимости от принятого вами решения? Что, если алгоритм сможет вычислить, что у вас был всего 50-процентный шанс убить пешеходов, учитывая скорость, с которой вы двигались?

Эдмонд Авад, один из авторов исследования, выразил осторожность в отношении чрезмерной интерпретации результатов. Дискуссия, по его мнению, должна перетекать в анализ рисков — кто больше или меньше подвержен риску — вместо того, чтобы решать, кому умереть, а кому нет.

Но самым важным результатом исследования стала дискуссия, которая разгорелась на его почве. Поскольку алгоритмы начинают принимать все более важные решения, влияющие на жизнь людей, крайне важно, чтобы у нас было постоянное обсуждение этики ИИ. Проектирование «искусственной совести» должно включать мнение каждого. Хотя ответы не всегда будет просто найти, лучше все же попытаться сформировать нравственные рамки для алгоритмов, не позволяя алгоритмам самостоятельно формировать мир без человеческого контроля.

Авторство: 
Копия чужих материалов
Комментарий автора: 

Интересный взгляд на перенос общественной морали искусственному интеллекту.

https://hi-news.ru/auto/stroim-nravstvennuyu-mashinu-kto-budet-otvechat-...

Комментарии

Аватар пользователя Vneroznikov
Vneroznikov(9 лет 5 месяцев)

Никаких вариантов в данной постановке задачи нет. Правила дорожного движения в данном случае говорят однозначно - экстренное торможение, и никаких попыток объезда. Тормозить в пол, руль держать прямо.

Аватар пользователя 131_ym
131_ym(4 года 11 месяцев)

И все делают как вы сказали? Или пытаются включить мозг в общем и мораль в частности. Я лично участвовал в 2 инцидентах когда в первом случае ребенок, а во втором бабулька резко стартовали с обочины и единственное решение было - уйти в кювет и подвергнуть риску пасажиров машины. Собственно так и делалось.

З.Ы. Если можно подскажите статью в ПДД где сказано:

экстренное торможение, и никаких попыток объезда. Тормозить в пол, руль держать прямо.

З.Ы.Ы. Т.е вы считаете что никаких телодвижений (кроме тормоз в пол движемся прямо) в ходе аварии делать нельзя. Вы будете согласны если на дороге появится искусственный интеллект с указанными вами поведение на дороге в случае экстремальной ситуации?

Аватар пользователя Vneroznikov
Vneroznikov(9 лет 5 месяцев)

У вас не будет времени ни на включение морали ни мозга.

Вот статья на эту тему

http://svpressa.ru/auto/article/133701

А насчёт того, согласны или там не согласны - оставьте данный риторический приём для ЖЖ-шечек. Они там любят подобными наводящими вопросами посты заканчивать.

Аватар пользователя 131_ym
131_ym(4 года 11 месяцев)

Есть прецеденты, когда водители пытались увернуться, разбивали свой автомобиль, ребенок сбегал, они при этом платили и за свою машину, и за снесенный столб или светофор. Иногда это происходит «на рефлексах», когда водитель просто не успевает принять сознательное решение. Иногда уворачивались «по доброй воле».

Машины управляемые ИИ это дело ближайших 5-10 лет. И все проблемы возникающие по поводу появления самого ИИ, его правоспособности, ответственности за действия актуальны как никогда. Ведь необходимо разработать и принять огромное количество документов регулирующее их деятельность.

З.Ы. Я представил как  на просторах тырнета появляется статья о ДТП в котором ИИ полностью исполнил все ПДД и сбил ребенка, хотя мог нарушить ПДД и спасти его. И реакцию на данное происшествия в обществе.

Аватар пользователя Vneroznikov
Vneroznikov(9 лет 5 месяцев)

Значит, надо будет менять правила.

Но вы высветили важный аспект. По сути, сейчас разговор ведётся о том, кого назначить виновными в случае чего.

Хотя, в случае искусственного интеллекта, автоматика не должна оценивать моральные аспекты, а действовать по утверждённым алгоритмам, в рамках технических возможностей. Которые тоже должны соответствовать утверждённым нормативам.

Аватар пользователя 131_ym
131_ym(4 года 11 месяцев)

Полностью согласен. Но эти утвержденные алгоритмы нужно как то выработать. Причем очень важное в статье, что в разных государствах различна общественная мораль и для каждой из этих стран необходимо будет использовать свои утвержденные алгоритмы.

Аватар пользователя Vneroznikov
Vneroznikov(9 лет 5 месяцев)

Как показывает опыт решения подобных проблем в авиации, например, да и в прочих подобных отраслях - единственный работающий метод - это метод проб и ошибок. Правила пишутся, увы, кровью.

Поэтому имеет смысл использовать существующие правила  (уже написанные кровью) и потом их дорабатывать. Просто надо понимать, что как бы быстро не соображал ИИ - всё равно реальные ограничения по времени срабатывания тормозных механизмов, по приемистости двигателя, по сцепным свойствам колёс, по свойствам дорожного покрытия, по погоде, наконец - никуда не деваются. И даже самая разумная команда, выдаваемая на исполнительные механизмы - имеет шанс не быть исполненной из-за ограничений этих самых механизмов. Хоть человек ее отдает, хоть компьютер.

Аватар пользователя 131_ym
131_ym(4 года 11 месяцев)

Да,да, да. Но компьютер отличается от человека скоростью принятия решений и просчета возможных вариантов событий в зависимости от веса машины, веса пассажиров, расположения пассжиров в салоне, пристегнутость оных и т.д. А также дополнительных датчиков съем данных с которых идет постоянно. И огромный багаж опыта поведения машины как в виртуальной реальности так и в обыкновенной реальности. Причем он может принимать почти мгновенно.

Аватар пользователя Нехазин
Нехазин(2 года 6 месяцев)

Человек может ошибаться.

Робот нет.

Он строго выполнит правила ПДД.

Задумайтесь о безнравственности электричества.

Розетке без разницы кто сунул в неё пальцы.

Ребенок или старик.

Если кто-то влез в работающий конвейер и погиб виноват не транспортер.

Мораль такова что ВИНОВЕН тот кто выбежал на дорогу.

И не важно старик или ребенок.

И это понятно если авто управляет РОБОТ.

А если человек то его могут осудить

 

Аватар пользователя 131_ym
131_ym(4 года 11 месяцев)

Дык правила писали для людей, с которых невозможно требовать больше чем они могут дать. Поэтому для людей которые попадают в ДТП (а это чаще всего не опытные водители) педаль в пол и руль по середине оптимальное поведение. Для опытных водителей оптимальные правила поведения в ДТП будут другими просто из-за других вводных данных. А для ИИ все будет еще сложнее.

 

Человек может ошибаться.

Робот нет.

Тоже может, просто морально правильное действие в Китае, может оказаться неправильным в Германии. И второе он помнит о всех своих ошибках и о том почему эти ошибки произошли Собственно о этом и статья.

Аватар пользователя Нехазин
Нехазин(2 года 6 месяцев)

В Китае электричество так-же бьет всех и совесть его не мучит как и в Германии.

у ИИ нет нравственных страданий.

Страдают возможно те кто пишут программу.

И она должна быть глобально принята.

И в Китае и в Германии виновен тот кто мешал двигаться авто управляемому ИИ.

И этому надо учить людей.

Не суй пальцы в розетку,не выбегай на дорогу

 

Аватар пользователя XS
XS(6 лет 11 месяцев)

ПДД в существующем виде написаны для людей. 

Аватар пользователя 131_ym
131_ym(4 года 11 месяцев)

+

Аватар пользователя Вертер
Вертер(2 года 8 месяцев)

Живые водители в экстренных случаях не используют моральные оценки при выборе вариантов действий. Адреналин, имеющиеся рефлексы и т.п. решают. Зачем придуманные проблемы неживым алгоритмам?

Аватар пользователя Vneroznikov
Vneroznikov(9 лет 5 месяцев)

Собственно, моральные оценки - это продукт человеческого мышления. А мыслит человек - медленно. Чисто физиологически - медленно. И быстро мыслить он органически неспособен. Это занимает минимум несколько секунд.  Так что только рефлексы.

Аватар пользователя Omni
Omni(8 лет 8 месяцев)

А ранее автошколы обязаны создать рефлексы соответствующие правилам.

Аватар пользователя Эпиграмма
Эпиграмма(4 года 8 месяцев)

А Тесла, завизжав на вираже,
И бабку сбив, заглохнет для отмазки
Ну а потом, страдая в гараже,
Она начнет давить на совесть Маску

Аватар пользователя neama
neama(3 года 10 месяцев)

yes

Аватар пользователя Bobrikpp
Bobrikpp(3 года 6 месяцев)

Я раньше думал, что на западе  беспилотники никогда не выйдут на дороги, поскольку при ДТП некому будет предъявлять вину. Ведь там такая мощная судебная система, и дело утонет в судебных разборках.

Ошибался. Как оказалось, там жизнь человека не должна стоять на пути бизнеса. 

Впрочем это касается, всего автомобильного комплекса.  Ежегодно в авариях в мире погибают сотни тыс. человек. Но никому не приходит в голову вообще запретить автомобили. Хотя если исходить из того, что жизнь бесценна, то это надо сделать однозначно.

Почему-то считается, что если все будут ездить по правилам, а автомобили исправны, то аварий не будет вообще в принципе. Т.е. все проблемы из-за правонарушений.

И вот теперь роботы, крайних нет,  а проблема и ныне там.