Чиновники из Пентагона попросили Совет по оборонным инновациям (DIB*) разработать набор этических принципов использования искусственного интеллекта (ИИ) в военных действиях. Предполагается, что ими будут руководствоваться военные, интерес которых к ИИ растет, а также они успокоят опасения потенциальных партнеров в Силиконовой долине, как будут использоваться их продукты.
На сегодня основным подобным этическим документом является доктрина 2012 года, в которой определяется, что человек должен иметь возможность заблокировать любые действия, которые может предпринять автономная система в бою. Это краткий (всего 4 страницы) документ не затрагивает ни одного из видов использования ИИ для поддержки принятия решений, прогнозной аналитики и т.д.
Джош Маркузе, исполнительный директор DIB, сказал, что разработка этих принципов поможет Пентагону "безопасно и ответственно" использовать новые технологии. "Важно продумать все последствия", - сказал он.
Совет директоров - группа корпоративных и аналитических лидеров Силиконовой долины, возглавляемая бывшим председателем Google и Alphabet Эриком Шмидтом, обнародует "этический список" на своем июньском заседании. Руководители оборонного ведомства примут его к рассмотрению.
Маркузе считает, что Пентагон может быть лидером не только в использовании ИИ, но и в разработке основных принципов его безопасного использования. "Министерство обороны должно возглавить работу в этой области, как мы это делали с другими технологиями в прошлом. Я хочу убедиться, что департамент не только лидирует в разработке ИИ для военных целей, но и в развитии этики использования ИИ в военных целях”, - говорит он.
Эти усилия, в частности, являются ответом произошедшее с проектом Maven - флагманским проектом Пентагона с Google по ИИ. В проекте искусственный интеллект был использован в работе с огромным хранилищем видеоматериалов и изображений, которые Министерство обороны собирает для управления авиаударами. Должностные лица МО неоднократно подчеркивали, что ИИ был предназначен только для уменьшения нагрузки на работников. Однако признавали (O, my God!), что конечной целью было помочь военным делать то, что они делают лучше всего - находить и убивать людей. Это возмутило нежные и чуткие души сотрудников Google, которые стали массово увольняться в знак протеста, после чего Google не стал продлевать контракт.
Чиновники МО надеются, что наличие списка этических принципов позволит компаниям, которые хотят работать с Пентагоном, делать это без ложных заявлений общественности и их сотрудникам.
Маркузе говорит, что опубликованный список этических принципов развеет подозрения многих в Силиконовой долине об использовании ИИ военными: "Если мы проявим лидерство, ответственность, покажем, что мы осмотрительны и осторожны, скрупулезны в нашем тестировании и принятии умных решений о компромиссах, я думаю, что это решит многие проблемы, которые подняли наши действующие и потенциальные партнеры".
Общей проблемой является систематическая предвзятость или появление алгоритмов, основанных на больших, но не обязательно точных наборах данных. Примером может быть скандал 2015 года, когда алгоритм поиска Google ошибочно называл негров гориллами. Американские военные, говорит Маркузе, не могут позволить себе роскошь развертывать и использовать новые технологические решения без полного понимания того, как они работают. Массовая ошибка в маркировке данных для военных - это не просто катастрофа в области связей с общественностью, но и потенциальная причина для множества смертей, особенно в сочетании с высоко автономным роботизированным оружием.
Эти рекомендации по форме не будут списком строгих заповедей, поскольку в реальности возможны различные сценарии. Это, скорее, будет рядом рекомендаций, как наиболее оптимально использовать ИИ в разных боевых ситуациях.
Руководители оборонного ведомства сами за закрытыми дверями будут решать, как применять эти принципы на практике. Маркузе говорит, что для них важно иметь возможность делать это вдали от глаз общественности.
Процесс разработки "Кодекса этики ИИ" начнется 23 января с публичных слушаний в Гарвардском Центре Белфера, куда постараются привлечь именно тех ученых и этиков, которые выразили самый серьезный скептицизм в отношении использования ИИ Министерством обороны.
"Крайне важно, чтобы будущие рекомендации для МО от DIB соответствовали этическому подходу и поддерживали существующие правовые нормы, касающиеся войны и прав человека, не мешая при этом МО выполнять его миссию по поддержанию мира и сдерживанию войны. Члены DIB соберут и рассмотрят все комментарии", - говорится в объявлении.
* - Совет по оборонным инновациям создан весной 2016 года с целью ускорить процессы внедрения новейших технологий в вооруженных силах США. Состав совета можно посмотреть здесь.
Интересны изменения, произошедшие по сравнению с прошлым составом. Ушли Уильям Макрейвен - адмирал ВМС США в отставке, бывший глава американского командования специальных операций, и Джефф Безос - глава и основатель интернет-компании Amazon.com, основатель и владелец аэрокосмической компании Blue Origin.
К вопросу о том, что когда видишь хайп - посмотри вокруг и поищи тех, кто стоит неподалеку под кустиком, гыгыкает над лохами, и подсчитывает снятую с лохов стружку.
Это и криптомусора касается, и попила на теме ИИ, и зеленой "энергетики", и нанотехнологий и т.д. Тысячи их. Это не значит,что все темы совершенно бессмысленны. Какие-то вполне могут дать полезный результат - но объемы расходов и полезного выхлопа несопоставимы.
Хайп - это просто пиар-сопровождение подобных попилов, раскрутка темы, чтобы у лохов было меньше вопросов, о закачке ярдов в эти темы - из их карманов, естественно.
Комментарии
Пентагон сделает вид, что он этичен. Фарисеи из "высокотехнологичных" компаний сделают вид, что ему поверили.
Ананасная ввода для прекрасных дам. «Зенитные кодексы Аль-Эфесби» Пелевин. 2010 год.
Очень подробно описано. Действительно этический комплекс принятия решений для ИИ дронов.
хотя этичность ЦРУ и АНБ гораздо важнее
Блин. Нашим ещё учиться и учиться находить темы для попила!
После самообучения, алгоритм принятия решений ИИ может стать непредсказуемым. Нужен еще один ИИ, который будет учиться фильтровать "неправильные" решения.
Не нужен. В ТЗ прописано "сделать Скайнет" :)
Назвать всех негров гориллами))
Смех смехом, а исключение кого надо из категории "люди" снимает все ограничения ИИ по отношению к ним.
Он давно существует с базой на берегу Мёртвого моря.
Весь мир "ложки" гнёт, которых не существует.
Надо так.
Создать ИИ исполнитель. Поверх него ИИ начальник. Над всем этим кагалом ИИ аудитор. Ну а так как их уже больше двух, над всем этим ИИ министр с министерством ИИ.
Естественно в штат министерства принимаются только ИИ. Они же не дураки в свою кухню дебильные кожаные мешки пускать.
С таким ИИ-штатом на серверах разоришься. Поэтому необходимо, чтобы все эти ИИ-служащие в каждую свободную миилисекунду майнили биткоины. Пусть сами себе на "железо" зарабатывают!
Читаем "Зенитные кодексы Аль-Эфесби" Пелевина.
Вот и прочитали видимо:)
Но, видимо, не до конца.
Давно планировалось. Пелевин увидел процесс.
ИИ поступит как посчитает "разумно". А как нужно поступать, ИИ будет учится в том числе и у людей. Думаю пиндовояки ИИ научат много чему "хорошему".
Не выкидывайте старые процы!!!! Если что возьмёте их в заложники как родню терморегуляторов Т-1000, может прокатить, или непрокатило.
какая этика... какой ИИ????
Слава Роботам!!
Ошибочность этой стратегии уже доказана. Сначала надо обязательно убить Сару Коннор, а уж только потом остальных человеков.
Всех Сар.
Как тут не вспонить Пелевина с "Зенитными кодексами аль-Эфэсби"
Вопрос с «Wikileaks syndrome», таким образом, был решен – поскольку у системы отсутствовал живой оператор, некому было бояться ответственности за ошибку или вырвавшуюся в горячке боя неполиткорректность. Однако на смену одной проблеме тут же пришла другая.
Дело в том, что раньше в случае гражданских жертв можно было предъявить негодующей общественности какой-нибудь разъяснительный документ – например, расшифровку переговоров оператора с его непосредственным командиром. После этого становились понятны причины трагедии. Обыкновенно оставалась и видеозапись, где было видно, что телекамеру на плече журналиста или бревно на спине рабочего действительно можно принять за гранатомет или портативную ракету «земля-воздух». Словом, человеческую ошибку всегда можно было смягчить, показав ее неумышленность.
Новая система управления не давала такой возможности. И, хоть вероятность того, что «Freedom Liberator» откроет стрельбу по человеку с бревном на плече, стала значительно меньше, информационная чернота происходящего оказалась крайне неблагоприятным пиар-фактором. И Пентагон дал инженерам дополнительное задание – сделать работу системы открытой для внешнего наблюдателя, в удобной и наглядной форме демонстрируя, как именно принималось то или иное решение. Причем ясно это должно было быть не только специалисту, но и любому налогоплательщику.
Именно при выполнении этого заказа и проявились во всем блеске возможности системы.
Поскольку «Free D.O.M.» воспроизводила механизмы работы человеческого мозга, отчет о ее работе нетрудно было представить в понятной человеку форме. Проблема заключалась в выборе этой формы. И у инженеров Кремниевой долины родилась поистине гениальная мысль.
Они рассуждали примерно так: если система состоит из параллельных нейронных сетей, каждая из которых имитирует отдельного человека, почему бы не представить отчет о ее работе в виде диалога нескольких виртуальных персонажей, каждый из которых объяснял бы общественности свою точку зрения?
Любой из этих персонажей был просто репрезентацией боевого канала обработки информации. Но, затратив совсем немного машинных ресурсов, ничего не стоило придать ему человеческий вид и перевести язык его внутренних кодов в человеческую речь.
Можно было даже оформить весь отчет в виде симпатичного мультика вроде «Симпсонов». Это практически не отражалось на работе системы – по сравнению с боевыми вычислениями, которыми она занималась, такая антропоморфизация была детской игрой. Нейронной сети, способной имитировать действия боевых пилотов, ничего не стоило заодно смоделировать и ток-шоу.
Проблема «человеческого опыта» была и в этом случае решена просто и элегантно: в систему загрузили архив всех американских телевизионных ток-шоу – то есть всех вообще. Используя свои базовые алгоритмы, «F.D.O.M.» могла выбирать из огромного богатства уже произнесенных реплик, и даже модифицировать их, создавая потрясающий эффект живого человеческого присутствия. На пике нагрузки это отнимало не больше двух процентов общей мощности системы, которая имела запас около десяти процентов.
Теперь «F.D.O.M.» выдавала видеоотчет. Выглядел он так: у большого монитора в условном подобии студии сидели несколько виртуальных фигурок простецкого вида (каждый раз система моделировала их заново, чтобы не создавать впечатления, будто у нее внутри обитают некие искусственные существа). Картинка, на которую смотрели фигурки, соответствовала тому, что видели камеры «Либерейтора». При появлении врагов фигурки просыпались и вступали в диалог, напоминающий эмоциональное ток-шоу категории «B».
Вряд ли такая передача выдержала бы конкуренцию на телевидении. Но в смысле public relations смоделированный подобным образом диалог чрезвычайно выгодно отличался от переговоров живых операторов.
Военные обычно говорили коротко и по делу:
– Долбани-ка еще раз вон по тому ублюдку в канаве.
А виртуальные фигурки в той же ситуации изъяснялись так:
– Ужасно, что приходится открывать огонь по живому человеку. Но когда я думаю о наших ребятах, в которых может попасть пущенная им пуля, когда я думаю, что он может прятать в кармане гранату или пистолет, я понимаю – этот трудный, практически невозможный выбор все-таки придется сделать...
Джентльмены пишут правила для того, чтобы их соблюдали другие.
Это, безусловно, верно. Но как в сегодняшней ситуации они смогут заставить других?
ИИ нет, а кодекс есть... забавно.
Под ИИ (AI) сейчас понимается не некий искусственный разум, а даже обычная алгоритмизированная система принятия решений или обработки данных.
Ну как бы я это знаю. ИИ это по сути такой же интеллект, как смарт телевизор умный. По этому и говорю.
Азимов его уже создал =)))
Для военных законы робототехники бесполезны. :)
чточто? Этика в военных действиях???? Она выглядит примерно так:
жертвы концлагерей созданных единой западно-европейской армией в период 1940-1945 г н.э.