Искусственный интеллект, нейронные сети и противодействие обучению конкурентов

Когда строили «Северные потоки», я задумался над вопросом: а как, интересно, подводные участки газопроводов будут охранять? Ответа в Интернет я тогда так нигде и не нашел, потому что, судя по последним событиям, его вообще не было – охранять проложенные по морскому дну трубы никто даже и не собирался. В последнее время в средствах массовой информации активно продвигается тема искусственного интеллекта, и теперь у меня появился новый вопрос: о необходимости защищать нейронные сети от саботажа кто-нибудь думал?

Цитаты из Википедии:

Искусственный интеллект (ИИ; англ. artificial intelligence, AI) — свойство искусственных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием, ИС); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.

Нейронная сеть (также искусственная нейронная сеть, ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма. 

С точки зрения искусственного интеллекта, ИНС является основой философского течения коннекционизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов.
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. 

Уже в середине прошлого века стало понятно, что если какая-то техническая система создает людям проблемы, то эти люди быстро изобретают множество способов саботажа, противодействовать которым такая система сама по себе не может: человеку способен противостоять только другой человек.
Например, в книге Рассела Акоффа «Искусство решения проблем» на страницах 101-103 описан конфликт между администрацией и студентами некоего университета, возникший в результате попытки ограничить доступ на университетские парковки чисто техническими средствами: в ответ на каждую хитрость администрации студенты придумывали способ ее обойти.
Цитата из книги, описывающая итог противостояния:

На этот раз администрация сдалась и на входе каждой стоянки посадила сторожа.

Ссылка на книгу Акоффа:

Искусство решения проблем

Интересно, когда разработчики систем искусственного интеллекта заметят, что люди реагируют на подобные системы, как на конкурентов?
Конкурентов же обычно сильно не любят и борются с ними всеми возможными способами. В конце прошлого века появилась даже отдельная дисциплина под названием «Противодействие обучению конкурента». Причем имеет место странное явление: более общей дисциплины «Противодействие конкурентам» почему-то создавать не стали.

Вот, например, ссылка на статью о противодействии обучению:

Противодействие обучению конкурентов и «Троянское обучение» в социальных взаимодействиях

Цитата из вышеуказанной статьи:

Один из наиболее эффективных способов сделать конкурента несостоятельным в меняющемся мире – помешать ему обучиться новым видам деятельности. В сфере обучения конкурентная борьба приобретает формы противодействия обучению соперника, а также «троянского обучения» – скрытого обучения другого субъекта тому, что для него невыгодно, вредно, опасно, но соответствует интересам организатора обучения.

У естественного человеческого интеллекта есть свойство, которым искусственный интеллект обычно не оснащают – вредность: способность делать пакости даже при отсутствии какой-либо коммерческой выгоды. И уж тем более пакости будут выдумывать в большом количестве, если выгода появится.

Допустим, что наземный автономный робот обучен находить оптимальный маршрут движения. Что мешает злоумышленникам путем расстановки искусственных препятствий сформировать единственный удобный путь и установить на этом пути ловушку для робота? Просто чтобы сделать гадость его владельцам, или украсть перевозимый им груз, или украсть самого робота с целью продажи или разбора на запчасти?

Если же самообучающаяся нейронная сеть будет применяться для принятия решений по каким-либо финансовым вопросам, то у мошенников возникнет огромный соблазн: повлиять на процесс обучения с целью научить такую сеть какой-нибудь ущербной стратегии, чтобы в определенный момент времени она выдала рекомендации, которые разорят и пустят по миру пользователей нейронной сети, но зато обогатят мошенников.

Техническим системам, использующим искусственный интеллект, понадобятся живые люди – защитники, подобно тому, как компьютерным системам потребовались специалисты по противодействию хакерским атакам. Чему и как нужно учить таких защитников?