Недавно в новостях появилась информация о том, что правительство Москвы планирует запустить комплекс средств по контролю за перемещением граждан и сейчас обсуждается некий программный документ, в котором определяется механизмы реализации. В некоторых СМИ эту инициативу тут же окрестили «Цифровым концлагерем» и начали бояться и бороться. Я хотел бы поделиться своим личным, никак не связанным с текущим видом деятельности или работодателем, взглядом на то, почему предложенные меры не заработают или заработают, но не так как предполагалось.

Давайте рассмотрим, что предлагается в обсуждаемом документе, который «утек», предположительно, из правительства Москвы и опубликован в Телеграмме.
Предполагается, что жители и гости столицы будут разделены на 4 группы и для перемещения каждой будут использоваться различные инструменты и ресурсы мониторинга, включая физический контроль (Росгвардия, МВД и т.д.), мобильные приложения, видеоаналитика с распознаванием лиц, данные биллинга телеком-операторов, данные транспортного комплекса и данные банков.

Дорожные камеры

Первое, что приходит на ум с точки зрения эффективности, это дорожные камеры. По Москве они размещены в огромном количестве и вполне могут быть действенным средством контроля за соблюдением карантина. Прежде всего потому, что готова нормативная база, где описано, что камеры являются средством метрологического контроля, и что они могут быть использованы для формирования материалов по административному правонарушению. С точки зрения технических ресурсов тоже вопросов нет: сейчас в городе более 3000 постов, на которых иногда установлено несколько камер; есть идентификационная база данных по номерам автомобилей, есть привязка номеров к владельцу и есть административная база, по которой нам выписывают штрафы, включая механизмы разрешения конфликтов, например когда за рулем находился не владелец (часть 3 статьи 28.6 КоАП). «Белый» список автомобилей можно достаточно быстро сформировать через регистрацию разрешений на перемещение, то есть если человек хочет ехать – он должен зарегистрироваться. 

Единственный, с моей точки зрения, спорный момент связан с тем, что мы должны будем записывать все срабатывания по распознаванию номеров. Можно возразить, что, в большинстве случаев они и так сохраняются. Но часто они сохраняются как запись в базе данных, но без необходимой доказательной базы. Что я имею в виду под доказательной базой? Стандартно в Москве поток с камер хранится 3 дня, и есть возможность зарезервировать до 30 дней по обращению гражданина или правоохранительных органов. Камеры, которые используются для регистрации правонарушений, автоматически регистрируют расширенную информацию (тип нарушения, фотографии, видеопоток и т.д.) при возникновении случая правонарушения. В случае вынесения постановления о штрафе апелляция работает, как минимум, в течение 10 дней, и есть возможность подать заявление о том, что штраф неправомерен. Поэтому требуется сохранение доказательных базы на каждый проезд мимо камеры, так как ГИБДД в этом случае придется доказывать, что правонарушение имело место и совершено именно этим лицом. Это может привести к росту объема базы данных. 

Еще один важный момент – ложные срабатывания. Ни одна система не идеальна, и при массовом "штрафовании" количество потенциальных ложных срабатываний (и штрафов) будет, как минимум, несколько тысяч в день. Информацию по ним нужно будет анализировать вручную, либо автоматически фильтровать на основе нечетких критериев.

Таким образом, технически реализовать такую систему можно, но необходимо учесть, что возрастет количество правонарушений и, соответственно, объем необходимых для хранения доказательств. А также резко возрастет количество ложных срабатываний, потому что мы фиксируем не нарушения ПДД, а просто проезжающие автомобили. И это потребует ручной проверки в связи с тем, что эти правонарушения влекут за собой штрафы, в том случае, конечно, если мы хотим, чтобы штрафы начислялись правильно и количество обращений граждан об обжаловании постановлений не привело к «DDoS-атаке» и не вывело ГИБДД из строя.

Социальный мониторинг

Еще одним компонентом является мобильное приложение «Социальный мониторинг». Недавно оно появилось на Play Market, предполагалось, что его поставят все граждане Москвы, зарегистрируются и оно «начнет им помогать в жизни», то есть следить за ними. 

На хабре недавно был опубликован беглый анализ приложения, заявляется, что оно собирает очень много данных с устройств, передает все это в открытом виде без какого-либо шифрования на сервера и, кроме того, для распознавания лиц использует эстонский облачный сервис. После этой некоторого шума приложение убрали с Play Market, сказали, что все не так и, что вообще это была beta версия. Но, если кому интересно, исходники есть, можно посмотреть. Обращение к внешним ресурсам действительно можно найти в коде приложения.
Нужно отметить, что Россия не первая страна, которая реализовала подобную иннициативу. В частности, в средине марта в новостях мелькало, что Иран и Израиль создали приложения, собирающие информацию о перемещении граждан и позиционирующееся как система для помощи в борьбе с COVID-19. 
Хотелось бы остановиться на опыте Израиля. Декларируемая цель приложения «Щит» – уведомлять о потенциальных контактах с зараженными. После установки ты можешь узнать о том, что в определенном месте ты когда-то мог встречаться с зараженным человеком, и на основании этого дальше принимать какие-то меры: укреплять иммунитет, впадать в панику – в зависимости от предпочтений и текущих рекомендаций ВОЗ. Приложение сохраняет информацию о перемещениях локально, на телефоне и периодически загружает с сервера информацию о местах и времени, когда там находились люди с диагностированным COVID, и тогда уже формирует уведомления для вас о том, что вы с этими людьми потенциально контактировали. 
Исходный код этого приложения также лежит на git-e, вы его можете посмотреть, проверить, внести предложения по изменению, найти уязвимость, запатчить ее. Open-sourse сообщество, все друг с другом дружат, все хорошо. Второй важный момент – если несмотря на использование этой чудной программы вы вдруг заразитесь коронавирусом, вы можете информацию о своих перемещениях передать медицинским работникам для того, чтобы они на анонимных условиях использовали ее для предупреждения других граждан. Мне кажется, это очень рационально, и большинство людей пойдет на это, понимая, что таким образом они могут снизить количество заболевших. 
Итого: создание подобного приложения – полезная инициатива, однако текущий подход к реализации вызывает много вопросов. Возможно, было бы правильно разделить это приложение на две части или на два независимых приложения. Первое приложение для жителей Москвы – без онлайн трекинга, которое можно использовать для получения разрешений на выход-выезд в город и для уведомления о потенциальных контактах с зараженными или другой полезной связанной с пандемией информации. Это приложение писало бы информацию о перемещениях оффлайн, также как израильский вариант, и не требовало бы никакой личной информации, чтобы не поддержать доверие граждан. 
Для людей, которые находятся на самоизоляции либо больны в легкой форме и сознательно идут на ограничение некоторых прав и свобод нужно добавить онлайн трекинг и необходимость носить телефон всегда с собой, но это требует подписанного соглашения. Было бы очень хорошо, чтобы оба эти приложения были выложены на git, чтобы все было прозрачно. 
Для приложения, которое собирает такое большое количество данных, было бы правильно обозначить правовые вопросы: зачем собираются данные (фотографии, номер телефона, места пребывания и т.д.)? куда они отправляются? как используются собранные данные? условия хранения? сроки хранения? То есть все те обычные вопросы, которые возникают при сборе, обработке и хранении конфиденциальной информации и персональных данных.

Расположение телефона

В обсуждаемом документе указанно, что данные биллинга (телеком-операторов) могут использоваться для выявления фактов нарушения в пределах своего района и определение точек концентрации, а также взыматься штрафы в случае появления в локации других районов продолжительное время.

В принципе Location-based services (LBS) не квантовая физика, технология отработана, используется и правоохранительными органами и в коммерческих целях, например для контроля сотрудников или детей. У «большой» тройки (МТС, Вымпелком, Мегафон) достаточно давно работают сквозные сервисы, т.е. абонент Выпелком может запрашивать местоположение абонента МТС и наоборот.

Однако при рассмотрении практической реализации возникает ряд вопросов, в первую очередь, наличия базы данных, где у сопоставлен номер телефона, паспортные данные (для штрафа) и некоторый «домашний район» который, наверное, должен пересекаться с фактическим местом пребывания на момент карантина.

Откуда такая база по всем телеком-операторам возникнет у органа, выписывающего штрафы – совершенно непонятно. Также не ясно, кто будет этим органом, штраф выписывающий. Понятно, что в каком-то виде подобная база есть у телекомов, но далеко не полная и далеко не точная.

В документе есть упоминание в этом контексте приложения «Социальный мониторинг», т.е. для того, чтобы человеку выписали штраф, он должен зайти в специальную систему, зарегистрироваться и потому идти с включенным сотовым телефоном, где стоит зарегистрированная в системе симка «нарушать». Звучит почти как заявка на премию Дарвина.

Совершенно непонятна правовая основа, поскольку точность определения местоположения далека от идеала и наверняка не сертифицированы как средство метрологического контроля (как это сделано для камер видеонаблюдения и радаров на дорогах) и возникает задача научить операторов колл-центра правильно отвечать  на различные вопросы и комментарии, такие как: 

• Покажите сертификат средства измерения и свидетельство метрологической проверки!
• Меня там не было, телефон был там!
• Это была моя собака, она сбежала с телефоном в зубах, а потом вернулась!
• Сигнала телефона интерферировал со светом с Венеры, отразился от верхних слоёв атмосферы и вызвал взрыв болотного газа!

Ну и сакраментальное, "Какие ваши доказательства" туда же.

Большой глаз

Еще одной «сногсшибательной» инициативой является использование видеоаналитики, то есть городской системы видеонаблюдения и системы распознавания лиц, для автоматического наложения штрафов в случае превышения количества выходов из дома или появления в других районах. Казалось бы, этот «Робокоп», этот Большой Брат из «1984», этот HAL 9000 из «Космической одиссеи» вполне способен заработать, так как сейчас в Москве установлено более 170000 камер.

Понятно, что не все эти камеры могут использоваться для распознавания лиц, например, многие камеры дворового видеонаблюдения просто дают общий план двора сверху. Но при этом есть подъездные камеры, есть камеры в местах массового скопления людей, и их вполне можно использовать для распознавания лиц. Более того, недавно прошли новости, что «Москва за $3.2 млн получила лучшую в мире систему распознавания лиц» . То есть все кубики для Большого Брата есть, осталось только слепить.

Но есть несколько нерешенных моментов. Первый: текущая система распознавания лиц, насколько понятно из открытых источников, работает по «черным» спискам в рамках оперативно-розыскной деятельности, то есть розыск преступников, пропавших лиц. В соответствии с законодательством Российской Федерации должен быть оформлен запрос, чтобы человека начали искать. Но текущая система не сопоставляет всех людей, попавших в объектив камеры, со всеми жителями или гостями Москвы. Она не говорит, что условный Василий Пупкин, к которому нет претензий, в такой-то момент находится там-то. По крайней мере, я надеюсь на это...

Второй момент: насколько вообще система распознавания лиц в текущем состоянии может справляться с теми задачами, которые предполагаются в данном проекте. Т.е. распознавать жителей и гостей столицы лица в текущей непростой ситуации?

Таким образом, предписанные меры защиты, а именно маски и очки не добавляют уверенности в работоспособности системы. Также, на основании этих экспериментов возникает простой вывод : прежде чем штрафовать каждого человека, проходящего по улице, нужно знать этого человека в лицо. Нужна биометрическая база данных, которая должна охватывать всех людей, кому мы хотим выписывать штрафы, всех потенциальных нарушителей, думаю где-то около 20 миллионов человек. Где ее взять и как ее сопоставлять с действительностью? Прежде всего, у нас должен быть «белый» и «черный» списки. «Белые» - те, кому можно ходить на улицу, чье появление на улице не является правонарушением. «Черные» - это те, появление которых на улице запрещено, и им нужно выписывать штраф. Как создать  эти списки? Судя по документу, предполагается, что ты можешь прикрепить свою фотографию, причем никакой верификации этой фотографии нет, точнее мне совершенно непонятно как это сделать в разумные сроки с разумными ресурсами, кроме как "сфотографируйте себя рядом с паспортом" . Это открывает простор для биометрических атак, мы про них поговорим чуть позже. Однако это больше относится к созданию белых списков. Черные нужно делать самим. 

Еще один важный момент – это биометрические атаки. Первая распространенная атака - это Presentation attack (liveness), то есть определение, что перед тобой действительно живой человек, а не что-то другое. Многие системы имеют механизмы защиты от таких атак, однако большинство из этих механизмов работают в кооперативном сценарии, например, человек проходит через турникет, и ему нужно «предъявить» лицо в качестве идентификатор. Если мы говорим о распознавании лиц со случайной камеры, где человек просто проходит, liveness detection, как правило, не работает, механизму не хватает ни качества картинки , ни времени воздействия с человеком. Поэтому картонная маска В.В. Путина за 250 руб., которую я нашел в онлайн магазине, может быть очень полезным пропуском , не думаю, что его будут штрафовать за нахождение на территории Москвы.

Следующий тип атак, который следует учитывать в системах биометрической идентификации, это Morphing attack их смысл заключается в том, что при регистрации человека в базе данных в качестве исходного биометрического материала создается некоторый синтетический портрет, который создается на основе фотографий двух или нескольких человек. В дальнейшем, когда происходит идентификация по лицу, система в зависимости от ее качества может выдавать разные результаты: может показывать, что это оба человека с разной вероятностью, а может показывать, что это вообще не тот человек, который реально стоит перед камерой. Таким образом, при регистрации в системе можно создать "магический паспорт", морфировав с лицом, который потенциально присутствует в «белом» списке.

Классический Сv dazzle сейчас вполне заменяется респиратором или противогазом, однако упоминания требует. Все три типа атак приведены на рисунке ниже. Подробнее можно почитать в ISO/IEC 30107, ISO/IEC 19989, ISO/IEC FDIS 19792. 

Не стоит забывать и об эффекте старения. На картинке ниже показано, что с точки зрения RoboHAL 9000 наиболее похожий на Владимира Владимировича человек это найденный по второй ссылке в Яндексе "двойник", а не сам Путин в молодости. Учитывая, что паспорта (а следовательно и фотографии) у нас штатно обновляют два раза в жизни, качество массового распознавания  лиц на основе базы "паспортных" фотографий будет весьма печальным. 

Для полноты картины, добавлю пару ссылок об обнаруженных ранее уязвимостях в системе видеонаблюдения Москвы, и, для любителей, свой давешний доклад об кибербезопасности систем "Искусственного Интеллекта".

• Несанкционированный доступ к более чем 20 000 камерам видео-наблюдения Москвы
• Распознавание лиц на «чёрном рынке» и ответы чиновников

Сразу предвижу вопрос – неужели это невозможно, мы же видели в новостях, читали в интернетах, а вот у Америки, а вот у Европы, а вот у Китая…про Китай ничего не скажу, у них своя атмосфера.

Да, в "умном-преумном" Сингапуре не лучше, у них в базе пока 20% от пятимиллионного населения города. 

Резюме

Сведу все в табличку. 

Ну и дополнительно, как человек неравнодушный к кибербезопасности, хотел бы добавить два тезиса.

• Не стоит путать превентивные и детективные средства защиты. То, что хорошо работает в предотвращении, часто плохо работает в выявления и наоборот, если мы используем что-либо для выявления и расследования атак правонарушений, не всегда это можно использовать для их предотвращения.
• «Черные» и «белые» списки хороши для разных задач. В целом, я приверженец превентивной безопасности и «белых» списков (то есть все, что не разрешено-запрещено), но часто это дорого или нереализуемо на практике. А в детективной безопасности лучше работают «черные» списки.

Спасибо, если дочитали!