Касперская: контроль как инструмент и идеология

Давно хотела обсудить тему контроля как инструмента и идеологии — чисто в теоретическом ключе. Любые совпадения неслучайны.

Слежка сейчас «на коне». Модная цифровизация позволяет в реальном времени следить за любым объектом — хоть за трубопроводом (установка датчиков по всей длине), хоть за коровой (датчики на ухо, камеры в хлеву), хоть за людьми (смартфоны, камеры, банковские приложения, приложения лояльности, такси и доставки еды, маркет-плейсы и проч.).

Можно также следить за малым бизнесом — например, режим АвтоУСН позволяет анализ транзакций в режиме онлайн. Впрочем, АвтоУСН тут уже и не обязателен. Сейчас все платёжные транзакции проходят в цифре, так что мощные цифровые системы ФНС способны собирать, анализировать их, выявлять все приходы-расходы и автоматически начислять налоги.

Надзорная цифровизация способна творить чудеса — она может добраться до каждого, до самого незаметного субъекта, собрать о нём массу данных и потом их проанализировать, в том числе, используя модные технологии искусственного интеллекта.

Сейчас очень популярно среди начальников разных уровней создание различного рода «ситуационных центров» — со множеством экранов, на которых отражаются карты, объекты, события, различные инциденты. Возьмем, например, Центр Управления Регионом (ЦУР). Очень круто: всё видно в одном окне, на расстоянии клика мышкой, можно ощущать себя всевидящим.

И, казалось бы, дальнейшее развитие этой всеобщей слежки до мышей — очевидно и неизбежно. По максимуму оцифровываем всё пространство вокруг нас, сводим всё в цифровые системы, выводим на большие экраны — и эффективно боремся со всеми угрозами, управляя всеми процессами, потоками, массами, объектами. И потом живём припеваючи, потому что всё будет практически само выполняться, колоситься и расти.

Но так пока не выходит. Цифровизация часто проблем не решает и даже создаёт новые.

Почему? Давайте разберем ниже.

1.     Качество данных. Чтобы цифровая система эффективно анализировала данные и давала годные прогнозы, эти данные в первую очередь должны быть достоверны. Есть правило разработчиков: «Garbage-in-Garbage-out», что можно перевести, как «дрянь на входе — дрянь на выходе».
 
А собрать достоверные данные не всегда получается, особенно если объекты, с которых мы эти данные собираем — на самом деле не объекты, а субъекты, то есть подвижны, активны, имеют собственную волю. Например, налогоплательщики —физические или юридические лица.
 
Их интересы в целом и общем противоположны интересам сборщика налогов, а значит, эти субъекты свои данные будут стремиться скрывать, искажать, прятать, будут уходить в наличку и т.п. И чем больше давление сверху, чем тотальнее слежка, чем выше налоги, тем больше эти живые субъекты будут сопротивляться. Пик эффективности слежки проходит — собираемость падает.

Часть вторая

2. Узкое горло ответственности. Когда данные передаются в информационную систему, то дальше кто-то должен принять решение. Но если решение касается чего-то значимого, например наказаний (штрафы, пени и проч.), то его должны выносить люди, а этих людей мало. Возникает узкое горлышко. Чтобы его убрать, у управляющих системой возникает инстинктивное желание — отдать принятие решений роботам, сделать всё автоматическим, снять с себя ответственность. Но это — прямая дискриминация граждан, они неизбежно будут с этим бороться, ибо у них есть субъектность и свои интересы.

3. Потеря точности, работа по площадям. Третьей проблемой является то, что жизненные ситуации бесконечно разнообразны. Описать всё это разнообразие и на каждую реагировать по-разному — невозможно. Поэтому разные ситуации в онтологии, в «каталоге ситуаций» тех, кто создаёт системы контроля, объединяются в группы, то есть укрупняются. Получается парадокс — сначала цифровизация добирается до каждого маленького элемента, а потом их всё равно надо группировать. Но иногда эти группы получаются странными, построенными на неверно сделанных предположениях, недостоверных или искажённых данных. А тогда и воздействия, применяемые к каждой группе, могут быть вредными или неверными

4. Избыток данных. При построении больших цифровых систем по умолчанию считается, что чем больше данных — тем лучше. На самом деле, избыток данных — проклятие цифровых систем и их разработчиков. Если данных слишком много, то системы ими «захлёбываются», они не могут делать правильные выводы, начинают глючить.

Например, есть мнение, что атаки США на Иран в этом году были спланированы при помощи данных, собранных системой Палантир. Анализ данных позволил спроектировать первый удар по верхушке управления Ирана. А потом началась реальная война высокой интенсивности, противник отвечал на атаки не так, как предполагалось. И система просто захлебнулась гигантскими данными реального времени. Оказалось, что разрекламированный Палантир — это в лучшем случае система первого удара, а боевые действия высокой интенсивности она вести не может: ей нужно сколько-то дней на обработку новых данных и новое целеполагание. А руководству США приходится между ударами изображать видимость переговоров, чтобы «перезагрузить систему».  

5. Алгоритм принятия решений. Допустим, нам даже удалось как-то создать онтологию предметной области, то есть сгруппировать типы и действия наблюдаемых объектов, собрать данные, их агрегировать и классифицировать. Дальше мы должны с этим что-то делать. Как и что? Практика показывает, что дальнейшие алгоритмы часто не продуманы. «Матрица реагирования» — отсутствует или неверна.

Характерный пример. Создали информационную государственную систему учёта пчёл. За первый же год подсчёта пчёл число семей сократилось на 7%. И дальше в прессе пишут — причина неизвестна, есть необходимость более детального анализа факторов. А почему эти факторы раньше не анализировали?

Если мы не делаем выводы и не используем их, то нет смысла собирать информацию.

При формировании системы надо чётко понимать, что мы будем делать с полученным результатом. В том числе — с негативным, неприятным или неожиданным.

6. КПЭ и поиск под фонарём. Если «ключевые показатели эффективности» управления задаются сверху, то очень часто их накладывают на те области, которые проще будет оценивать и контролировать, а не там, где это нужно.

Пример: практически все введённые Минпросом КПЭ по школьному образованию — формальные и не нацелены на качество образования. Число компьютеров и устройств в школах, «%% внедрения ИИ», число используемых учителем и школьником цифровых инструментов, количество детей, записанных в кружки и прочее.

Понятно, что качество образования мерить сложно, а число внедрённых информационных систем — легко.  В результате нехватка учителей растёт, качество образования ухудшается, удовлетворённость и доверие к системе образования у родителей, учеников и учителей — падают, а формальные КПЭ — выполняются.

7. А судьи кто? Не последний вопрос во внедрении цифровых систем — а кто те прекрасные люди, которые вводят «этику системы», то есть эти самые КПЭ, алгоритмы принятия автоматических решений, которые предписывают объектам системы вести себя так, а не иначе?

Если объекты — муравьи в формикарии или системы отопления, то, наверное, таковыми могут быть биологи или профессиональные инженеры. И они как-то справятся. Но кто должен принимать решения о людях и их поведении? Если считать, что человек — создание Божье, то решение о людях должен в финале принимать Господь Бог. А вот эти лица, принимающие или «программирующие» решения о миллионах людей, они что — боги?

Разговаривая с чиновниками-цифровизаторами, зачастую трудно отделаться от ощущения, что они как раз и считают себя демиургами, богами, управляющими массами векторов, которые когда-то были людьми. Это опасное заблуждение. История показывает, что таких «богов» жизнь всегда наказывает за узурпацию божественной власти.

8. Ну и про безопасность. С точки зрения информационной безопасности единая цифровая система в масштабе города, региона или страны создаёт единую точку отказа. Кибератака на неё, компрометация, захват приведут к тому, что система может быть выключена или — если атакующим удастся — начнет работать неверно, разрушая повседневную работу критических систем жизнеобеспечения и жизнь миллионов граждан.

Но кроме давно известных рисков атак, взлома, отключения электричества сейчас возникла новая угроза физического разрушения систем, ЦОДов — с потерей данных, критически важных сервисов и даже с гибелью персонала.

Атаки на крупные маркетплейсы и ЦОДы наглядно показали, какой урон можно нанести одним попаданием ракеты или БПЛА (или — в случае информационной системы — одной кибератакой).

В общем, идея тотального контроля, как говорится, теоретически неверная и практически вредная.

Управление миллионами субъектов с собственной волей должно строиться не на тотальной слежке и попытке предписать каждому социально-экономическому атому его поведение до мельчайших деталей, а на общих принципах и ценностях при общей свободе инициативы и мысли.