Большой брат с большими данными: как в Китае вводят индивидуальный рейтинг граждан

Текст очень большой, но интересный. На АШ вроде уже была инфо про рейтинги, но текст описывает текущую ситуацию. (В-Д)

Wired выпустил большой материал о том, как Китай разрабатывает систему социального кредита доверия.

Правительство уже сейчас его тестирует и планирует запустить официально в 2020 году. Цель системы рейтинга — оценить уровень надежности всех жителей страны, чье население составляет 1,3 миллиарда человек. 

Чем это грозит жителям Китая? Как это отразится на экономике? Публикуем перевод важного материала Wired.

14 июня 2014 года Государственный совет Китая опубликовал документ со зловещим названием «Проект плана по созданию системы социального кредита доверия». Как и все государственные документы Китая, он представлял собой довольно длинный и сухой текст, но в нем содержалась крайне радикальная идея. Что если бы каждому гражданину страны присваивался на государственном уровне рейтинг доверия?

Представьте себе мир, где многие ваши повседневные занятия постоянно отслеживаются и оцениваются: что вы покупаете в магазинах и интернете, где вы были в конкретное время, с кем вы дружите и как общаетесь со своими друзьями, сколько времени тратите на просмотр различного контента и на видеоигры, какие счета и налоги вы оплачиваете (а какие нет).

На самом деле такой мир не так уж сложно представить, потому что часть таких данных уже собирают техногиганты вроде Google, Facebookи Instagram, а также различные приложения для отслеживания состояния здоровья вроде Fitbit. Но теперь задумайтесь: а что, если бы всем вашим действиям присуждалась положительная или отрицательная оценка, на основе которой рассчитывался конкретный рейтинг, с учетом государственных законов. У вас бы появился «рейтинг гражданина», который показывал бы, стоит вам доверять или нет. При этом ваш рейтинг открыто бы сравнивался с другими гражданами. Рейтинг влиял бы на шансы оформить ипотеку, устроиться на конкретную работу, отправить детей в школу и даже сходить на свидание.

Напоминает систему Большого брата, вышедшую из-под контроля, не правда ли? Но это не фантастика, а возможное будущее Китая. Правительство этой страны разрабатывает систему социального кредита доверия (SCS), которая будет использоваться для оценки надежности всего 1,3-миллиардного населения.

Китайские власти продвигают ее как средство измерения и улучшения «доверия» в стране, которое поможет выработать культуру «искренности». «[Благодаря системе] в обществе будет процветать доверие. Она укрепит искренность во взаимодействии с госструктурами коммерции и общества, а также усилит юридическую надежность», — гласит официальное мнение правительства Китая.

Сейчас технически участие в китайской системе гражданского рейтинга является добровольным. Но в 2020 году оно станет обязательным. Действия каждого гражданина и юридического лица (то есть каждой компании) в Китае будут оцениваться, хотят они этого или нет.

Прежде чем выпустить систему на государственном уровне в 2020 году правительство Китая решило сначала ее протестировать. Оно выдало восьми частным компаниям лицензию на разработку систем и алгоритмов определения гражданского рейтинга (на момент публикации статьи действие лицензий от Народного банка Китая приостановлено). Как и следовало ожидать, сейчас китайские техногиганты управляют двумя самыми известными проектами в стране.

Первый проект разработан China Rapid Finance — партнером компании Tencent, которая сделала мессенджер WeChat, чья база пользователей достигает 850 миллионов человек. Второй проект под названием Sesame Credit находится под управлением Ant Financial Services Group (AFSG), дочерней компании Alibaba. Ant Financial занимается страхованием и выдачей займов малому и среднему бизнесу. Но настоящее достижение Ant — это ее платежная система AliPay, которая используется не только для покупок онлайн, но и в ресторанах, кинотеатрах, для оплаты обучения и даже денежных переводов.

Sesame Credit сотрудничает с другими платформами для сбора данных, например, с каршеринговым сервисом Didi Chuxing, который был главным конкурентом Uber в Китае до тех пор, пока в 2016 году не выкупил его китайское подразделение. Второй партнер Sesame Credit — это Baihe, крупнейший китайский сервис знакомств. Очевидно, что все эти сервисы поставляют в Sesame Credit невероятное количество данных о пользователях и вычисляют на их основе рейтинг.

Как вычисляется рейтинг

Пользователи Sesame Credit оцениваются по шкале от 350 до 950 баллов. Alibaba не рассказывает, как именно работает «сложный алгоритм», который рассчитывает это число, но все же сообщила, что при подсчете учитываются пять факторов.

• Первый — это кредитная история человека. Оплачивает ли он вовремя счета за электричество или телефон?
• Второй — исполнительность, то есть, как сказано в официальных документах, «возможность пользователя исполнять обязательства по контракту».
• Третий фактор — персональные данные, а именно подтвержденность личной информации, например, телефонного номера и адреса.
• Четвертый фактор — поведение и предпочтения, и здесь начинается самое интересное.

В рамках этой системы такая, казалось бы, безобидная вещь, как предпочтения в плане покупок, становятся характеристикой человека. Alibaba признает, что судит о людях по тому, что они покупают.

Например, если человек играет по десять часов в день в видеоигры, он считается малоподвижным, — прокомментировал директор технологии Sesame Ли Инян. — Если кто-то часто покупает подгузники, система будет считать, что он, скорее всего, родитель. А люди, чей баланс счета постоянно в плюсе, будут считаться более ответственными».

Таким образом, система не просто изучает поведение людей — оно его определяет. Она «вынуждает» граждан отказываться от покупок и действий, нежелательных для государства.

Друзья тоже играют роль в системе.

• Пятый фактор, который она учитывает, это отношения.

Что говорит о человеке выбор друзей в сети и его взаимодействие с ними? Если вы излучаете в сети «позитивную энергию», как говорят в Sesame Credit, и пишете про правительство в положительном ключе, то ваш рейтинг станет выше.

Alibaba постоянно утверждает, что на данный момент негативные комментарии в социальной сети никак не влияют на рейтинг (но мы не знаем, правда это или нет, потому что компания не раскрывает механизм работы алгоритма). Остается только ждать, что произойдет в 2020 году, когда система гражданского рейтинга выйдет на государственном уровне. Даже если сейчас нет никаких подтверждений, что компании, занимающиеся разработкой пилотной версии системы, продолжат сотрудничество с правительством, все равно трудно поверить, что государство не воспользуется огромным количеством данных, которые были собраны во время тестирования проектов. Если это все-таки произойдет, то частные компании фактически станут шпионами на службе правительства. И у них не будет иного выбора.

Публикация радикальных политических мнений и упоминания группового самосожжения в Пекине всегда были рискованным делом в Китае, но сейчас такие поступки в сети могут напрямую испортить гражданский рейтинг. И самое главное: на рейтинг влияют действия друзей человека, даже если он сам в них не участвует. Если кто-то из ваших знакомых напишет в интернете негативный комментарий, ухудшится не только его рейтинг, но и ваш.

Есть ли преимущества системы рейтинга?

Несмотря на возможные угрозы, миллионы людей уже записались на тестовую версию государственной системы наблюдения. Причины этого могут быть довольно мрачными, например, боязнь репрессий. Однако кого-то привлекают награды и «специальные привилегии», которые получают граждане, доказавшие свою «надежность» в Sesame Credit.

Если ваш рейтинг в системе достигает 600, вы можете взять кредит на 5 тысяч юаней (около 43 тысяч рублей), который можно потратить на покупки в магазине Alibaba. Начиная с рейтинга в 650 баллов можно брать в аренду автомобиль без залога. Граждане с таким рейтингом также получают быструю регистрацию в отелях и VIP-регистрацию в Международном аэропорту Пекина. Если ваш рейтинг более 666 баллов, вы можете взять кредит на 50 тысяч юаней (433 тысячи рублей) в Ant Financial Services. Заработали более 700 — можно оформить поездку в Сингапур без сопроводительных документов (например, приглашения от работодателя). При рейтинге в 750 баллов у вас ускоряется получение шенгенской визы.

Высокий рейтинг уже стал символом статуса — буквально через несколько месяцев после запуска системы своим рейтингом похвастались почти 100 тысяч пользователей Weibo (китайский аналог Twitter). Рейтинг человека в Sesame может повлиять даже на шансы пойти на свидание или заключить брак, ведь чем он выше, тем заметнее становится ваш профиль в приложении для знакомств Baihe.

Sesame Credit дает рекомендации о том, как можно улучшить свой рейтинг, и предупреждает, что дружба с человеком, у которого низкий рейтинг, может негативно сказаться на вашем. Вполне возможно, что в будущем появится множество консультантов по вопросам поднятия рейтинга и специалистов по репутации, которые будут помогать людям набрать рейтинг или выбраться из черного списка ненадежных людей.

Как изменится экономика и общество с введением китайской системы рейтингов

Можно сказать, что система Sesame Credit — это геймифицированная версия коммунистических методов шпионажа, сдобренная большими данными. Правительство заводит досье на каждого гражданина, который совершил какое-либо преступление политического или личного характера. Это досье ведется всю жизнь, люди доносят на своих друзей и даже родственников, из-за чего в Китае растет уровень недоверия. Похожий эффект произведут и цифровые досье. У людей появится причина говорить своим знакомым и родственникам: «Не надо это публиковать. Я не хочу, чтобы ты испортил рейтинг себе и мне».

Наверняка появятся черные рынки репутации, на которых будут продаваться обходные методы улучшения своего рейтинга. Вы же можете купить лайки в Facebook и подписчиков в Twitter — таким же образом, люди будут платить, чтобы менять рейтинг. Да и будет ли у системы надежная защита? Если нет, то хакеры (включая спонсируемых государством) смогут изменить или украсть из нее информацию.

Новая система отражает смену парадигм. Вместо того чтобы улучшить стабильность с помощью жестких мер и страха, правительство делает так, чтобы повиновение воспринималось как игра. Это метод управления массами под прикрытием системы начисления наград. Повиновение в игровой форме.

В октябре 2015 году издание BBC обратилось к прохожим на улицах Пекина, чтобы узнать, что они думают о системе рейтинга Sesame Credit. Большинство граждан говорили о ее положительных сторонах. И правда, кто рискнет открыто критиковать систему? Стоит вам это сделать, как ваш рейтинг полетит вниз. Пугает тот факт, что лишь немногие из опрошенных понимали, что низкий рейтинг может навредить им в будущем. И еще меньше человек вообще знали о том, что их действия кто-то оценивает.

На данный момент Sesame Credit не наказывает напрямую «ненадежных» граждан — в конце концов, лучше привязать людей с помощью наград за хорошее поведение. Но главный управляющий Sesame Credit Ху Тао предупредила, что система устроена так, что «ненадежные лица не смогут арендовать автомобиль, взять кредит и даже найти работу». Она сообщила, что Sesame Credit попросила Китайское бюро образования прислать список учеников, которые списывали на государственных экзаменах, чтобы те потом поплатились за свою выходку в будущем.

В 2020 году, когда система рейтинга станет обязательной, наказания могут значительно ужесточиться. 25 сентября 2016 года Государственный совет Китая обновил документ под названием «Механизмы предупреждения и наказания людей, склонных к нарушению доверия». «Если лицо нарушило доверие в одной области, ограничения налагаются на него во всех», — гласит поправка.

К примеру, у людей с низким рейтингом будет медленнее работать интернет, они не смогут посещать некоторые рестораны, клубы и прочие заведения. Им запретят свободно выезжать за границу. Рейтинг будет влиять на возможность взять что-либо в аренду, получить кредит и даже социальные льготы. Граждане с низким рейтингом не смогут устроиться на определенные должности, например, в государственных органах, СМИ или юриспруденции, где надежность, разумеется, является обязательным критерием. Если у вас низкий рейтинг, то вы не сможете получить образование в частных учебных заведениях или отдать туда своих детей.

И все эти наказания — не выдумка. Как написано в официальном документе, система социального рейтинга «позволит надежным гражданам свободно гулять под солнцем, ненадежные же едва ли смогут сделать шаг».

 

Реакция

Китайская система доверенности пока что используется на добровольных основах, но уже принесла негативные последствия. В феврале 2017 года Верховный народный суд Китая сообщил, что 6,15 миллиона граждан получили запрет на вылет из страны в течение следующих четырех лет из-за общественных проступков. Запрет был признан первым шагом на пути введения системы кредита социального доверия. «Мы подписали меморандум… [с более чем] 44 правительственными департаментами для ограничения "ненадежных" людей на множестве уровней», — заявил Менг Сян, глава ведомства Верховного народного суда. Еще 1,65 миллиона граждан, попавших в черный список, не сможет воспользоваться железнодорожной системой страны.

Одна из главных причин, почему подобные системы превращаются в социальный кошмар, в том, что их алгоритмы работают слишком исключительно. Они не понимают обстоятельств. Например, один человек может не оплатить счета, потому что попал в больницу, а другой намеренно уклоняется от выплат. В этом проблема всех обитателей цифрового мира, а не только китайцев. Если мы все-таки перейдем на алгоритмы, определяющие нашу жизнь, нужно чтобы они учитывали все нюансы и тонкости, присущие людям.

Китайская система напоминает книгу Джорджа Оруэлла «1984» и методику обучения собак академика Павлова. Ведешь себя, как порядочный гражданин — получи награду и думай, что развлекаешься. Но стоит отметить, что система личного рейтинга действует в других странах вот уже десятки лет.

Более 70 лет назад два человека — Билл Фэйр и Эрл Айзек — изобрели кредитные баллы. В наше время компании используют их для вынесения многих финансовых решений, например, при расчете ипотечных процентов и выдаче кредита.

Но у многих жителей Китая нет кредитных баллов. «У многих из них нет собственного дома, автомобиля или кредитной карты, — пояснил Вен Кван, автор блога о технологиях и финансах. — У центрального банка есть финансовые данные 800 миллионов людей, но лишь у 320 миллионов есть кредитная история». По словам китайского министерства торговли, ежегодно из-за отсутствия кредитной информации экономика страны теряет более 600 миллиардов юаней.

Правительство Китая считает, что именно из-за отсутствия государственной системы кредитования, стране так нужна система гражданского рейтинга. Власти считают, что в Китае существует «дефицит доверия». Одна из крупных проблем рынка — это продажи контрафактных товаров. Согласно данным Организации экономического сотрудничества и развития (OECD) 63% всех поддельных товаров — от сумок и часов до детского питания — производятся в Китае.

«Уровень микрокоррупции просто невероятен, — считает Кримерс. — Если [новая] система приведет к более эффективному контролю [этого вопроса], то, скорее всего, ее воспримут очень хорошо».

Власти Китая считают, что система затронет те группы людей, которые обычно не относятся к традиционным системам кредитования, например, студентов и домохозяйства с низким доходом. Профессор Ван Шуцзин из Столичного педагогического университета в Китае недавно выиграла тендер от правительства на разработку «китайской социальной системы доверия». По ее словам, без такой системы вести бизнес в Китае слишком рискованно, ведь условия примерно половины всех контрактов не выполняются.

«Учитывая скорость развития цифровой экономики, крайне важно, чтобы люди могли быстро подтверждать надежность друг друга, — сказала она. — Поведение большинства определяется их мировоззрением. Человек, придерживающийся социалистических ценностей, ведет себя более достойно».

Профессор утверждает, что система оценивает как финансовые данные, так и «моральные качества» человека.

Государственный совет Китая планирует повысить «честное отношение и уровень доверия всего населения», чтобы «улучшить общую конкурентоспособность страны». Но, возможно, на самом деле новая система — это лишь более открытый метод наблюдения за гражданами? В конце концов, Китай уже давно следит за своим населением.

Если я знаю, что все мои действия отслеживаются, то, может, будет лучше, если мне сообщат, на что именно обращают внимание? — размышляет Расул Маджит, китайский блогер, пишущий о поведенческом дизайне и игровой философии. — Так я бы смог обратить эти знания в свою пользу. Или же лучше жить в неведении и верить/надеяться, что защита персональных данных все-таки существует? Может, лучше думать, что правительство все же уважает своих граждан и не собираться их использовать?»

Реакция жителей других стран на китайскую систему гражданского рейтинга обычно очень бурная и негативная. Тем не менее все мы оцениваем рестораны, фильмы, книги и даже работу докторов. Facebook научился распознавать личность по фотографиям, даже не видя вашего лица — все, что нужно знать социальной сети, это что вы носите, какие у вас волосы и телосложение. С помощью этих данных алгоритм может установить вашу личность с 83%-й точностью и автоматически отметить вас на фотографии.

В 2015 году OECD опубликовало результаты исследования, согласно которому на 100 жителей США приходится не менее 24,9 подключенных устройств. Различные компании тщательно изучают большие данные, которые собирают эти устройства, чтобы лучше понять нашу жизнь и желания. С их помощью они могут предугадывать наши действия, причем иногда весьма неожиданным образом.

Правительства стран по всему миру уже занимаются отслеживанием и оценкой. АНБ — не просто официальное цифровое око, которое следит за действиями граждан США. В 2015 году Управление транспортной безопасностью США предложило включить в предполетный досмотр проверку данных из социальных сетей, информацию о местоположении человека и его историю покупок. Идею пришлось отложить из-за жесткой критики, но это не значит, что от нее совсем отказались. Мы уже живем в мире, где алгоритмы могут определить, представляем мы угрозу или нет и даже оценить уровень нашей надежности. Мы приближаемся к китайской системе, и скоро кредитные баллы превратятся в гражданские, а мы сами этого не заметим.

Что дальше?

Неужели в будущем у каждого будет свой онлайн-бренд, чьи данные можно будет раскопать? Определенно, все к тому и идет. Наступает эпоха, когда действия человека будут оцениваться по параметрам вне его контроля, где вынесенный вердикт нельзя отменить. Забудьте о праве на забвение или удаление, больше нельзя будет сослаться на то, что вы были молодыми и глупыми.

Возможно, сейчас уже слишком поздно, и наступление новой эры не остановить. Но пока у нас еще есть выбор и права, которыми можно воспользоваться. Нам нужно сделать так, чтобы оценивать можно было самих оценщиков, пишет Wired. В книге «Неизбежное» писатель Кевин Келли описал будущее, где надзиратели и наблюдаемые могут свободно следить друг за другом. «Сейчас нам предстоит выбрать — либо слежка будет секретной и односторонней, либо взаимной и открытой», — пишет Келли.

В рядах самого правительства (тех, кто контролирует систему) должно появиться доверие. Нам нужны надежные механизмы, которые гарантируют, что рейтинг и данные используются честно и с разрешения граждан, утверждают в Wired. Чтобы люди доверяли системе, нужно чтобы в ней было поменьше неизвестного. А значит, следует сделать алгоритмы более прозрачными. Некоторые не согласны раскрывать их работу, потому что в таком случае хакерам будет проще взломать систему. Но все же если жизнь граждан зависит от рейтинга, они обязаны хоть немного понимать, как он работает.

В Китае некоторые граждане, например, работающие в госорганах, скорее всего, будут существовать вне системы. Как отреагирует общественность, если такие люди совершат дурной поступок, но их рейтинг останется неизменным?

Пока неизвестно, какие последствия принесет за собой культура постоянного наблюдения. Что произойдет, когда все эти системы для оценки социальных, моральных и финансовых критериев населения целой страны вступит в силу? Насколько пострадает конфиденциальность и свобода слова (с которой и так есть проблемы в Китае)? Кто будет определять, в каком направлении развивать систему? Совсем скоро нам предстоит задуматься обо всех этих вопросах. Сегодня подобное происходит в Китае, а завтра — рядом с вами. И главные вопросы о будущем касаются не технологий и экономики, они касаются этики.

Если мы закроем глаза на проблему, система проверки надежности превратится в систему травли. Жизнь превратится в бесконечную гонку за популярностью и самым высоким рейтингом.