Цифровая карма XXI века A− A= A+

Удивительная система социального рейтинга охватывает все стороны жизни граждан Китая. Как устроена эта система и насколько она опасна. Ждет ли нас создание подобной системы в России.

Вот в Пекине и начались XXIV зимние Олимпийские игры. Но кроме спортивных соревнований в Китае происходят и другие, не менее интересные события.

Прошел год с тех пор, как в Китае был законодательно утвержден проект системы социального рейтинга. Эту систему за пределами Китая нередко называют Большим Братом из книги Джорджа Оруэлла «1984». Суть проекта не менее впечатляет, чем гигантский масштаб его реализации.

Создание системы идет с 2010 года, а ускорилась разработка после прихода к власти в Китае Си Цзиньпина. Системой собираются и анализируются данные с городских камер наблюдения, цифровых гаджетов, из баз данных государственных ведомств Китая и из баз данных частных компаний.

В систему попадают сведения об уплате налогов и погашении кредитов, о соблюдении правил дорожного движения и норм рождаемости, о поведении граждан на работе, дома и в интернете. Например, в интернете анализируется культура общения с другими людьми, достоверность размещаемой информации, поисковые запросы и покупки в интернет-магазинах.

Естественно, данные о финансовых операциях из банков и финансовых компаний тоже учтены. Создание системы облегчает наличие сервиса WeChat и платежной системы WeChat Pay, через которую проходит огромная доля безналичных платежей, от уплаты налогов до покупки билетов на транспорт. Учтены будут даже частные жалобы, поступающие как от общественных организаций, так и от рядовых граждан страны.

На основании полученных сведений системой рассчитывается индивидуальный рейтинг для гражданин Китая. За каждый уровень рейтинга предусмотрены определенные поощрения или наоборот – поражения в правах. В качестве наказаний могут быть применены ограничения на поездки по стране и выезд за границу, запрет на поступление в хорошие школы и вузы, снижение возможности трудоустройства. В качестве поощрений возможны льготы при поступлении в учебные заведения страны, доступ к более дешевым кредитам, скидки на поездки в транспорте, льготы в медобслуживании и в уплате налогов.

Стартовое количество баллов – 1000. Максимальное количество баллов – 1300, минимальное – 600. С 1000 баллов китайцы получают рейтинг А+, с 900 – рейтинг В.

Если рейтинг упал ниже 849, до категории С, то человека можно уволить с государственной службы. Люди с рейтингом ниже 599 баллов попадают в группу D. Они не могут устроиться на нормальную работу, получить кредит в банке, им могут отказать в открытии бизнеса, покупке квартиры и даже в покупке билета на поезд или самолет.

Пока система социального рейтинга охватывает лишь около 900 миллионов из 1,5 миллиардов граждан Китая. После внесения изменений в законодательство год назад пандемия ковида заставила китайских чиновников отложить полномасштабный запуск системы. Система еще не приобрела окончательный вид, и, по отзывам специалистов, в разных провинциях Китая работает по несколько различным алгоритмам.

Во время пандемии китайские технические специалисты получили возможность усовершенствовать систему, используя QR-коды для изоляции заболевших ковидом людей и тех, кто находился с больными в одном помещении. Напомню, что политика нулевой терпимости к ковиду в Китае оказалась одной из самых жестких в мире, и осуществляется она в значительной степени именно техническими средствами.

Система будет охватывать не только частных лиц, но и компании, которые работают в Китае. Принципы присвоения рейтингов компаниям будут схожи с рейтингами частных лиц, естественно, с необходимой коррекцией на специфику работы предприятий.

По результатам опросов, создание системы социального рейтинга поддерживают до 80% китайцев. Впрочем, социология в авторитарных странах – не самая точная наука. Ведь никто не может дать гарантии, что недовольные системой не получат в ней после опроса штрафные баллы.

Работа системы социального рейтинга поднимает немало проблем – как технических, так и этических.

Насколько правомерно само существование подобной системы? Ведь значительная часть нарушений, за которые понижается социальный рейтинг, не противоречат действующему законодательству. А те нарушения, за которые наказание законодательством предусмотрено, обязательно отражаются и в системе социального рейтинга. Это ведет к дополнительному ущемлению прав человека, который наказывается дважды за один и тот же проступок.

При этом восстановить репутацию человеку с низким рейтингом очень непросто. Ведь чем ниже по рейтингу находится человек – тем меньше у него возможностей по правилам системы зарекомендовать себя хорошим членом общества. С людьми самой низкой категории D другие китайцы нередко бояться даже общаться, так как об этом свидетели могут сообщить властям, а твой рейтинг может быть снижен.

Насколько подобная система сделает людей на самом деле лучше? Возможно ли объективно на основании ограниченного объема данных с помощью искусственного интеллекта верно оценить мотивы поступков человека? Не получится ли так, что из-за опасения снижения своего социального рейтинга люди будут вести себя в общественных местах неестественно и неискренне, отыгрывая свои страхи и проблемы на самых близких людях? Не вырастет ли в обществе спрос на анонимность, при которой люди смогут проявлять свои худшие человеческие качества, не опасаясь наказания?

Напомню, что в СССР без всяких компьютеров и видеокамер была выстроена неплохо работающая система общественного порицания, жертвами которой иногда становились лучшие граждане страны. Элементы подобной системы мы видим сегодня и в западных странах, когда людей на основании непроверенных жалоб их бывших коллег и партнеров выгоняют с работы и подвергают общественному порицанию без серьезного расследования обстоятельств дела, не говоря уже о решении суда. Сможет ли бесстрастный алгоритм искусственного интеллекта избежать подобных ошибок?

Сама система с искусственным интеллектом работает по принципу «черного ящика». Большинство людей не знает, каков точный алгоритм ее работы. Это и понятно – не зная точных алгоритмов, нарушителям, будет труднее вопреки установленным правилам повысить свой рейтинг. Однако у такого построения системы есть и обратная сторона – практически никто в Китае не будет понимать, как же в точности эта система работает. Это же создаст дополнительные трудности в реабилитации тех людей, кому низкий рейтинг был присвоен по ошибке.

Огромный ущерб может быть нанесен людям, если информация о них из системы социального рейтинга попадет в руки злоумышленников. Предотвращение утечек данных из государственных баз – задача, над которой бьются специалисты во всем мире. И, несмотря на все их старания, утечки данных о гражданах разных стран происходят регулярно.

Наконец, неясно, чем будет ограничено использование подобных систем в государствах с авторитарным правлением, каким сегодня является тот же Китай. Ведь технические возможности для ущемления прав даже вполне законопослушных граждан могут быть практически безграничны. Особенно, если система социального рейтинга будет дополнена отказом от использования наличных денег и полной заменой их цифровым юанем.

Например, можно сделать так, что ваша банковская карта будет работать только в определенных городах или даже только в нескольких районах одного города. Можно будет сделать так, что вы сможете совершать покупки только в определенных магазинах и в строго ограниченное время. Можно ограничить вам свободу перемещения в благих целях, например, недопущения распространения ковида, и вы не сможете купить билет на транспорт никуда, кроме разрешенных вам Большим Братом направлений. Причем все ваши попытки нарушить жесткий режим ограничений будут замечены и приведут к списанию дополнительных баллов с вашего социального рейтинга.

Вы можете подумать, что все подобные предположения – лишь плод моей фантазии. Однако за последние пару лет из Китая были сообщения о том, как QR-код у некоторых китайцев вдруг без понятных причин из зеленого менял цвет на красный. Десяткам миллионов китайцев было отказано в покупке билетов на самолеты и поезда. А в преддверии Олимпиады-2022 были случаи, когда на ковидный карантин людей закрывали внезапно и целыми офисами. Служащих изолировали на рабочих местах посредине рабочего дня, и они просили родных и знакомых принести в офис подушки и вещи первой необходимости.

Впрочем, нужно говорить о возможных перегибах не только в Китае. Некоторые предложения ярых борцов с глобальным потеплением в западных странах тоже выглядят весьма устрашающими.

В России пока создание системы социального рейтинга с таким объемом функций не планируется. Однако частные компании – банки, сервисы заказа такси, авиакомпании свои системы рейтинга клиентов используют уже давно.

Существуют и более масштабные государственные системы. В Москве успешно работает система «Умный город», которая позволяет анализировать информацию с городских видеокамер и находить на них, например, нарушителей режима локдауна. Реализуется и проект по созданию единого государственного регистра, в котором будет собрана информация обо всех россиянах из баз данных государственных ведомств. Вполне возможно, что важной частью системы социального рейтинга могла бы стать и система ковидных QR-кодов, введение которой было отложено на неопределенное время после протестов россиян и шквала негативных отзывов в соцсетях. Только благодаря крайне негативной реакции футбольных болельщиков проект введения паспортов футбольных болельщиков Fan ID оказался под вопросом. Так что вполне возможно, что искусственный интеллект Большого Брата и в других странах ближе, чем нам сегодня кажется.