Voici comment la Chine réglemente l’utilisation des données, de l’IA et de la surveillance Internet.
(sans doute un des meilleurs articles de la semaine).

En 1955, l’écrivain de science-fiction Isaac Asimov a publié un court récit sur une expérience de « démocratie électronique« , dans laquelle un seul citoyen, choisi pour représenter une population entière, répondait à des questions générées par un ordinateur nommé Multivac. La machine a pris ces données et a calculé les résultats d’une élection qui n’a donc jamais eu besoin de se produire. L’histoire d’Asimov se déroule à Bloomington, Indiana, mais aujourd’hui, une approximation de Multivac est en cours de construction en Chine.

Pour tout régime autoritaire, « il y a un problème fondamental pour le centre de comprendre ce qui se passe aux niveaux inférieurs et dans la société », dit Deborah Seligsohn, politologue et spécialiste de la Chine à l’Université Villanova de Philadelphie. Comment gouverner efficacement un pays qui abrite une personne sur cinq sur la planète, dont l’économie et la société sont de plus en plus complexes, si vous n’autorisez pas le débat public, l’activisme civil et la rétroaction électorale ?

Comment recueillez-vous suffisamment d’informations pour prendre des décisions ? Et comment un gouvernement qui n’invite pas ses citoyens à participer continue-t-il de susciter la confiance et de modifier le comportement du public sans mettre la police à chaque pas de porte ?

Hu Jintao, le leader de la Chine de 2002 à 2012, avait tenté de résoudre ces problèmes en permettant un modeste dégel démocratique, permettant aux doléances d’atteindre la classe dirigeante. Son successeur, Xi Jinping, a inversé cette tendance.

Au lieu de cela, sa stratégie pour comprendre et répondre à ce qui se passe dans un pays de 1,4 milliard d’habitants repose sur une combinaison de surveillance, d’IA et de grandes données pour surveiller la vie et le comportement des gens dans les moindres détails.

Le fait qu’un couple d’années tumultueuses dans les démocraties du monde a aidé à justifier que l’élite politique chinoise opte en faveur d’exclure les électeurs. Des événements tels que l’élection de Donald Trump, le Brexit, la montée des partis d’extrême droite à travers l’Europe et le règne de terreur de Rodrigo Duterte aux Philippines soulignent ce que beaucoup de critiques considèrent comme les problèmes inhérents à la démocratie, en particulier le populisme, l’instabilité et un leadership précairement personnalisé.

Depuis qu’il est devenu secrétaire général du Parti communiste chinois en 2012, Xi a dressé une série de plans ambitieux pour le pays, dont beaucoup sont enracinés dans la technologie, y compris l’objectif de devenir le leader mondial de l’intelligence artificielle d’ici 2030. Xi a appelé à la « souveraineté cybernétique » pour renforcer la censure et affirmer un contrôle total sur l’Internet national. En mai, il a déclaré lors d’une réunion de l’Académie chinoise des sciences que la technologie était la clé pour atteindre « le grand objectif de construire une nation socialiste et modernisée ». En janvier, lorsqu’il s’est adressé à la nation à la télévision, les étagères de chaque côté de lui contenaient à la fois des titres classiques comme Das Kapital et quelques nouveaux ajouts, dont deux livres sur l’intelligence artificielle : The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World de Pedro Domingos et Augmented: Life in the Smart Lane de Brett King.

« Aucun gouvernement n’a un plan plus ambitieux et d’une plus grande portée pour exploiter le pouvoir des données afin de changer la façon dont il gouverne que le gouvernement chinois « , dit Martin Chorzempa du Peterson Institute for International Economics à Washington, DC. Même certains observateurs étrangers, observant de loin, peuvent être tentés de se demander si une telle gouvernance fondée sur les données offre une alternative viable au modèle électoral de plus en plus dysfonctionnel. Mais trop compter sur la sagesse de la technologie et des données comporte ses propres risques.

Des données au lieu d’un dialogue

Les dirigeants chinois ont longtemps voulu puiser dans l’opinion publique sans ouvrir la porte à un débat animé et à la critique des autorités. Pour la plupart de l’histoire impériale et moderne de la Chine, il y a eu une tradition de gens mécontents de la campagne se rendant à Pékin et organisant de petites manifestations en tant que « pétitionnaires » publics. On pensait que si les autorités locales ne comprenaient pas ou ne se souciaient pas de leurs griefs, l’empereur pourrait faire preuve d’un meilleur jugement.

Sous Hu Jintao, certains membres du Parti communiste voyaient une ouverture limitée comme un moyen possible d’exposer et de résoudre certains types de problèmes. Les blogs, les journalistes anticorruption, les avocats des droits de l’homme et les critiques en ligne qui mettent en lumière la corruption locale ont suscité un débat public vers la fin du règne de Hu. Au début de son mandat, Xi a reçu une séance d’information quotidienne sur les préoccupations du public et les perturbations des médias sociaux, selon un ancien fonctionnaire américain au courant de la question. Ces dernières années, des pétitionnaires sont venus dans la capitale pour attirer l’attention sur des scandales tels que les saisies illégales de terres par les autorités locales et la poudre de lait contaminé.

Mais la police empêche de plus en plus souvent les pétitionnaires d’atteindre Pékin. « Maintenant, les trains ont besoin d’une carte d’identité nationale pour acheter des billets, ce qui permet aux autorités d’identifier facilement les « fauteurs de troubles » potentiels tels que ceux qui ont protesté contre le gouvernement dans le passé « , explique Maya Wang, chercheuse principale en Chine pour Human Rights Watch. « Plusieurs pétitionnaires nous ont dit qu’ils ont été arrêtés sur les quais. » Les blogueurs, les activistes et les avocats sont aussi systématiquement réduits au silence ou emprisonnés, comme si les données peuvent donner au gouvernement les mêmes informations sans les problèmes de liberté.

Photo d’un logiciel de reconnaissance faciale appliquée à des séquences vidéo d’acheteurs.
Démonstration par une startup de Shanghai de son système de reconnaissance faciale.

L’idée d’utiliser la technologie en réseau comme outil de gouvernance en Chine remonte au moins au milieu des années 1980. Comme l’explique l’historien Julian Gewirtz, de Harvard : « Lorsque le gouvernement chinois a vu que les technologies de l’information faisaient partie de la vie quotidienne, il s’est rendu compte qu’il disposerait d’un nouvel outil puissant pour rassembler l’information et contrôler la culture, pour rendre le peuple chinois plus « moderne » et plus « gouvernable » – ce qui a toujours été l’obsession des dirigeants. Les progrès ultérieurs, y compris les progrès en matière d’intelligence artificielle et les processeurs plus rapides, ont rapproché cette vision.

Pour autant que nous le sachions, il n’existe pas de schéma directeur unique reliant la technologie et la gouvernance en Chine. Mais il existe plusieurs initiatives qui partagent une stratégie commune de collecte de données sur les personnes et les entreprises pour éclairer la prise de décision et créer des systèmes d’incitations et de sanctions pour influencer le comportement. Ces initiatives comprennent le « système de crédit social » de 2014 du Conseil d’État, la loi de 2016 sur la cybersécurité, diverses expériences locales et d’entreprises privées en matière de « crédit social », des plans de « ville intelligente » et des services de police axés sur la technologie dans la région occidentale du Xinjiang. Souvent, il s’agit de partenariats entre le gouvernement et les entreprises technologiques chinoises.

Le système de crédit social, bien qu’une meilleure traduction en anglais pourrait être le système de « trust » ou de « réputation« . Le plan du gouvernement, qui couvre à la fois les personnes et les entreprises, énumère parmi ses objectifs la « construction de la sincérité dans les affaires gouvernementales, la sincérité commerciale et la crédibilité judiciaire « . « Tout le monde en Chine a une tante qui s’est fait arnaquée. Il y a un besoin légitime de s’attaquer à l’effondrement de la confiance du public « , déclare Paul Triolo, responsable de la pratique de la géotechnique au sein du groupe de conseil Eurasia. À ce jour, il s’agit d’un travail en cours, bien que divers projets pilotes donnent un aperçu de la façon dont il pourrait fonctionner en 2020, alors qu’il est censé être entièrement mis en œuvre.

L’algorithme est pensé pour mettre en évidence des comportements suspects comme la visite d’une mosquée ou le fait de posséder trop de livres.

Les listes noires sont le premier outil du système. Au cours des cinq dernières années, le système judiciaire chinois a publié les noms des personnes qui n’ont pas payé les amendes ou ne se sont pas conformées aux jugements. En vertu de la nouvelle réglementation sur le crédit social, cette liste est partagée avec diverses entreprises et organismes gouvernementaux. Les personnes figurant sur la liste se sont retrouvées bloquées pour emprunter de l’argent, réserver des vols et séjourner dans des hôtels de luxe. Les compagnies de transport nationales chinoises ont créé des listes noires supplémentaires, afin de punir les usagers pour des comportements tels que le blocage des portes des trains ou des bagarres pendant un voyage ; les contrevenants ne pourront plus acheter de billets pendant six ou douze mois. Plus tôt cette année, Pékin a lancé une série de listes noires pour interdire aux entreprises « malhonnêtes » d’obtenir de futurs contrats gouvernementaux ou des concessions de terres.

Quelques collectivités locales ont expérimenté des « scores » de crédit social, bien qu’il ne soit pas clair s’ils feront partie du plan national. La ville nordique de Rongcheng, par exemple, attribue un score à chacun de ses 740 000 habitants, selon la politique étrangère. Tout le monde commence avec 1 000 points. Si vous faites un don à un organisme de bienfaisance ou si vous gagnez un prix du gouvernement, vous gagnez des points ; si vous enfreignez une loi sur la circulation, par exemple en conduisant en état d’ébriété ou en roulant à toute vitesse sur un passage pour piétons, vous perdez des points. Les gens qui obtiennent de bons résultats peuvent obtenir des rabais sur les fournitures de chauffage d’hiver ou obtenir de meilleures conditions sur les hypothèques ; ceux qui obtiennent de mauvais résultats peuvent perdre l’accès à des prêts bancaires ou à des promotions dans les emplois gouvernementaux. L’hôtel de ville présente des affiches de modèles locaux qui ont fait preuve de « vertu » et ont obtenu des scores élevés.

« L’idée du crédit social est de surveiller et de gérer le comportement des personnes et des institutions « , explique Samantha Hoffman de l’Institut Mercator pour les études chinoises à Berlin. « Une fois qu’une violation est enregistrée dans une partie du système, elle peut déclencher des réponses dans d’autres parties du système. C’est un concept conçu pour soutenir à la fois le développement économique et la gestion sociale, et c’est intrinsèquement politique ». Il existe déjà aux États-Unis des parallèles avec certaines parties du schéma directeur de la Chine : une mauvaise cote de crédit peut vous empêcher de contracter un prêt au logement, alors qu’une condamnation pour crime suspend ou annule votre droit de vote, par exemple. « Mais ils ne sont pas tous reliés de la même façon – il n’y a pas de plan global « , souligne M. Hoffman. Et comme il existe la même chose en France auprès des banques : vous obtenez un score de confiance et de solvabilité pour contracter un près ou non.

L’une des plus grandes préoccupations est que, parce que la Chine n’a pas de système judiciaire indépendant, les citoyens n’ont aucun recours pour contester des allégations fausses ou inexactes. Certains ont trouvé leurs noms ajoutés à des listes noires de voyage sans notification après une décision de justice. Les enquêteurs et les journalistes d’investigation sont surveillés selon un autre système, et les personnes qui sont entrées en désintoxication sont surveillées par un système de surveillance différent encore. « Théoriquement, les bases de données des utilisateurs de drogue sont censées effacer les noms après cinq ou sept ans, mais j’ai vu beaucoup de cas où cela ne s’est pas produit « , dit Wang de Human Rights Watch. « Il est extrêmement difficile de se retirer de ces listes. »

Des accès de rage occasionnels en ligne pointent vers le ressentiment du public. Les nouvelles qu’une étudiante avait été refusée par un collège en raison de l’inclusion de son père sur une liste noire de crédit a récemment allumé un feu de colère en ligne. La décision du collège n’avait pas été officiellement sanctionnée ou ordonnée par le gouvernement. Plutôt, dans leur enthousiasme à appuyer les nouvelles politiques, les administrateurs scolaires les avaient simplement amenés à ce qu’ils considéraient comme la conclusion logique.

L’opacité du système rend difficile l’évaluation de l’efficacité d’expériences comme celle de Rongcheng. Le parti a écrasé presque toutes les voix critiques depuis 2012, et les risques de contester le système – même de façon relativement petite – se sont accrus. L’information disponible est profondément imparfaite ; la falsification systématique des données sur tout, de la croissance du PIB à l’utilisation de l’hydroélectricité, imprègne les statistiques du gouvernement chinois. Borge Bakken, chercheur à l’Australian National University, estime que les chiffres officiels de la criminalité, que le gouvernement est clairement incité à minimiser, peuvent représenter aussi peu que 2,5 % de tous les comportements criminels.

En théorie, la gouvernance axée sur les données pourrait aider à résoudre ces problèmes – en évitant les distorsions pour permettre au gouvernement central de recueillir directement l’information. C’est l’idée derrière, par exemple, l’introduction de moniteurs de la qualité de l’air qui renvoient les données aux autorités centrales plutôt que de compter sur les fonctionnaires locaux qui peuvent être dans la poche des industries polluantes. Mais de nombreux aspects de la bonne gouvernance sont trop compliqués pour permettre ce type de suivi direct et s’appuient plutôt sur les données saisies par ces mêmes fonctionnaires locaux.

Toutefois, le gouvernement chinois publie rarement des données sur le rendement que des personnes de l’extérieur pourraient utiliser pour évaluer ces systèmes. Prenez les caméras qui sont utilisées pour identifier et faire honte aux piétons dans certaines villes en projetant leur visage sur des panneaux publicitaires publics, ainsi que pour suivre les habitudes de prière des musulmans de l’ouest de la Chine. Leur exactitude est remise en question : en particulier, dans quelle mesure les logiciels de reconnaissance faciale formés sur les visages chinois Han peuvent-ils reconnaître les membres des groupes minoritaires eurasiens ? De plus, même si la collecte de données est exacte, comment le gouvernement utilisera-t-il cette information pour orienter ou contrecarrer les comportements futurs ? Les algorithmes de police qui prédisent qui est susceptible de devenir un criminel ne sont pas soumis à l’examen du public, pas plus que les statistiques qui montrent si la criminalité ou le terrorisme a augmenté ou diminué. (Par exemple, dans la région occidentale du Xinjiang, les informations disponibles montrent seulement que le nombre de personnes placées en garde à vue a grimpé en flèche, augmentant de 731% entre 2016 et 2017.

Dans la ville de Xiangyang, les appareils photo liés à la technologie de reconnaissance faciale sont projetées aux passants, avec noms et numéros d’identification, sur un panneau d’affichage.

« Ce n’est pas la technologie qui a créé les politiques, mais la technologie élargit considérablement le genre de données que le gouvernement chinois peut recueillir sur les individus « , dit Richard McGregor, chercheur principal à l’Institut Lowy et auteur de The Party: The Secret World of China’s Communist Rulers by McGregor, Richard (2012) Paperback. « L’Internet en Chine agit comme un service d’intelligence numérique privé et en temps réel. »

Police algorithmique

Dans le Washington Post de cette année, Xiao Qiang, professeur de communication à l’Université de Californie à Berkeley, a qualifié la gouvernance de la Chine d' »État totalitaire numérique« . C’est en Chine occidentale que les aspects dystopiques sont les plus évidents.

Le Xinjiang (« nouveau territoire ») est le foyer traditionnel d’une minorité musulmane chinoise connue sous le nom d’Ouïgours. Comme un grand nombre de migrants chinois han se sont installés dans la région – certains disent « colonisés » -, le travail et les possibilités religieuses offertes à la population locale ouïgoure ont diminué. L’un des résultats a été une recrudescence de la violence dans laquelle Han et Ouïghours ont été pris pour cible, y compris une émeute en 2009 dans la capitale Urumqi, où 200 personnes auraient trouvé la mort. La réponse du gouvernement à la montée des tensions n’a pas été de tenir des forums publics pour solliciter des points de vue ou des conseils en matière de politiques. Au lieu de cela, l’État utilise la collecte de données et des algorithmes pour déterminer qui est  » susceptible  » de commettre de futurs actes de violence ou de défiance.

Le gouvernement du Xinjiang a fait appel à une entreprise privée pour concevoir les algorithmes prédictifs qui évaluent divers flux de données. Il n’y a pas de dossier public ni de reddition de comptes sur la façon dont ces calculs sont établis ou pondérés. « Les gens qui vivent sous ce système ne connaissent généralement même pas les règles « , dit Rian Thum, anthropologue à l’Université Loyola qui étudie le Xinjiang et qui a vu les avis de marchés publics qui ont été émis lors de la construction du système.

Dans la ville occidentale de Kashgar, beaucoup de maisons familiales et de magasins dans les rues principales sont maintenant barricadés et les places publiques sont vides. En 2013, il était clair que Kashgar était déjà une ville ségréguée – les populations Han et Ouïgour vivaient et travaillaient dans des quartiers distincts de la ville. Mais le soir, c’était aussi un lieu animé et souvent bruyant, où les sons de l’appel à la prière s’entremêlent avec la musique de danse des clubs locaux et les conversations de vieux hommes assis tard dans des chaises en plastique sur des terrasses. Aujourd’hui, la ville est étrangement calme ; la vie publique du quartier a pratiquement disparu. Emily Feng, journaliste au Financial Times, s’est rendue à Kashgar en juin et a affiché des photos sur Twitter des rues nouvellement vacantes.

La raison en est que, selon certaines estimations, plus d’un adulte ouïghour et kazakh sur dix dans le Xinjiang a été envoyé dans des « camps de rééducation » – et ceux qui restent en liberté ont peur.

Au cours des deux dernières années, des milliers de points de contrôle ont été mis en place, où les passants doivent présenter leur visage et leur carte d’identité nationale pour emprunter une autoroute, entrer dans une mosquée ou visiter un centre commercial. Les Ouïghours sont tenus d’installer des applications de suivi conçues par le gouvernement sur leurs smartphones, qui surveillent leurs contacts en ligne et les pages Web qu’ils ont visitées. Les policiers visitent régulièrement les maisons locales pour recueillir d’autres données sur le nombre de personnes qui vivent dans le ménage, leurs relations avec leurs voisins, le nombre de fois que les gens prient chaque jour, s’ils ont voyagé à l’étranger et quels livres ils ont.

Tous ces flux de données sont introduits dans le système de sécurité publique du Xinjiang, en même temps que d’autres enregistrements capturant des informations sur tout, de l’histoire bancaire à la planification familiale. « Le programme informatique regroupe toutes les données provenant de ces différentes sources et signale ceux qui pourraient devenir une  » menace  » pour les autorités « , explique M. Wang. Bien que l’algorithme précis soit inconnu, on pense qu’il peut mettre en évidence des comportements tels que visiter une mosquée particulière, posséder beaucoup de livres, acheter une grande quantité d’essence, ou recevoir des appels téléphoniques ou des courriels de contacts à l’étranger. Les gens qu’il drapeaux sont visités par la police, qui peut les emmener en garde à vue et les mettre en prison ou dans des camps de rééducation sans aucune accusation formelle.

Photo de personnes qui tapotent des cartes d’identité sur un appareil avant d’entrer dans un bâtiment.

Les visiteurs de la place Tiananmen à Pékin scannent leur carte d’identité à un point de contrôle.

Adrian Zenz, politologue à l’École européenne de culture et de théologie de Korntal, en Allemagne, calcule que le taux d’internement des minorités dans le Xinjiang peut atteindre 11,5 % de la population adulte. Ces camps sont conçus pour inculquer le patriotisme et désapprendre les croyances religieuses aux gens. (De nouvelles consignes pour les gardiens de sécurité de crémation semblent indiquer que le gouvernement tente également d’éradiquer les pratiques d’inhumation musulmanes traditionnelles dans la région.

Alors que le Xinjiang représente un extrême draconien, ailleurs en Chine, les citoyens commencent à s’opposer à certains types de surveillance. Une société Internet qui diffusait en continu des séquences de télévision en circuit fermé en ligne a mis fin à ces émissions après un tollé public. La ville de Shanghai a récemment publié des règlements pour permettre aux gens de contester l’information incorrecte utilisée pour compiler les dossiers de crédit social. « Les demandes de protection de la vie privée des internautes chinois sont de plus en plus nombreuses « , affirme Samm Sacks, chercheur principal au Programme de politique technologique du SCRS à New York. « Ce n’est pas tout à fait la liberté d’action qu’il est censé être. »

Christina Larson est une correspondante à l’étranger et journaliste scientifique primée, écrivant principalement sur la Chine et l’Asie.
Pour Technologyreview

Publicités

6 commentaires »

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.