Rapport 2020 sur la société de l’automatisation

Présentation d’un excellent rapport (téléchargement gratuit) sur les systèmes de prise de décision automatisée (ADM) dans la société. Beaucoup de recherches importantes présentées « à travers des articles journalistiques, puis à travers des sections basées sur la recherche cataloguant différents exemples, et enfin, avec des bandes dessinées ».

Les citations ci-dessous sont toutes tirées de l’introduction qui, en soi, est déjà une lecture utile grâce à un certain nombre d’exemples, les impacts, la façon dont les ADM ont été réduits ou améliorés, la façon dont les politiques peuvent être mises en œuvre, la façon dont certaines lois sont bien intentionnées mais jamais correctement appliquées, etc.

Des points importants sont soulevés concernant la reconnaissance faciale, les boîtes noires, et le manque d’audit, d’application, de compétences et d’explications adéquates, ainsi que le nombre de personnes qui tombent dans le piège techno-solutionniste.

Il est également important de noter que les bonnes intentions dans l’élaboration des politiques se heurtent souvent aux rêves des gouvernements de « diriger l’IA ». J’aimerais voir un pays faire un bon travail d’intégration des deux, considérer les procédures, la transparence, l’auditabilité et le respect des droits de l’homme et de la démocratie comme faisant partie intégrante du leadership en matière d’IA.

La machine peut être effrayante, mais le fantôme qui la compose est toujours humain. Et les humains sont compliqués, encore plus que les algorithmes. […]

En principe, les systèmes ADM peuvent être utiles à la vie des gens, en traitant d’énormes quantités de données, en aidant les gens à prendre des décisions et en fournissant des applications sur mesure. Dans la pratique, cependant, nous avons trouvé très peu de cas qui ont démontré de manière convaincante un tel impact positif. […]

Cette tendance [à mettre en place des systèmes de reconnaissance faciale], si elle n’est pas remise en cause, risque de normaliser l’idée d’être constamment – et opaquement – surveillé, cristallisant ainsi un nouveau statu quo de surveillance de masse omniprésente. C’est pourquoi de nombreux membres de la communauté des libertés civiles auraient souhaité une réponse politique beaucoup plus agressive de la part des institutions européennes à ce sujet5. […]

Les résultats de nos recherches sont clairs : si les systèmes ADM affectent déjà toutes sortes d’activités et de jugements, ils sont encore principalement déployés sans aucun débat démocratique significatif. En outre, il est la norme, plutôt que l’exception, que les mécanismes d’application et de contrôle – s’ils existent – sont en retard sur le déploiement. […]

Ce point de vue revient finalement à supposer que nous, les humains, devrions nous adapter aux systèmes ADM, bien plus que les systèmes ADM ne devraient être adaptés aux sociétés démocratiques.

Extrait pour la France : (lien pdf)

« Alicem
Bien qu’il ne s’agisse pas d’un système automatisé de prise de décision en soi, Alicem est un programme gouvernemental qui devrait permettre à n’importe quelle partie du système administratif français d’offrir une identification par reconnaissance faciale. Prévu pour début 2020, il a été mis en veilleuse après un tollé général fin 2019, les citoyens enregistrant les caractéristiques biométriques de leur visage à l’aide d’une application pour smartphone. Alicem pourrait fonctionner comme une base de données centralisée des données biométriques du visage de ses citoyens (le gouvernement est catégorique sur le fait qu’aucune donnée biométrique n’est stockée). Même si, officiellement, il n’est pas prévu d’utiliser davantage cette base de données, elle ouvre potentiellement la voie à un large éventail d’applications, notamment la reconnaissance globale des visages par les caméras de surveillance vidéo dans les rues du pays.
Début septembre 2019, un expert en sécurité a révélé que les développeurs de l’application avaient posté une partie du code sur Stack Overflow (un forum pour les développeurs informatiques), publié des vidéos du projet privé sur YouTube et mis en ligne gratuitement les serveurs de mise en scène du projet (Alder-son, 2019). Ce sont autant de signes de procédures de sécurité extrêmement bâclées pour tout projet, sans parler d’une base de données biométriques officielle. Comme dans le cas d’Aadhaar, la base de données biométriques indienne qui fuit, il est presque certain que les données détenues par la société française Alicem finiront par tomber entre les mains de criminels (BBC, 2018). Après que Bloomberg ait fait un rapport sur le projet en octobre 2019 (Fouquet, 2019), le tollé général a conduit le gouvernement à retarder le lancement de l’application. Aujourd’hui, son lancement est prévu pour 2020, mais aucune date officielle de lancement n’a été rendue publique / automatisation de la surveillance dans les grandes villes A Saint-Étienne (175 000 habitants), la ville a prévu de déployer des microphones afin de détecter automatiquement les sons suspects. Le projet devait être mis en œuvre dans un quartier pauvre, en coordination avec des caméras de vidéosurveillance et un drone autonome équipé d’une caméra. Il est prévu d’enregistrer tous les sons « suspects », y compris les coups de feu, mais aussi les perceuses électriques, les aérosols et les sifflets (Tesquet, 2019 ; La Quadrature, 2019). Un autre plan, cette fois dans les deux plus grandes villes du sud, Nice et Marseille, propose que certains lycées introduisent la reconnaissance faciale à l’entrée du bâtiment. Selon ce plan, les élèves passeraient un contrôle du visage avant d’entrer dans leur lycée. Le programme devait être financé et mis en œuvre par la société américaine Cisco, mais les deux projets sont en suspens, l’autorité française de protection des données les ayant jugés illégaux. Les microphones de Saint-Étienne porteraient atteinte à la vie privée des citoyens, et l’utilisation de la reconnaissance faciale à l’entrée des lycées a été jugée disproportionnée, ont-ils déclaré (Hourdeaux, 2019a).
« 

 

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.