Preuve que les algorithmes reprennent nos préjugés, en une seule carte

Pour exposer les biais et influences cachés au travail dans le logiciel de police de la vie réelle, une équipe de The New Inquiry a construit son propre logiciel.

La police prédictive, qui utilise des algorithmes pour prévoir les futurs crimes, a été appelée « tactique de l’application de la loi de l’avenir« . Mais elle contribue également à perpétuer le racisme systémique : puisque les personnes noires sont plus susceptibles d’être arrêtées que d’autres types, une prédiction qui envoie la police dans des quartiers à majorité noire peut être une prophétie auto-réalisatrice.

Alors que les services de police peuvent croire que cette technologie pourrait être « la vague de l’avenir », et certaines recherches ont montré qu’elle réduit considérablement la criminalité, elle risque également de menacer les libertés civiles. Il ne traite pas non plus des problèmes sous-jacents des zones menacées par la criminalité  : il punit ces quartiers  plutôt que de créer une confiance communautaire. Ces critiques de la police prédictive reflètent le  débat en cours sur la façon dont les données et les algorithmes devraient être utilisés dans notre société, et la façon dont les humains transfèrent leurs biais sur des logiciels ostensiblement impartiaux. Mais comment illustrer les dangers de ces outils opaques?

Une façon de le faire est de construire le vôtre.

Un nouveau projet publié par The New Inquiry inverse des hypothèses communes sur l’efficacité de la police prédictive, soulignant comment la logique qui sous-tend ces modèles basés sur les données peut être intrinsèquement erronée. Les zones interactives, appelées  White Collar Crime Risk Zones, utilisent des tactiques similaires aux modèles de police prédictive utilisés aujourd’hui par de nombreuses villes, mais se concentrent sur la criminalité en col blanc. Zoom sur la ville de New York, et les cartes montrent que les zones à risque le plus élevé pour la criminalité en col blanc sont dans le quartier financier et le Midtown à Manhattan. Faites un zoom arrière, et vous commencez à voir des points chauds criminels dans les riches villes du Connecticut de Greenwich et Stamford, où vivent de nombreux hedge funds parmi les plus prestigieux au pays. « Contrairement aux applications typiques de la police prédictive, qui criminalisent la pauvreté,

En tant que critique de la police prédictive, la carte a été créée par le professeur de NYU et l’Éditeur de nouvelles enquêtes, Sam Lavigne, Bryan Clifton, spécialiste des données de Buzzfeed, et le co-éditeur de New Inquiry et le chercheur de New Inc. Francis Tseng. Après avoir étudié les méthodes utilisées par les entreprises qui créent des outils de police prédictive comme HunchLab  (utilisé par Miami , St. Louis et New York City ) et PredPol (utilisé par Chicago et Los Angeles ), qui se concentrent sur la prédiction des crimes de rue comme le cambriolage et Assaut, les trois ont commencé à construire leur propre version pour la criminalité en col blanc.

« Il était important pour nous de développer notre application de la police prédictive de la façon dont ils font la leur parce que nous croyons que cela rend notre critique plus forte », dit Tseng.

[Image: Sam Lavigne, Brian Clifton et Francis Tseng pour la nouvelle enquête]

En utilisant les données de l’ Autorité de réglementation de l’industrie financière, un organisme de réglementation indépendant qui conserve des registres lorsque les entreprises enfreignent les règles et oblige de payer une amende (même si elles ne vont pas au tribunal), Lavigne, Clifton et Tseng ont pu construire une carte d’où des crimes de col blanc ont eu lieu au cours des 50 dernières années. Ensuite, ils ont cherché des ensembles de données publiquement disponibles qui se chevauchaient étroitement avec ces sites de criminalité en col blanc. L’un était le nombre de conseillers en investissement sur un quartier donné. L’un était le nombre de licences d’alcool. Et le dernier était le nombre d’organisations à but non lucratif dans la région.Il s’est avéré que ces mesures se chevauchaient avec les données primaires sur le crime en col blanc avec une précision de 90%, mais la corrélation n’est pas nécessairement une causalité. Vous pourriez être en mesure de voir pourquoi le nombre de conseillers en placement dans une région pourrait être un prédicteur de la quantité de crime en col blanc. Mais les licences d’alcool et les organismes sans but lucratif ? C’est plus éloigné et cela peut simplement avoir à voir avec la densité de la population, ce qui indiquerait une plus grande activité financière – ce qui est logique, car tous les points chauds mis en évidence sur la carte correspondent généralement aux grands centres urbains.

« Une partie de ce que nous voulons montrer avec ceci est que, bien que ces derniers aient une sorte de corrélation, la relation causale est vraiment ténue », dit Tseng. « C’est l’un des problèmes liés à la police prédictive en général. Les gens ne s’occupent pas vraiment d’examiner ces relations entre les données qu’ils utilisent et les prédictions. Il faut plus de surveillance.  »

[Image: Sam Lavigne, Brian Clifton et Francis Tseng pour la nouvelle enquête]

Leur modèle est intentionnellement biaisé, afin de démontrer à quel point les modèles réels de la vie réelle peuvent être. Les données utilisées dans les outils de police prédictive ne sont pas soigneusement réglementées et reflètent un manque de surveillance. Selon les recherches de l’équipe, Tseng dit que des entreprises comme HunchLab utilisent des données comme l’heure, la météo, les caractéristiques géographiques et même les phases de la lune dans leurs modèles de prédiction du crime. »Le fait est qu’ils veulent augmenter leur précision autant que possible », dit-il, bien qu’il souligne également qu’il n’y a pas de définition unique de la précision de ce contexte. « Ma compréhension est qu’ils se contentent de tout ce qu’ils peuvent se mettre sous la main, et plus c’est mieux ».

Au cours du projet, l’équipe a touché environ 2 000 maires des villes américaines les plus peuplées pour voir si elles seraient intéressées à utiliser l’outil pour réellement attraper des criminels en col blanc – en partie pour faire un point, mais aussi pour évaluer les intérêt des maires à atténuer sur les crimes financiers. Tseng dit que, bien que quelques-uns aient répondu, leur réponse générale était que la capture de personnes qui commettent des crimes à col blanc est tout simplement moins importante. « Les forces de police n’utiliseront pas cette technologie même si cela existe parce que ce n’est pas là où leurs priorités sont structurées », dit-il.

L’un des éléments les plus fascinants de l’infographie apparaît lorsque vous agrandissez un code postal particulier. Une barre latérale vous montre une image composite du «suspect le plus probable», que Tseng dit être toujours un « homme blanc vraiment générique ». En ce moment, l’image est basée sur des photos de 7 000 dirigeants d’entreprise, mais dans un livre blanc, l’équipe propose d’élaborer l’outil pour évaluer la criminalité en col blanc au niveau individuel. Bien que l’idée soit délibérément discriminatoire (seuls les hommes blancs seraient ciblés) et destinés à être satiriques, le document fait référence à un document de la vie réelle qui a suggéré qu’il était possible d’utiliser des algorithmes d’apprentissage machine pour discerner la criminalité d’une personne basée uniquement sur leurs traits faciaux.

« C’est censé communiquer cette idée de l’aspect de profilage racialement partial des applications de police prédictive qui sont négligées », a-t-il dit. « Espérons qu’en voyant cela, [les défenseurs de la police prédictive] verront la logique erronée, le préjugé dans leur logique ».

Chaque fois que les données alimentent un modèle prédictif, les biais humains et la discrimination structurelle inhérente à ces données peuvent se perpétuer, créant un cycle vicieux grâce à la technologie et aux statistiques. Mais tout comme être un homme noir ne vous rend pas un criminel, être un homme blanc ne fait pas de vous non plus un criminel à col blanc.

Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s