Publicités

Cette startup célèbre a juré de sauver des vies avec l’IA. Maintenant, restons sur nos gardes

Cette startup célèbre a juré de sauver des vies avec l’IA. Maintenant, restons sur nos gardes

Méfiez-vous de toute entreprise qui prétend sauver le monde en utilisant l‘intelligence artificielle.

La semaine dernière, le New York Times a publié une enquête sur One Concern, une plateforme conçue pour aider les villes et les comtés à élaborer des plans de réponse aux catastrophes. L’entreprise a prétendu utiliser une pléthore de données provenant de différentes sources pour prédire l’impact des tremblements de terre et des inondations sur une ville, bâtiment par bâtiment, avec une précision de 85 %, dans les 15 minutes suivant un sinistre qui frappe une ville. Mais le Times rapporte que San Francisco, l’une des premières villes à avoir signé pour utiliser la plateforme de One Concern, met fin à son contrat avec la startup en raison de préoccupations quant à l’exactitude de ses prévisions.

Le Times peint l’image d’une interface lisse (qui a été récompensée par les prix Innovation by Design 2018 et World Changing Idea 2019 de Fast Company) qui a caché des problèmes. L’interface de type carte de chaleur est censée montrer aux responsables de la ville des prévisions en temps quasi réel des dommages après un tremblement de terre ou une inondation, ainsi que des simulations de tremblements de terre futurs et fournir les niveaux de dommages pour chaque bloc, aidant les planificateurs à décider comment distribuer les ressources pour atteindre les personnes qui auront le plus besoin de l’aide.

Comme FastCompagny l’a écrit en novembre 2018 de l’interface de One Concern :

C’est presque comme jouer à SimCity, où les planificateurs cliquent sur une faille, observent ce qui se passe dans chaque bâtiment, puis ajoutent des icônes comme des sacs de sable, des abris ou des camions d’incendie pour voir comment ces tactiques de préparation influencent la simulation. Tout cela se produit à l’intérieur d’une interface cartographique à code couleur relativement simple, où les utilisateurs basculent sur différentes couches, comme les données démographiques et les infrastructures essentielles, pour mieux comprendre ce que les dommages signifient en profondeur.

C’est cette conception facile à utiliser qui a convaincu l’ancien directeur de la gestion des urgences de San Francisco de s’inscrire pour utiliser la plate-forme parce qu’elle était beaucoup plus simple et plus intuitive qu’un service gratuit fourni par FEMA pour prédire les dommages dus aux tremblements de terre.

Mais la sophistication technique n’était tout simplement pas là, selon le rapport. Un employé du service de gestion des urgences de Seattle a déclaré au Times que la carte de simulation de tremblement de terre de One Concern présentait des trous béants dans les quartiers commerciaux, ce qui, selon One Concern, s’explique par le fait que l’entreprise s’appuie principalement sur les données du recensement résidentiel. Il a trouvé irréalistes les évaluations de l’entreprise concernant les dommages futurs causés par le tremblement de terre : l’immeuble où travaille le service de gestion des urgences a été conçu pour être sécuritaire en cas de tremblement de terre, mais les algorithmes de One Concern ont déterminé que les dommages seraient importants, et l’entreprise a montré un nombre plus élevé que prévu de structures à risque parce qu’elle avait calculé chaque appartement dans un immeuble comme un bâtiment séparé. Cet employé a partagé toutes ces questions avec le Times.


[Image : courtoisie One Concern]

Une personne concernée a refusé de commenter publiquement le rapport. Dans l’article du Times, Ahmad Wani, PDG et cofondateur de One Concern, affirme que l’entreprise a demandé à plusieurs reprises aux villes d’obtenir plus de données pour améliorer ses prévisions, et que One Concern ne cherche pas à remplacer le jugement des planificateurs expérimentés en gestion des urgences.

Beaucoup d’anciens employés partageaient des doutes quant aux affirmations de la startup, et contrairement à des concurrents comme Fathom, une startup de prédiction des inondations, aucun de ses algorithmes n’a été examiné par des chercheurs indépendants et les résultats ont été publiés dans des revues universitaires. Le Times rapporte : « De même, les simulations de tremblements de terre de One Concern s’appuient sur la méthode gratuite de prévision des dommages de la FEMA connue sous le nom de P58, avec des calculs effectués par une autre société, Haselton Baker Risk Group, ainsi que sur des données publiques gratuites largement disponibles, tout en facturant des villes comme San Francisco 148 000 $ pour utiliser la plate-forme pendant deux ans. De plus, le Times a constaté que One Concern a commencé à travailler avec des compagnies d’assurance, qui pourraient utiliser ses prévisions de catastrophes pour augmenter les tarifs, en partie parce que seules quelques villes ont payé pour son produit jusqu’à présent, ce qui a provoqué la désillusion de certains anciens employés face à la mission de l’entreprise.

Comme le montre l’enquête du Times, le succès initial de la start-up – avec 55 millions de dollars en capital-risque, des conseillers tels qu’un général à la retraite, l’ancien directeur de l’ICA David Petraeus et des membres de l’équipe comme l’ancien chef de la FEMA, Craig Fugg- a été fondé sur des allégations mensongères et un design élégant.

L’excitation de voir comment l’intelligence artificielle pouvait résoudre des problèmes apparemment insolubles n’a certainement pas aidé. FastCompany écrit l’an dernier sur le potentiel de One Concern : « Alors que le changement climatique annonce des catastrophes naturelles plus dévastatrices, les villes devront repenser la manière dont elles planifient et réagissent aux catastrophes. L’intelligence artificielle, telle que la plateforme développée par One Concern, offre une solution alléchante. Mais c’est nouveau et largement non testé. »

Avec une technologie défectueuse qui ne serait pas aussi précise que l’entreprise le dit, One Concern pourrait mettre la vie des gens en danger.

Via Fastcompany

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

%d blogueurs aiment cette page :