Microsoft a créé un outil pour trouver les pédophiles dans les chats en ligne

Microsoft a créé un système automatisé pour détecter les prédateurs sexuels qui essaient de conditionner les enfants en ligne. L’outil, dont le nom de code est Project Artemis, est conçu pour repérer les schémas de communication dans les conversations.

En se basant sur les mots et les modèles de discours, le système attribue une cote pour la probabilité qu’un des participants essaie de conditionner l’autre. Les entreprises qui mettent en œuvre cette technique peuvent établir une note (par exemple, 8 sur 10) au-dessus de laquelle toute conversation signalée est envoyée à un modérateur humain pour être examinée. Les modérateurs pourraient éventuellement identifier les menaces imminentes et les signaler aux forces de l’ordre. Cela permettrait également aux experts de la protection de l’enfance de disposer de plus d’informations sur le fonctionnement des pédophiles en ligne. Microsoft utilise ces techniques depuis plusieurs années pour ses propres produits, notamment la plateforme Xbox et Skype, a déclaré Courtney Grégoire, directrice de la sécurité numérique de l’entreprise, dans un article de blog.

Comment cela fonctionne-t-il ? Microsoft n’a pas expliqué les mots précis ou les modèles que l’outil recherche – ce qui pourrait potentiellement amener les prédateurs à ajuster leur comportement pour tenter de masquer leurs activités. L’outil est disponible gratuitement pour les entreprises qui fournissent des fonctions de chat en ligne, par l’intermédiaire d’un organisme à but non lucratif appelé Thorn, qui construit des produits technologiques pour défendre les enfants contre les abus sexuels.

Les risques : Le système est susceptible de produire beaucoup de faux positifs, car les systèmes automatisés ont encore du mal à comprendre la signification et le contexte du langage. Cela signifie que les entreprises de médias sociaux devront investir dans plus de modérateurs si elles sont vraiment déterminées à s’attaquer au grooming en ligne (et les victimes soutiennent qu’il n’est pas clair qu’elles le fassent). Le système suppose également que les messages ne sont pas chiffrés et que les utilisateurs consentent à ce que leurs communications privées soient lues, ce qui n’est pas nécessairement un fait acquis.

Via MIT

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.