L’outil de lutte contre le harcèlement le plus efficace pourrait être le plus évident : vos amis.

Les entreprises de technologie comme Facebook, Google et Twitter emploient des milliers de personnes pour modérer le contenu violent et dérangeant de leurs sites Web. Mais ni les légions de modérateurs ni les algorithmes d’apprentissage machine sophistiqués ne peuvent endiguer le harcèlement rampant sur leurs plates-formes. L’abus est un problème chez Twitter en particulier, que la nouvelle couverture de Fast Company explore en détail.

Amy Zhang, étudiante au doctorat au laboratoire d’informatique et d’intelligence artificielle du MIT, a étudié en détail le harcèlement en ligne. Elle a constaté que de nombreuses victimes adoptent une approche démodée pour survivre à l’afflux de commentaires violents, racistes et sexistes qui se déversent dans leur boîte de réception : elles demandent de l’aide à leurs amis.

C’est parce que leurs amis comprennent souvent le contexte derrière le harcèlement. Par exemple, un algorithme ou un modérateur humain pourrait ne pas signaler un mot qui est récemment apparu comme une épithète contre un groupe marginalisé, mais un ami, qui fait probablement partie de la communauté de la victime, le saurait. Zhang a interviewé une victime dont l’ex-partenaire la harcelait avec des messages incendiaires lors de réunions d’affaires importantes – encore une fois, quelque chose pour laquelle un ami serait beaucoup plus à l’écoute. Zhang a constaté que certaines personnes harcelées donneront à leurs amis leurs mots de passe de compte et leur demanderont de nettoyer leur boîte de réception des pires messages ; d’autres demanderont à un ami de leur lire les commentaires positifs sur une vidéo à haute voix et de sauter les commentaires négatifs ; certains demanderont à leurs amis de signaler certains utilisateurs à Twitter.

Zhang se demandait si elle pouvait formaliser ce comportement, ce qui permettrait aux gens de faire face plus facilement à l’assaut du harcèlement et simplifierait la tâche de leurs amis pour les aider à le faire ?


Amy Zhang[Photo : Jason Dorfman/MIT CSAIL].

C’est l’idée derrière Squadbox, une application web open-source conçue pour transformer des amis utiles en modérateurs plus efficaces. Elle peut fonctionner de deux façons. Si la personne harcelée veut rester dans la sphère publique et permettre aux gens de communiquer facilement avec elle, Squadbox lui fournira une adresse électronique. Puis, quand quelqu’un les contacte, le message va directement sur leur compte Squadbox, où l’un de leurs amis-modérateurs le révisera. Selon ce que la personne harcelée a spécifié au préalable, le modérateur peut supprimer tout message abusif, transmettre des messages propres ou envoyer des messages avec des balises pour lui faire savoir ce qu’il y a à l’intérieur. Squadbox peut également vous aider à configurer des filtres qui détecteront certains mots, ou noms d’utilisateur, et à envoyer ces messages à vos amis-modérateurs en premier.
Le système est conçu pour fonctionner au mieux avec un groupe de modérateurs qui tous les tag-équipe de la tâche. Au fur et à mesure que les courriels arrivent, ils sont distribués également à tous les modérateurs, qui reçoivent des notifications disant qu’il y a quelque chose dans leur file d’attente. Puis, lorsqu’ils ont envie de s’attaquer aux choses blessantes que quelqu’un dit à propos de leur ami, ils peuvent aller sur le site de Squadbox et revoir les messages. Squadbox est également conçu pour être flexible, accommodant toute personne qui voudrait adapter l’idée de base des amis-modérateurs en quelque chose qui rend la gestion du harcèlement plus facile à gérer.

« Jusqu’à présent, nous l’avons montré à plusieurs personnes qui ont été harcelées, y compris des cibles de harcèlement très en vue « , dit M. Zhang. « Ils ont été extrêmement positifs. »


[Image : Amy Zhang/MIT CSAIL]

Zhang et ses collègues, David Karger, professeur au MIT et Kaitlin Mahar, ancienne étudiante au MIT et ingénieur en logiciel, présentent un article qui détaille leurs recherches sur le sujet à la conférence CHI de l’ACM sur les facteurs humains dans les systèmes informatiques plus tard ce mois-ci, mais Squadbox est déjà disponible pour le grand public. Ils travaillent également en partenariat avec Jigsaw, l’incubateur appartenant à Alphabet qui se concentre sur des problèmes comme l’extrémisme et le harcèlement, afin d’intégrer une API Jigsaw qui prédit le harcèlement dans Squadbox.
Pour l’instant, Zhang se concentre sur la construction de la plate-forme. Bien que les gens soient harcelés sur toutes sortes de plates-formes, Squadbox n’est actuellement conçu que pour traiter les courriels. Elle dit que la structure peut aussi fonctionner pour Facebook et Twitter, selon leur API – la prochaine étape consiste simplement à la construire.

Publicités

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.