L’AI Fight Club pourrait nous aider à nous sauver d’un avenir de cyberattaques super-intelligentes

 La meilleure défense contre l’IA malveillante est l’IA.

Une nouvelle compétition annonce ce qui risque de devenir l’avenir de la cybersécurité et de la cyberguerre, avec des algorithmes d’IA offensifs et défensifs en pleine guerre.

Le concours, qui se déroulera au cours des cinq prochains mois, est géré par Kaggle, une plate-forme pour les concours de sciences des données. Il mettra les algorithmes des chercheurs les uns contre les autres dans les tentatives de confondre et de tromper les uns les autres, l’espoir étant que ce combat donnera un aperçu de la façon de durcir les systèmes d’apprentissage machine contre les attaques futures.

«C’est une idée géniale de catalyser la recherche sur les réseaux de neurones en colère et la conception de réseaux de neurones profonds qui ne peuvent pas être trompés», explique Jeff Clune, professeur adjoint à l’Université du Wyoming qui étudie les limites de l’apprentissage par machine.

Le concours aura trois composantes. Un défi consiste simplement à essayer de confondre un système d’apprentissage par machine afin qu’il ne fonctionne pas correctement. Un autre impliquera d’essayer de forcer un système à classer quelque chose de manière incorrecte. Et un tiers impliquera le développement des défenses les plus robustes. Les résultats seront présentés lors d’une conférence majeure de l’AI plus tard cette année.

L’apprentissage par machine et l’apprentissage en profondeur en particulier deviennent rapidement un outil indispensable dans de nombreuses industries. La technologie consiste à alimenter les données dans un type particulier de programme informatique, en précisant un résultat particulier, et à avoir une machine à développer son propre algorithme pour obtenir le résultat. L’apprentissage approfondi fait cela en ajustant les paramètres d’une vaste bande interconnectée de neurones simulés mathématiquement.

On sait depuis longtemps que les systèmes d’apprentissage par machine peuvent être trompés. Les spammeurs peuvent, par exemple, échapper à des filtres anti-spam modernes en déterminant quels modèles l’algorithme du filtre a été formé pour identifier.

Au cours des dernières années, cependant, les chercheurs ont montré que même les algorithmes les plus intelligents peuvent parfois être induits en erreur de manière surprenante. Par exemple, les algorithmes d’apprentissage en profondeur ayant des compétences proches de l’homme pour reconnaître les objets dans les images peuvent être trompés par des images apparemment abstraites ou aléatoires qui exploitent les schémas de bas niveau recherchés par ces algorithmes (voir  » Le Dark Secret au coeur de l’AI « ) .

«L’apprentissage par machine adversaire est plus difficile à étudier que l’apprentissage par machine classique: il est difficile de dire si votre attaque est forte ou si votre défense est en fait faible», explique Ian Goodfellow, chercheur chez Google Brain, une division de Google dédiée à la recherche et à l’application de l’apprentissage par machine, qui a organisé le concours.

Au fur et à mesure que l’apprentissage par machine devient omniprésent, la crainte est que de telles attaques puissent être utilisées à des fins lucratives ou de méfiance pure. Il pourrait être possible pour les pirates de se soustraire à des mesures de sécurité afin d’installer des logiciels malveillants, par exemple (pour les camions et les véhicules autonomes).

« La sécurité informatique évolue définitivement vers l’apprentissage par machine », dit Goodfellow. « Les méchants utiliseront l’apprentissage par machine pour automatiser leurs attaques, et nous utiliserons l’apprentissage par machine pour défendre. »

En théorie, les criminels peuvent également faire preuve de polyvalence dans les systèmes de reconnaissance de la voix et du visage, ou même mettre des affiches pour tromper les systèmes de vision dans les voitures auto-conduisant, ce qui les fait tomber.

Kaggle est devenu un terrain de prédilection inestimable pour le développement d’algorithmes, et un foyer pour les scientifiques de données talentueux. La société a été acquise par Google en mars et fait maintenant partie de la plate-forme Google Cloud. Goodfellow et un autre chercheur de Google Brain, Alexey Kurakin, ont soumis l’idée du défi avant l’acquisition.

Benjamin Hamner, cofondateur de Kaggle et CTO, affirme qu’il espère que le concours attirera l’attention sur un problème imminent. «À mesure que l’apprentissage par machine devient plus largement utilisé, la compréhension des problèmes et des risques liés à l’apprentissage contradictoire devient de plus en plus importante», dit-il.

Les avantages du concours ouvert l’emportent sur tous les risques liés à la publication de nouveaux types d’attaques, il ajoute: «Nous croyons que cette recherche est mieux créée et partagée ouvertement, au lieu de la porte fermée».

Clune, quant à lui, dit qu’il est désireux de faire le concours pour tester des algorithmes qui peuvent résister à une attaque. « Mon argent est sur les réseaux continuant à être berné pour l’avenir prévisible », dit-il.

1 commentaire sur “L’AI Fight Club pourrait nous aider à nous sauver d’un avenir de cyberattaques super-intelligentes”

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.