Le PDG de Ctrl-labs : Nous aurons des interfaces neurales dans moins de 5 ans

Il peut être un peu difficile de se faire une idée de ce que fait exactement l’interface neuronale de la start-up Ctrl-labs avec la technologie. C’est ironique, étant donné que Ctrl-labs veut laisser votre cerveau utiliser directement la technologie en traduisant l’intention mentale en action. Venture Beat a rencontré Thomas Reardon, PDG de Ctrl-labs, au Web Summit 2019 au début du mois pour comprendre exactement comment fonctionne l’interface cerveau-machine.

Fondée en 2015, Ctrl-labs est une startup basée à New York qui développe un bracelet qui traduit les signaux musculo-sensoriels en commandes interprétables par machine. Mais pas pour longtemps – Facebook a acquis Ctrl-labs en septembre 2019. L’acquisition n’est pas encore finalisée, alors Reardon n’a parlé à personne au géant des médias sociaux depuis la signature de l’accord. Il était cependant impatient de nous en dire plus sur la technologie de l‘interface neuronale pour que nous puissions comprendre pourquoi Facebook (et l’industrie de la technologie en général) est intéressé.

Bref, Ctrl-labs veut que nous interagissions avec la technologie non pas par une souris, un clavier, un écran tactile, notre voix, ou toute autre entrée que nous avons adoptée. Reardon et son équipe s’attendent à ce que dans quelques années, nous soyons en mesure d’utiliser des neurones individuels – et non des pensées – pour contrôler directement la technologie.

« Mère de tous les problèmes d’apprentissage machine ».

Reardon a dit à maintes reprises que son entreprise s’attaque à la « mère de tous les problèmes d’apprentissage machine ». Il a également utilisé cette expression à quelques reprises lors de la conférence. Tim Cook, PDG d’Apple, a déjà décrit les voitures autonomes comme étant « la mère de tous les projets d’IA« . Tout le monde comprend pourquoi les voitures autonomes sont si complexes, alors ils ont dû demander à Reardon ce que Ctrl-labs trouve exactement si difficile.

« Cette idée de pouvoir décoder l’activité neuronale en temps réel et la traduire en contrôle « , a dit Reardon à VentureBeat. « Alors, ton corps le fait. Chaque série de neurones en cascade est constituée de différentes couches, disons dans le cortex, qui envoient ensuite les résultats à la moelle épinière. Chaque ensemble de neurones interprète l’ensemble qui le précède. Et en quelques millisecondes, transformant cela en une action finale. »

Vous devez d’abord capturer toute cette activité, puis vous devez la réorienter. « Nous essayons de le faire avec une machine à l’autre bout, a-t-il poursuivi. « Rien que pour le décodage, il faut beaucoup d’algorithmes très intelligents et sur mesure pour le faire en temps réel. Si nous pouvions enregistrer toutes ces données et les analyser pendant des semaines, c’est un peu comme cela que les neurosciences se font. La plupart de ces choses se font dans ce que nous appelons l’après-guerre. Nous analysons les données après coup et nous essayons de comprendre comment l’activité d’un neurone, ou des neurones, génère un comportement. C’est l’objectif central de toutes les neurosciences. Activité neuronale – comportement final, comment puis-je les connecter ? Quel est le code de ces neurones ? Essayer de le faire en temps réel n’est effectivement pas fait. »

Bref, il n’y a pas de système plus compliqué que le cerveau humain. Il est incroyablement difficile de créer des algorithmes qui peuvent déterminer l’intention sans forer dans un crâne humain. Le décodage de l’activité des motoneurones individuels afin de contrôler les machines est le défi ultime de l’apprentissage machine. Tout le reste n’est que pâle en complexité.

« Il est facile de s’énerver au sujet de certaines des percées de DeepMind et de la façon dont ils peuvent faire des choses de jeu « , dit Reardon. « Le vrai, c’est de le faire en temps réel humain. »

Électromyographie

En décembre 2018, Ctrl-labs a présenté son prototype Ctrl-kit. Il se composait de deux parties : un boîtier à peu près de la taille d’une grande montre remplie de radios sans fil, et un composant captif avec des électrodes qui se placent plus haut dans le bras. L’appareil porté au poignet se connecte par Bluetooth à un PC ou à un smartphone pour traitement.

Avant d’en arriver à la partie où les intentions se transforment en actions, il est important de saisir ce que l’appareil Ctrl-labs sur un poignet humain détecte. « C’est ce qu’on appelle l’électromyographie de surface (EMG), explique Reardon. « Ce sont des électrodes de détection différentielle. Votre neurone moteur envoie un petit pic appelé potentiel d’action. Il se déplace le long d’un axone qui traverse le muscle. Il s’étend et touche un tas de fibres dans le muscle – des centaines, voire des milliers. Quand il se déclenche, chacune de ces fibres dans le muscle produit une grosse étincelle en réponse. L’étincelle du neurone moteur est incroyablement petite – invisible. On ne peut pas l’entendre électriquement, c’est si petit. De minuscules nano-amplis à des pico-amplis de courant. Vos fibres musculaires ont une activité électrique massive. L’autre fait est qu’il y a ce champ électrique massif que chacune des fibres de votre muscle génère. C’est ce champ qui est en train de s’ouvrir. »

Pour traduire l’intention mentale en action, l’appareil EMG mesure les changements de potentiel électrique causés par les impulsions qui voyagent du cerveau aux muscles de la main. « Ce qui est cool, parce que nous sommes des neuroscientifiques, c’est que nous nous sommes demandé comment prendre l’électroactivité du muscle et déterminer quelle était l’électroactivité du neurone qui a créé cette activité ? Et c’est ce que nous avons fait. Nous sommes capables de recréer l’activité de ces motoneurones spinaux à partir de la réponse électrique du muscle. »

Moteur babillant

Reardon dit que vous pouvez apprendre à utiliser un bracelet Ctrl-labs en 90 secondes environ pour accomplir une tâche avec votre cerveau. Alors, que se passe-t-il exactement entre vous et l’appareil EMG dans ces 90 secondes ?

« Nous profitons de ce que vous avez fait quand vous étiez bébé, dit Reardon. « Vous avez fait ce qu’on appelle le « babillage moteur » quand vous étiez bébé. Vous vous êtes dit : « Quand je fais ce truc avec un neurone, ça provoque ce qui se passe ici. Et vous créez une carte neurale pour votre corps et une carte neurale pour la sortie. Un bébé ne peut pas faire ça. Il leur faut un certain temps pour saisir un objet avec habileté. Ça s’appelle « habileté, portée et prise ». »

« Vous êtes motivé pour ça », a-t-il poursuivi. « C’est la chose à laquelle vous êtes le plus branché. Plus que de la parole. Plus que des maths. Plus que même comprendre le langage. Ce que vous faites vraiment bien, c’est d’apprendre à bouger, en particulier vos mains, puis votre bouche. Vous pouvez le faire d’une manière très fine et habile. Avec des mouvements incroyablement subtils avec très peu d’activité neuronale. Un bébé met du temps à s’en remettre. Mais tu fais toujours ça dans le monde. Tu n’arrêtes jamais de faire ça. En gros, vous construisez cette carte de la première année et demie. »

Le chemin exact de la main, pour prendre une gorgée d’un verre d’eau, est différent à chaque fois. « C’est si difficile d’enseigner à un robot, » dit-il. « Le nombre de degrés de liberté qui sont impliqués, tant dans votre capacité de sortie – 27 degrés de liberté dans le bras – que dans cette chose elle-même. Vous avez bu une gorgée de quelque chose, 10 000, 100 000, un million de fois dans votre vie. Mais chaque fois que vous le faites, c’est différent. Refaites-le encore une fois. C’est maintenant une nouvelle tâche. Poids différent. Différentes textures sur le verre, etc. Vous faites ça en temps réel. »

Tirer parti de la boucle de rétroaction moteur

Ctrl-labs essaie d’exploiter comment nous apprenons à utiliser notre propre corps. Il s’agit de réorienter cette capacité de nous laisser contrôler la technologie.

« Vous avez cette capacité phénoménale d’adaptation motrice, explique Reardon. « Vous avez la carte générale de la tâche. « Je dois attraper ce verre et le mettre dans ma bouche et ne pas me l’enfoncer dans le visage. Mais vous l’avez fait, et il n’y avait aucune charge cognitive. Vous ne vous retrouvez pas à penser à « Je dois m’arrêter et me concentrer sur ça. Vous allez le faire. Vous avez tellement de capacité dans cette boucle de rétroaction moteur qui n’est pas exploitée par la façon dont nous utilisons les machines aujourd’hui. C’est ce que nous essayons de faire pour les gens, c’est d’exploiter cette capacité d’apprendre et de mettre en pratique les habiletés motrices en quelques secondes. Vous avez une idée générale de la façon de procéder et vous l’adoptez très rapidement. Et tu le fais incroyablement bien. »

En fin de compte, votre cerveau ne fait qu’une chose et une seule chose, selon Reardon : il active et désactive les muscles. Les humains sont incroyablement doués pour utiliser leur cerveau afin d’exploiter les muscles de façon dynamique, en s’adaptant à des circonstances spécifiques à chaque fois. Cela nécessite un immense effort de calcul, sans créer un sentiment de charge cognitive. C’est pourquoi c’est la mère des problèmes d’apprentissage machine. Ctrl-labs essaie de capturer comment les humains apprennent.

Jumping Dinosaure

Google Chrome a un jeu de Dinoz hors ligne intégré auquel vous pouvez jouer lorsque vous n’avez pas de connexion Internet (vous pouvez également accéder au jeu en tapant chrome://dino/ dans votre barre d’adresse et appuyer sur la barre d’espace pour lancer le jeu

). Ctrl-labs a déjà utilisé ce jeu pour montrer sa technologie, y compris au Web Summit.

Disons que vous avez un bracelet Ctrl-labs et que vous essayez d’apprendre à faire sauter le dinosaure en utilisant votre esprit. Au début, vous le faites en appuyant sur un bouton. Le bracelet détecte l’activité électrique de vos muscles. Voue appuyez sur le bouton et le dinosaure saute. Vous continuez à pousser et ça continue à sauter. Finalement, vous finissez par vous sevrer de l’appui sur les boutons et vous vous servez de votre esprit. Le dinosaure saute toujours quand vous en avez l’intention.

Il y a une sauce spéciale du côté logiciel qui fait que ça marche. Vous ne pouvez pas simplement appuyer sur des boutons et ne pas appuyer sur des boutons sans un peu d’aide. « Au début, c’est parce qu’on le fait sauter en se basant sur la touche « , explique Reardon. « Et puis on le ramène lentement en arrière pour que la touche ne soit pas ce qui le fait sauter. C’est l’activité électrique qui le fait sauter. »

« Tout ce que vous avez fait avec une machine dans le monde dans le passé, vous l’avez fait en vous déplaçant « , dit Reardon. « Littéralement, tout nécessitait un mouvement. Et ce que nous essayons de vous faire comprendre, c’est de désapprendre le mouvement, mais de préserver l’intention. »

Le mouvement que vous effectuez n’a pas besoin d’être défini. Ctrl-labs n’a pas besoin de déclarer que c’est, disons, le majeur de votre main droite qui tape un bouton. Le mouvement réel peut être n’importe quoi. C’est complètement arbitraire. Il peut s’agir de votre pouce qui appuie sur le bouton ou de votre oreille qui se tortille. Mais ce n’est pas la partie folle.

Modulation de force

« Voilà le truc cool. Je n’ai pas besoin de vous dire d’arrêter. Ce que vous commencez à réaliser, c’est que le dinosaure va sauter, que vous appuyiez sur le bouton ou non « , a dit Reardon. « Quand j’ai dit ‘c’est ce à quoi votre cerveau est vraiment bon’ – votre cerveau essaie de résoudre ce problème de ‘quelle est l’action minimale que je peux créer pour provoquer une réaction’ ? Et c’est ce que votre cerveau apprend. Cette tâche d’adaptation que vous faites est la modulation de force. Vous essayez de faire le moins d’activité neuronale possible pour générer des contractions musculaires afin de saisir le verre et de le ramener. Et vous essayez toujours de minimiser. Vous ne pouvez pas ne pas le faire. Vous ne pouvez pas arrêter de le faire, c’est impossible. »

Lorsque votre cerveau voit qu’il n’y a pas de lien entre le mouvement que vous faites et le résultat, il arrête de faire le mouvement complet. Une fois que le dinosaure saute dans votre esprit et que quelqu’un vous demande ce que vous faites, vous ne pouvez pas vraiment le dire. Au début, vous déplacez quelque chose, mais maintenant vous le faites sans bouger. Ctrl-labs pirate notre capacité innée d’exercer un effort minimal pour réaliser une action.

Vous pourriez bientôt passer par des mini-séances de formation pour vous apprendre à contrôler des actions logicielles individuelles avec votre esprit. Vous mettez un vêtement et on vous demande de toucher l’écran pour faire quelque chose dans une application ou un jeu. Environ 90 secondes plus tard, vous le faites sans toucher l’écran. Tous les humains peuvent le faire, dit Reardon.

« C’est l’un des trucs les plus bizarres », dit-il. « Ça marche de façon si fiable. Et tu peux continuer à construire des choses. Nous essayons de le montrer comme cette chose très simple, mais vous continuez à construire ces derniers avec des centaines de touches. C’est une expérience assez bizarre quand on l’a la première fois, soi-même. C’est amusant. »

Dactylographie

En parlant de touches, puisqu’il s’agit d’un périphérique d’entrée ultime, la dactylographie est un point de départ évident. C’est une chose de faire sauter un dinosaure avec son esprit ; c’en est une autre de taper avec son esprit. Nous avons déjà vu des démos de Ctrl-labs, mais celle de ce mois-ci était fondamentalement différente, selon Reardon. Au lieu de taper comme vous le savez aujourd’hui, que ce soit en frappant des touches physiques ou virtuelles avec autocorrection, Ctrl-labs veut vous permettre de former des mots directement.

« Celui-ci, nous avions la capacité de contrôler le modèle linguistique en même temps. Nous l’appelons « formation des mots ». Donc vous ne tapez pas. Vous êtres en train de former des mots en temps réel et ils sortent de ta main. C’est vous donner une sorte de choix entre les mots et vous apprenez rapidement comment arriver au mot que vous voulez former. Au lieu de taper une touche à la fois[pour former des mots]. »

Et quel est le principal attrait d’écrire de cette façon ? Vitesse. C’est une question de vitesse.

« En fin de compte, nous voulons que vous soyez capable de prononcer des mots à la vitesse de la parole. Avec une certaine présomption que le débit de la parole est probablement approximativement la limite cognitive de la production du langage, de la création du langage, à laquelle nous sommes très bien adaptés, mais évidemment, la dactylographie ne l’est pas. Si vous parliez vraiment, vraiment très vite, pourriez-vous taper 250 mots à la minute ? Personne ne peut faire ça aujourd’hui. Nous voulons que tout le monde puisse le faire. Il n’y aurait aucune différence entre la façon dont vous produisez un discours oral et la façon dont vous produisez ce flux de texte contrôlé. »

Pour être clair, Ctrl-labs n’a pas encore atteint cet objectif. Leur démo ne montrait qu’une vitesse de frappe d’environ 40 mots par minute. N’importe qui peut apprendre à taper plus vite sur un clavier. Cependant, à part la vitesse, il existe clairement de nombreuses applications pour taper sans clavier, écran tactile ou microphone.

AR, VR et plateformes émergentes

« De toute évidence, ils ont une valeur énorme dans ce que j’appellerai les plates-formes émergentes « , a déclaré M. Reardon. « Que ce soit l’ordinateur que vous portez sur votre poignet ou sur votre visage, ils ont tous deux besoin d’une toute nouvelle interface textuelle. Entre autres choses, nous parions massivement – je dirais que nous avons parié sur l’idée que la parole n’allait pas être la façon dont vous contrôliez les machines. Cela fera partie de la solution, mais ce n’est pas la solution universelle. C’est une solution que vous utiliserez un peu rarement et épisodiquement. C’est probablement mieux démontré par la façon dont les gens utilisent Alexa aujourd’hui. C’est vraiment utile, mais dans un contexte très limité où c’est utile. Nous contrôlons les machines avec du texte, et nous écrivons avec du texte aujourd’hui, et la parole est une mauvaise façon d’écrire. »

La RA et la RV sont des cibles évidentes pour des applications potentielles parce qu’elles n’ont pas de bonnes expériences de contrôle aujourd’hui. Il n’est donc pas surprenant que Facebook envisage de placer Ctrl-labs dans sa division Reality Labs. Ctrl-labs est la plus importante acquisition de Facebook depuis l’acquisition d’Oculus pour 2 milliards de dollars en mars 2014. La robotique est un autre domaine que Reardon a mentionné, bien qu’il ne soit pas clair si cela sera toujours poursuivi sous Facebook.

Taper avec votre esprit n’est qu’un exemple parmi tant d’autres que Ctrl-labs a assez intrigué Facebook pour acheter l’entreprise. Mais encore une fois, c’est la façon dont l’entreprise a réalisé la dactylographie, et non la dactylographie elle-même, qui est impressionnante.

Un seul neurone

Lorsque Ctrl-labs travaille avec des neuroscientifiques, la première question est toujours de savoir si les signaux proviennent de neurones individuels. Est-ce que Ctrl-labs masque sa technologie avec d’autres trucs ? La démo de dinosaures est destinée à montrer en temps réel que l’entreprise peut décoder un seul neurone. La personne ne bouge pas du tout, et pourtant le Dinoz saute.

Cela soulève la question : À quoi servait ce neurone avant ?

En réponse à cette question, M. Reardon a fait part d’une certaine frustration au sujet de la discussion actuelle sur les interfaces cerveau-machine. Cela inclut « les trucs invasifs et fous qu’Elon Musk et Neuralink font et qui peuvent avoir une valeur profonde pour les personnes qui n’ont pas de capacités motrices ». Bien sûr, il y a des gens qui ont perdu certaines capacités motrices, et il y a une occasion de leur redonner cette fonction. Mais alors la discussion se transforme rapidement en une utilisation des neurones pour contrôler des choses à l’extérieur de votre corps et contrôler directement l’IA.

Des intentions, pas des pensées

« Le problème, c’est que tous les neurones de votre cerveau font déjà quelque chose « , explique Reardon. « Ce n’est pas comme s’il y avait un banc de neurones qui attendaient d’être utilisés et que l’intérêt des interfaces cerveau-machine était d’aller les écouter. Au lieu de cela, il y a ces neurones qui font déjà des choses. Vous essayez de décoder une pensée et d’en faire une action ? Il n’y a pas un neuroscientifique vivant qui puisse dire ce qu’est une pensée. C’est pourquoi nous avons eu cette approche unique qui consiste à essayer de parler d’intentions plutôt que de pensées. Nous sommes vraiment concentrés là-dessus. Nous essayons de vous permettre de contrôler les choses que vous voulez contrôler. Vous devez avoir l’intention de faire ce que vous faites. »

Encore une fois, dans la démo de dinosaure, l’utilisateur contrôle le neurone d’une manière très intentionnelle. « Il ne pense pas : « Hé, j’envisage de sauter ici. Il dit ‘Saute. Saute. Saute. Il veut sauter. Ce qui fait qu’un neurone moteur dans sa colonne vertébrale s’enflamme. »

Ce neurone moteur est celui qui contrôle probablement une collection de 1 000 à 10 000 fibres dans le muscle cubital. Du moins, c’est ce que c’est pour le sujet de la vidéo. Encore une fois, vous pourriez utiliser un autre muscle.

Des percées

« Le plus difficile n’est pas seulement d’écouter un neurone et de vous permettre d’utiliser ce neurone pour contrôler quelque chose d’une nouvelle façon « , dit Reardon. « C’est pour que vous puissiez encore utiliser ce neurone. Le travail vraiment difficile que nous avons fait est de faire la distinction entre  » Utilisez-vous ce neurone pour bouger, pour contrôler votre corps ? Ou l’utilisez-vous pour contrôler la machine ? Nous avons, je pense, des percées à couper le souffle pour distinguer les différents types d’activité neuronale d’un même neurone. »

Comment savez-vous que c’est juste un neurone ?

« Nous avons passé en revue des preuves exhaustives, » dit Reardon. « Je ne peux pas décrire ici. Mais des choses qui seront publiées au fur et à mesure que nous publierons ces travaux. Mais nous avons fait la preuve en utilisant des techniques un peu plus traditionnelles pour montrer qu’il s’agit d’un seul neurone activé. Dans notre monde, c’est ce qu’on appelle une unité motrice, qui est un ensemble de fibres qui correspondent à un neurone singulier. C’est en fait une chose difficile à prouver, mais nous avons l’impression de l’avoir prouvé avec une certaine rigueur scientifique. »

Lorsque Ctrl-labs publiera son épreuve, elle sera soumise à un examen par les pairs standard. Reardon a précisé qu’une partie de cette percée neuronale unique a déjà été publiée, mais que la dernière n’a pas encore été publiée.

Quand ?

« On achètera un appareil comme ça dans moins de cinq ans ? « Ou il fera partie d’un autre appareil, mais oui, moins de 5 ans. »

Alors peut-être ce sera notre prochain téléphone ? « C’est quelque chose que nous porterons. »

Via Venture Beat

A lire cet article d’Usbek et Rica

1 commentaire sur “Le PDG de Ctrl-labs : Nous aurons des interfaces neurales dans moins de 5 ans”

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.