Superhistoire, pas superintelligence

Le long article de Venkatesh Rao repéré par Sentiers, propose que le temps artificiel soit l’intelligence artificielle pour comprimer des décennies, des siècles d’apprentissage en heures et en minutes et qu’elle les mette à notre disposition sous forme d’augmentation. (AlphaGo a joué des millions de parties en peu de temps par exemple).

Une idée tirée de l’influent document publié par Google en 2009, The Unreasonable Effectiveness of Data (L’efficacité déraisonnable des données), a façonné de nombreuses réflexions, y compris les miennes, au cours de la dernière décennie : les algorithmes simples et plus de données battent les algorithmes complexes et moins de données.

Cette idée a façonné l’évolution non pas d’une, mais de deux révolutions technologiques : le Big Data et l’apprentissage automatique moderne (apprentissage profond ou deep learning). Et elle m’a conduit à commencer à penser à l’IA en termes de temps plutôt que d’intelligence.

Plus précisément, l’IA moderne est mieux comprise comme un AT –  » temps artificiel «  qui peut être attaché de manière prothétique aux esprits humains. Et les systèmes informatiques hautement performants sont mieux compris comme existant dans la superhistoire plutôt que comme incarnant une superintelligence. Je pense qu’il s’agit là d’un changement de perspective intéressant, et non d’une simple spéculation inutile pour les amateurs de temps comme moi.

L’idée va nécessiter un peu de préparation pour l’expliquer.

Plus de données

Le Big Data a été motivé par la baisse des coûts de stockage. George Dyson l’a défini ainsi : On parle de Big Data quand il est moins cher de les stocker que de décider quoi en faire.

À un moment donné, le stockage est devenu suffisamment bon marché pour justifier le stockage de tous les bits numériques que nous pouvions générer – ce que l’on appelle parfois « l’épuisement des données » de la vie. C’est ce que l’on appelle parfois « l’épuisement des données » de la vie. Cela peut ne pas rester vrai à mesure que les flux de données provenant des capteurs du monde entier augmentent, mais c’est en quelque sorte vrai aujourd’hui. Même si ce n’est pas strictement vrai, nous avons largement dépassé un seuil crucial : nous pouvons désormais capturer et conserver numériquement beaucoup plus de données provenant de toute activité humaine que tout esprit humain impliqué dans cette activité ne pourrait directement comprendre, traiter ou transmettre.

C’est ce seuil qui compte – dépasser les limites de la bande passante de transmission culturelle humaine. C’est là que commence le Big Data dans la pratique.

Une série de technologies permettant de traiter les données à ces grandes échelles ont vu le jour en 2012, mais le moteur de base était les faibles coûts de stockage. Les personnes qui rejettent le « Big Data » et la « science des données » en les qualifiant de « simples statistiques » passent à côté de l’essentiel : Plus, c’est différent. Le Big Data n’était pas un phénomène de mode. Il a installé dans notre environnement informatique tout un ensemble de technologies et de capacités permettant de traiter les données à grande échelle. Et il a créé les conditions de ce qui allait suivre : l’apprentissage automatique.

Algorithmes plus simples

À un niveau abstrait, l’apprentissage automatique moderne concerne des « algorithmes plus simples » sous la forme de cadres extrêmement légers (en termes de lignes de code) par rapport à ce qu’ils accomplissent. Ils représentent un levier de calcul beaucoup plus important que le code traditionnel. Je pense qu’une ligne de code utilisée dans un cadre moderne de reconnaissance d’images vaut 100 ou 1000 lignes dans un cadre de vision par ordinateur traditionnel (GOFAI) à peu près équivalent.

L’approche fonctionne en deux étapes. Dans la phase de formation, coûteuse en calcul, vous utilisez des cadres pour digérer de grandes quantités de données dans des modèles de domaines de comportement tels que le traitement du langage naturel, la reconnaissance d’images et les recommandations. Dans la phase d’inférence, peu coûteuse en calcul, vous appliquez ces modèles digérés à de nouvelles situations. Notez que le terme « modèles » ne désigne pas des modèles au sens où l’entendent les humains. Il s’agit simplement d’une forme compacte et digérée de l’information latente dans les données d’apprentissage, sous une forme adaptée à la prise de décisions. C’est pourquoi l' »IA explicable » (ou, de manière plus appropriée, ce que Carlos Bueno a appelé l’IA justifiable) fait l’objet d’un débat actif, bien que largement mal orienté. Au-delà de ce débat plutôt limité se pose la question plus intéressante de savoir comment ces modèles comprennent leur monde (de données), tel qu’il est incarné par ce que l’on appelle les espaces latents de ces modèles.

Si les modèles d’IA ne peuvent être réduits à des termes de référence humains, peut-être la pensée humaine peut-elle être étendue pour comprendre des termes de référence informatiques. Vivre dans la superhistoire implique d’apprendre à le faire.

(…)

Les êtres humains ne sont pas des logiciels 2.0

Curieusement, les humains purs en tant que systèmes informatiques ne remplissent normalement pas ces conditions. Non pas parce que notre matériel cérébral est incapable de fonctionner en mode logiciel 2.0, mais parce que notre pensée est limitée par les modes de transmission culturels humains.

Par exemple, si vous apprenez quelque chose de cet essai, ce n’est pas à partir des mêmes données d’entrée qui ont façonné ma propre compréhension. Vous apprenez de ma compréhension digérée à l’échelle humaine et de ma capacité d’écriture, avec toutes mes limites personnelles. Et je n’ai pas de moyen facile de vous permettre d’intégrer mes données d’entrée aux vôtres. Vous ne pouvez pas penser avec les données de deux vies humaines. Vous pouvez seulement composer vos conclusions digérées avec les miennes.

En partie à cause de cette contrainte, plus vieux n’est pas nécessairement plus sage. Les cerveaux plus lents et plus expérimentés ne sont pas nécessairement plus performants que les cerveaux plus jeunes et plus vifs. En fait, la plupart des domaines traditionnels de l’effort humain se caractérisent par le schéma suivant : « l’élève devient le maître ». Si vous êtes plus jeune et plus malin que moi, vous pourrez peut-être faire des trous dans cet essai et m’apprendre une chose ou deux, même si vous êtes beaucoup plus novice en matière d’IA.

Il y a une histoire à raconter. Elle est la plus évidente dans le domaine de l’IA préféré de tous, les échecs.

On disait autrefois que les joueurs d’échecs plus âgés gagnaient par expérience contre les plus jeunes et les plus talentueux. Pendant un certain temps. Jusqu’à ce qu’ils ne le fassent plus. On disait cela de Karpov dans les années 80, lorsqu’il affrontait Kasparov par exemple.

Mais quand Magnus Carlsen a battu Vishwanathan Anand en 2013, quelque chose de bizarre et de nouveau a été montré. Je ne suis pas un joueur d’échecs, mais d’après les commentaires que j’ai lus, il semble que non seulement Carlsen avait plus de talent brut qu’Anand (comme Kasparov contre Karpov), mais qu’il était aussi « plus vieux » d’une manière bizarre, bien qu’il ait nominalement 21 ans de moins. Carlsen est assez jeune pour avoir été effectivement « élevé par des IA » – les IA d’échecs les plus sophistiquées disponibles sur les ordinateurs personnels lorsqu’il grandissait dans les années 80. Son style de jeu a été décrit comme étant inspiré par les machines, poussant fort jusqu’à la fin, explorant des lignes de jeu improbables et non conventionnelles là où la tradition humaine aurait suggéré de concéder.

Ces descriptions me semblaient très similaires à celles d’AlphaGo et d’AlphaGoZero, en termes de style de jeu par rapport aux maîtres humains, quelques années plus tard.

Maintenant que les ordinateurs sont fermement en tête dans des jeux comme les échecs et le go, et qu’il n’y a plus de plaisir dans les parties directes entre humains et machines, il y a cette chose appelée Centaur Chess : des équipes humain+AI qui jouent les unes contre les autres. Mais ce que les gens semblent manquer, c’est que même le jeu conventionnel était déjà de type Centaur de manière cachée au moment où Carlsen a atteint le sommet en 2013.

Carlsen ne reçoit peut-être pas l’assistance d’une IA en direct lors des tournois conventionnels auxquels il participe, mais le fait d’avoir été entraîné par des IA dans sa jeunesse avait déjà fait de lui un joueur différent, augmenté par l’IA en 2013.

Magnus Carlsen est un centaure latent.

Centaures latents

Dans le roman de Iain M. Banks, Player of Games, nous apprenons que les IA de la Culture ne jouent pas aux jeux humains parce qu’ils sont trop faciles, mais qu’elles forment le protagoniste dans sa mission d’infiltration pour saper une civilisation adverse construite autour du jeu le plus complexe connu des formes de vie biologiques. La civilisation entière est construite autour de siècles de jeu.

Mais le joueur extraterrestre de la Culture, entraîné par les Minds, surpasse facilement les joueurs autochtones avec leurs siècles d’apprentissage traditionnel accumulé, et accomplit la mission. Les Minds n’avaient pas besoin de participer directement au jeu en direct. Ils pouvaient transmettre les fruits de leur étude et de leur digestion du jeu à leur agent humain. En raison de l’asymétrie entre l’entraînement et l’inférence, le cerveau de l’humain n’avait pas besoin d’être aussi puissant en termes de calcul qu’un Esprit pour jouer comme tel.

Un joueur entraîné par des IA va évidemment développer un style très différent de celui des joueurs qui s’entraînent en jouant contre les humains vivants qui les entourent. Leur esprit ne sera pas lié par la tradition comme celui des humains formés par d’autres humains. Leur développement ne sera pas limité par les modes de transmission culturels humains.

Le style Carlsen d’apprentissage latent-centaure va bénéficier de ce qui est effectivement des centaines d’années équivalentes humaines (HEY) d’expérience de jeu d’échecs digérée que l’IA a acquise pendant sa phase de formation de modèle, et qu’elle applique dans la phase d’inférence dans de nouvelles parties. Et contrairement aux IA de l’ère Young-Carlsen, les IA modernes ne sont même pas limitées à l’apprentissage de l’expérience humaine passée. Comme l’a démontré AlphaGoZero, il est possible de faire encore mieux en se débarrassant de l’expérience humaine accumulée et en générant simplement de nouvelles données en faisant jouer l’IA contre elle-même.

Ainsi, un joueur moderne entraîné dans une boucle d’apprentissage bien conçue contre les IA les plus récentes a un véritable « âge de joueur » qui est une fonction de son âge biologique et de son « âge d’IA » hérité qui est une mesure du temps d’expérience équivalent à l’humain latent dans les données d’entraînement. Ainsi, peut-être qu’en raison du fait qu’il a grandi en jouant contre des programmes d’échecs sur des ordinateurs, Magnus Carlsen a réellement 200 ans. Celui qui battra Magnus Carlsen aura 2000 ans.

Ce n’est pas comme l’appartenance à une tradition intellectuelle, avec une lignée de maîtres qui transmettent leurs connaissances et leurs compétences à travers les livres et l’enseignement. Ce processus de transmission culturelle est limité par les goulots d’étranglement individuels et humains qu’il doit périodiquement franchir.

L’apprentissage automatique n’est pas limité de cette manière, tant que les données brutes sont suffisamment bon marché pour être stockées. Et si vous pouvez accéder à cet apprentissage, vous pouvez vous aussi devenir un centaure latent comme Magnus Carlsen.

Augmenter les humains

Augmenter les humains avec l’apprentissage automatique de la bonne manière augmente leur âge expérimental effectif. Ils possèdent une plus grande « expérience vécue » que leur âge biologique ne le suggère, car ils ont acquis une expérience prothétique, sous forme digérée et résumée. Chaque morceau digéré attaché à votre cerveau pourrait être mesuré en termes de temps vécu qu’il représente.

C’est ici que l’asymétrie des coûts de formation et d’inférence entre en jeu.

Vous avez besoin de vastes pools d’ordinateurs puissants pour former les meilleurs et les plus grands modèles, mais vous n’avez généralement besoin que d’ordinateurs personnels beaucoup moins chers pour faire des inférences avec ces modèles. Ainsi, les centaines ou milliers d’années d’expérience sont enregistrées dans des infrastructures coûteuses vivant dans un temps superhistorique, mais sont utilisables à l’échelle humaine dans le temps historique.

Vous n’avez peut-être même pas besoin d’un ordinateur personnel. Il pourrait être suffisant d’avoir été formé par des ordinateurs. Votre propre cerveau pourrait suffire à contenir des modèles digérés permettant l’inférence.

Je m’attends à ce que cela se produise très bientôt pour l’écriture. Les premiers assistants d’écriture IA (pensez à Microsoft Clippy) étaient ridicules, et vous deviez être suffisamment sûr de vos compétences en écriture pour ignorer leurs conseils. Les plus récents que j’ai vus – des suggestions de réponse aux e-mails de Gmail à GPT-3 en passant par des produits comme textspark.ai – commencent à être suffisamment bons pour que leurs suggestions méritent d’être prises au sérieux.

Une façon de voir les choses est la suivante : ces IA ont déjà lu beaucoup plus de textes que je ne pourrais le faire en mille ans, et les ont digérés dans des esprits d’écriture (modèles de langage) qui sont effectivement des Anciens. Et leur compréhension de ce qu’ils ont digéré n’est pas limitée par les traditions interprétatives humaines, ni par les insécurités identitaires des diverses traditions intellectuelles (les IA, heureusement, ne souffrent pas des tentations limitatives du respect straussien de la tradition).

Si je me connecte à une IA d’aide à l’écriture de la bonne manière, même avec une inefficacité significative, j’écrirai effectivement comme un vieillard de 1046 ans plutôt que comme un vieillard de 46 ans. Si je pouvais apprendre à explorer les espaces latents de ces modèles, je serais capable d’écrire comme aucun humain ne l’a jamais fait auparavant.

En fait, cela est peut-être déjà arrivé à certains écrivains. William Gibson est sans doute déjà un écrivain centaure, pratiquant l’écriture dans le genre du réalisme de réseau, vivant dans le futur inégalement distribué de tous les écrivains. Son écriture est un cas de vie intense dans le présent superhistorique, tout accès au passé, au présent et au futur étant médiatisé par l’intelligence informatique pendant qu’il écrit.

(…)

Pour lire la suite : BrakingSmart

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.