Andrej Karpathy : pourquoi il voit encore une décennie avant des agents IA fiables

Andrej Karpathy, co-fondateur d’OpenAI et ancien directeur senior de l’IA chez Tesla, a livré un diagnostic nuancé sur l’avenir de l’intelligence artificielle lors d’une interview de deux heures et demie avec le podcasteur Dwarkesh Patel. Ses remarques, partagées ensuite sur X.com, nuancent l’optimisme ambiant tout en restant résolument positif sur le long terme.

Des prédictions plus prudentes

Karpathy a commencé par pointer une surenchere de pronostics dans l’industrie. Il affirme que ses propres estimations sont « 5-10 fois plus pessimistes » que ce que l’on voit dans les discussions publiques, tout en restant « optimiste » face aux sceptiques. Il a notamment expliqué qu’il préfere collaborer avec des modèles puissants plutot que de les affronter, en repondant a Elon Musk qui proposait un duel contre Grok 5 : « I’d much rather use and collaborate with Grok 5 than compete against it. »

Pourquoi une dizaine d’annees ?

Interrogé sur les goulots d’etranglement, Karpathy a insisté sur le fait que la difficulte n’est pas uniquement theorique mais pratique : « actually making it work! » Selon lui, les systemes actuels manquent d’intelligence suffisante, de polyvalence multimodale, de capacite d’apprentissage continu et de memoire operationnelle. Il estime que ces verrous sont surmontables mais prendront du temps – a son avis, environ dix ans – en tenant compte de son experience sur le terrain.

Les principales limites a franchir

• Capacites cognitives et multimodalite insuffisantes;
• Absence d’apprentissage continu et de memoire integrable;
• Integration hard-software et capteurs/actuateurs pour le monde physique;
• Travail d’integration, de securite et de fiabilite (jailbreaks, empoisonnement de donnees, etc.);
• Contraintes societales, legales et diffusion technologique.

L’ecart demo-produit

Karpathy rappelle son experience a la tete des efforts de conduite autonome chez Tesla (2017-2022) pour illustrer le fossé entre prototype et produit. Il parle d’un « demo-to-product gap » : ce qui fonctionne lors d’une demonstration est souvent loin d’etre robuste en production, surtout dans des contextes ou l’erreur peut etre fatale. Il note aussi la presence encore importante de tele-operateurs pour certains vehicules autonomes – le humain n’a pas disparu, il a parfois simplement ete deplace.

Eureka Labs et l’approche educative

Pour repondre aux risques d’une automation qui depasserait la comprehension humaine, Karpathy a lance en juillet 2024 Eureka Labs, une initiative d’education « AI-native ». L’objectif est de donner aux futurs ingenieurs et utilisateurs une comprehension pratique profonde des systemes, afin de rester pertinents dans un monde de plus en plus automatisé.

La premiere formation en cours de developpement comprend un cours d’introduction a l’IA, LLM101n, et un projet capstone fonde sur nanochat – une mise en oeuvre minimaliste d’un LLM publiee en octobre. Nanochat permet, selon Karpathy, de demarrer un modele sur une instance GPU cloud en quelques heures pour obtenir une interface de type ChatGPT et explorer le code complet. Le depot GitHub associe cite une phrase de Richard Feynman : « What I cannot create, I do not understand. »

Limites actuelles des outils de programmation par IA

Malgre leur progression, les outils d’aide au codage montrent encore des faiblesses : ils se basent trop sur des habitudes presentes sur Internet, produisent des protections excessives (try-catch repetitifs), utilisent des API depreciees et peinent a ecrire du code totalement nouveau. Pour Karpathy, ces limites expliquent en partie la prudence autour des calendriers d’adoption massive.

Conclusion

Karpathy se positionne comme un optimiste reserve : il pense que les problemes sont tractables et que des progres majeurs peuvent survenir, mais il rappelle l’ampleur du travail restant – technique, d’integration, et sociopolitique. Son pari est que l’education et des outils open-source minimalistes comme nanochat peuvent rapprocher la comprehension humaine de ces systemes et faciliter une transition ou les humains restent en boucle le plus longtemps possible.