OpenAI et les nouveaux modèles : quand l'IA comprend le code que les humains ignorent

Jordan Nanos, analyste chez SemiAnalysis, a partagé une observation fascinante concernant les pratiques internes d'OpenAI. Alors qu'il examinait le cœur du code avec les ingénieurs de l'entreprise, il est apparu que ces derniers ne comprenaient pas nécessairement chaque ligne de ce qui était écrit. Et pourtant, cela n'avait aucune importance, car l'intelligence artificielle, elle, le comprenait parfaitement.

« Ce n'est pas du code poubelle puisqu'il fonctionne. Mais essentiellement, il s'agit littéralement d'assembleur généré par l'IA, simplement injecté dans Gluon — un langage de programmation bas niveau pour les cœurs qu'ils ont construit au-dessus de Triton et qui utilise un modèle de programmation très intéressant. »

Nanos précise que les ingénieurs impliqués dans cette revue possédaient une expertise solide en matière de matériel informatique et une vision claire de l'architecture système globale. Cependant, ils ignoraient précisément ce que faisait le cœur MLA (Multi-head Latent Attention) de DeepSeek qui leur était présenté.

« Vous pouvez parcourir le code ligne par ligne, et la réponse est littéralement : "Non, je ne sais pas", "Je ne sais pas". »

Mais cette lacune humaine est compensée par la capacité de l'IA :

« Cela n'a pas d'importance. L'IA comprend le code, l'IA le teste, et les résultats sont visibles. Elle génère des cœurs corrects qui fonctionnent remarquablement bien. »

Pour Jordan Nanos, cette situation marque un tournant décisif :

« Je pense que c'est un signe supplémentaire de ce qui nous attend. Le code lui-même n'a plus nécessairement besoin d'être quelque chose qu'une personne doit comprendre profondément et disséquer, si l'IA sait gérer le mouvement des données et des éléments de calcul sur le matériel que vous lui avez fourni. »