🎮 'Vibe coding' avec Codex

Je continue à me former à l’utilisation des outils IA (voir L’IA change mon travail et ChatGPT, dis-moi comment utiliser Copilot?). En fait, je passe tout mon temps libre à faire ça… Et le reste du temps, j’essaye de dégager du temps dans mon agenda pour me réserver des moments d’apprentissage de l’IA. Parfois je dors aussi, mais, maintenant, je rêve d’IA et je me lève à 6h du matin pour continuer!… Je deviens un peu fou…

Le dernier exemple dont j’avais parlé dans ce blog est l’amélioration du code “particle in cell (PiC)” que je développe parallèlement à mes étudiants. Pour rappel, j’avais demandé à Copilot d’ajouter un solveur “gradient conjugué” au code et il m’avait même trouvé un bug d’indices dans mon calcul de gradient de pression… c’était déjà super bluffant, mais ce n’était que le début: j’allais encore tomber plusieurs fois de ma chaise!

On s’attaque à fossils

Comme terrain de jeu suivant, je me suis attaqué à fossils, le code de simulation de morsures de dinosaures que je développe en partenariat avec les paléontologues de l’Université (voir ce post ). Les fonctionnalités du code étaient déjà très satisfaisantes mais il y avait quelques améliorations à faire pour le rendre vraiment intéressant face à l’utilisation de Metafor notre gros code élément fini (bien que fossils soit open-source et Metafor pas):

• fossils utilise Gmsh pour afficher les résultats qui n’est pas vraiment conçu pour afficher des très gros maillages (on parle de plusieurs millions de mailles). L’interface met à jour l’affichage à chaque changement d’option d’affichage et ça devient vite inutilisable.
• le post-processing de fossils (plus précisément le calcul des contraintes et des déformations une fois que le déplacement des noeuds est calculé) était assez lent. La partie “résolution éléments-finis” prenait finalement très peu de temps (quelques secondes) en comparaison aux phases de maillage, de post-traitement et d’affichage des résultats.

J’ai donc lancé GitHub Copilot dans mon VS Code et je lui ai demandé de coder une exportation VTK des résultats pour les afficher dans ParaView. Il ne s’agit plus ici de faire une modification mineure du code: il est nécessaire que Copilot comprenne toute la structure des données en mémoire et recode une exportation à partir de rien (en effet, même lui m’a immédiatement déconseillé de linker le code aux bibliothèques VTK).

Le résultat a été fabuleux 🤩, avec, une nouvelle fois une belle claque dans a figure: sans aucune intervention de ma part, il a codé immédiatement un export fonctionnel au format texte “legacy” (.vtk). Après quelques prompts, j’ai obtenu ensuite une version binaire comprimée au format XML plus moderne (.vtu). En parallèle à tout ça, il a mis en place une série de tests (il appelle ça des “smoke tests”) pour vérifier son travail. J’ai seulement dû itérer 1x avec lui pour lui transmettre une erreur qu’il avait faire dans le format le plus complexe (a posteriori, je pense que j’aurais pu plutôt lui donner accès à Paraview et lui demander de tester lui-même!). En lui donnant un simple copié/collé de l’erreur qui s’affichait dans Paraview, il a compris d’où ça venait et il a tout corrigé.

Après ce succès, je lui ai demandé d’optimiser le code. Et sans rentrer trop dans les détails:

• Il m’a parallélisé le post-traitement (calcul des contraintes et déformations). Ce n’était pas évident car ce calcul nécessite des moyennes aux nœuds qui sont partagés par plusieurs éléments finis. Il a bien sur fait ça de manière experte sans aucune section séquentielle (omp critical)!
• Il a supprimé toutes les sections critiques dans l’assemblage parallèle de la matrice de raideur. Ca c’est très fort… On ne l’a même pas fait dans Metafor. Les gains en temps de calcul sont vraiment visibles!
• Il a retravaillé la sortie Gmsh et plus précisément l’écriture des options d’affichage pour éviter que Gmsh ne soit tenté de recalculer des choses lors de la relecture des résultats. Le gain de temps est énorme (plusieurs minutes sur des très gros tests).
• Enfin, il a retravaillé la gestion mémoire du code pour utiliser partout des “smart pointers” (sans casser l’interface python du code).

Ci-dessus, Copilot lance une série de “tasks” pour réécrire toute la gestion mémoire du code et faire du propre avec des smart pointers, tout en restant compatible avec l’interface python générée par SWIG.

Je ne peux même pas estimer correctement le nombre d’heures qu’il m’aurait fallu pour faire ce travail (plusieurs semaines? plusieurs mois?). C’est de la folie! 🤪

Et surtout, tout ceci a été fait d’une seule traite, je veux dire “en une seule séance de travail”) En effet, la grosse difficulté que j’ai pour coder aujourd’hui, vu mon poste et mes obligations à l’univ, est le fait que je n’arrive pas à dégager des moments assez longs et rapprochés qui me permettent de terminer ce que j’envisage de faire. J’ai souvent quelques heures de libre devant moi et ce n’est pas suffisant pour se replonger dans un code, même “aussi petit” que fossils. Le temps que je me sente à l’aise à nouveau, je dois changer d’activité… Et donc je n’avance pas… C’est très frustant.

Ici, c’est tout l’inverse. J’ai l’impression de pouvoir à nouveau reconsidérer ma vieille “todo list” et m’attaquer à certaines tâches en quelques heures! Evidemment, le résultat n’est pas de moi, mais au moins la tâche est faite, mon esprit s’éclaircit, la frustration disparait. Et je dois dire qu’observer Codex ou Copilot travailler est vraiment intéressant. On a l’impression d’apprendre des tas de choses, tout en se permettant d’oublier des tâches un peu rébarbatives.

La fin de cette histoire est que j’ai donné le résultat aux paléontologues et qu’ils sont devenus fous eux-aussi: ils veulent maintenant utiliser fossils et non plus Metafor. C’est magnifique.

💡A partir de ce moment, je me suis dit qu’il fallait que j’arrête tout ce que je fais de non-indispensable et que je ne fasse plus qu’apprendre à utiliser ces outils! (c’est pas une blague)

• Repository de fossils

Eqnplotter - traceur de fonction par Codex

Et donc à partir de là, mon but était d’apprendre un maximum en variant les outils et en variant les projets. J’avais bien vu que le code fossils était déjà un peu gros pour apprendre à utiliser un agent IA: il y a beaucoup de choses dans le repo: un code C++, une interface python, de l’intégration continue, des données (des maillages de dinos), les tests du code C++, les tests du modèle biomécanique, … et même des fichiers qui ne servent à rien (le modèle équivalent Metafor et des fichiers matlab dont je me suis inspiré pour le code). Malgré tout j’y étais arrivé précédemment, mais je voyais bien que j’avais du mal à guider l’IA.

Je me suis dit: “Pourquoi ne pas démarrer sur un projet vide et construire incrémentalement l’environnement IA à partir de rien”? Et pour ce faire, j’appliquerais bien sûr la technique que j’ai apprise à mes cours d’IA: si tu ne sais pas comment faire, demande à une (autre) IA!

J’ai donc demandé à ChatGPT de me coacher dans mon apprentissage du “vibe-coding” (parce que c’est bien de ça qu’on parle finalement - moi, je ne suis pas gêné de le dire, étant confiant dans mes capacités de “codage sans IA”).

Comme outil, je me suis tourné sur Codex au lieu de Copilot. J’ai un abonnement Codex dans mon abonnement Pro à ChatGPT et je ne l’ai pour ainsi dire quasiment jamais utilisé.

Et comme projet, pourquoi ne pas faire ce que je faisais chaque fois que j’apprenais un nouveau langage quand j’étais petit (BASIC, AMOS, C, C++, python)? Un traceur de fonctions! Ca me plonge dans une ambiance “nostalgie” très agréable.

Donc “ChatGPT, je veux créer une application graphique en python, basé sur PyQt qui va me permettre de tracer des fonctions ; j’aimerais profiter de ce projet pour apprendre à utiliser Codex et j’aimerais donc que tu me guides dans les interactions que je vais avoir avec Codex, l’outil IA que j’ai choisi pour effectuer le travail”… Et hop, c’est parti! J’ai un expert Codex à mes cotés pour apprendre à utiliser cet outil!

Je vais passer tous les détails de la conception de cette application sur laquelle j’ai travaillé (je devrais dire: Codex, ChatGPT et moi avons travaillé…) toute la journée du vendredi.

Ma réaction: “Mais c’est de la folie!”… Et, en plus, cette capture ne reflète pas l’interactivité qu’on peut avoir avec la fenêtre graphique (zoom / pan).

L’application créée est incroyable et 10x au dessus de mes espérances. Evidemment, il y a eu beaucoup d’itérations pour guider le développement, mais je me suis forcé à ne pas regarder en détail le code généré avant la fin. Du vrai vibe-coding!

Je me suis attardé à la création d’un installeur via PyInstaller et Inno Setup. Ceci pour “préparer” un travail similaire dans un futur proche sur fossils. Codex m’a tout créé correctement. J’ai donc un installeur windows fonctionnel avec les icones qui vont bien (un problème que je n’avais pas pu résoudre dans fossils où l’icone du programme n’apparaissait pas dans la liste des programmes installés sur la machine).

In-croy-able! Faut-il dire que je n’ai pas dormi entre le vendredi et le samedi…

Voici le repo sur Github: rboman/eqnplot

Minestorm - un jeu retro C++ publié sur le web

Samedi matin, je me lance dans un nouveau projet avec la contrainte arbitraire de le terminer le jour même. La seule chose qui peut me ralentir ce sont mes idées: elles se bousculent dans ma tête qui va exploser! 🤯 Restons calme….inspire, expire…

Bon, le samedi je code un jeu avec Codex. On va faire du C++ cette fois. Et ce sera un jeu qui utilise PixelGameEngine (ou “PGE” en version courte), la bibliothèque minimaliste que j’essaye d’apprendre lors de mes temps libres. C’est une bibliothèque qui a du succès mais qui reste tout de même assez confidentielle. C’est vraiment du bas niveau: elle permet de tracer des pixels un peu de texte, des images et c’est à peu près tout. J’ai d’ailleurs fait plusieurs fois des recherches sur le web pour analyser des projets qui auraient pu me servir d’exemples pour apprendre à mieux utiliser la bibliothèque mais il y en a très peu… ou, du mois, j’en ai trouvé très peu. Spoiler: en fait, ça ne va pas être un problème parce que Codex va lire tout le code source de PGE (qui tient dans 1 seul fichier) et va en déduire comment l’utiliser tout seul! C’était donc inutile de se tracasser…

Quel type de jeu? Un jeu auquel j’aurais un peu envie de jouer et qui reste simple et qui ne nécessite pas d’assets ni de scrolling compliqué (on programme ça pour le prochain projet!)… En fouillant dans ma mémoire, j’ai pensé à Mine Storm, le jeu hardcodé dans la console retro “Vectrex” (le jeu démarrait quand on n’insérait pas de cartouche). Dans ce jeu, une fusée dépose des mines sur l’écran en début de niveau et on doit les détruire avec un petit vaisseau spatial. Les mines bougent et se fragmentent en débris qui bougent plus vite quand on les touche avec nos missiles.

Allez hop, même procédure: “ChatGPT, génère moi le prompt Codex qui va bien pour démarrer ce genre de jeu” (après un petit brainstorming sur le projet voulu); et c’est parti.

Là, à nouveau, en quelques minutes, un jeu fonctionnel est généré. Le reste de la journée n’est finalement que du polish autour de cette base. Tout au long de la journée, j’ai donc dépensé mes crédits Codex jusqu’à les épuiser à 0% avant la limite de temps où ils se rechargent (1h plus tard - ça n’aurait donc pas été un problème de continuer le jour-même en faisant juste une petite pause)!

Le résultat est à nouveau magnifique. J’ai pu ajouter de la musique, des bruitages, des effets spéciaux (particules, powerups - armes spéciales), des écrans de configuration, de démarrage, de game-over, …

Ca allait tellement vite qu’au milieu de l’après-midi, je me suis dit que j’allais lui demander de compiler le projet en WebAssembly et le publier sur le web sur GitHub Pages. Pour l’aider (était-ce utile? - je n’en sais rien), je lui ai donné le projet démo PGE+webassembly que j’avais créé pour mes cours git (relire mon ancien post), en lui donnant la consigne de transposer le pipeline “GitLab CI” en “Github actions”… Faut-il dire que ça a été tout seul? Et oui, c’est fou… 🤪

Ca donne ça: Minestorm (déployé sur Github Pages)

Ci dessous la petite video de gameplay faite pour itch.io

En postant le lien du jeu en ligne à l’auteur de la musique que j’avais prise sur le web sur OpenGameArt.org, j’ai vu que d’autres personnes le remerciait aussi en lui donnant un lien vers une page itch.io. Il me restait encore un peu de temps pour publier mon jeu sur cette plateforme (et tant pis pour la cuisson de mes légumes de la semaine, je ferais ça le lendemain). Le résultat est magnifique (je me répète, je sais):

Voici le lien itch.io : Minestorm by rboman

Il ne restait plus qu’à en faire la promo. J’ai donc posté le lien partout (X, Mastodon, Bluesky, Threads, Facebook et LinkedIn). Et c’est le post LinkedIn qui aura le plus de succès!

La suite de mes aventures très bientôt!