Partitions en texte brut : ce que le juke-box pirate de Claude révèle sur la composition par LLM

Mis à jour:

Six mélodies dignes des grands jeux d'aventure tournent en boucle dans un onglet web, sans le moindre échantillon audio enregistré. En coulisses, chaque piste n'est qu'un simple fichier texte brut, interprété note par note par un moteur de synthèse Web Audio minimaliste. Et le plus fascinant, c'est qu'un modèle de langage a généré à la fois les partitions et le synthétiseur.

Cette expérience est l'œuvre du développeur Simon Willison. Le 6 octobre 2026, il soumet un défi en trois volets à Claude Opus 5.5 : concevoir un format texte lisible pour coder de la musique de jeu vidéo, développer le lecteur audio correspondant et composer quelques morceaux de démonstration. En guise de référence esthétique, il fixe la barre haut : la bande-son culte du premier The Secret of Monkey Island. Le projet qui en ressort s'appelle Scrimshaw Jukebox. Willison admet que le modèle s'est « bien plus imprégné de l'ambiance de Monkey Island » que prévu, tout en jugeant le résultat « étonnamment bon ».

Une simple démonstration ne constitue évidemment pas une preuve scientifique, et Willison est le premier à le reconnaître. Pour autant, l'architecture même de ce projet en dit long sur la façon dont les modèles textuels appréhendent la composition musicale, tout en mettant en lumière ce qui reste encore à élucider.

Les rouages du format imaginé par Claude

L'aspect le plus stimulant réside dans le format lui-même, entièrement documenté sur la page de l'outil.

  • Le rythme comme simple arithmétique. Chaque mesure est découpée en un nombre fixe de pas (steps). Une note comme D5 occupe un pas, et chaque tiret consécutif en rajoute un : ainsi, D5--- dure quatre pas. Un point représente un pas de silence.
  • La métrique définie par deux valeurs. Configurer beats 4 et steps 4 produit un 4/4 découpé en doubles-croches. Un duo beats 2 / steps 3 donne une gigue en 6/8, tandis que beats 3 / steps 2 engendre une valse. Un paramètre swing permet en outre de décaler un pas sur deux.
  • L'harmonie en clair. Le format gère les symboles d'accords textuels, comme [Dm7] ou [C/E], dont le voicing s'adapte automatiquement selon le registre assigné à chaque voix.
  • Des grilles de percussion visuelles. La piste rythmique fonctionne avec un caractère par subdivision, par exemple x... ..x., où x marque une frappe et o une ghost note.
  • Une structure modulaire et explicite. La partition articule différents motifs (blocs de mesures), une directive play pour l'introduction et une commande loop pour la section répétée « comme dans tout bon jeu vidéo ». Un raccourci tel que B*2 répète un motif, tandis que A+2 le transpose un ton plus haut.

Côté restitution, le lecteur intègre 65 instruments synthétisés, allant du steel drum et du marimba au clavecin, au tuba, aux chœurs et aux petites percussions. Chaque piste s'affiche sous forme de piano roll, avec la possibilité de muter des voix individuelles. Libre à chacun de modifier la partition en direct dans la fenêtre pour entendre immédiatement le résultat.

Scrimshaw Jukebox: a pixel-art night harbor above a six-track list and a piano-roll view of "Moonlit Harbor", a 16-voice calypso at 100 bpm

L'interface de Scrimshaw Jukebox. Le morceau sélectionné, « Moonlit Harbor », est décrit comme « un calypso pour cité portuaire à la nuit tombée », arrangé à 100 bpm sur 16 pistes. Capture d'écran : Simon Willison.

Les six compositions explorent des cadences et des signatures variées : « Moonlit Harbor » bat la mesure à 100 bpm en 4/4, « The Rusty Anchor » se balance en 6/8, « The Ghost Galleon » avance au pas lent de 66 bpm, « Duel on the Docks » s'emballe à 152 bpm, tandis que « Lantern Waltz » tourne en 3/4.

La page propose également un prompt prêt à l'emploi permettant d'enseigner ce formalisme à n'importe quel LLM. La consigne insiste d'emblée sur l'écueil principal : « l'erreur la plus fréquente consiste à mal compter les pas d'une mesure, alors comptez-les tous ». L'éditeur surligne en temps réel les mesures asymétriques ; il suffit ensuite de copier ces avertissements dans le prompt pour que le modèle corrige sa copie. Écrire de la musique ressemble alors furieusement au développement assisté par IA, articulé autour d'une boucle compilation-débogage.

Pourquoi la notation symbolique convient si bien aux LLM

Faire composer une IA par le biais de la notation symbolique plutôt qu'en générant du flux audio brut n'a rien d'inédit. En février 2024, une équipe de 35 chercheurs dévoilait ChatMusician. En reprenant la base de LLaMA2 pour lui appliquer un pré-entraînement et un réglage fin axés sur la notation ABC — un format textuel traditionnel de transcription —, ils ont traité la musique comme « une seconde langue ». D'après leurs conclusions, le modèle composait des morceaux complets et structurés surpassant le niveau de GPT-4, sans que ses capacités linguistiques générales n'en souffrent.

Scrimshaw repose sur le même principe, à une nuance près. Là où ChatMusician a exigé un corpus d'entraînement dédié et un finetuning lourd, Claude, modèle généraliste, a conçu sa propre notation sur demande, codé le moteur de lecture et composé des morceaux originaux au cours d'un unique échange. Mon sentiment — qui relève de l'hypothèse et non d'une métrique formelle — est que la force du modèle réside avant tout dans sa vision d'ingénierie logicielle. Il a forgé un système où le rythme se réduit à du calcul arithmétique et où l'architecture du morceau saute aux yeux sur la page.

Une approche qui résonne d'ailleurs avec les origines du genre. En 1990, la bande originale de Monkey Island n'était pas un enregistrement sonore figé, mais une suite d'instructions MIDI restituée par la carte son de chaque joueur. Comme le rappelle l'historique de la saga publié par The International House of Mojo, le compositeur Michael Land jugeait alors « impossible de synchroniser correctement la musique avec les actions du joueur » sur le premier opus. Il s'est donc associé à Peter McConnell pour concevoir le moteur interactif iMUSE sur Monkey Island 2. En distinguant une introduction unique d'une boucle cyclique, Scrimshaw renoue directement avec cette tradition d'une musique conçue sous forme d'instructions exécutables.

Une véritable rupture technique ?

Willison se demande si cette aptitude musicale naissante ne suit pas la trajectoire de la génération 3D : une compétence que les modèles textuels n'ont maîtrisée que ces tout derniers mois. Ses propres archives en témoignent. En septembre 2026, il racontait comment GPT-6 Astra, exécuté dans Codex, avait mis 17 minutes et 51 secondes pour modéliser sous Blender un œuf façon Fabergé à partir d'une simple image de référence. En novembre 2025, une autre expérimentation demandait à des modèles de générer une scène POV-Ray montrant un pélican à vélo : « la plupart fournissaient un script qui refusait tout bonnement de se compiler ».

Les faits incitent toutefois à nuancer l'affirmation selon laquelle « les modèles savent désormais composer » :

  • La composition symbolique par LLM ne date pas d'hier. Dès 2024, ChatMusician obtenait des résultats concluants, même s'il fallait pour cela passer par un entraînement dédié.
  • La vraie nouveauté réside dans l'absence d'aide externe. Ici, un modèle générique sans le moindre fine-tuning a inventé un format viable, programmé son moteur de synthèse et composé des pièces stylistiquement cohérentes. Les générations précédentes de modèles en étaient-elles capables ? C'est toute la question soulevée par Willison, qui souligne qu'il faudrait « mener des tests rigoureux sur d'autres modèles, récents comme plus anciens » pour trancher.

Les limites de l'exercice et les raisons de rester prudent

Un cas isolé pour un seul auditeur. Trouver le résultat « étonnamment bon » traduit une impression enthousiaste, pas une mesure scientifique. Aucun banc d'essai public n'évalue aujourd'hui ce genre de composition symbolique textuelle. Les classements de référence, tels que AA-Music-Instrumental et AA-Music-Vocal v1.1 d'Artificial Analysis, comparent des modèles générant directement du signal audio via des tests à l'aveugle par paires menés auprès d'un panel. Ils ne sont nullement taillés pour juger un modèle de chat qui pond du code de synthétiseur.

Une propension naturelle au pastiche. Quand on lui demande d'égaler la qualité de Monkey Island, Claude verse spontanément dans son style : ambiance de flibuste, pontons de port, rythmes calypso et galion fantôme. Certes, il s'agit d'un projet récréatif aux mélodies originales, sans plagiat manifeste des thèmes officiels. Mais cette tendance au pastiche soulève des questions bien réelles pour l'industrie musicale, déjà confrontée à l'imitation industrielle. Selon le Financial Times, relayé par IT Home, Sony Music déclarait avoir réclamé le retrait de plus de 260 000 morceaux générés par IA usurpant l'identité de ses artistes fin septembre, contre environ 135 000 fin mars. Évoquer les codes d'un jeu rétro n'équivaut certes pas à cloner un chanteur célèbre, mais le réflexe de départ reste identique : « fais comme tel artiste ».

Un plafond imposé par la synthèse. Un synthétiseur web articulé autour de 65 instruments préconfigurés évoque avec charme les cartes son des années 1990, mais ne rivalise ni avec un vrai travail d'orchestration ni avec une production studio. Mettre ce rendu en concurrence avec des générateurs audio du calibre de Suno serait hors sujet : l'intérêt de la démarche réside dans le fait que la partition reste légère, auditable et modifiable à la main, non dans son hyperréalisme acoustique.

Comment départager l'illusion de la véritable compétence

Le protocole suggéré par Willison s'avère limpide à mettre en œuvre : soumettre le prompt de Scrimshaw, sans modification, à plusieurs générations de modèles. Mesurer le nombre de mesures rejetées par l'analyseur syntaxique. Puis soumettre les morceaux valides à un panel en aveugle, via des duels comparatifs calqués sur la méthodologie d'Artificial Analysis. Si les anciens modèles ne génèrent que des suites de notes sans queue ni tête tandis que les plus récents construisent des motifs cohérents et architecturés, l'intuition de Willison d'une capacité émergente sera confortée. Dans le cas contraire, le tour de force résidera surtout dans l'ergonomie du format et de l'outillage, plutôt que dans un bond des compétences musicales pures.

En attendant, ce Juke-box s'impose surtout comme une brillante démonstration de la composition musicale envisagée comme du code : du texte brut en entrée, de la musique jouable en sortie, et des bugs que l'on peut corriger à la main.

Sources