La course aux modèles de musique IA a désormais son classement Elo. Faut-il s'y fier ?

Mis à jour:

En l'espace de trois mois seulement, les modèles phares de génération musicale — Suno v6, Lyria 3.5, Mureka V9.5, Eleven Music v2.5 et MiniMax Music 3.0 — ont franchi un cap décisif : un simple prompt textuel suffit désormais à produire un morceau abouti, avec des paroles travaillées, des voix bluffantes, des arrangements riches et une instrumentation fidèle au style demandé. Face à cette montée en gamme fulgurante, les écarts entre modèles se jouent sur des détails de plus en plus fins, rendant obsolètes les outils d'évaluation trop grossiers. C'est précisément pour départager ces nuances que, le 8 octobre 2026, Artificial Analysis a lancé la version 1.1 de ses deux benchmarks maison, AA-Music-Vocal et AA-Music-Instrumental, le moteur d'évaluation derrière sa Music Arena. Au menu de cette refonte : 1 000 nouveaux prompts couvrant 17 genres musicaux, départagés par un panel d'évaluateurs humains recrutés sur mesure.

Voilà pour la promesse. Nous avons vérifié les chiffres, épluché la méthodologie et confronté la démarche à la littérature scientifique récente sur la fiabilité des classements de type Elo. En résumé : si ces benchmarks sont nettement plus rigoureux que la moyenne, ils restent le reflet des préférences d'un panel — et non un juge de paix de la valeur musicale absolue.

Ce que révèlent vraiment les classements

Premier enseignement de cette annonce : Suno v6 survole les deux tableaux. Le modèle devance Suno v6-mini de 26 points Elo sur le volet Vocal et de 31 points sur l'Instrumental, permettant à Suno de truster les deux premières marches de chaque podium. Au 13 octobre 2026, le classement vocal en direct affiche Suno v6 à 1142 Elo, Suno v6-mini à 1116, et Mureka V9.5 en troisième position à 1103. Ce dernier signe d'ailleurs un bond de 51 points par rapport à son prédécesseur Mureka V9 (1052) — la plus forte progression enregistrée entre deux générations d'une même famille sur le tableau Vocal, selon l'annonce. Côté instrumental, Suno v6 domine à 1140 Elo, tandis que les places 3 à 6 — occupées par Mureka V9 (1081), Mureka V9.5 (1080), Lyria 3 Pro (1078) et Lyria 3.5 (1076) — se tiennent dans un mouchoir de poche de 5 points Elo. Autant dire une égalité statistique qui rend impossible toute hiérarchisation sérieuse entre ces quatre modèles.

Du côté des modèles à poids ouverts (open-weights), l'annonce sacre MiniMax Music 3.0, qui pointe à la 11e place en Vocal et à la 13e en Instrumental. Un détail méthodologique a toutefois son importance : MiniMax Music 3.0 sert de point de référence, fixé arbitrairement à 1000 Elo tout rond sur les deux tableaux pour étalonner l'ensemble de l'échelle. Toujours selon l'annonce, Stable Audio 3 Medium échoue à peine à 3 points Elo de lui sur le tableau Instrumental.

Derrière ces chiffres se cachent deux choix de conception discrets mais structurants. D'abord, la séparation entre Vocal et Instrumental reflète une vraie scission du marché : pour figurer au classement vocal, un modèle doit être capable d'écrire ses propres paroles et de les chanter. Artificial Analysis ne fournit aucun texte, ce qui fait du benchmark vocal un test d'écriture et de composition de bout en bout, pas un simple exercice d'accompagnement. À l'inverse, un modèle incapable de désactiver le chant est tout bonnement exclu du classement instrumental. Ensuite, les tableaux sont déclinés par genre musical avec un score Elo spécifique, car exceller dans le jazz et briller dans l'EDM sont deux exercices bien distincts.

Dans les coulisses de la méthodologie

Fait assez rare pour être souligné, Artificial Analysis documente sa méthodologie musicale avec un niveau de détail remarquable, et c'est précisément ce qui rend ce benchmark intéressant. Les notes reposent sur des duels à l'aveugle tranchés par un panel recruté — les votes des visiteurs publics de l'arène sont bien collectés, mais totalement exclus du calcul officiel. Chaque panéliste doit écouter au moins 10 secondes de chaque piste pour que son vote soit pris en compte, tandis que les noms et logos des modèles restent masqués jusqu'à la validation. Les scores sont ensuite calculés via une estimation du maximum de vraisemblance selon le modèle de Bradley-Terry, puis ramenés sur une échelle de type Elo assortie d'un intervalle de confiance à 95 % pour chaque modèle (soit environ ±15 points Elo avec la taille d'échantillon actuelle d'environ 2 000 pistes par modèle).

La rigueur technique est tout aussi poussée sur le traitement du signal. Chaque piste est normalisée à un volume intégré de −16 LUFS (selon la norme ITU-R BS.1770) avec un plafond de crête réelle (true-peak) à −1 dBTP, avant d'être ré-encodée en MP3 320 kbps à 44,1 kHz, débarrassée de toute métadonnée ou pochette d'origine. L'objectif : éviter le piège classique où le fichier mixé le plus fort remporte le duel par simple biais psychoacoustique. Les paramètres de génération sont eux aussi figés d'un modèle à l'autre : une seule piste par prompt, une durée d'environ trois minutes, et la seed 42 lorsque le fournisseur permet de la définir. L'organisation précise également ne percevoir aucune rémunération de la part des éditeurs pour figurer au classement ou influer sur les résultats.

Pourquoi il faut garder un œil critique

Les classements Elo appliqués aux modèles génératifs souffrent d'un problème de crédibilité bien documenté, et il serait naïf de croire les arènes musicales épargnées. Dans l'étude « The Leaderboard Illusion » (Singh et al., 2025), des chercheurs ont décortiqué l'arène de chatbots qui a popularisé ce format et mis au jour des biais systématiques : des tests privés non divulgués permettent à une poignée d'acteurs d'éprouver de multiples variantes en amont pour ne publier que le meilleur score — l'article recense ainsi 27 variantes privées testées par Meta avant la sortie de Llama-4 — tandis que les modèles propriétaires bénéficient d'un taux d'échantillonnage supérieur qui fausse la couverture. Publication sélective, échantillonnage asymétrique et possibilité de retirer les mauvais résultats biaisent inévitablement la donne. Certes, le protocole d'Artificial Analysis pare à certaines de ces dérives en s'appuyant sur un panel fermé plutôt que sur des internautes tout-venant, et en standardisant les paramètres de génération. Mais les risques structurels liés aux tests pré-lancement côté fournisseurs, tout comme le biais inhérent à un petit panel recruté dont les goûts ne reflètent pas forcément ceux de chaque auditeur, ne disparaissent pas par magie. Afficher un intervalle de confiance à 95 % de ±15 Elo est une preuve d'honnêteté intellectuelle, mais cela signifie aussi qu'environ la moitié des « écarts » observés dans le top 10 sont statistiquement insignifiants.

Reste une limite plus fondamentale qu'aucune méthodologie ne saurait gommer : un score Elo mesure la préférence d'un groupe, or la préférence immédiate ne vaut pas qualité musicale. Lors d'une écoute distraite de 20 secondes, un titre accrocheur, propre et consensuel l'emportera systématiquement sur une composition structurellement ambitieuse. En publiant des sous-classements par genre, le benchmark reconnaît d'ailleurs implicitement ce biais : le score global n'est qu'une moyenne arithmétique de contextes très différents, là où personne n'écoute de la musique « en moyenne » dans la vraie vie.

Ce qu'il faut en retenir

Si vous devez choisir une API de génération musicale aujourd'hui, cette version 1.1 apporte trois éclairages très concrets. D'abord, elle distingue clairement la composition complète avec paroles (Vocal) de la pure production instrumentale, ce qui correspond à deux cas d'usage bien distincts. Ensuite, elle confirme que si l'avance de Suno est bien réelle, le ventre mou du classement est un véritable embouteillage : Mureka, Lyria et MiniMax se chevauchent dans leurs intervalles de confiance respectifs sur au moins un tableau. Entre eux, ce sont donc l'outillage, la tarification et l'intégration à votre workflow qui doivent trancher, pas un écart illusoire de 5 points Elo. Enfin, la vraie valeur pratique se niche dans les filtres par genre musical, car chercher « le meilleur modèle » dans l'absolu n'a guère de sens ; chercher « le meilleur modèle pour le style dans lequel je travaille » est la seule question qui vaille.

Bref, c'est un tableau de bord précieux à consulter, mais certainement pas un oracle à suivre aveuglément.

Sources