KI-Musikmodelle im Elo-Vergleich: Wie verlässlich ist das neue Leaderboard wirklich?

Aktualisiert:

Ein einziger Text-Prompt reicht heute aus, um einen komplett produzierten Song aus dem Nichts zu stampfen: durchdachte Lyrics, überzeugender Gesang, komplexe Arrangements und eine Instrumentierung, die genau den Ton des jeweiligen Genres trifft. Allein in den vergangenen drei Monaten haben Flaggschiff-Modelle wie Suno v6, Lyria 3.5, Mureka V9.5, Eleven Music v2.5 und MiniMax Music 3.0 die Messlatte massiv nach oben geschraubt. Doch je besser die KI-Musik wird, desto feiner werden die Unterschiede zwischen den Modellen – und ein Ranking, das diese Nuancen nicht mehr sauber auflösen kann, verfehlt seinen Zweck. Genau deshalb hat Artificial Analysis am 8. Oktober 2026 Version 1.1 angekündigt: Das Update für die beiden Benchmarks AA-Music-Vocal und AA-Music-Instrumental, die als Bewertungsmotor hinter der Music Arena arbeiten, setzt auf 1.000 neue Prompts aus 17 Genres und das Urteil eines eigens rekrutierten Panels menschlicher Tester.

Soweit das Versprechen. Wir haben die Zahlen überprüft, uns durch die Methodik gegraben und uns angeschaut, was die wachsende Forschungsliteratur über die Verlässlichkeit von Elo-basierten Leaderboards sagt. Die Kurzfassung: Die Benchmarks sind zwar deutlich sorgfältiger konstruiert als die meisten anderen, bilden am Ende aber dennoch nur die Vorlieben eines Test-Panels ab – und keine objektive musikalische Wahrheit.

Suno v6 dominiert: Was die Zahlen wirklich zeigen

Die wichtigste Erkenntnis aus der Ankündigung vorweg: Suno v6 sichert sich in beiden Benchmarks den ersten Platz und belegt zusammen mit dem Schwestermodell jeweils die komplette Doppelspitze. Auf dem Vocal-Board liegt Suno v6 26 Elo-Punkte vor Suno v6-mini, auf dem Instrumental-Board beträgt der Vorsprung 31 Elo-Punkte. Mit Stand vom 13. Oktober 2026 führt Suno v6 das aktuelle Vocal-Leaderboard mit 1142 Elo an, gefolgt von Suno v6-mini mit 1116 und Mureka V9.5 auf Platz drei mit 1103 Punkten. Bemerkenswert ist dabei der Sprung von Mureka V9.5: Das Modell liegt satte 51 Elo-Punkte über seinem Vorgänger Mureka V9 (1052) – laut Ankündigung der bislang größte Versionssprung innerhalb derselben Modellfamilie auf dem Vocal-Board. Auf der Instrumental-Seite liegt Suno v6 mit 1140 Punkten vorn, während es auf den Plätzen 3 bis 6 extrem eng wird: Mureka V9 (1081), Mureka V9.5 (1080), Lyria 3 Pro (1078) und Lyria 3.5 (1076) liegen innerhalb einer Spanne von nur 5 Elo-Punkten. Statistisch gesehen ist das ein Unentschieden; eine belastbare Reihenfolge lässt sich für dieses Quartett daraus nicht ableiten.

Bei den Open-Weights-Modellen nennt die Ankündigung MiniMax Music 3.0 als Spitzenreiter – auf Platz 11 im Vocal- und Platz 13 im Instrumental-Ranking. Hier lohnt sich allerdings ein Blick ins Kleingedruckte: MiniMax Music 3.0 dient auf beiden Boards als Referenzpunkt, der fest auf exakt 1000 Elo verankert ist und um den herum die gesamte Skala aufgebaut wird. Stable Audio 3 Medium landet laut Ankündigung im Instrumental-Bereich innerhalb von nur 3 Elo-Punkten zu diesem Ankerwert.

Hinter diesen Platzierungen stecken zwei unscheinbare, aber folgenreiche Designentscheidungen. Erstens spiegelt die Trennung in Vocal und Instrumental eine reale Spaltung des Marktes wider: Ein Modell wird nur dann im Vocal-Benchmark gelistet, wenn es seine eigenen Texte schreibt und einsingt. Artificial Analysis gibt keine Lyrics vor – gemessen wird also das komplette Songwriting von A bis Z, nicht bloß die musikalische Begleitung. Umgekehrt taucht ein Modell, das den Gesang nicht zuverlässig unterdrücken kann, erst gar nicht auf dem Instrumental-Board auf. Zweitens werden die Ranglisten zusätzlich nach Genres aufgeschlüsselt, jeweils mit eigenem Genre-Elo. Denn wer den besten Jazz-Track generiert, liefert noch lange nicht das beste EDM-Brett.

Ein Blick unter die Haube: Wie die Punkte entstehen

Artificial Analysis dokumentiert seine Musik-Methodik ungewöhnlich detailliert – und genau diese Details machen den Benchmark so interessant. Die Bewertungen stammen aus blinden Paarvergleichen eines rekrutierten Panels. Öffentliche Besucher der Arena können zwar ebenfalls abstimmen, ihre Votes werden jedoch nur gesammelt und fließen nicht in das offizielle Rating ein. Die Panel-Mitglieder müssen sich jeden Track mindestens 10 Sekunden lang anhören, bevor eine Stimme überhaupt gezählt wird. Modellnamen und Logos bleiben bis nach der Stimmabgabe verborgen. Berechnet werden die Scores über eine Bradley-Terry-Maximum-Likelihood-Schätzung, die anschließend auf eine Elo-ähnliche Skala umgerechnet wird – inklusive eines 95-%-Konfidenzintervalls für jedes Modell (was bei der aktuellen Stichprobengröße von rund 2.000 Tracks pro Modell etwa ±15 Elo entspricht).

Auch technisch wird penibel auf Chancengleichheit geachtet. Jeder Track wird auf eine integrierte Lautheit von −16 LUFS (nach ITU-R BS.1770) mit einem True-Peak-Limit von −1 dBTP normalisiert und anschließend in eine MP3 mit 320 kbps bei 44,1 kHz umkodiert. Sämtliche Provider-Metadaten und eingebettete Coverbilder werden entfernt. Das stellt sicher, dass wirklich die musikalische Qualität bewertet wird – und nicht einfach der Anbieter gewinnt, der die lautesten Dateien ausliefert. Auch die Generierungsparameter werden über alle Modelle hinweg konstant gehalten: ein Track pro Prompt, rund drei Minuten Länge und Seed 42, sofern der Anbieter einen Seed-Parameter zulässt. Zudem betont die Organisation, keinerlei Bezahlung von den Anbietern für die Listung oder die Ergebnisse anzunehmen.

Warum trotzdem Skepsis angebracht ist

Elo-basierte Leaderboards für generative KI-Modelle haben ein gut dokumentiertes Glaubwürdigkeitsproblem – und es wäre naiv zu glauben, dass ausgerechnet Musik-Arenen dagegen immun sind. In dem Paper „The Leaderboard Illusion“ (Singh et al., 2025) untersuchten Forscher jene Chatbot-Arena, die dieses Format überhaupt erst populär gemacht hat, und stießen auf systematische Verzerrungen: Durch nicht offengelegte private Tests können einige wenige Anbieter vor dem Release etliche Modellvarianten durchspielen und am Ende nur den besten Score veröffentlichen – das Paper belegt allein 27 private Modellvarianten, die Meta vor dem Release von Llama-4 getestet hat. Zudem werden proprietäre Modelle häufiger für Vergleiche herangezogen, was die Abdeckung verzerrt. Selektive Veröffentlichung, selektives Sampling und die Möglichkeit, schwache Ergebnisse einfach zurückzuziehen, verfälschen die Zahlen. Zwar federt der Musik-Benchmark von Artificial Analysis einige dieser Probleme im Vergleich zu einer rein öffentlichen Arena ab – schließlich stammen die Stimmen von einem festen Panel statt von zufälligen Website-Besuchern, und die Generierungseinstellungen sind standardisiert. Doch die strukturellen Risiken bleiben: Auch hier können Anbieter Vorab-Varianten testen, und der Geschmack eines kleinen, rekrutierten Panels deckt sich nicht zwingend mit dem jedes einzelnen Hörers. Ein 95-%-Konfidenzintervall von ±15 Elo transparent auszuweisen ist zwar ehrlich, bedeutet im Umkehrschluss aber auch, dass rund die Hälfte der „Abstände“ innerhalb der Top 10 statistisch gar nicht aussagekräftig ist.

Hinzu kommt ein grundsätzlicherer Einwand, den auch die beste Methodik nicht aus der Welt schaffen kann: Ein Elo-Score misst, was einem Panel gefällt – und Gefallen ist nicht gleichbedeutend mit musikalischer Qualität. Ein eingängiger, solide produzierter, aber völlig konservativer Track wird bei einem gelangweilten 20-Sekunden-Hördurchgang fast immer gegen ein strukturell ambitioniertes Stück gewinnen. Dass das Benchmark-Design eigene Ranglisten für einzelne Genres ausweist, ist im Grunde ein implizites Eingeständnis dieses Problems: Der Gesamtscore ist ein Durchschnittswert über völlig verschiedene Kontexte hinweg – und echte Musikhörer konsumieren Musik nun einmal nicht im statistischen Mittel.

Fazit für die Praxis

Wer aktuell vor der Wahl einer passenden API zur Musikgenerierung steht, zieht aus dem v1.1-Update vor allem drei handfeste Vorteile. Erstens trennt der Benchmark komplettes Songwriting (Vocal) sauber von reiner Instrumental-Produktion, was in der Praxis zwei völlig unterschiedlichen Anwendungsfällen entspricht. Zweitens belegen die Zahlen zwar, dass Sunos Vorsprung an der Spitze real ist, zeigen aber ebenso deutlich, dass das Mittelfeld extrem dicht beieinanderliegt: Mureka, Lyria und MiniMax bewegen sich auf mindestens einem der Boards innerhalb ihrer gegenseitigen Konfidenzintervalle. Hier sollten also Tooling, Preis und die Integration in den eigenen Workflow den Ausschlag geben – und nicht 5 Punkte Differenz auf der Elo-Skala. Und drittens stecken die für den Alltag wirklich relevanten Antworten ohnehin in den Genre-Auswertungen. Denn die Frage nach dem „besten Modell“ ist meistens schon falsch gestellt; entscheidend ist, welches Modell in genau dem Genre abliefert, in dem man selbst arbeitet.

Ein Blick auf das Leaderboard lohnt sich also definitiv. Blind folgen sollte man ihm allerdings nicht.

Quellen