Anche i modelli musicali AI ora hanno una classifica Elo: c'è da fidarsi?

Aggiornato:

Negli ultimi tre mesi la generazione musicale tramite AI ha fatto un balzo di qualità enorme: modelli di punta come Suno v6, Lyria 3.5, Mureka V9.5, Eleven Music v2.5 e MiniMax Music 3.0 riescono ormai a tirare fuori un brano completo partendo da un singolo prompt testuale, con testi articolati, voci credibili, arrangiamenti complessi e strumentazione fedele al genere. Più il livello sale, più le differenze tra un modello e l'altro si fanno sottili, e una classifica incapace di coglierle smette di fare il suo lavoro. È proprio per questo che l'8 ottobre 2026 Artificial Analysis ha presentato la versione 1.1 dei suoi due benchmark musicali, AA-Music-Vocal e AA-Music-Instrumental — il motore di valutazione dietro la sua Music Arena — costruito su 1.000 nuovi prompt distribuiti su 17 generi e affidato al giudizio di un panel selezionato di valutatori umani.

Questa, almeno, è la premessa ufficiale. Noi siamo andati a verificare i numeri, abbiamo spulciato la metodologia e abbiamo incrociato il tutto con la letteratura scientifica sempre più nutrita sull'affidabilità delle classifiche basate su punteggio Elo. In sintesi: questi benchmark sono più rigorosi della media, ma restano pur sempre la fotografia dei gusti di un panel, non una verità assoluta sulla qualità musicale.

Cosa dicono davvero le classifiche

Il dato principale dell'annuncio è il dominio di Suno v6, primo in entrambi i benchmark davanti a Suno v6-mini con un margine di 26 punti Elo nella classifica Vocal e 31 in quella Instrumental: i primi due gradini del podio, su tutti e due i fronti, sono insomma targati Suno. Al 13 ottobre 2026, la classifica live dei brani cantati vede Suno v6 a 1142 Elo, Suno v6-mini a 1116 e Mureka V9.5 al terzo posto con 1103 — un balzo di ben 51 punti Elo rispetto al predecessore Mureka V9 (1052), segnalato nell'annuncio come il più grande salto generazionale mai registrato all'interno della stessa famiglia di modelli sulla tabella Vocal. Sul versante strumentale, Suno v6 guida a quota 1140, mentre tra la terza e la sesta posizione — Mureka V9 (1081), Mureka V9.5 (1080), Lyria 3 Pro (1078) e Lyria 3.5 (1076) — c'è un pareggio statistico racchiuso in appena 5 punti Elo: in pratica, non c'è alcuna base solida per stabilire chi tra questi quattro sia davvero superiore agli altri.

Tra i modelli open-weights, l'annuncio incorona MiniMax Music 3.0, undicesimo nella classifica Vocal e tredicesimo in quella Instrumental. Qui però bisogna leggere le note in piccolo: MiniMax Music 3.0 è il punto di riferimento fissato esattamente a 1000 Elo su entrambe le tabelle, l'ancora attorno a cui è costruita l'intera scala. Nella classifica strumentale, sempre secondo l'annuncio, Stable Audio 3 Medium gli finisce a non più di 3 punti Elo di distanza.

Dietro questi numeri si nascondono due scelte progettuali poco appariscenti ma decisive. La prima è che la divisione tra Vocal e Instrumental riflette una spaccatura reale del mercato: un modello entra nella classifica cantata solo se scrive da sé il testo e lo canta — Artificial Analysis non fornisce testi, quindi il benchmark vocale misura la scrittura della canzone end-to-end, non il semplice accompagnamento. Al contrario, un modello incapace di escludere la voce non compare affatto nella classifica strumentale. La seconda scelta è lo scorporo delle classifiche per singolo genere, ciascuno con il proprio Elo dedicato, perché chiedere quale sia il modello «migliore nel jazz» e quale il «migliore nell'EDM» significa porre due domande completamente diverse.

Come funziona la valutazione dietro le quinte

Artificial Analysis pubblica la propria metodologia musicale con un livello di dettaglio raro, ed è proprio lì che il benchmark si fa interessante. I punteggi derivano da confronti diretti alla cieca votati da un panel reclutato appositamente, e mai dai visitatori pubblici dell'arena, i cui voti vengono sì raccolti ma tenuti fuori dal calcolo del rating. I membri del panel devono ascoltare almeno 10 secondi di ciascuna traccia prima che il voto venga registrato, mentre nomi e loghi dei modelli restano nascosti fino all'invio della preferenza. I punteggi vengono poi calcolati con una stima di massima verosimiglianza secondo il modello di Bradley-Terry, riscalati su un intervallo analogo all'Elo e accompagnati per ogni modello da un intervallo di confidenza al 95% (pari a circa ±15 punti Elo con le dimensioni attuali del campione, intorno alle 2.000 tracce per modello).

Altrettanto scrupolosa è l'igiene ingegneristica. Ogni traccia viene normalizzata a un loudness integrato di −16 LUFS (secondo lo standard ITU-R BS.1770) con un tetto di true-peak a −1 dBTP, per poi essere ricodificata in MP3 a 320 kbps e 44,1 kHz, ripulita dai metadati del fornitore e dalle copertine incorporate: in questo modo il voto premia la resa musicale e non chi esporta file a volume più alto. Anche i parametri di generazione vengono mantenuti costanti tra tutti i modelli: una traccia per prompt, durata di circa tre minuti e seed impostato a 42 laddove il provider lo renda configurabile. L'organizzazione dichiara inoltre di non ricevere alcun compenso dai fornitori per l'inserimento in classifica o per i risultati ottenuti.

Perché un po' di scetticismo è d'obbligo

Le classifiche in stile Elo applicate ai modelli generativi hanno un problema di credibilità ben documentato, e sarebbe ingenuo pensare che le arene musicali ne siano immuni. Nello studio «The Leaderboard Illusion» (Singh et al., 2025), i ricercatori che hanno analizzato la celebre arena per chatbot che ha reso popolare questo formato hanno individuato distorsioni sistematiche: test privati non dichiarati permettono a una manciata di provider di provare molte varianti prima del rilascio e pubblicare solo il punteggio migliore — il paper documenta ben 27 varianti private testate da Meta prima del lancio di Llama-4 — mentre i modelli proprietari vengono campionati con frequenze più elevate, falsando la copertura. Divulgazione selettiva, campionamento selettivo e possibilità di ritirare i risultati deludenti finiscono tutti per inquinare i numeri. Il benchmark musicale di Artificial Analysis si distingue da un'arena puramente pubblica per diversi aspetti che attenuano parte del problema — i voti arrivano da un panel reclutato e non da chiunque passi di lì, e i parametri di generazione sono standardizzati — ma non spariscono né i rischi strutturali legati ai test pre-rilascio lato provider, né il limite di un piccolo panel reclutato i cui gusti potrebbero non coincidere con quelli del singolo ascoltatore. Dichiarare un intervallo di confidenza al 95% di ±15 Elo è un segno di onestà, ma significa anche che circa metà dei «distacchi» nella top ten non ha rilevanza statistica.

C'è poi un'obiezione più profonda che nessuna metodologia può risolvere: un punteggio Elo misura ciò che piace a un panel, e la preferenza non coincide con il valore musicale. Un brano orecchiabile, ben confezionato e conservativo batterà sempre un pezzo strutturalmente ambizioso durante un ascolto distratto di 20 secondi. Lo stesso impianto del benchmark lo ammette implicitamente pubblicando le classifiche separate per genere: il dato aggregato è la media di contesti diversi che nessun ascoltatore reale vive mai come una media.

Cosa portarsi a casa

Per chi deve scegliere un'API di generazione musicale, il rilascio della versione 1.1 è concretamente utile sotto tre profili. Primo: separa la scrittura completa di canzoni (Vocal) dalla produzione strumentale, ricalcando due mestieri ben distinti. Secondo: mette nero su bianco che il vantaggio di Suno è reale, ma che a metà classifica regna il caos — Mureka, Lyria e MiniMax ricadono tutti negli intervalli di confidenza reciproci su almeno una delle due tabelle, quindi a far pendere la bilancia devono essere strumenti, prezzi e flusso di lavoro, non certo uno scarto di 5 punti Elo. Terzo: le risposte davvero utili sul piano pratico stanno negli spaccati per genere, perché chiedersi quale sia il «modello migliore in assoluto» è quasi sempre la domanda sbagliata; quella giusta è quale sia il migliore per il genere su cui si lavora.

Insomma, è una classifica che vale la pena consultare, ma non prendere come oro colato.

Fonti