La carrera de la música por IA ya tiene su ranking Elo. ¿Hasta qué punto es fiable?

Actualizado:

En apenas tres meses, la generación musical por IA dio un salto descomunal. Lanzamientos estrella como Suno v6, Lyria 3.5, Mureka V9.5, Eleven Music v2.5 y MiniMax Music 3.0 han llegado a un punto en el que un simple prompt de texto basta para producir una canción completa: letras elaboradas, voces convincentes, arreglos complejos e instrumentación fiel a cada género. Cuando el nivel general sube tan rápido, las diferencias entre modelos se vuelven mucho más sutiles, y un ranking incapaz de captar esos matices deja de hacer su trabajo. Precisamente por eso, el 8 de octubre de 2026 Artificial Analysis anunció la versión 1.1 de sus dos benchmarks de generación musical, AA-Music-Vocal y AA-Music-Instrumental, el motor de puntuación detrás de su Music Arena. La actualización se apoya en 1.000 nuevos prompts repartidos en 17 géneros, valorados por un panel seleccionado de evaluadores humanos.

Esa es la premisa oficial. Nosotros hemos comprobado las cifras, destripado la metodología y revisado la creciente literatura científica sobre si realmente nos podemos fiar de los rankings basados en puntuación Elo. El resumen rápido: estos benchmarks son más rigurosos que la mayoría, pero no dejan de ser un mapa de las preferencias de un panel concreto, no una verdad musical absoluta.

Qué dicen realmente las tablas clasificatorias

El gran titular del anuncio es el dominio de Suno v6, que lidera ambos rankings por delante de Suno v6-mini con una ventaja de 26 puntos Elo en la tabla Vocal y 31 puntos en la Instrumental, asegurando el doblete de Suno en las dos categorías. A fecha de 13 de octubre de 2026, la clasificación vocal en vivo sitúa a Suno v6 en 1142 puntos Elo, seguido de Suno v6-mini con 1116 y Mureka V9.5 en tercer lugar con 1103. Este último saca 51 puntos Elo a su predecesor, Mureka V9 (1052), lo que según el anuncio supone el mayor salto registrado entre dos versiones de una misma familia de modelos en la tabla Vocal. En el apartado instrumental, Suno v6 encabeza la lista con 1140 puntos, mientras que entre el tercer y el sexto puesto —Mureka V9 (1081), Mureka V9.5 (1080), Lyria 3 Pro (1078) y Lyria 3.5 (1076)— hay un empate técnico en un margen de apenas 5 puntos Elo, lo que impide ordenar esos cuatro modelos entre sí con un mínimo de fiabilidad estadística.

Entre los modelos de pesos abiertos (open-weights), el comunicado corona a MiniMax Music 3.0 como líder, ocupando el puesto #11 en Vocal y el #13 en Instrumental. Eso sí, aquí la letra pequeña importa: MiniMax Music 3.0 actúa como el punto de referencia fijado exactamente en 1000 puntos Elo en ambas tablas, el ancla sobre la que se construye toda la escala. Según el anuncio, Stable Audio 3 Medium se queda a tan solo 3 puntos Elo de distancia en la categoría Instrumental.

Detrás de estas clasificaciones se esconden dos decisiones de diseño discretas pero determinantes. La primera es que la división entre Vocal e Instrumental refleja una bifurcación real del mercado: un modelo solo entra en el ranking vocal si es capaz de escribir su propia letra y cantarla. Como Artificial Analysis no proporciona letras en el prompt, esta prueba mide la composición integral de principio a fin, no el simple acompañamiento. Del mismo modo, un modelo que no permita suprimir las voces queda directamente fuera de la tabla instrumental. La segunda decisión es desglosar también los rankings por géneros musicales mediante puntuaciones Elo específicas, asumiendo que «el mejor en jazz» y «el mejor en EDM» son preguntas completamente distintas.

Cómo se cocinan las puntuaciones por dentro

Artificial Analysis publica su metodología musical con un nivel de detalle poco habitual, y es justo ahí donde el benchmark se vuelve interesante. Las calificaciones salen de enfrentamientos directos a ciegas votados por un panel contratado ex profeso; jamás se mezclan con los votos de los visitantes públicos de la arena, que se recogen pero quedan excluidos del cálculo oficial. Los evaluadores están obligados a escuchar al menos 10 segundos de cada pista antes de que el sistema les permita votar, y tanto los nombres de los modelos como sus logotipos permanecen ocultos hasta después de emitir el veredicto. Las puntuaciones se calculan mediante estimación de máxima verosimilitud de Bradley-Terry y se reescalan a un rango tipo Elo, acompañando a cada modelo con un intervalo de confianza del 95% (que ronda los ±15 puntos Elo con el tamaño de muestra actual, de unas 2.000 pistas por modelo).

La higiene técnica en el procesado de audio es igual de estricta. Todas las pistas se normalizan a una sonoridad integrada de −16 LUFS (según el estándar ITU-R BS.1770) con un techo de pico real (true-peak) de −1 dBTP. Después se recodifican a MP3 de 320 kbps y 44.1 kHz, eliminando por completo los metadatos del proveedor y las carátulas incrustadas. De esta forma se garantiza que el voto premie la calidad musical y no al proveedor que entregue el archivo con más volumen. Los parámetros de generación también se mantienen constantes entre competidores: una pista por prompt, de unos tres minutos de duración y usando la semilla (seed) 42 siempre que la plataforma permita fijarla. Además, la organización declara que no recibe compensación económica alguna de los proveedores por aparecer en las listas ni por los resultados obtenidos.

Motivos para mantener el escepticismo

Los rankings tipo Elo aplicados a modelos generativos arrastran problemas de credibilidad bien documentados, y sería ingenuo pensar que las arenas musicales son inmunes a ellos. En el estudio «The Leaderboard Illusion» (Singh et al., 2025), los investigadores que analizaron la arena de chatbots que popularizó este formato detectaron distorsiones sistemáticas: las pruebas privadas no declaradas permiten a un puñado de proveedores evaluar multitud de variantes antes del lanzamiento y publicar únicamente la mejor puntuación (el artículo documenta hasta 27 variantes privadas probadas por Meta antes de lanzar Llama-4), a lo que se suma que los modelos propietarios se muestrean con mayor frecuencia, sesgando la cobertura. La publicación selectiva, el muestreo desigual y la posibilidad de retirar resultados flojos alteran inevitablemente los números. Es cierto que el benchmark musical de Artificial Analysis corrige parte de estos vicios frente a una arena pública abierta —los votos proceden de un panel controlado y no de cualquiera que pase por la web, además de estandarizar los ajustes de generación—, pero los riesgos estructurales no desaparecen del todo: los proveedores pueden seguir probando variantes previas al lanzamiento, y los gustos de un panel reducido no tienen por qué coincidir con los de cualquier oyente. Mostrar un intervalo de confianza del 95% de ±15 puntos Elo es un ejercicio de honestidad, pero también implica que aproximadamente la mitad de las «brechas» dentro del top diez carecen de relevancia estadística.

A esto se suma una objeción de fondo que ninguna metodología puede resolver: un marcador Elo mide lo que prefiere un panel, y la preferencia no equivale al mérito musical. En una escucha rápida y rutinaria de 20 segundos, una pista pegadiza, correcta y conservadora casi siempre ganará a otra con una estructura más ambiciosa. El propio diseño del benchmark lo admite implícitamente al publicar tablas separadas por géneros: la clasificación general no deja de ser un promedio de contextos que ningún oyente real consume como una media.

Con qué quedarse a la hora de elegir modelo

Para quien esté evaluando qué API de generación musical integrar, el lanzamiento de esta versión 1.1 resulta verdaderamente útil en tres frentes. Primero, porque separa la composición completa con voz (Vocal) de la producción puramente instrumental, dos tareas que responden a necesidades muy distintas. Segundo, porque pone cifras a una realidad práctica: la ventaja de Suno es sólida, pero la zona media de la tabla es un pañuelo; Mureka, Lyria y MiniMax se solapan dentro de sus respectivos intervalos de confianza en al menos una de las listas, por lo que la decisión de compra debería basarse en las herramientas disponibles, el precio y el flujo de trabajo, nunca en una diferencia de 5 puntos Elo. Y tercero, porque las respuestas con valor práctico real están en los desgloses por estilo: preguntarse cuál es «el mejor modelo» suele ser un error; la pregunta correcta es cuál rinde mejor en el género concreto en el que trabajas.

Merece la pena consultar el marcador, pero no obedecerlo a ciegas.

Fuentes