A corrida das IAs de música agora tem um placar Elo. Dá para confiar?

Atualizado:

A geração de música por IA evoluiu tão rápido que os rankings tradicionais já estavam ficando para trás. Só nos últimos três meses, uma leva de lançamentos de peso — Suno v6, Lyria 3.5, Mureka V9.5, Eleven Music v2.5 e MiniMax Music 3.0 — chegou ao ponto de transformar um simples comando de texto em uma música pronta: letras elaboradas, vocais convincentes, arranjos complexos e instrumentação fiel a cada estilo. Quando todo mundo fica bom, as diferenças entre os modelos se tornam sutis, e um placar que não consegue enxergar essas nuances perde a utilidade. Foi exatamente para resolver isso que, em 8 de outubro de 2026, a Artificial Analysis anunciou a versão 1.1 dos seus dois benchmarks de geração musical, o AA-Music-Vocal e o AA-Music-Instrumental — o motor de avaliação por trás da sua Music Arena. A atualização traz uma bateria de 1.000 novos prompts divididos em 17 gêneros musicais, todos avaliados por um painel recrutado de ouvintes humanos.

Essa, pelo menos, é a promessa. Nós conferimos os números, dissecamos a metodologia e revisamos a literatura científica mais recente sobre a real confiabilidade de rankings baseados no sistema Elo. O resumo da ópera: esses benchmarks são muito mais criteriosos que a média do mercado, mas continuam sendo um retrato do gosto de um painel — e não uma verdade musical absoluta.

O que os rankings mostram na prática

O grande destaque do anúncio é a liderança isolada do Suno v6 nas duas categorias. Ele abre 26 pontos Elo de vantagem sobre o Suno v6-mini na tabela Vocal e 31 pontos na Instrumental, garantindo uma dobradinha da Suno no topo de ambas as listas. Em 13 de outubro de 2026, o ranking ao vivo de música vocal registrava o Suno v6 com 1142 pontos Elo, seguido pelo Suno v6-mini com 1116 e pelo Mureka V9.5 em terceiro, com 1103. Esse resultado coloca o Mureka V9.5 51 pontos Elo acima do seu antecessor, o Mureka V9 (1052) — segundo o anúncio, o maior salto entre duas versões da mesma família de modelos na categoria Vocal. Já do lado instrumental, o Suno v6 lidera com 1140 pontos, enquanto o pelotão entre o 3º e o 6º lugar — Mureka V9 (1081), Mureka V9.5 (1080), Lyria 3 Pro (1078) e Lyria 3.5 (1076) — está separado por até 5 pontos Elo. Na prática, isso configura um empate técnico: não há base estatística confiável para cravar quem é melhor entre os quatro.

Entre os modelos de pesos abertos (open-weights), o anúncio aponta o MiniMax Music 3.0 como líder, ocupando a 11ª posição no ranking Vocal e a 13ª no Instrumental. Mas vale prestar atenção nas letras miúdas: o MiniMax Music 3.0 funciona como a âncora de toda a escala, cravado exatamente em 1000 pontos Elo nas duas tabelas para servir de ponto de referência. No ranking Instrumental, de acordo com o comunicado, o Stable Audio 3 Medium fica a uma distância de 3 pontos Elo dessa marca.

Por trás desses números, existem duas decisões de projeto discretas, mas que mudam completamente a leitura do ranking. A primeira é a própria divisão entre Vocal e Instrumental, que reflete uma separação real do mercado. Um modelo só entra na disputa vocal se for capaz de compor a própria letra e cantá-la — a Artificial Analysis não fornece letras prontas, o que significa que o teste avalia a composição de ponta a ponta, e não apenas o acompanhamento musical. Por outro lado, se um modelo não consegue gerar uma faixa sem voz, ele simplesmente fica de fora da lista instrumental. A segunda decisão é o recorte por estilo musical, com pontuações Elo específicas para cada um, já que descobrir quem é o "melhor em jazz" e o "melhor em EDM" são perguntas bem diferentes.

Por dentro dos bastidores da avaliação

A Artificial Analysis publica sua metodologia de música com um nível de detalhe raro de se ver, e é justamente aí que o benchmark ganha relevância. As notas saem de testes cegos de preferência pareada (A contra B), mas os votos vêm exclusivamente de um painel recrutado de avaliadores — os visitantes da arena aberta até podem votar, mas os palpites do público geral ficam de fora do cálculo oficial. Cada avaliador do painel precisa ouvir pelo menos 10 segundos de cada faixa antes de o voto ser liberado, e nomes e logotipos dos modelos só aparecem depois da escolha. A pontuação é calculada por estimativa de máxima verossimilhança de Bradley-Terry e depois convertida para uma escala estilo Elo. Todo modelo recebe um intervalo de confiança de 95%, que gira em torno de ±15 pontos Elo para o volume atual de amostras (cerca de 2.000 faixas geradas por modelo).

O rigor técnico no tratamento do áudio segue o mesmo padrão. Todas as faixas passam por uma normalização de volume integrado para −16 LUFS (seguindo a norma ITU-R BS.1770) com teto de pico real (true-peak) de −1 dBTP. Depois, os arquivos são recodificados para MP3 a 320 kbps e 44,1 kHz, limpando qualquer metadado do provedor ou capa de álbum embutida. Isso garante que o avaliador julgue a música em si, sem ser enganado pelo velho truque de achar que a faixa mais alta soa melhor. Os parâmetros de geração também são travados para todos os competidores: uma faixa por prompt, com cerca de três minutos de duração e usando a seed 42 sempre que a plataforma oferece essa opção. A organização ainda faz questão de declarar que não recebe nenhum centavo das empresas para listar modelos ou influenciar resultados.

Por que manter um pé atrás

Usar rankings no estilo Elo para classificar modelos de IA generativa tem problemas de credibilidade já bem documentados na ciência, e seria ingenuidade achar que as arenas de música estão imunes a isso. No artigo "The Leaderboard Illusion" (Singh et al., 2025), pesquisadores analisaram a arena de chatbots que popularizou esse formato e encontraram distorções sistemáticas. Testes privados não divulgados permitem que alguns poucos laboratórios rodem dezenas de versões preliminares nos bastidores e só publiquem a pontuação da melhor — o estudo documenta que a Meta chegou a testar 27 variantes privadas antes do lançamento do Llama-4. Além disso, modelos proprietários costumam ser amostrados com maior frequência, o que distorce a cobertura. Divulgação seletiva, amostragem desigual e a possibilidade de esconder resultados fracos acabam viciando o placar. É verdade que o benchmark musical da Artificial Analysis corrige parte dessas brechas ao substituir a multidão anônima por um painel recrutado e ao padronizar as configurações de geração. Mesmo assim, o risco estrutural de empresas testarem variantes antes do lançamento não desaparece, tampouco o fato de que o gosto de um painel fechado pode não bater com o seu. Informar um intervalo de confiança de 95% de ±15 pontos Elo é um gesto de transparência, mas também deixa claro que cerca de metade das "diferenças" dentro do top 10 não tem relevância estatística.

E existe um problema ainda mais fundo que nenhuma metodologia dá conta de resolver: uma nota Elo mede o que um grupo de pessoas prefere ouvir, e preferência imediata não é sinônimo de qualidade musical. Em uma audição rápida e desinteressada de 20 segundos, uma faixa chiclete, bem-feita e sem riscos quase sempre vai derrotar uma composição estruturalmente ambiciosa. O próprio desenho do benchmark admite essa limitação indiretamente ao separar rankings por gênero — afinal, a tabela geral não passa de uma média estatística de vários contextos, algo que nenhum ouvinte real consome no dia a dia.

O que levar em conta na hora de escolher

Para quem está escolhendo uma API de geração de música para colocar em produção, a chegada da versão 1.1 ajuda de três formas bem práticas. Primeiro, ela separa a composição completa com voz (Vocal) da produção puramente instrumental, refletindo duas demandas de trabalho bem distintas. Segundo, mostra com números que a liderança da Suno é real, mas que o meio da tabela é um grande embolado — Mureka, Lyria e MiniMax estão todos dentro da margem de erro uns dos outros em pelo menos uma das listas. Ou seja, a sua decisão entre eles deve pesar preço, ferramentas e integração no fluxo de trabalho, e não uma diferença de 5 pontos no Elo. Por fim, as tabelas divididas por gênero são onde moram as respostas realmente úteis, porque perguntar qual é o "melhor modelo de todos" quase sempre é um erro; a pergunta certa é qual modelo se sai melhor no estilo musical do seu projeto.

O placar é uma ótima fonte de consulta. Só não deve ser tratado como lei.

Fontes