AI 音乐模型大战也有了 Elo 天梯榜，这分数能信吗？
更新于:
仅在过去三个月里，Suno v6、Lyria 3.5、Mureka V9.5、Eleven Music v2.5 和 MiniMax Music 3.0 等旗舰模型扎堆亮相，直接把 AI 音乐推到了新高度：现在只需输入一句文本提示词，就能生成歌词细腻、人声逼真、编曲复杂且配器地道的完整歌曲。当大家水平都变高，模型之间的差距就越来越微妙，不能分辨出这些细微差距的榜单也就失去了意义。正因如此，2026年10月8日，Artificial Analysis 宣布推出旗下两大音乐生成基准测试 AA-Music-Vocal 和 AA-Music-Instrumental 的 1.1 版本——这也是其 Music Arena 背后的核心评分引擎。新版基于横跨 17 种流派的 1000 条全新提示词构建，并由专门招募的真人评审团进行盲测打分。
这是官方给出的说法。为此，我们核实了榜单数据，扒了扒它的评测方法论，也翻阅了近期学界对 Elo 天梯榜可信度的研究。先说结论：这套基准测试确实比市面上大多数榜单更严谨，但它本质上反映的依然是评审团的口味偏好，而非绝对的“音乐真理”。
榜单数据透视：Suno 霸榜，中游混战
从官方公布的结果来看，最核心的结论就是 Suno v6 在双榜中均斩获头名，且前两名均被 Suno 包揽——在人声榜（Vocal）和纯音乐榜（Instrumental）上，Suno v6 分别领先自家的 Suno v6-mini 达 26 个和 31 个 Elo 积分。截至 2026年10月13日，实时人声榜数据显示，Suno v6 以 1142 分领跑，Suno v6-mini 以 1116 分位居第二，Mureka V9.5 则以 1103 分排在第三。值得一提的是，Mureka V9.5 比上一代 Mureka V9（1052 分）暴涨了 51 分，官方称这是人声榜上同一模型家族迭代的最大单次涨幅。而在纯音乐榜这边，Suno v6 以 1140 分稳居榜首，但第 3 到第 6 名则完全陷入了胶着：Mureka V9（1081 分）、Mureka V9.5（1080 分）、Lyria 3 Pro（1078 分）和 Lyria 3.5（1076 分）之间的分差在 5 分以内，在统计学上属于平局，根本无法据此给这四款模型排出真正的高下。
在开源权重模型阵营中，官方点名 MiniMax Music 3.0 为领头羊，在人声榜排第 11，纯音乐榜排第 13。但这里有个很关键的细节：MiniMax Music 3.0 是整個评分体系的基准锚点，在两个榜单上的分数都被固定锁死在 1000 分整。根据官方公告，Stable Audio 3 Medium 在纯音乐榜上的得分与它相差不到 3 分。
这份榜单背后还藏着两个低调但影响深远的设计逻辑。第一，将榜单拆分为“人声”与“纯音乐”，直接对应了实际市场中的两条路线：模型必须自己作词并演唱，才能进入人声榜评测——Artificial Analysis 不会提供歌词，因此人声榜考量的其实是端到端的完整写歌能力，而非单纯的伴奏生成；反之，一个无法做到“去人声”的模型，压根不会出现在纯音乐榜上。第二，榜单还按音乐流派进行了拆分，并计算了各流派的独立 Elo 分数，毕竟“谁最懂爵士乐”和“谁最擅长 EDM”完全是两码事。
硬核评测机制：声音怎么对齐，分数怎么算出？
Artificial Analysis 极其详尽地公开了其音乐评测方法论，而这些细节正是该基准测试最有看头的地方。所有评分均来自受聘评审团的盲测两两对决（pairwise preference）——公众在竞技场投出的票虽然会被收集，但绝不计入最终评分。评审员必须对每首曲目至少试听 10 秒以上，投票才会生效；在投票落定前，模型的名称和图标完全隐藏。最终得分采用 Bradley-Terry 最大似然估计法计算，并换算为类似 Elo 的分值区间，同时为每个模型标注 95% 的置信区间（在目前每个模型约 2000 首曲目的样本量下，误差范围大约在 ±15 Elo 左右）。
在音频工程处理上，评测流程也相当严谨。为了防止“谁声音大谁占便宜”的心理声学偏差，每首生成的曲目都会按照 ITU-R BS.1770 标准将综合响度统一标准化为 −16 LUFS，真峰值上限设为 −1 dBTP，然后重新编码为 44.1 kHz 的 320 kbps MP3 格式，并彻底剥离厂商元数据和内嵌封面，确保投票纯粹基于音乐质量。各模型的生成参数也保持一致：每条提示词生成一首曲目，时长约三分钟，若厂商开放了随机种子接口，则统一固定为 seed 42。此外，该机构明确声明，不会因模型上榜或排名结果向任何厂商收取费用。
为什么我们对 Elo 榜单依然保持警惕？
生成式模型的 Elo 天梯榜一直存在有据可查的公信力隐患，如果认为音乐竞技场就能独善其身，那就太天真了。在 2025 年发表的论文《The Leaderboard Illusion》（Singh 等人，2025）中，研究人员对带火这种评测模式的聊天机器人竞技场进行了剖析，指出了其中的系统性失真：不公开的私下测试让少数厂商可以在正式发布前测试大量变体，最后只把最高分公之于众（论文记录显示，Meta 在发布 Llama-4 之前曾私下测试了多达 27 个模型变体）；同时，闭源商业模型往往能获得更高的采样率，导致测试覆盖度发生倾斜。选择性披露、选择性采样以及撤回糟糕成绩的特权，都会让最终的数字产生偏差。诚然，Artificial Analysis 的音乐基准测试与纯开放的公众竞技场有所不同，它在一定程度上缓解了这些问题——比如票数来自招募的评审团而非路人，生成参数也做了标准化处理。但是，厂商在发布前刷变体测试的结构性风险依然存在，而且小规模招募的评审团，其个人审美也未必能代表普通听众。虽然公布 ±15 Elo 的 95% 置信区间体现了诚意，但这同时也意味着，榜单前十名里大约有一半的“分差”在统计学上根本没有意义。
还有一个更深层的硬伤，是任何评测方法论都无法解决的：Elo 分数衡量的是评审团的“偏好”，而偏好不等于音乐艺术价值。如果评审员只是百无聊赖地试听 20 秒，一首抓耳、工整但保守的口水歌，大概率会击败一首在结构上充满野心的慢热作品。其实，该基准测试通过发布分流派子榜单的设计，已经变相承认了这一点——所谓的总榜，不过是把各种截然不同的音乐语境强行揉在一起算出的平均分，而真实的音乐听众从来不会在“平均值”里听歌。
选型建议：这榜该怎么看？
对于正在挑选音乐生成 API 的开发者和创作者来说，这次 v1.1 版本的发布在三个层面上确实很有参考价值。首先，它把端到端的词曲唱生成（Vocal）和纯音乐制作（Instrumental）拆开，精准对应了实际业务中的两类不同需求。其次，它用数据证实了 Suno 的领先优势是实打实的，但处于中游梯队的模型则难分伯仲——Mureka、Lyria 和 MiniMax 至少在一个榜单上处于彼此的置信区间误差范围内，因此在这些模型之间做选择时，真正应该拍板的是配套工具、价格和工作流契合度，而不是那区区 5 分的 Elo 差距。最后，真正具有实操指导意义的数据其实藏在各个音乐流派的子榜单里，因为问“哪个模型最强”通常是个伪命题，“哪个模型最适合我正在做的音乐流派”才是真问题。
总而言之，这份天梯榜很值得参考，但大可不必奉为圭臬。