В гонке музыкальных ИИ-моделей появился собственный рейтинг Эло. Стоит ли ему верить?

Обновлено:

За последние три месяца нейросети для генерации музыки совершили такой рывок, что старые линейки для их измерения просто сломались. Флагманские релизы — Suno v6, Lyria 3.5, Mureka V9.5, Eleven Music v2.5 и MiniMax Music 3.0 — дошли до уровня, когда из одного текстового промпта получается полноценная песня: с небанальным текстом, живым вокалом, сложной аранжировкой и честным попаданием в жанр. Чем выше среднее качество, тем тоньше грань между моделями, а если рейтинг не способен уловить эти нюансы, толку от него мало. Именно поэтому 8 октября 2026 года аналитики из Artificial Analysis выкатили версию 1.1 сразу двух своих бенчмарков — AA-Music-Vocal и AA-Music-Instrumental, на которых работает их площадка Music Arena. В основу обновления легли 1000 новых промптов в 17 жанрах, а отслушивает генерации закрытая панель специально отобранных людей.

Так звучит официальная версия. Мы перепроверили цифры, покопались в методологии и подняли свежие научные работы о том, можно ли вообще доверять лидербордам на базе рейтинга Эло. Если коротко: ребята заморочились над чистотой эксперимента сильнее многих, но на выходе все равно получается карта вкусов конкретной выборки слушателей, а не объективное мерило музыкальности.

Кто на вершине: разбираем цифры в таблицах

Главный вывод из анонса: Suno v6 забирает первое место в обоих зачетах, отрываясь от младшей Suno v6-mini на 26 пунктов Эло в вокальном рейтинге и на 31 пункт в инструментальном. В итоге оба первых места в обеих таблицах остаются за Suno. По состоянию на 13 октября 2026 года актуальный вокальный лидерборд выглядит так: у Suno v6 — 1142 Эло, следом идет Suno v6-mini с 1116 баллами, а замыкает тройку Mureka V9.5 с результатом 1103. При этом Mureka V9.5 обогнала свою предыдущую версию Mureka V9 (1052) сразу на 51 пункт — авторы бенчмарка называют это самым мощным скачком внутри одного семейства моделей за всю историю вокального рейтинга. В инструментальном зачете также лидирует Suno v6 (1140), а вот с третьего по шестое место — Mureka V9 (1081), Mureka V9.5 (1080), Lyria 3 Pro (1078) и Lyria 3.5 (1076) — модели уложились в коридор из 5 пунктов Эло. С точки зрения статистики это ничья: ранжировать эту четверку между собой на основе таких цифр бессмысленно.

Среди моделей с открытыми весами в анонсе лидером названа MiniMax Music 3.0 — она занимает 11-ю строчку в вокале и 13-ю в инструментале. Но тут важно читать примечания: именно MiniMax Music 3.0 выбрана точкой отсчета и жестко зафиксирована на отметке ровно 1000 Эло в обоих чартах. От этого якоря выстраивается вся остальная шкала. В инструментальном рейтинге в пределах всего 3 пунктов Эло от нее расположилась Stable Audio 3 Medium.

В архитектуру этих таблиц зашиты два неочевидных, но очень важных решения. Во-первых, разделение на Vocal и Instrumental отражает реальный раскол на рынке: в вокальный зачет модель попадает только в том случае, если сама пишет текст и сама его поет. Artificial Analysis не кормит нейросети готовыми стихами, поэтому вокальный бенчмарк тестирует создание песни под ключ, а не просто генерацию минусовки. И наоборот: если модель не умеет гарантированно отключать голос, в инструментальный список ее просто не пустят. Во-вторых, внутри общих таблиц есть разбивка по жанрам со своим отдельным рейтингом Эло — потому что «лучшая модель для джаза» и «лучшая модель для EDM» на практике оказываются совершенно разными моделями.

Как устроена оценка: слепые тесты и нормализация по LUFS

Artificial Analysis описывает методологию музыкального теста на удивление подробно — и именно детали делают этот бенчмарк интересным. Оценки строятся на слепом попарном сравнении треков закрытой панелью респондентов. Голоса обычных посетителей публичной арены тоже собираются, но в расчет рейтинга никогда не идут. Чтобы голос засчитался, участник панели обязан прослушать минимум по 10 секунд каждой из двух записей. Названия и логотипы моделей скрыты до момента клика, а итоговые баллы считаются методом максимального правдоподобия Брэдли — Терри и затем масштабируются под привычную шкалу Эло. У каждой модели указан 95-процентный доверительный интервал — на текущей выборке примерно в 2000 треков на модель погрешность составляет около ±15 пунктов Эло.

С инженерной гигиеной тут тоже полный порядок. Каждый сгенерированный трек приводится к единой интегральной громкости −16 LUFS (по стандарту ITU-R BS.1770) с потолком истинных пиков (True Peak) на уровне −1 dBTP. После этого аудио перекодируется в MP3 с битрейтом 320 кбит/с и частотой 44,1 кГц, а все метаданные провайдера и вшитые обложки вычищаются. Это нужно для того, чтобы люди выбирали музыку, а не просто голосовали за тот трек, который звучит громче (классическая ловушка в аудиотестах). Настройки генерации фиксируются для всех участников: один трек на промпт, длительность около трех минут и фиксированный seed 42 везде, где API позволяет его задать. Отдельно компания подчеркивает, что не берет денег у разработчиков моделей за включение в рейтинг или за итоговые места.

Почему к рейтингам Эло стоит относиться со скепсисом

У лидербордов генеративных моделей на базе Эло давно есть задокументированные проблемы с достоверностью, и было бы наивно полагать, что музыкальные арены застрахованы от этих болячек. В работе «The Leaderboard Illusion» (Singh et al., 2025) исследователи препарировали знаменитую арену текстовых чат-ботов, с которой вообще началась мода на такой формат, и нашли там системные перекосы. Закрытое приватное тестирование позволяет крупным игрокам обкатывать десятки сборок до релиза и публиковать только лучший результат (авторы статьи насчитали 27 приватных вариантов модели, которые Meta тестировала перед выходом Llama-4), а проприетарные модели получают больше сэмплов в парах, что искажает покрытие. Выборочная публикация, неравномерное сэмплирование и возможность тихо отозвать неудачный прогон неизбежно сдвигают цифры. Конечно, музыкальный бенчмарк Artificial Analysis защищен лучше публичных арен за счет закрытой панели слушателей и жесткой стандартизации настроек. Но структурные риски никуда не делись: вендоры все так же могут пристреливаться пререлизными сборками, а вкусы небольшой группы нанятых оценщиков вовсе не обязаны совпадать с вашими. Честный доверительный интервал в ±15 Эло при 95% вероятности хорош сам по себе, но он же означает, что примерно половина «отрывов» внутри первой десятки статистически равна нулю.

Есть и более фундаментальная проблема, которую не лечит никакая методология: рейтинг Эло измеряет симпатии жюри, а симпатии в слепом тесте и художественная ценность музыки — вещи разные. Бодрый, крепко сбитый и предсказуемый поп-трек почти всегда выиграет у сложной по структуре композиции, если слушатель утомлен и принимает решение за 20 секунд. Создатели бенчмарка, по сути, сами это признают, когда выносят жанровые срезы в отдельные вкладки: средняя температура по больнице не имеет смысла, потому что живые люди не слушают «усредненную» музыку всех жанров сразу.

Что в сухом остатке

Если вы прямо сейчас выбираете музыкальный API под свой проект, релиз v1.1 принесет реальную пользу в трех вещах. Во-первых, он четко делит модели на те, что пишут песни целиком (Vocal), и те, что делают инструментальный продакшн — а это две совершенно разные продуктовые задачи. Во-вторых, он наглядно показывает: лидерство Suno реально, но в середине таблицы творится статистическая каша. Mureka, Lyria и MiniMax как минимум в одном из рейтингов сидят внутри доверительных интервалов друг друга, поэтому выбирать между ними нужно по удобству API, цене и вашему пайплайну, а не по разнице в 5 пунктов Эло. Наконец, самая практическая польза спрятана во вкладках с разбивкой по жанрам. Искать «лучшую модель вообще» — занятие бесполезное; искать нужно лучшую модель под тот жанр, с которым вы работаете.

Сверяться с этим табло определенно стоит. Слепо подчиняться ему — точно нет.

Источники