Ноты обычным текстом: как Claude написал пиратский плеер и что это говорит о музыкальных возможностях LLM

Обновлено:

В браузере играют шесть треков в стиле классических приключенческих игр, и в них нет ни единого записанного сэмпла. Каждая композиция представляет собой обычный текстовый файл, который нота за нотой озвучивает легковесный синтезатор на Web Audio. И синтезатор, и формат разметки, и саму музыку целиком сгенерировала языковая модель.

Этот эксперимент провел разработчик Саймон Уиллисон (Simon Willison). 6 октября 2026 года он дал Claude Opus 5.5 задачу из трех пунктов: разработать простой текстовый формат для треков к видеоиграм, написать для него веб-плеер и сочинить несколько демо-композиций. Ориентир был задан конкретный — музыка из оригинальной The Secret of Monkey Island. Так родился проект Scrimshaw Jukebox. Сам Уиллисон отметил, что модель «ушла в пиратскую стилистику Monkey Island куда сильнее», чем он ожидал, но результат получился «на удивление хорошим».

Один удачный пример мало что доказывает, и автор этого не отрицает. Тем не менее сама архитектура проекта наглядно показывает, как текстовые нейросети справляются с музыкой и какие белые пятна в их возможностях остаются до сих пор.

Как устроен формат и сам плеер

Львиная доля инженерной работы ушла на создание формата партитуры — на странице проекта он расписан во всех подробностях.

  • Ритм через простой счет. Каждый такт разбит на равное число шагов. Нота вроде D5 звучит один шаг, а каждый дефис продлевает ее еще на один: запись D5--- длится четыре шага. Точка обозначает паузу в один шаг.
  • Размер задается двумя числами. Параметры beats 4 и steps 4 дают размер 4/4 шестнадцатыми. Значения beats 2 со steps 3 превращаются в джигу на 6/8, а beats 3 со steps 2 — в классический вальс. Параметр swing позволяет смещать четные доли.
  • Аккорды можно писать буквами. Обозначения вроде [Dm7] или [C/E] раскладываются по голосам автоматически с учетом заданного высотного диапазона для каждой дорожки.
  • Ударные в виде сетки. Секция перкуссии записывается символами по шагам — например, x... ..x., где x означает обычный удар, а o — тихий призвук (ghost note).
  • Четкая композиционная структура. Партитура состоит из паттернов (групп тактов), директивы play для вступления и loop для зацикленного фрагмента — ровно так, как устроена музыка в играх. Конструкция B*2 повторяет паттерн, а A+2 транспонирует его на тон выше.

Встроенный плеер получил 65 синтезированных инструментов: от стил-пэна и маримбы до клавесина, тубы, хора и ручной перкуссии. Каждая партитура отображается в виде piano roll, где любую дорожку можно заглушить. При желании текст трека можно отредактировать прямо на лету и сразу послушать изменения.

Scrimshaw Jukebox: пиксельная ночная гавань над списком из шести треков и piano roll для композиции "Moonlit Harbor", калипсо на 16 голосов при 100 bpm

Плеер Scrimshaw Jukebox. В окне открыт трек «Moonlit Harbor» — «калипсо для ночного портового городка», 16 голосов при 100 bpm. Скриншот: Simon Willison.

Шесть треков демонстрируют самые разные темпы и метры. «Moonlit Harbor» звучит в 4/4 при 100 bpm, «The Rusty Anchor» написан в 6/8, «The Ghost Galleon» медленно тянется на 66 bpm, «Duel on the Docks» разгоняется до 152 bpm, а «Lantern Waltz» идет в трехдольном вальсовом размере 3/4.

На странице выложен готовый системный промпт, обучающий синтаксису любую языковую модель. В нем прямо указано: «Самая частая ошибка — неверное число шагов в такте, поэтому пересчитывайте каждый такт». Редактор автоматически подсвечивает сбившиеся такты, после чего ошибки можно отправить обратно модели на доработку. В итоге сочинение музыки превращается в знакомый цикл «компиляция — отладка», похожий на генерацию кода.

Почему текст идеально подходит языковым моделям

Сама идея генерировать нотную запись вместо готового аудиофайла далеко не нова. В феврале 2024 года команда из 35 исследователей представила проект ChatMusician. Авторы взяли за основу LLaMA2 и дообучили ее на нотной нотации ABC — распространенном текстовом формате партитур. Музыку в этой парадигме рассматривали как «второй язык». Исследователи утверждали, что модель писала связные полноценные произведения, превосходя базовую GPT-4, причем музыкальные навыки не ухудшили ее владение обычной речью.

Scrimshaw построен по тому же принципу, но с принципиальной разницей: ChatMusician требовал отдельного датасета и файн-тюнинга. В случае со Scrimshaw универсальная модель сама с нуля придумала нотацию, собрала под нее плеер и сочинила музыку прямо в рамках одного диалога. Моя гипотеза — это не подтвержденный тестами факт, а наблюдение: универсальные LLM так хорошо справились с задачей именно благодаря навыкам программного проектирования. Модель выбрала представление, в котором ритм сведен к базовой арифметике, а структура трека видна невооруженным глазом.

Подобный подход рифмуется и с первоисточником. Саундтрек к Monkey Island 1990 года тоже не состоял из аудиозаписей — это были MIDI-команды, которые воспроизводились звуковой картой игрока. Согласно истории серии на The International House of Mojo, композитор Майкл Лэнд (Michael Land) в первой части столкнулся с тем, что музыку было «невозможно гладко синхронизировать с действиями игрока». Поэтому ко второй части они вместе с Питером Макконнеллом (Peter McConnell) создали интерактивную музыкальную систему iMUSE. Разделение треков в Scrimshaw на однократное вступление и повторяющуюся петлю — явный привет той самой традиции алгоритмической музыки.

Перед нами новая способность LLM?

Уиллисон задается вопросом: не напоминает ли внезапно проявившийся навык композиции «историю с 3D-графикой», которую текстовые модели освоили лишь за последние месяцы? В его блоге эта аналогия подкреплена наблюдениями. В сентябре 2026 года он рассказывал, как GPT-6 Astra через Codex за 17 минут 51 секунду построила в Blender модель яйца Фаберже по единственному сгенерированному изображению. А ведь еще в ноябре 2025 года в похожем тесте модели просили описать сцену с пеликаном на велосипеде для POV-Ray, и «большинство выдавали скрипты с синтаксическими ошибками».

Однако факты пока говорят в пользу более скромных выводов, а не тезиса «нейросети научились писать музыку»:

  • Символьная генерация музыки существовала и раньше. ChatMusician доказал это еще в 2024 году, пусть и при помощи узкоспециализированного дообучения.
  • Новизна — в работе «из коробки». Базовая модель без дополнительного обучения с нуля спроектировала работающий синтаксис, синтезатор и создала стилистически точные треки. Способны ли на такое более ранние поколения LLM — открытый вопрос, который ставит и сам Уиллисон. По его словам, здесь «потребуются аккуратные эксперименты со свежими и не очень свежими моделями».

Подводные камни и поводы для скепсиса

Один промпт и один слушатель. Оценка «на удивление хорошо» — субъективное впечатление автора, а не строгая метрика. Публичных бенчмарков для символьной композиции в виде текста пока нет. Известные рейтинги вроде AA-Music-Instrumental и AA-Music-Vocal v1.1 от Artificial Analysis оценивают аудиогенераторы по результатам слепого парного голосования слушателей. Они просто не рассчитаны на чат-модели, пишущие партитуры для синтезатора.

Склонность к прямому подражанию. Когда Claude попросили повторить планку качества Monkey Island, модель ударилась в прямое воспроизведение сеттинга: пираты, порт, калипсо, корабль-призрак. Перед нами экспериментальный проект с оригинальными мелодиями, и признаков плагиата тем из игры здесь нет. Но сама тенденция показательна на фоне проблем музыкальной индустрии с масштабным копированием стиля. Sony Music заявила, что к концу сентября потребовала от стримингов удалить более 260 000 треков, имитирующих ее артистов — против 135 000 в конце марта (эти данные Financial Times приводит IT Home). Подражание жанру игрового саундтрека — не то же самое, что клонирование голоса артиста, но оба сценария начинаются с команды «сделай как у N».

Синтез задает жесткий потолок. Браузерный движок с 65 тембрами может достоверно имитировать ретро-звуковую карту 1990 года, но это далеко не студийный продакшн и не оркестровка. Сравнивать результат с генераторами уровня Suno бессмысленно: ценность Scrimshaw в том, что партитура компактна, открыта и доступна для ручной правки, а не в реалистичности звучания.

Как проверить гипотезу на практике

Предложенный Уиллисоном тест легко воспроизвести. Берем готовый промпт Scrimshaw без изменений и скармливаем его моделям разных поколений. Подсчитываем синтаксические ошибки в тактах с помощью редактора, а прошедшие проверку треки отдаем слушателям для слепого парного сравнения — по методике Artificial Analysis. Если старые модели выдадут технически верные, но бессмысленные наборы нот, а новые — структурированные темы с мелодическим развитием, догадка о качественном скачке подтвердится. Если нет — значит, впечатляет здесь в первую очередь архитектура формата и инструментов, а не композиторский скачок LLM.

Пока же Scrimshaw Jukebox — это отличная демонстрация того, как сочинение музыки превращается в инженерную задачу: на входе обычный текст, на выходе играющий трек, а ошибки исправляются как обычные баги в коде.

Источники