纯文本写乐谱：Claude手搓“海盗港口音乐盒”，揭示了大模型编曲的什么秘密？

更新于:

打开浏览器标签页，六首带着浓厚复古冒险游戏风味的旋律缓缓响起。这里面没有包含任何预录音频采样：每首曲子不过是一段纯文本代码，再交由一个轻量级 Web Audio 合成器逐个音符实时解析播放。更绝的是，从这套文本乐谱到播放它的合成器，全由同一个大语言模型一手包办。

这项实验来自知名开发者 Simon Willison。在 2026 年 10 月 6 日，他给 Claude Opus 5.5 提出了三项任务：为电脑游戏配乐自拟一套极简文本格式、手写一个配套播放器，并附上示例曲目。至于对标的基准，他直接指定了经典游戏《猴岛小英雄》（The Secret of Monkey Island）的原版配乐。最终生成的作品被命名为 Scrimshaw Jukebox。Willison 在博文中记录道，模型在呈现上“比我预期的还要更贴近《猴岛小英雄》的主题风格”，但他给出的评价相当高：“出奇地好（surprisingly good）”。

单一 Demo 或许说明不了太多，Willison 本人也持谨慎态度。但这个项目的实现逻辑，恰恰切中了当下文本模型理解音乐的核心机制，也暴露出我们尚未厘清的认知盲区。

大模型究竟搓出了什么？

整套作品最精妙的部分，其实落在它设计的乐谱格式上，该工具页面给出了详尽的语法规范：

  • 节奏本质上是数拍子。 每个小节被切分成固定步数（steps）。像 D5 这样的音符占一步，后面每加一个破折号就延长一步，因此 D5--- 占四步；英文句点则代表一步休止符。
  • 拍号由两个数字定义。 beats 4 配合 steps 4 代表以十六分音符为基准的 4/4 拍；beats 2 配 steps 3 能做出 6/8 拍的吉格舞曲（jig），beats 3 配 steps 2 则是圆舞曲。swing 参数则能让偶数步产生延迟，带来摇摆感。
  • 和弦直接支持语义命名。 诸如 [Dm7] 或 [C/E] 的和弦标记会自动根据各声部的预设音高完成声部排列（voicing）。
  • 鼓点采用网格化布局。 鼓声轨道每步对应一个字符，比如 x... ..x.，其中 x 代表击打，o 代表弱音（ghost note）。
  • 曲式结构一目了然。 乐谱先定义由小节组成的 pattern，随后用 play 行安排前奏，再用 loop 行指定像“游戏背景音乐那样”无限循环的段落。B*2 可重复该段落，A+2 则能直接向上移调一个全音。

播放器内置了 65 种合成音色，涵盖钢鼓（steel drum）、马林巴琴、大键琴、大号、合唱以及打击乐。它不仅能以钢琴卷帘（piano roll）形式展示乐谱，支持对任意声部静音，甚至允许用户实时编辑文本乐谱并重新播放。

Scrimshaw Jukebox: a pixel-art night harbor above a six-track list and a piano-roll view of "Moonlit Harbor", a 16-voice calypso at 100 bpm

Scrimshaw Jukebox 播放器界面。当前选中的曲目《Moonlit Harbor》（月光港湾）被描述为“献给入夜海港小镇的卡里普索（calypso）”，包含 16 个声部，速度为 100 bpm。截图来源：Simon Willison。

这六首曲目覆盖了各异的速度与拍号：《Moonlit Harbor》为 100 bpm、4/4 拍；《The Rusty Anchor》为 6/8 拍；《The Ghost Galleon》速度仅有 66 bpm；《Duel on the Docks》则飙到了 152 bpm；《Lantern Waltz》则是标准的 3/4 拍。

页面上还附带了一份现成 Prompt，能把这套语法教会任何大语言模型。Prompt 中特别提醒道：“最常见的错误在于小节步数算错，因此必须数清每一节。”编辑器会自动标出步数对不上的小节，开发者只需把报错贴回给模型让其修复即可——作曲流程由此演变成类似于辅助编程的“编译-排错”循环。

为什么文本模型更擅长处理“文本化”乐谱？

跳过端到端音频、直接用文本符号作曲并不是什么新鲜概念。早在 2024 年 2 月，一个由 35 位研究人员组成的团队就发布了 ChatMusician。他们以 LLaMA2 为基座，使用广泛通行的乐谱文本格式 ABC notation 进行了二次预训练和精调，在设定中将音乐视作模型的“第二外语”。论文指出，该模型不仅能生成结构完整、编排严密的完整乐曲，综合表现超越了 GPT-4 基线，且这种音乐能力的注入丝毫没有削弱其原本的通用语言水平。

Scrimshaw 的底层逻辑与此完全一致，但有一个决定性差别：ChatMusician 依赖专门的数据集训练与微调，而 Scrimshaw 这次完全是一个通用大模型应提示词要求，在单次对话内从零设计出记谱法、写好播放器并在该格式下完成创作。笔者的理解是（这属于推论而非严格测试结果）：通用模型之所以能在此交出亮眼答卷，很大程度上归功于其出色的“软件架构设计能力”——它挑选了一种让节奏具象为算术、曲式结构一览无遗的表达载体。

这种设计思路与它模仿的对象如出一辙。1990 年的原版《猴岛小英雄》配乐本就不是录音文件，而是依赖玩家设备实时解析的 MIDI 指令。据 The International House of Mojo 对该系列的追溯，作曲家 Michael Land 曾坦言在初代作品中“根本无法让音乐与玩家操作严丝合缝地同步”。游戏发售后，他拉来 Peter McConnell 一起为《猴岛小英雄 2》（Monkey Island 2）打造了开创性的 iMUSE 交互式音乐系统。Scrimshaw 将结构划分为一次性前奏与无限循环段落的做法，恰恰致敬了这一将音乐视为执行指令的工程传统。

这算是一种全新的涌现能力吗？

Willison 提出了一个思考：这种胜任编曲的能力，是否“类似于大模型的 3D 建模能力”——属于文本模型近几个月才展现出的新技能？这一对比在他以往的博客中有迹可循：在 2026 年 9 月的一篇记录中，他曾提到运行在 Codex 上的 GPT-6 Astra 仅凭一张生成的图片，耗时 17 分 51 秒在 Blender 中构建出一个法贝热彩蛋（Fabergé-style egg）风格的模型；而回到 2025 年 11 月他报道过的一项测试中，当要求模型用 POV-Ray 渲染一只骑自行车的鹈鹕时，“绝大多数模型写出的脚本连语法解析都无法通过”。

现有证据能支撑的结论，显然比“大模型已能熟练作曲”更为克制：

  • 符号化作曲并非大模型的新鲜事。 早在 2024 年，ChatMusician 就已实现过类似能力，只不过那是在经过专门训练的前提下。
  • 真正值得关注的，是这种“零微调独立实现”的表现。 一个通用模型在没有任何额外微调的情况下，凭空构想出一套可行格式、写出功能完备的合成器，并创作出风格高度契合的乐曲。至于以往的模型是否也能做到这一点，正是 Willison 抛出的未解之谜。他指出，“这需要拿近期及更早的模型进行严谨的对照实验来验证”。

局限所在，以及为何仍需保持克制

样本极少，且评价带有主观性。 “出奇地好”只是一次性的直观感受，并不能等同于量化评测。业内目前没有任何针对这种符号化文本作曲的公开基准测试。知名音乐评测榜单如 Artificial Analysis 的 AA-Music-Instrumental 和 AA-Music-Vocal v1.1，核心依托受邀评审团对端到端音频生成模型的盲测双盲对战（pairwise votes），并非用来衡量聊天模型写合成器乐谱的能力。

模型倾向于风格模仿而非原创突破。 当被要求达到《猴岛小英雄》的“水准”时，Claude 极力向其“风格”靠拢：海盗、港湾、卡里普索旋律、幽灵船……尽管这只是个包含原创旋律的玩票实验，并未抄袭游戏的原作旋律，但这种模仿倾向仍然值得深思。当下的音乐产业正面临着规模化 AI 模仿的巨大冲击。据《金融时报》（IT之家引述）报道，索尼音乐（Sony Music）透露，截至 9 月底已要求各大流媒体平台下架超过 26 万首仿冒旗下艺人的 AI 音轨，这一数字相比 3 月底的 13.5 万首近乎翻倍。模仿游戏配乐风格虽然不同于克隆真人歌手嗓音，但两者往往都始于同一类提示词：“做出类似 X 的感觉”。

合成器品质决定了听觉上限。 一个只有 65 种预设音色的浏览器合成器，最多能还原 1990 年代声卡的复古质感，与真实的管弦乐配器或现代音乐制作相去甚远。如果将其与 Suno 这类端到端音频模型强行对比，其实找错了参照系。这套方案的真正价值在于乐谱完全可编辑、可审查、体积极度轻量，而不在于拟真音质。

这个疑问该如何验证？

Willison 提议的测试思路操作起来其实很简单：把 Scrimshaw 已公开的 Prompt 原封不动喂给不同代际的模型；利用自带的编辑器统计语法解析失败的小节数量；随后将能正常运行的曲目交给听众进行双盲偏好投票——就像 Artificial Analysis 评测音频模型那样。如果老模型只能生成语法合规但杂乱无章的音符，而新模型能够构建出具备严谨曲式与主干的乐曲，那么 Willison 关于“能力涌现”的直觉便得到了有力佐证；反之，若两者没有质的差距，那么整个项目中最惊艳的部分，可能主要归功于那套精巧的记谱格式与工具设计，而非大模型音乐认知能力的突飞猛进。

就目前而言，将 Scrimshaw Jukebox 视作一个将“作曲转化为编程”的实践范本或许更为恰当：输入纯文本，输出可播放的旋律，且中间的任何语法报错都能像代码一样逐一排查修复。

参考来源