用评分表训练AI作曲：多维度质量能同时提升吗？

先给音乐打分，再拿排名去训练

这项预印本研究想解决的是：训练AI作曲时，用什么信号告诉它“这首比那首好”。作者的做法是让预训练音频语言模型按一张评分表给每段生成的音乐打分，再把同一段文字提示下生成的候选曲目按分数排名，转成偏好对，用于两类生成器的训练。

音频语言模型可以理解成能同时处理声音和文字的模型，评分表则是一组事先写好的评价条目。

作者报告：多个指标能同时改善

作者报告，在MusicCaps测试集上，基于评分表的优化让CLAP、SongEval和Audiobox-Aesthetics三个自动评测指标同时改善，其中ACE-Step上的DiffusionNFT提升最强。这三个指标都是用来衡量生成音乐与文字描述是否匹配、听感是否合理的自动工具。

但换一种做法，指标会此长彼消

在MusicGen-small上，作者发现用任何一个自动评测器构建偏好，都会带来明显的跨指标取舍：被针对的那个评测器变好，其他独立评测器反而变差。

节奏、调性这类属性，精确奖励更可靠

研究还看了节奏、调性和配器这些有精确客观奖励可用的属性。作者报告，直接优化专门奖励能稳定改善目标属性；评分表只对节奏和配器有部分迁移，对调性没有可测量的改善。

这些结果指向一种分工：评分表适合处理难以形式化的整体听感，而当某个属性已经有可靠测量手段时，直接优化那个测量更划算。不过这是预印本，作者报告的结果还需要更多独立验证，尤其是跨指标取舍在更大模型上是否同样出现。