用音符线索帮助AI学习作曲

训练AI生成文字对应的音乐，除了直接让它接触海量录音，现在有一项名为MIDI-REPA的预印本研究尝试给模型加入更明确的音符结构线索。研究者利用自动化转写工具，把原始音频提取成包含音高、节奏与和声等信息的MIDI数据。然后在模型学习的过程中，让它对照这些特征来摸索音乐的内在规律。需要注意的是，这里用到的MIDI是由自动提取流程获得的参考信息，并不是专业人员人工精准标注的乐谱。

为了验证这些转写音符的最佳使用方式，研究团队选用了一个参数量约1.22亿的FluxAudio-S模型作为基础实验对象。他们对比了不同的对齐方案，结果显示：把MuScriptor工具生成的一种被称为“钢琴卷帘”的信息（可理解为按音高和时间排开的图表）与模型较早的网络层对齐，能取得最理想的表现。研究要求这种对齐状态覆盖整个“流轨迹”，它特指模型内部生成步骤的计算阶段，并不是指整首歌曲的播放时间线。

论文摘要中报告，在不添加额外训练数据和特殊技巧的前提下，这套方法在ATTM挑战赛的相关客观指标上依然保持了竞争力。作者提供的算力消耗为：在他们设定的实验配置下，使用单张RTX 3090显卡约花费31个小时可以完成训练。但这毕竟是特定模型和设备条件下的测试结果，不能直接套用来推算复杂商用大模型的训练成本，单卡跑通的客观指标也不代表它已经能达到工业级系统的生成效果。

客观测试的分数并不直接等于音乐听感自然流畅。当前的摘要资料里没有报告是否进行了独立的人工试听评测，自动提取流程转写出的音符究竟有多准确，以及它会如何影响最终生成的乐句表现，在目前的摘要中也还是一个未知数。作者目前已经把转写流程、JamendoMIDI数据、训练代码和实际的音频样例入口公开。对于关注实际效果的人来说，顺着链接去听听那些样例的旋律走向，是检验这套对齐方案成色的直接途径。