arXiv 音乐AI研究(预印本)
AI先写谱,再唱出来,哪步能改?
生成歌曲时想改两个音,能不能先在谱上找到它们,再让声音跟着变?YuE2 的预印本把符号乐谱与整曲音频放在同一个生成过程,先写出旋律与和声,再把这份规划变成录音。
我对照保留的原摘要,模型先生成可读谱面,再扩展到音乐标记,最后得到完整歌曲音频。这个中间步骤让旋律和和声有明确位置可查,人提出修改时,可以回到同一份音乐对象继续处理。
同一模型检查点的比较中,专家整体偏好有规划的版本,比例为百分之四十九点三,无规划版本为百分之三十四点六。作者报告的是这项听测选择,不能改成所有生成歌曲都已达到某种普遍质量。
论文还在特定基准上报告成绩,单次候选与从八个候选中择优有不同结果。先生成更多再选,涉及额外次数,比较工具时要把这项条件保留,不能把择优成绩写成每一次生成的平均表现。
作者为没有对齐乐谱的录音准备了语义与符号监督,也描述同一模型跟随改谱、尽量保留其他内容的能力。保留程度还要看具体位置,原材料没有替所有风格和编辑要求给出完整验证。
作曲课可以先给一条简单旋律,只修改其中一个音,听修改前后的谱与音频。学生看得见被改的位置,也应回听未改段落有没有跟着变化,操作成功与最终表达是否合适需要分别判断。
先保存原谱和原音频,再做一次局部编辑,两个版本用同一位置回放。指定的音确实改变、其余内容也能核对以后,再尝试下一处和声,别一次动完整首歌才发现最初想保留的乐句已经变了。
资料出处
原标题:YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
原始发布日期:2026/09/28
作者:Ruibin Yuan
本站发布日期:2026/09/29