NotaGen

播放工具：ABC记谱法在线播放器

NotaGen 是由中央音乐学院、北京航空航天大学、清华大学和 ElectricAlexis 团队联合开发的符号音乐生成模型，致力于探索生成高质量古典乐谱的潜力。

技术特点

• 三阶段训练范式：借鉴大型语言模型（LLMs）的成功经验，采用三阶段训练范式。首先在 160 万首音乐作品上进行预训练，然后使用包含“时期-作曲家-乐器”提示的约 9000 首古典作品进行微调，最后利用新型 CLaMP-DPO 方法进行强化学习，且该过程无需人工注释或预定义奖励。
• 多种规模模型：提供不同规模的预训练模型，包括 NotaGen-small（1.1 亿参数）、NotaGen-medium（2.44 亿参数）和 NotaGen-large（5.16 亿参数），以满足不同的使用需求。
• NotaGen-X 优化：引入预训练和微调之间的后训练阶段，利用预训练数据集的古典风格子集优化模型；去除微调阶段的关键增强，使生成作品的乐器范围更合理；强化学习后利用生成的检查点收集新的后训练数据，重新进行后训练、微调和强化学习。

功能优势

• 高质量音乐生成：能够生成具有古典风格的音乐，用户可通过输入“时期-作曲家-乐器”作为提示，让 NotaGen 生成音乐，并可预览音频、PDF 乐谱以及下载相关文件。
• 灵活的本地部署：提供本地 Gradio 演示，部署 NotaGen-X 推理可能需要 8GB 的 GPU 内存，用户可在本地运行并生成音乐。
• 丰富的扩展支持：有 Google Colab 笔记本和 ComfyUI 节点等扩展支持，ComfyUI 节点可自动将生成的.abc 格式转换为.xml、.mp3 和.png 格式，方便用户聆听和查看乐谱。
• 完善的训练流程：提供从数据预处理到预训练、微调以及强化学习的完整训练流程和详细示例，用户可使用自己的数据进行模型训练和优化。