HeartMuLa

HeartMuLa 就像一个精通多种语言、能听会唱的“AI 音乐全才”。

• 多语言创作：它不仅懂中文和英文，还精通日语、韩语、西班牙语等多种语言。你可以让它写一首动听的 K-Pop，或者一首充满异域风情的西班牙歌曲。
• 文字秒变歌曲：你只需输入歌词或风格描述，它就能自动生成包含人声演唱和伴奏的完整歌曲。
• 精准段落指挥：你可以像音乐制作人一样，规定哪一部分是热烈的主歌，哪一部分是抒情的副歌。
• 听曲识词：给它一首歌，它能跨语言精准地提取出其中的歌词文字。

特点与功能

• 强大的多语言能力：支持包括但不限于中文、英文、日语、韩语和西班牙语的生成与识别。
• 全能工具箱：集成了音乐生成、音乐理解、歌词识别和音频对齐等全方位功能。
• 商业级质量：在音质的清晰度和旋律的和谐度上，直追 Suno 等顶尖商业 AI。
• 完全开源：秉承开源精神，模型代码与权重均对开发者开放，支持本地部署。

开发团队与技术背景

• 研发团队：该项目是由多方顶尖学术与研究机构联合开发的科研结晶。主要参与机构包括：

• 北京大学 (Peking University)

• 香港中文大学 (The Chinese University of Hong Kong)

• Scale Global / Ario

• 此外还有来自独立研究者的贡献。

• 底层技术：

• HeartMuLa LLM：基于大语言模型架构，将音乐创作转化为语言预测任务。

• HeartCodec：自研高保真音频编解码器，确保生成的音质接近无损。

• HeartCLAP：核心的跨模态对齐技术，让 AI 能够精准理解文本指令与音频之间的逻辑关系。