M5‑TTS是由西北工业大学ASLP@NPU(音频语音与语言处理实验室)开发的开源轻量多语言、多方言文本转语音(TTS)模型,在国内语音技术领域具备很高影响力。M5‑TTS主打小参数体积、本地CPU可运行,兼顾多语种、汉语多方言合成与零样本音色克隆能力,完整开源模型权重、推理代码,面向学术研究与开发者二次开发使用。
✅ 支持语言与方言
外语
- 英语(English)
- 德语(German)
- 法语(French)
- 日语(Japanese)
- 韩语(Korean)
中文及方言
- 普通话(Mandarin)
- 粤语(Cantonese,广东话)
- 四川话(Sichuanese)
备注:论文官方评估、训练集明确覆盖以上语种和方言;当前版本官方只正式评测粤语、四川话两种方言,其他方言暂不在官方测试集内,不保证效果。支持跨语言音色保持:用一段参考音频克隆音色后,可以用同一个音色生成上面任意语言/方言的语音。
核心功能与产品特点
- 轻量化体积,支持CPU流式推理:语言模型仅约50M参数量,不需要高端GPU,普通CPU就可以做流式语音生成,首块音频延迟低,适合部署在本地设备、边缘硬件上,不需要依赖云端接口。
- 多语言+汉语多方言合成:支持上面列出多国语言以及普通话、粤语、四川话合成,同一个模型就可以完成跨语种说话人音色保持,克隆的音色可以直接用来生成不同语言、方言的语音。
- 零样本语音克隆:提供一小段参考音频,即可复刻说话人的音色,不需要大量该说话人的训练数据。
- 高文本保真度:降低合成语音出现错字、漏读的问题,文字转语音时内容错误率较低,朗读文本时更加准确。
适用场景
- 本地离线语音助手、边缘设备语音播报;
- 多语种、方言有声内容制作;
- AI对话系统的语音输出模块;
- 语音合成方向学术研究、模型二次微调、算法对比实验。
底层核心技术
- 架构:时间主干网络搭配**多令牌预测(Multi‑Token Prediction)**模块,基于16个码本做语音码建模;
- 后训练:GRPO分组奖励优化,结合字符错误率CER做局部反馈约束,提升语音自然度和文本正确性;
- 结合语音编解码器(speech codec),把文本先映射离散语音码,再解码输出音频波形,实现端到端TTS生成。
说明:50M为语言模型部分参数,不包含语音编解码器权重。