Audio8-TTS-Realistic-Air

Audio8_TTS 是一个轻量级、高品质的开源文本转语音（TTS）与声音克隆框架。其中最新发布的 Edge0/Audio8-TTS-Realistic-Air 是其 0.6B（6亿参数）的演进成熟版。

• 与前代 Preview-0.6b 的联系：

• 同宗同源的架构：两者共享相同的 6 亿参数体量、经典的 DualAR（双自回归）底层架构、44.1kHz 高保真神经音频编解码器以及完全一致的 Hugging Face Transformers 推理接口。

• 与前代 Preview-0.6b 的核心区别：

1. 语种大幅扩充：预览版（Preview）主要支持 11 种语言；而 Realistic-Air 扩展支持了多达 23 种语言（新增了阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语和越南语）。
2. 语音逼真度与自然度质的飞跃：Realistic-Air 在训练中引入了独特的强化学习（GRPO）与“真实度评估器（Realism Critic）”联合微调，大幅提升了断句、呼吸停顿和情感韵律的自然感，彻底摆脱了早期预览版可能存在的机械感。

核心功能与产品特点

1. 零样本声音克隆（Zero-Shot Voice Cloning）：只需提供数秒的目标人物音频及文本参考，就能快速“学会”该声音的音色，并用该声音朗读任意新文本。
2. 免参考语音合成：即便没有任何声音样例，也可直接作为标准 TTS 引擎输出自然语音。
3. 极低资源消耗与商用友好：主模型参数仅 6 亿，显存占用极低，且代码与权重均采用开源 Apache 2.0 协议，支持免费商业化应用和自由微调。

研发团队与应用场景

• 研发团队：由 AI 开源团队/机构 Edge0（Edge0-AI） 倾力打造。
• 适用场景：
• 端侧与边缘设备部署：完美适配个人电脑、笔记本或中低配服务器本地运行。
• 内容创作与游戏配音：为短视频、有声书和互动 NPC 快速定制专属声音。
• 实时 AI 语音助手：支持一键接入符合 OpenAI 标准的接口（/v1/audio/speech），无缝集成进各类智能 Agent。

底层技术架构

1. DualAR（双自回归）设计：

• 慢速语义主干（Slow AR）：基于 Qwen2.5-0.5B 构建，负责预测每帧的语义 Token。
• 快速细节分支（Fast AR）：4 层轻量网络，并行预测剩余音频 Codebook。

2. 端到端 44.1kHz 神经音频编解码器：自带高采样率 Codec，不依赖外部独立声码器即可直出高清音频。
3. 真实度引导的强化训练（GRPO + Realism Critic）：有效矫正语音节奏，让人工合成的声音无限贴近真人呼吸与停顿。