一句话带走字节 2026 年 8 月的技术报告 SwanTale 用一套统一框架SwanVAE 连续 latent Flow-matching Transformer Unified MoE GRPO 后训练同时做好了两件原本要分开做的事——用自然语言 caption 当「导演」指挥生成instruct TTS和用参考音频克隆音色zero-shot TTS还能在一条波形里塞下多说话人对话、环境音和音效做语音生成 / AIGC 内容工具的人值得看它的 MoE 双路由和 GRPO 多奖励范式但记住这是闭源技术报告、分数要打折。 导语你做语音生成是不是也在拼一堆积木先问一个可能戳到你的问题你做的那个语音 / 配音 pipeline是不是塞了至少两个模型一个负责给我一段参考音频我克隆这个人的声音zero-shot TTS / 声音克隆另一个负责按文字描述生成带情绪和环境的声音instruct TTS。然后你想做动画配音或广播剧还要再接一个音效模型、一个音乐模型外加一个多说话人拼接的逻辑——四五个组件缝在一起延迟叠满、音色前后不一致、不同模块的风格还打架。如果你点过头那字节 2026 年 8 月放出的技术报告SwanTale大概率和你有关。它想把上面这一堆积木用一个模型全包了既能听自然语言指挥当导演又能照参考音频克隆还能在一条波形里同时产出多个说话人、环境音效、甚至歌声和音乐。听起来是不是有点太贪心了我读完的第一反应也是。但它的解法确实有点意思下面慢慢说。想自己动手试 论文arXiv 2608.02023 项目主页 / Demoswanaigc.github.io/#swantale 代码 / 数据集论文未提供技术报告闭源 这篇到底想解决什么问题把痛点说得更具体一点。做内容创作——动画配音、广播剧、电影、广告、游戏、播客、短视频——的人真正想要的是这几件事凑在一起没有参考录音也能设计声音新角色还没配音演员先凭空捏一个合适的人声出来️用自然语言控制风格中年男性、沙哑、急促、带点焦虑这种描述直接生成而不是调一堆滑块声学场景一起出人声 街道环境音 远处警报声一条波形搞定而不是事后混音设计好的声音能复用这个角色的音色存下来下一集还能接着用。现有模型为什么做不到论文点出三个硬骨头第一数据稀缺——带详细 caption 的表现力语音非常贵第二任务打架——把 instruct 和 zero-shot 塞一起联合训练两条 conditioning 路径会互相干扰常常两头不讨好第三多模态复杂——语音、通用音频、歌声、音乐要在同一条波形里共存建模压力极大。一句话研究问题能不能用一个模型让 instruct 和 zero-shot 共享主干、互不拖累还能多模态混合出一条复杂波形SwanTale 的回答是能并且在自己提的几套基准上拿了一堆最佳。️ 它的思路是什么整体看SwanTale 的处理链路其实很经典——压缩、生成、路由、精修四步走压缩先把 48 kHz 的音频用 SwanVAE 压成一种紧凑的连续表示生成再用一个 Transformer 在这个紧凑空间里从噪声画出目标声音路由用 Unified MoE 让 instruct 和 zero-shot 两条任务线各走各的专家互不打架精修最后用 GRPO 强化学习按导演给的分数再打磨一轮。下面拆开看几个关键设计。SwanVAE把 48 kHz 声音压成 25 Hz 的大纲第一个核心组件是SwanVAE一种神经编解码器neural codec。它的活儿是把 48 kHz 的原始音频压缩成一个紧凑的潜变量表示——你可以理解成把一本厚小说浓缩成大纲但大纲得保留足够细节让人能照着还原出整本小说的情节和语气。具体怎么压它用 5 级下采样步长组合是[ 4 , 4 , 4 , 5 , 6 ] [4,4,4,5,6][4,4,4,5,6]乘起来正好1920 个采样点压成一帧于是 48 kHz 的音频变成了每秒 25 帧、每帧 96 维的连续向量。相比原始波形压缩了大约 1920 倍但论文说它在语音、歌声、通用音频的重建质量上几乎全面领先 DAC、EnCodec、WavTokenizer 这些前辈。为什么要压这么狠因为后续 Transformer 是在 latent 空间里跑的——序列越短算得越快、训得越省。这里有个 trade-off 后面会回头讲压缩太狠对高瞬态的音乐可能不够。图说SwanVAE 的三件套——(a) 抗混叠卷积编码器 高斯变分瓶颈 局部 Transformer 解码器(b)© 是训练时才用的对齐目标flow matching 因果 latent 预测 能量 / chroma readout推理时不进生成器。读者重点看 (a)信号从左到右被压成 25 Hz × 96 维 latent再由 Transformer 解码器还原波形。Flow-matching Transformer从噪声导航到目标声音有了 latent 空间生成就交给一个Flow-matching Transformer。flow matching流匹配你可以理解成一条导航路径——从一团纯噪声ϵ \epsilonϵ出发沿着一条平滑的速度场一步步走到目标 latentx ⋆ x^\starx⋆。相比传统 diffusion它训练更稳、推理步数也更灵活。这个 Transformer 同时接收好几路条件caption 分支用 Qwen 系列编码器理解你的自然语言描述再用 cross-attention 注入文本 token借了 CosyVoice 2.0 的 tokenizer把要念的文字编进来参考音频zero-shot 路径专属把要克隆的音色 embedding 喂进来Engram 记忆这是个有意思的小设计存 recurring反复出现的声学模式类似演员的肌肉记忆遇到重复套路不用每次从头学。论文还给生成器加了一个reward-conditioned 质量控制——把质量打分映射成low / normal / high / unknown四档作为条件推理时你可以显式选我要高质量的。等于把质量档位做进了模型而不是事后筛选。Unified MoE让两个任务同居不同房这是论文在路由层面的核心创新也是解决instruct 和 zero-shot 打架的关键。图说SwanTale 整体架构。(a) 里 zero-shot 路径提供参考音频、两个任务共享文本和 caption 分支(b) 是 Unified MoE——任务路由器在样本级选专家音频路由器在帧级对 audio latent 和 null 专家做 Top-P 路由。一句话两个任务共用主干但各走各的专家通道。Unified MoE混合专家里摆着三类专家任务共享专家task-sharedsample 级别由任务路由器按任务标签选一组——instruct 走这组、zero-shot 走那组先把两条线的能力解耦音频路由专家routed audio expertsframe 级别对每一帧 audio latent 动态选专家。说话帧、音效帧、音乐帧各派给最擅长的工种——像剪辑师看片段派活儿null 专家一个拒绝 / 静音通道。低置信度的帧可以直接走 null相当于模型说这段我放过。最巧妙的是dynamic Top-P选多少专家不是固定的而是随质量分数和训练进度动态调整——高质量、训练后期多用几个专家低质量、早期少用甚至走 null。这既省算力也让模型在不确定时学会闭嘴而不是硬编。为什么不直接全共享论文的隐含逻辑是instruct 和 zero-shot 对生成器的能力要求其实不同——一个要听 caption 的话、一个要贴参考音频——硬塞一起会互相拉扯。task router 把它们分到不同共享专家子集等于让它们同居不同房既享受同一栋楼主干的便利又各有各的私人空间。四阶段课程 GRPO 后训练先学会走再学演这一切成型的地基是它那条 7000 万条多级 caption 的数据管线 SwanData-Caption图说SwanData-Caption 四阶段——覆盖设计补老年语音、短句、难读发音、SwanData-Speech 预处理分离 / diarization / ASR / 对齐、caption 标注Environment / Speakers / Content 三类字段、数据精炼PESQ / STOI / MOS 筛选 人工 best-worst。一句话怎么把原始音频洗成带导演级标注的训练料。训练不是一把梭。SwanTale 用了四阶段课程学习节奏很讲道理zero-shot 基础2300 万单说话人 170 万双说话人小时——先把基础语音建模打牢dense caption 适应7000 万干净 speech——学会吃 captioncaption 混合 Unified MoE1000 万样本——开启 instruct 多模态联合✨高表现力 SFT100 万高质量子集——拔高表达力。最后一步是GRPO 后训练Group Relative Policy Optimization一种强化学习算法。思路很直接让模型生成一批样本按多维奖励打分组内排名定优劣再更新策略。奖励涵盖音素准确率、时长对齐、停顿标点、边界能量、整体质量instruct 任务还额外用 SwanVerifier 验证caption 里说要男性沙哑生成出来真的是男性沙哑吗zero-shot 任务额外加一个音色余弦相似度r s i m r_{sim}rsim——克隆出来的音色要和参考像。一个技术亮点它把 flow 当成SDE随机微分方程来跑在采样时注入受控随机性做探索这才让 GRPO 能在生成分布上采到不同样本、估出优势。纯确定性的 flow 没法这么干。 效果到底怎么样数字层面SwanTale 在自己提的 SwanBench 系列和公开的 InstructTTSEval 上几乎全面最佳。我挑三个最值得看的第一个zero-shot 单人配音monologue模型音色一致性声音保真度内容错误率 ↓表达丰富度CosyVoice-30.933.800.0772.64FishSpeech0.934.090.0662.37F5TTS0.922.600.0852.77SwanTale0.934.130.0613.57指标怎么读音色一致性越接近 1 越像参考声音保真度和表达丰富度是 1-5 分的主观评分越高越好内容错误率越低越好。我最在意的是内容错误率 0.061 同时配表达丰富度 3.57这组——前者说明念得准、没胡编后者说明念得有感情。以往很多 TTS 是准就平、有感情就容易窜字SwanTale 把两头都拉满了这是统一框架没让 zero-shot 互相拖累最直接的证据。表达丰富度 3.57 比第二名 F5TTS 的 2.77 高了一大截GRPO 后训练 高表现力 SFT 看来是真起作用了。第二个SwanVAE 重建质量在语音测试集上 PESQ语音感知质量越高越好拿到4.1683MCDmel 谱失真越低越好只有0.9638约为 DAC 的 0.8 倍——也就是说在 1920 倍压缩下它还原出来的声音频谱细节比主流编解码器都更接近原声。第三个instruct 任务在公开的 InstructTTSEval 上 APS属性正确性、DSD、RP 三项全是最佳4.37 / 4.10 / 4.13在自建的 SwanBench-Caption 上Instruction Accuracy 4.56——也就是 caption 里描述的性别、年龄、风格、环境基本能被准确执行。这是 instruct TTS 最核心的可用性指标你说了啥它就做了啥。 为什么你要关心落到读者的工作上我觉得有三层值得吸收️如果你做多任务生成模型Unified MoE 的task router audio router null expert三层结构是个可迁移的范式——任何需要多任务共享主干又怕互相干扰的场景多模态生成、多风格图像 / 视频生成都可以借鉴这个同居不同房 动态 Top-P 拒绝通道的设计如果你做 TTS / 音频对齐把 GRPO 搬进 TTS 后训练、用 SDE 策略做探索、把音素 / 时长 / 属性 / 音色相似度塞进一组多维奖励——这套范式比单纯靠 SFT 拔表达力更系统尤其那个 zero-shot 用的音色余弦相似度奖励是克隆任务对齐的好抓手如果你做内容创作工具它的 caption 标注 schemaEnvironment / Speakers / Content 三类字段用S1标说话人、Audio标音效和 best-worst 人工筛选协议是搭数据管线时的现成参考——别小看这个70M 条带多级 caption 的数据是这篇能跑通的地基。再往远看一层2025-2026 这波 TTS 的主旋律明显从单任务刷分转向统一 多模态 RL 对齐。CosyVoice、F5TTS、MegaTTS 各有侧重SwanTale 把统一这条线推到了 instruct zero-shot 多说话人 多模态混合波形的程度。不管字节最终开不开源这个方向大概率会被跟进。 冷静一下说了这么多好必须把另一面也摆出来——这篇有几个该打问号的地方。最大的问题是可信度源头这是字节的技术报告未经同行评审而且代码和 SwanData-Caption 数据都没开源无法独立验证。更关键的是SwanBench-Speech / Scene / Caption 这三套评测基准都是它自己建的——而基准的 caption 标注和训练数据同出一源同一条管线产出instruct 任务的Instruction Accuracy和Expressiveness评分很可能对自家标注风格有系统性偏好。换句话说自己出题自己考分数天然偏高。还有一个我个人最想看的消融它没给Unified MoE 到底多大程度上解决了任务互相干扰论文给的是整体 SOTA但没有去掉 Unified MoE 后 instruct 和 zero-shot 互相拉扯的对照实验。所以MoE 实现任务隔离这个 claim我倾向于当成合理的设计假设而不是已被证明的事实。最后一个小细节反而让我更信它一点它如实报告了音乐 ViSQOL 次于 EnCodec这个不利结果——说明 25 Hz × 96 维 latent 对高瞬态音乐确实有信息损失没藏着。这反过来给统一 latent 表达全模态的边界画了个问号。 一句话带走SwanTale 给出了一个工程上很扎实的统一语音 / 音频生成方案Unified MoE 双路由和 GRPO 多奖励后训练两个范式值得偷师但作为闭源技术报告 自建评测它的全面 SOTA得打个折——看方法学思路别太纠结排行榜数字。作者lusca版本lusca-paper-blog v1.2.8出处https://github.com/yjmm10/lusca-skill/tree/main/skills/lusca-paper-blog SwanTale：字节把声音克隆和「自然语言导演」塞进了同一个模型
一句话带走字节 2026 年 8 月的技术报告 SwanTale 用一套统一框架SwanVAE 连续 latent Flow-matching Transformer Unified MoE GRPO 后训练同时做好了两件原本要分开做的事——用自然语言 caption 当「导演」指挥生成instruct TTS和用参考音频克隆音色zero-shot TTS还能在一条波形里塞下多说话人对话、环境音和音效做语音生成 / AIGC 内容工具的人值得看它的 MoE 双路由和 GRPO 多奖励范式但记住这是闭源技术报告、分数要打折。 导语你做语音生成是不是也在拼一堆积木先问一个可能戳到你的问题你做的那个语音 / 配音 pipeline是不是塞了至少两个模型一个负责给我一段参考音频我克隆这个人的声音zero-shot TTS / 声音克隆另一个负责按文字描述生成带情绪和环境的声音instruct TTS。然后你想做动画配音或广播剧还要再接一个音效模型、一个音乐模型外加一个多说话人拼接的逻辑——四五个组件缝在一起延迟叠满、音色前后不一致、不同模块的风格还打架。如果你点过头那字节 2026 年 8 月放出的技术报告SwanTale大概率和你有关。它想把上面这一堆积木用一个模型全包了既能听自然语言指挥当导演又能照参考音频克隆还能在一条波形里同时产出多个说话人、环境音效、甚至歌声和音乐。听起来是不是有点太贪心了我读完的第一反应也是。但它的解法确实有点意思下面慢慢说。想自己动手试 论文arXiv 2608.02023 项目主页 / Demoswanaigc.github.io/#swantale 代码 / 数据集论文未提供技术报告闭源 这篇到底想解决什么问题把痛点说得更具体一点。做内容创作——动画配音、广播剧、电影、广告、游戏、播客、短视频——的人真正想要的是这几件事凑在一起没有参考录音也能设计声音新角色还没配音演员先凭空捏一个合适的人声出来️用自然语言控制风格中年男性、沙哑、急促、带点焦虑这种描述直接生成而不是调一堆滑块声学场景一起出人声 街道环境音 远处警报声一条波形搞定而不是事后混音设计好的声音能复用这个角色的音色存下来下一集还能接着用。现有模型为什么做不到论文点出三个硬骨头第一数据稀缺——带详细 caption 的表现力语音非常贵第二任务打架——把 instruct 和 zero-shot 塞一起联合训练两条 conditioning 路径会互相干扰常常两头不讨好第三多模态复杂——语音、通用音频、歌声、音乐要在同一条波形里共存建模压力极大。一句话研究问题能不能用一个模型让 instruct 和 zero-shot 共享主干、互不拖累还能多模态混合出一条复杂波形SwanTale 的回答是能并且在自己提的几套基准上拿了一堆最佳。️ 它的思路是什么整体看SwanTale 的处理链路其实很经典——压缩、生成、路由、精修四步走压缩先把 48 kHz 的音频用 SwanVAE 压成一种紧凑的连续表示生成再用一个 Transformer 在这个紧凑空间里从噪声画出目标声音路由用 Unified MoE 让 instruct 和 zero-shot 两条任务线各走各的专家互不打架精修最后用 GRPO 强化学习按导演给的分数再打磨一轮。下面拆开看几个关键设计。SwanVAE把 48 kHz 声音压成 25 Hz 的大纲第一个核心组件是SwanVAE一种神经编解码器neural codec。它的活儿是把 48 kHz 的原始音频压缩成一个紧凑的潜变量表示——你可以理解成把一本厚小说浓缩成大纲但大纲得保留足够细节让人能照着还原出整本小说的情节和语气。具体怎么压它用 5 级下采样步长组合是[ 4 , 4 , 4 , 5 , 6 ] [4,4,4,5,6][4,4,4,5,6]乘起来正好1920 个采样点压成一帧于是 48 kHz 的音频变成了每秒 25 帧、每帧 96 维的连续向量。相比原始波形压缩了大约 1920 倍但论文说它在语音、歌声、通用音频的重建质量上几乎全面领先 DAC、EnCodec、WavTokenizer 这些前辈。为什么要压这么狠因为后续 Transformer 是在 latent 空间里跑的——序列越短算得越快、训得越省。这里有个 trade-off 后面会回头讲压缩太狠对高瞬态的音乐可能不够。图说SwanVAE 的三件套——(a) 抗混叠卷积编码器 高斯变分瓶颈 局部 Transformer 解码器(b)© 是训练时才用的对齐目标flow matching 因果 latent 预测 能量 / chroma readout推理时不进生成器。读者重点看 (a)信号从左到右被压成 25 Hz × 96 维 latent再由 Transformer 解码器还原波形。Flow-matching Transformer从噪声导航到目标声音有了 latent 空间生成就交给一个Flow-matching Transformer。flow matching流匹配你可以理解成一条导航路径——从一团纯噪声ϵ \epsilonϵ出发沿着一条平滑的速度场一步步走到目标 latentx ⋆ x^\starx⋆。相比传统 diffusion它训练更稳、推理步数也更灵活。这个 Transformer 同时接收好几路条件caption 分支用 Qwen 系列编码器理解你的自然语言描述再用 cross-attention 注入文本 token借了 CosyVoice 2.0 的 tokenizer把要念的文字编进来参考音频zero-shot 路径专属把要克隆的音色 embedding 喂进来Engram 记忆这是个有意思的小设计存 recurring反复出现的声学模式类似演员的肌肉记忆遇到重复套路不用每次从头学。论文还给生成器加了一个reward-conditioned 质量控制——把质量打分映射成low / normal / high / unknown四档作为条件推理时你可以显式选我要高质量的。等于把质量档位做进了模型而不是事后筛选。Unified MoE让两个任务同居不同房这是论文在路由层面的核心创新也是解决instruct 和 zero-shot 打架的关键。图说SwanTale 整体架构。(a) 里 zero-shot 路径提供参考音频、两个任务共享文本和 caption 分支(b) 是 Unified MoE——任务路由器在样本级选专家音频路由器在帧级对 audio latent 和 null 专家做 Top-P 路由。一句话两个任务共用主干但各走各的专家通道。Unified MoE混合专家里摆着三类专家任务共享专家task-sharedsample 级别由任务路由器按任务标签选一组——instruct 走这组、zero-shot 走那组先把两条线的能力解耦音频路由专家routed audio expertsframe 级别对每一帧 audio latent 动态选专家。说话帧、音效帧、音乐帧各派给最擅长的工种——像剪辑师看片段派活儿null 专家一个拒绝 / 静音通道。低置信度的帧可以直接走 null相当于模型说这段我放过。最巧妙的是dynamic Top-P选多少专家不是固定的而是随质量分数和训练进度动态调整——高质量、训练后期多用几个专家低质量、早期少用甚至走 null。这既省算力也让模型在不确定时学会闭嘴而不是硬编。为什么不直接全共享论文的隐含逻辑是instruct 和 zero-shot 对生成器的能力要求其实不同——一个要听 caption 的话、一个要贴参考音频——硬塞一起会互相拉扯。task router 把它们分到不同共享专家子集等于让它们同居不同房既享受同一栋楼主干的便利又各有各的私人空间。四阶段课程 GRPO 后训练先学会走再学演这一切成型的地基是它那条 7000 万条多级 caption 的数据管线 SwanData-Caption图说SwanData-Caption 四阶段——覆盖设计补老年语音、短句、难读发音、SwanData-Speech 预处理分离 / diarization / ASR / 对齐、caption 标注Environment / Speakers / Content 三类字段、数据精炼PESQ / STOI / MOS 筛选 人工 best-worst。一句话怎么把原始音频洗成带导演级标注的训练料。训练不是一把梭。SwanTale 用了四阶段课程学习节奏很讲道理zero-shot 基础2300 万单说话人 170 万双说话人小时——先把基础语音建模打牢dense caption 适应7000 万干净 speech——学会吃 captioncaption 混合 Unified MoE1000 万样本——开启 instruct 多模态联合✨高表现力 SFT100 万高质量子集——拔高表达力。最后一步是GRPO 后训练Group Relative Policy Optimization一种强化学习算法。思路很直接让模型生成一批样本按多维奖励打分组内排名定优劣再更新策略。奖励涵盖音素准确率、时长对齐、停顿标点、边界能量、整体质量instruct 任务还额外用 SwanVerifier 验证caption 里说要男性沙哑生成出来真的是男性沙哑吗zero-shot 任务额外加一个音色余弦相似度r s i m r_{sim}rsim——克隆出来的音色要和参考像。一个技术亮点它把 flow 当成SDE随机微分方程来跑在采样时注入受控随机性做探索这才让 GRPO 能在生成分布上采到不同样本、估出优势。纯确定性的 flow 没法这么干。 效果到底怎么样数字层面SwanTale 在自己提的 SwanBench 系列和公开的 InstructTTSEval 上几乎全面最佳。我挑三个最值得看的第一个zero-shot 单人配音monologue模型音色一致性声音保真度内容错误率 ↓表达丰富度CosyVoice-30.933.800.0772.64FishSpeech0.934.090.0662.37F5TTS0.922.600.0852.77SwanTale0.934.130.0613.57指标怎么读音色一致性越接近 1 越像参考声音保真度和表达丰富度是 1-5 分的主观评分越高越好内容错误率越低越好。我最在意的是内容错误率 0.061 同时配表达丰富度 3.57这组——前者说明念得准、没胡编后者说明念得有感情。以往很多 TTS 是准就平、有感情就容易窜字SwanTale 把两头都拉满了这是统一框架没让 zero-shot 互相拖累最直接的证据。表达丰富度 3.57 比第二名 F5TTS 的 2.77 高了一大截GRPO 后训练 高表现力 SFT 看来是真起作用了。第二个SwanVAE 重建质量在语音测试集上 PESQ语音感知质量越高越好拿到4.1683MCDmel 谱失真越低越好只有0.9638约为 DAC 的 0.8 倍——也就是说在 1920 倍压缩下它还原出来的声音频谱细节比主流编解码器都更接近原声。第三个instruct 任务在公开的 InstructTTSEval 上 APS属性正确性、DSD、RP 三项全是最佳4.37 / 4.10 / 4.13在自建的 SwanBench-Caption 上Instruction Accuracy 4.56——也就是 caption 里描述的性别、年龄、风格、环境基本能被准确执行。这是 instruct TTS 最核心的可用性指标你说了啥它就做了啥。 为什么你要关心落到读者的工作上我觉得有三层值得吸收️如果你做多任务生成模型Unified MoE 的task router audio router null expert三层结构是个可迁移的范式——任何需要多任务共享主干又怕互相干扰的场景多模态生成、多风格图像 / 视频生成都可以借鉴这个同居不同房 动态 Top-P 拒绝通道的设计如果你做 TTS / 音频对齐把 GRPO 搬进 TTS 后训练、用 SDE 策略做探索、把音素 / 时长 / 属性 / 音色相似度塞进一组多维奖励——这套范式比单纯靠 SFT 拔表达力更系统尤其那个 zero-shot 用的音色余弦相似度奖励是克隆任务对齐的好抓手如果你做内容创作工具它的 caption 标注 schemaEnvironment / Speakers / Content 三类字段用S1标说话人、Audio标音效和 best-worst 人工筛选协议是搭数据管线时的现成参考——别小看这个70M 条带多级 caption 的数据是这篇能跑通的地基。再往远看一层2025-2026 这波 TTS 的主旋律明显从单任务刷分转向统一 多模态 RL 对齐。CosyVoice、F5TTS、MegaTTS 各有侧重SwanTale 把统一这条线推到了 instruct zero-shot 多说话人 多模态混合波形的程度。不管字节最终开不开源这个方向大概率会被跟进。 冷静一下说了这么多好必须把另一面也摆出来——这篇有几个该打问号的地方。最大的问题是可信度源头这是字节的技术报告未经同行评审而且代码和 SwanData-Caption 数据都没开源无法独立验证。更关键的是SwanBench-Speech / Scene / Caption 这三套评测基准都是它自己建的——而基准的 caption 标注和训练数据同出一源同一条管线产出instruct 任务的Instruction Accuracy和Expressiveness评分很可能对自家标注风格有系统性偏好。换句话说自己出题自己考分数天然偏高。还有一个我个人最想看的消融它没给Unified MoE 到底多大程度上解决了任务互相干扰论文给的是整体 SOTA但没有去掉 Unified MoE 后 instruct 和 zero-shot 互相拉扯的对照实验。所以MoE 实现任务隔离这个 claim我倾向于当成合理的设计假设而不是已被证明的事实。最后一个小细节反而让我更信它一点它如实报告了音乐 ViSQOL 次于 EnCodec这个不利结果——说明 25 Hz × 96 维 latent 对高瞬态音乐确实有信息损失没藏着。这反过来给统一 latent 表达全模态的边界画了个问号。 一句话带走SwanTale 给出了一个工程上很扎实的统一语音 / 音频生成方案Unified MoE 双路由和 GRPO 多奖励后训练两个范式值得偷师但作为闭源技术报告 自建评测它的全面 SOTA得打个折——看方法学思路别太纠结排行榜数字。作者lusca版本lusca-paper-blog v1.2.8出处https://github.com/yjmm10/lusca-skill/tree/main/skills/lusca-paper-blog