一致且规整的表示为何还读不出顺序内容
论文问文本表示能否保留有序规范内容,用信息分解与构造性反例说明视图一致和各向同性高斯几何不足以保证可恢复,再以 CANOPE 对照实验显示规范 token 监督在可恢复与自然损坏下实现近完美恢复而隐一致失败,并延伸到冻结语音读出仍有巨大词错误率差距,但端到端语音基线更强且语义泛化有限。
论文问文本表示能否保留有序规范内容,用信息分解与构造性反例说明视图一致和各向同性高斯几何不足以保证可恢复,再以 CANOPE 对照实验显示规范 token 监督在可恢复与自然损坏下实现近完美恢复而隐一致失败,并延伸到冻结语音读出仍有巨大词错误率差距,但端到端语音基线更强且语义泛化有限。
论文针对发布语音会被神经编解码、声码器和增强模型重建而抹掉水印的问题,提出在生成全程参与嵌入并在波形与频谱两路按比特选可靠恢复的 Thrive 框架,在两种自回归合成器上无攻击时比特准确率达 0.999,重建攻击下平均约 87.6%,代价是需要两阶段训练与双专家恢复结构。
该文研究如何在不重新训练 Qwen3-TTS 的前提下,用发声用力和过度清晰发音两个方向在推理时调整隐藏表示,并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚,同时保持说话人相似度和流式实时性。
针对合成语音事后加水印易被绕过和易被神经编解码重合成抹除的问题,NeuMark-Native 把 16 比特信息嵌入冻结的 VALL-E 与 SpeechTokenizer 每一层 RVQ 隐表示后再解码,在两套语料 11 种信号处理与 9 种编解码攻击下取得更强的整体检出,尤其在编解码攻击下优势明显,代价是只训练水印模块并需离线预合成配对数据。
Paradee 针对单音色 af_heart 把 Kokoro-82M 的文本侧与解码器分别蒸馏并直接拼接,在 200 句 held-out 上 UTMOS 4.41 接近教师 4.52,代价是保留 2-8 kHz 相位相关的轻微嗡嗡声并依赖相位锁定滤波做训练后修正。
针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题,论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理,并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善,且不增加网络前向次数。
该文针对日语正字法与发音不是一一对应的问题,用输出片假名的识别模型计算假名域误差作为强化学习奖励,在相同分组相对策略优化条件下把目标汉字读音误差相对降低约 26%,同时保持了相近的正字法误差、说话人相似度和客观音质,但无约束时会引起输出明显变长,需要 KL 正则抑制。
论文用同一组掩码扩散编解码器语音模型只在推理时增加细化步数,发现可懂度接近可达上限而音色相似度只走了一半路程,相同计算量下用说话人编码器做候选选择才能继续提升音色,但要付出词错误率和编解码器上限的代价。
针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题,该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式,母语人听辨显示口音明显下降,但掩码位置决定了口音抑制与音色保持的折中。
SteerSpeech 针对推理时情感控制粗糙不稳定的问题,在冻结 Qwen3-TTS 的条件下为每种目标情感学习一个低秩残差变换来优化 steering 方向,并用情感、说话人和转写三类专家在多档强度上联合监督,在愤怒等情感上把目标情感分数提升到基线的 1.08 倍到 7.12 倍,代价是快乐和悲伤的说话人漂移略有上升且高强度下仍存在情感与身份的权衡。
该文发布为录制 42 小时约鲁巴语语音而准备的 24905 句带声调符号文本,讲清来源改写与 Unicode 清洗过程,其复用价值只在标准约鲁巴语朗读新闻语域内成立。
该论文用配对中性与情感合成加激活补丁,定位出条件前缀源头和每种情感约二十余个注意力头与多层感知机,证明它们能恢复或抑制大部分晚期情感读出偏移并引起解码波形的音高能量变化,但结论只在单说话人单参考英文受控条件下成立。
针对无性别限定的风格提示导致合成语音性别偏斜的问题,论文用冻结模型上的组偏差向量加开发集强度搜索做推理时校准,在 12800 条 held-out 提示上把聚合校准误差降到 0.80–5.86 百分点,代价是自然度最多下降 0.076、可懂度变化在 -4.13 至 +3.26 百分点之间。
VoiceWeaver 用结构化标签前缀把情感、语气和声音事件拼进同一文本音频序列,再按情感到语气再到事件的顺序分阶段学习并用回放蒸馏保持旧能力,在中英文封闭标签测试中情感事件联合正确率达到约 70% 和 66%,代价是文本错误率高于外部大体量语音合成基线。
该文用声学到发音反演伪标签把声道滤波器锚定在发音运动学上,源用基频能量加流匹配细化,以频谱保真度小幅下降换来可验证的源滤波解耦与发音级口音编辑。
该文用同一批俄语录音的长单元与短窗口对照微调并做全尝试连续合成评估,报告在约 1200 词时自回归模型的长目标训练大幅降低词错误率,而流匹配模型的绝对错误率仍高于 90%,代价是转录格式与语料构成等混杂尚未完全分离。
该文把可审计的生成来源链作为行为归因的前提,提出合成语音研究对象与五遍审计法,并在 113 条日语护理交接合成资产上验证了哪些归因问题被允许、哪些仍被缺失戳记阻断,代价是仍不提供因果归因与临床有效性结论。
针对冻结语音语言模型上情绪条件弱、单强度整体放缩难以兼顾离中性与指情绪的问题,论文提出免训练的共享分量与残差分量独立加权方法 EmoRES,在 IEMOCAP 混合情绪上把排序相关与首位命中率大幅提高,代价是仍需离线构造情绪向量库并依赖所选层与强度设置。
论文用长度匹配的重复与对照配对证明重复本身导致语音合成计数失败,在 k≥6 时对照组 94.3% 完全正确而重复组仅 18.2%,且该差距经解码、识别器和分析规格多重检验仍稳定存在。
针对 Qwen3-TTS 内层 MultiCodeDecoder 每帧 15 次自回归调用的主导延迟,论文复用冻结的逐位置 LM 头并只训练 3 个残差偏移向量做草稿加稀疏树验证,在保持 top-k 采样分布无损下实现约 2.47 个 token 每次调用和 2-2.2 倍实测加速,代价是每次验证调用查询长度增大带来的 10-20% 额外开销。