为对话配上合适语气:用合成反馈训练风格规划器
针对对话语境下如何用自然语言指令控制合成语气的问题,论文提出冻结合成模型、用目标语音似然奖励训练规划器,在英语电影对话子集上提升了与目标语音的声学相似性和语境恰当性,但结论依赖同一合成后端且未做人工听音验证。
针对对话语境下如何用自然语言指令控制合成语气的问题,论文提出冻结合成模型、用目标语音似然奖励训练规划器,在英语电影对话子集上提升了与目标语音的声学相似性和语境恰当性,但结论依赖同一合成后端且未做人工听音验证。
论文用只在训练加替换、采样只用掩码的 DeMaR 检验零样本语音合成,发现字错率下降在不再改写已定词元时依然保留,而两种解码运行方式不同且原文未报告延迟对比。
针对日中语音识别在冻结 CTC 贪婪解码下按字符热词表加偏的问题,用字符级自动机暴露匹配深度做门控并叠加读音空间匹配,在 Aishell-1 难例上达到 66.5% 召回并在日语基准上提升约 25 个百分点,代价是随词表增大和权重设置需要权衡插入错误。
针对公开基座上算出的扰动能直接拖垮私有微调语音识别的问题,论文把防御集中到基座来源的可迁移方向上,用基座扰动训练、隐层位移约束和混合梯度扰动,把平均对抗词错误率从 92.6 降到 27.8,干净词错误率则从 16.4 升到 18.9。
针对音乐生成多人协调舞蹈时固定人数与身份混淆问题,ChainDance 把联合生成改写为沿舞者的条件链,用冻结单人扩散主干加两个轻量编码器与推理时噪声优化,在 AIOZ-GDance 三人组上报告 GMR 为 11.63 与 GMC 为 83.74,代价是全局优化把推理从 0:06 拉长到 0:15。
论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练,再转到声学解码器把坏例从 13.4% 降到 6.1%,但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。
论文把风格是否可从文本推断变成跨模态聚类预测问题,用六个说话人上文本嵌入预测声音聚类的提升只有 0.111 且四分之三来自词本身,句子语义只多加 0.026 且几何上不紧凑。
CARES 先把声音显著性定义为说话人是否可听地做出反应,再用受控流程生成 10000 个双人场景,证明六个音频语言模型能认出声音和地点,却在判断反应类型上不超越只看文字的对照系统,且总结时很少提及未被说出的声音。
CASM 在冻结的节拍激活上做离线半马尔可夫解码,用局部周期及其竞争间隔的分离程度调节时间正则强度,在 GTZAN 和 SMC 上以同一套参数提升连续性并保持 F1,代价是仍需阈值、音符数兜底和拍号解码等确定性规则。
论文用三名被试每人约三十小时听法语播客的全脑功能磁共振数据,把解码做成在未见会话中用脑活动检索对应音频片段的任务,基线解码器随被试内训练量持续变好但只在三人单站点法语叙事条件下成立。
论文把同一角色换演员和同一演员演多角两种混淆拆成可评分的验证条件,用 85 个经人审核的配音角色建成 KyaraBench,并用跨演员正样本加同演员难负样本训练 KyaraEmbed,在角色相关条件下取得表中最好成绩,但结论只限于日本动画及英配范围。
CloudEar 针对生成歌曲评价中感知分数压缩与提示词细粒度属性缺失问题,用感知专家加诊断专家做音乐性成对比较、用跨模态专家做体裁乐器对齐比较,在三个人工标注基准上取得更高的偏好一致率与评分相关性,但结论只在给定数据划分与配对构造下成立且推理代价未被测量。
本文在脑磁语音检索中发现融合后前二分差越大在局部排名靠前时更可能是被修正的错误、靠后时反而更可能是修不好的错误,并用只改变融合权重的干预和保留局部与先验分数的选择性输出证明了该反转的机制与代价。
论文针对全双工语音模型边听边说的耦合互动难以用固定考官评价的问题,提出让两个模型直接对话并都被离线打分的 DyaFDB 框架,用 140 个场景 7560 段对话证明分数是两人共同决定的,代价是需要成对录制与离线评判。
论文用上下文加回应语音预测九个审美标签,先在合成标注上监督微调学格式与描述,再用约 10 人投票的分布奖励做 GRPO 对齐,主证据是感知场平均宏 F1 达 50.1% 超过人类单人对多数人的 43.5%,代价是需要工具测量辅助与两阶段训练。
论文固定结构和评测,只把蒸馏损失从 DistilHuBERT 损失换成相关性损失,比较权重插值和激活排列两种合并,发现后者在语音侧更稳、需要搬动的通道更少,但在标准宽度音乐侧仍是旧损失更好。
论文让两个 PersonaPlex-7B 直接交换音频 token 自由对话,用同一套 floor-transfer 规则测量接话时机,发现模型之间能相互耦合但中位间隔比人大三到四倍,且延迟扫频与分布形状支持反应式等待而非人类式提前预测。
针对注册与测试语言不一致时声纹会混入语言线索的问题,该工作用 w2v-BERT 2.0 做前端提取多层特征并聚合为说话人嵌入,在 TidyVoice2026 上融合后达到评测 A 等误率 2.21% 与评测 U 等误率 2.99%,代价是 580M 以上参数与 58.43 GMACs 的计算量。
论文要解决无成对电影声画编辑数据时如何执行组合指令,方法是把合成音频编辑与自监督声画掩码重建加入微调,在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限,且保留了原有单模态编辑能力。
论文把文本条件合成器得到的 78 维配置经由基于角色的映射固定为可复用的音色塑形效果器,用四种吉他音色提示的频谱与非线性测量加打乱映射消融证明结构化分工带来提示可区分性,并用检索增强的合成器生成器提升表示的文本相似度,代价是映射为启发式且评估只限单段吉他演奏与信号级指标。