论文解读

用双向偏好区分情绪:Emo-BPO 如何改进扩散式情感语音合成

针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题,Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导,在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率,而可懂度保持接近但未超过自回归大模型基线。

 · 约 19 分钟 · 9200 字 阅读 →
论文解读

EmoGavel:让偏好判断说出错误在哪并给出修正

针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题,EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习,在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分,但缺失证据恢复略有下降且结论适用范围限于四种预设错误。

 · 约 19 分钟 · 9227 字 阅读 →
论文解读

把文字变成可导演的表演:Fish Audio Drama 3 解读

Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话,用单一人类偏好奖励做强化学习,在多语克隆和按需修改上测得可复述的提升,代价是更大的总参数和更复杂的推理工程。

 · 约 23 分钟 · 11287 字 阅读 →
论文解读

生成视频声音对不上口型怎么办:SyncReward 如何学人类判断

论文针对联合生成的音画不同步问题,用 80K 条专业同步评分和两阶段奖励模型做评测与优化,在自建 1K 基准上与人类最一致,但只优化同步可能牺牲提示词保真度。

 · 约 20 分钟 · 9673 字 阅读 →
论文解读

小参数语音克隆如何补上自然感:Audio8-TTS 的三阶段训练

论文用 0.6B 双自回归模型做零样本语音克隆,以多语言微调打底、用词错误率和说话人相似度稳住内容和音色,再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感,代价是需要配对真人参考并额外约束时长。

 · 约 9 分钟 · 4209 字 阅读 →
论文解读

连续自回归语音语言模型的偏好后训练:采样、流时间与更新位置

论文研究连续自回归语音模型在偏好后训练中如何构造偏好对、在哪个流噪声水平比较以及更新自回归主干还是声学头,发现固定声学头只更新主干后部层在所测条件下带来更大的自动奖励提升,但训练损失更低并不等于生成语音更好。

 · 约 19 分钟 · 9092 字 阅读 →
论文解读

转录文本与推理多样性如何降低生成式语音增强的幻觉

AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。

 · 更新于 2026-10-15 · 约 21 分钟 · 10204 字 阅读 →
论文解读

智能体能否自动做语音合成的强化学习后训练

论文用 AgenticTTS-Forge 让智能体在 CosyVoice2-0.5B 上复现并改进强化学习后训练,再转到声学解码器把坏例从 13.4% 降到 6.1%,但三处测量漏洞说明能走多远取决于测量合同是否覆盖智能体读过的每个通道。

 · 更新于 2026-10-15 · 约 19 分钟 · 9284 字 阅读 →
论文解读

先改音色再分段导演:EDICT 如何兼顾全局音色编辑与句内表达控制

EDICT 用可训练的音色编辑器先产生共享的已编辑编解码参考,再用冻结语音合成主干分段生成并在边界重建 KV 缓存,TimbreEdit 与 IntraTTS 评测显示其编辑准确率和局部指令跟随更好,但内容误识率和未提及属性保持存在代价。

 · 更新于 2026-10-15 · 约 20 分钟 · 9791 字 阅读 →
论文解读

第一视角下何时开口说什么的主动语音助手

针对第一视角视频音频流中何时说话与说什么的联合问题,论文用分离与重合成清洗指导录像,再经监督微调学听或说、经偏好优化调时机,在 170 段基准上以起始 F1 与内容相似度为最强证据,代价是召回仍低且内容略有回落。

 · 更新于 2026-10-15 · 约 17 分钟 · 8193 字 阅读 →
论文解读

用带扰动音频的偏好优化让音频大模型更听声音

针对音频大模型偏向文本先验而幻觉的问题,该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio,在 DCASE 问答与 AH 存在性验证上提升准确率,但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。

 · 更新于 2026-10-15 · 约 16 分钟 · 7706 字 阅读 →
论文解读

用评分细则训练文本生成音乐:多维度奖励与专用测量的分工

该文用预训练音频语言模型按显式评分细则打分来优化音乐生成,在 MusicCaps 上同时提升三个独立评价指标,而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量,代价是打分器与提问方式选择不当会失效。

 · 更新于 2026-10-15 · 约 18 分钟 · 8819 字 阅读 →
论文解读

相对变化放在子句上、能量与音高分到不同残差码本:SCIC 的范围与码本感知控制

针对长直播中按子句渐进表现的需求,论文把音高能量语速写成相对上一同说话人子句的变化、停顿写成绝对时长区间,用时间路由器定作用范围、用标签专属码本权重按残差码本分配强度,再用多奖励 GDPO 联合优化控制与质量,最强证据是相对文本标签微调在音高能量上的百分点提升,而代价是只做说话人内适配且依赖强制对齐与说话人相似度等自动指标。

 · 更新于 2026-10-15 · 约 12 分钟 · 5813 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-01

共分析 55 篇语音/AI 论文

 · 更新于 2026-10-15 · 约 97 分钟 · 48174 字 阅读 →
论文解读

只用三百组人评校准机器标注:SpeechCritic 的诊断语音评价与分工训练

针对参考条件下的跨语言语音二选一诊断任务,论文用约 300 组人类偏好筛选并校准声学度量为非约束性概率提示以扩展出万级监督,再比较监督微调、在策略蒸馏与强化学习的不同分工,报告显示维度一致性提升 6.3 个百分点但强化学习主要改善高共识样本且可能降低维度诊断分。

 · 更新于 2026-10-15 · 约 26 分钟 · 12887 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

情感相似不是分类对错,而是谁更接近参考:SES-Bench 与 SES-Judge 的对齐做法

论文针对参考引导的 expressive 语音生成评价问题,用三元组分级比较构建 SES-Bench 并以累积 logit 序回归训练 SES-Judge,在 848 个测试比较上取得 Spearman 0.5297 与准确率 74.96%,显著高于嵌入余弦与大音频语言模型,但仍只覆盖 TTS 与 VC 两类任务与有限情感分布。

 · 更新于 2026-10-15 · 约 21 分钟 · 10037 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-09-29

共分析 43 篇语音/AI 论文

 · 更新于 2026-10-15 · 约 81 分钟 · 40144 字 阅读 →
论文解读

一次输出五种标签加解释:联合多粒度评分如何兼顾整体与细节

该研究用一遍输出完成句子准确度、流利度、韵律与词音素准确度五维评级并附带自然语言解释,在 SpeechOcean762 上以监督微调加有界偏好优化缓解类别不平衡,句子级解释自洽但词音素级定位仍不可靠。

 · 更新于 2026-10-15 · 约 19 分钟 · 9102 字 阅读 →
论文解读

平均情感不够用:用交互式遗传算法把 A-V 坐标调到每个人听起来对的位置

针对平均标注的唤醒度-效价映射与个人听感错位问题,该文用冻结声学主干、只在二维 A-V 空间做人机交互遗传搜索的个性化层,在保持可懂度和自然度的条件下把偏好率提升到个性化 76% 与文化适配约 65% 上下,但代价是每种情感需多轮试听反馈且结论限于 30 人小样本。

 · 更新于 2026-10-15 · 约 19 分钟 · 9226 字 阅读 →