论文解读

从绝对打分到相对偏好:语音质量奖励建模的范式转换与细粒度难例

论文把语音质量评估从跨库不可比的平均意见分回归改为库内偏好比较,用 55333 对训练偏好的 MOS-Pref 统一训练三类奖励模型,最强标量模型整体准确率达 80.04%,而 MOS 感知的生成式奖励模型在小分差上进一步提升,代价是生成式路径仍弱于标量排序且依赖偏好标注质量。

 · 更新于 2026-10-16 · 约 18 分钟 · 8989 字 阅读 →
论文解读

病理语音遮住编解码痕迹时,如何仍能检出伪造

针对病理语音下神经音频编解码重合成伪造难以检出的问题,论文构建配对的中英多病症基准并提出保留多证据、在双曲空间用多原型建模伪造模式的 PHOENIX-Mamba,其 PaSST 版本在英抑郁等任务上达到 97.04 准确率并把等错率降到约 5 左右,代价是依赖预训练表示与受控重合成协议而未覆盖真实信道与 TTS 等攻击。

 · 更新于 2026-10-16 · 约 22 分钟 · 10630 字 阅读 →
会议总览

iwslt-2026 论文深度解读

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-16 · 约 80 分钟 · 39666 字 阅读 →
论文解读

更难的重放与更真的合成:J-SPAW2 如何让日语说话人验证同时失守

J-SPAW2 在保留日语真实录制框架下系统控制重放距离音量与零样本合成参考噪声,用低音量远场重放使 w2v2+AASIST 的 t-DCF 升至 0.619、用 ElevenLabs 等合成使 CM 与 ASV 同时退化,但增强后更自然并不等于更难检测。

 · 更新于 2026-10-16 · 约 18 分钟 · 8893 字 阅读 →
论文解读

从单曲听到两首对比:Jamendo-MT-QA 如何把比较式音乐问答做成可测基准

针对单轨音乐问答无法考察跨轨比较的问题,该研究用四阶段流水线构造每对三问的比较问答集,并用统一评测显示句子级比较解释是当前模型的主要瓶颈,而其代价是严格过滤后保留高精度子集与依赖文本中间表示。

 · 更新于 2026-10-16 · 约 19 分钟 · 9510 字 阅读 →
论文解读

先听清再推理:用分层解耦把音频感知钉牢的混合推理

针对大音频语言模型感知错误主导问答失败的问题,论文用听觉场景分析做语音与环境、多说话人两层解耦并构造 PAQA,再以显式反思加 PAUSE 隐式计算的两阶段 HyPeR 训练,在保持可核查声学证据的同时以多目标奖励提升复杂音频问答,且额外暂停计算带来训练与推理开销。

 · 更新于 2026-10-16 · 约 20 分钟 · 9818 字 阅读 →
论文解读

听懂古文之声有多难:MCGA 把朗读、翻译、情感与推理放在同一语料里考

MCGA 用 119 小时真人朗读与六项语音任务检验多模态大模型理解古典文学的能力,最强模型在情感描述上仍不足 60 分,但用该语料微调可带来大幅提升,代价是曲类样本偏少且暂缺图文声三对齐图像。

 · 更新于 2026-10-16 · 约 18 分钟 · 8529 字 阅读 →
论文解读

用合成数据与对话式分段建模换取可复现的长歌曲生成

Muse 针对长歌曲不可复现问题,用 116489 首授权合成歌曲与全局加分段风格标注训练单阶段自回归模型,在小参数下取得可比的歌词对齐与风格相似度,并以多轮分段生成实现细粒度风格控制。

 · 更新于 2026-10-16 · 约 19 分钟 · 9358 字 阅读 →
论文解读

资源受限下做通用阿拉伯语语音大模型:Nuha-Speech 的数据、微调与评测链路

针对阿拉伯语语音指令数据稀缺与评测缺失问题,Nuha-Speech 用约 150 万条统一问答式语料对 Qwen-Omni 系列做两阶段 LoRA 微调,并在七任务评测中报告语义与副语言能力的全面提升,但合成数据占比与评测合成偏置仍是主要代价与限制。

 · 更新于 2026-10-16 · 约 16 分钟 · 7954 字 阅读 →
会议总览

odyssey-2026 论文深度解读

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-16 · 约 108 分钟 · 53865 字 阅读 →
论文解读

看见消防车、听见警笛才行动:PEAP 要求视觉与音频联合决定动作序列

论文把无指令下的主动帮助定义为视觉加音频加角色文本到动作序列的映射,用 19963 条 122 场景数据和四指标评测显示只有同时理解两模态才能给出正确帮助,而缺任一模态或替换任一模态都会使总体得分大幅下降。

 · 更新于 2026-10-16 · 约 18 分钟 · 8989 字 阅读 →
论文解读

编号保住谁是谁:PolyAudio 用交错上下文做五段内跨音频对证

论文针对需综合多个独立音频才能作答的多音频推理问题,选择在 Audio Flamingo 3 上做交错多音频指令微调,最强证据是 PolyAudio-Bench 上从 32.9% 提升到 73.5%,代价是依赖合成管线构造数据并把组合范围限制在最多 5 段。

 · 更新于 2026-10-16 · 约 16 分钟 · 7612 字 阅读 →
论文解读

口语不流利、说话人各异还要随时切语音文字:RealTalk-CN 如何测任务对话

针对中文多轮语音任务对话缺乏真实口语评测的问题,RealTalk-CN 用 5400 段真人录音与不流利标注和跨模态切换任务,测出槽填充比意图分类更怕口语化,而流水线与端到端各有胜负且老年与方言口音存在可测差距。

 · 更新于 2026-10-16 · 约 18 分钟 · 8785 字 阅读 →
论文解读

用自然语言搭脚手架学通用音频表示:对比学得快,生成式走得远

该文以聚合 10.7M 字幕的 CaptionStew 为试验床,在冻结编码器条件下比较对比学习与字幕生成两种目标,发现在判别任务上对比更数据高效而生成式随规模追赶更快,但有监督初始化的增益随规模衰减且声音事件检测出现反向扩展。

 · 更新于 2026-10-16 · 约 17 分钟 · 8434 字 阅读 →
论文解读

黑盒通话压碎帧级伪造痕迹:用音素级一致性守住可懂结构

针对实时通信中未知增强与编解码耦合失真问题,论文用真机穿越七个主流平台构建约 600 小时配对数据并提出音素引导一致性学习,在离线与在线混合评估上把平均等错率降到 5.81%,代价是对极端噪声与激进非线性失真仍有差距。

 · 更新于 2026-10-16 · 约 22 分钟 · 10638 字 阅读 →
论文解读

既听内容又听语气:SageLM 如何端到端评判语音对话

针对语音到语音对话既要评语义又要评声学而级联评测会丢声学信息的问题,论文用大规模合成偏好数据加带解释理由的两阶段监督微调构建端到端语音裁判 SageLM,以 82.79% 的人类一致率超过级联与语音理解基线,代价是依赖合成语音分布与有限声学数据。

 · 更新于 2026-10-16 · 约 19 分钟 · 9138 字 阅读 →
论文解读

听出自然:用多轮语音偏好同时学韵律与口语风格

针对文本评测看不见韵律情感与书面腔问题,该工作用真实对合成与书面對口语两类多轮偏好对训练端到端奖励模型,在分层基准上以 96.61% 模态微平均等证据显示可运行优势,代价是绝对分值仍随域偏移需谨慎用于优化。

 · 更新于 2026-10-16 · 约 17 分钟 · 8332 字 阅读 →
论文解读

笑声不止于好笑:把视频转成文字再让专家模型分工推理

论文用文本化多模态线索统一笑声检测、类型分类与原因解释,并以笑声自指令扩充与混合笑声专家提升泛化,主证据是文本大模型在三任务上优于音视频大模型,代价是依赖外部抽取器与伪标签校对。

 · 更新于 2026-10-16 · 约 19 分钟 · 9370 字 阅读 →
论文解读

先判有没有声,再判是不是说完:用两级协作做实时轮次结束检测

针对语音对话中停顿与轮次结束难以区分的问题,论文构建含合成与真实对话的 OpenETD 数据集并提出 SpeculativeETD 两级协作推理,用端侧轻量模型逐块判有声无声、只在静音段触发服务端大模型判暂停还是结束,在混合训练下真实集上取得更好分割效果,代价是服务端调用与传输延迟仍需计入部署预算。

 · 更新于 2026-10-16 · 约 17 分钟 · 8486 字 阅读 →
论文解读

从打分到讲理:用多任务标注与两阶段训练让语音大模型当评测者

该文针对合成语音评测只有分数、跨任务跨语言泛化弱的问题,构建覆盖四任务四语言的 SpeechEval 并用指令微调加奖励优化训练 SQ-LLM,最强证据是在评估与对比维度相关性上超过专家基线,代价是约 43 个 A100 小时训练与对特定伪造来源泛化仍不稳定。

 · 更新于 2026-10-16 · 约 18 分钟 · 8767 字 阅读 →