论文解读

不一次看完整视频:OmniSeek 把找证据变成多轮听看动作

OmniSeek 把音视频问答改为主动多轮取证循环,用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖,在长视频多跳基准上提升明显,但超长音频仍受上下文窗口限制。

 · 更新于 2026-10-16 · 约 16 分钟 · 7949 字 阅读 →
论文解读

同为 200 样本同为 4 维输入:量子核在转入对抗库时保住排序,反向则跌破随机

在冻结 wav2vec 2.0 与 4 维 PCA 和 200 样本预算下对照 QSVM、RBF-SVM 与单隐层 MLP,最强证据是 ASV19 到 ADD 上 QSVM 以 AUC 76.04% 和 EER 27.00% 保留可分性而 MLP 退到约 50%,代价是反向与近域转移反转且校准更差。

 · 更新于 2026-10-16 · 约 17 分钟 · 8426 字 阅读 →
论文解读

同样的停顿为何含义不同:用语义校准重写抑郁语音建模

论文针对声音形式与交际功能混淆的问题,用冻结音频语言模型写描述加语言模型映射到七维状态再做注意力多实例分类,在 DAIC-WOZ 达到 71.9% 与 MODMA 达到 90.5% 的平均 Macro-F1,代价是依赖大模型抽取与录音条件。

 · 更新于 2026-10-16 · 约 21 分钟 · 10242 字 阅读 →
论文解读

不用硬压相邻帧连续:用多跳音高差把损坏段落桥接起来的平滑

针对逐帧基频估计后时序平滑易在连续坏帧锁定八度错误的问题,论文用可变 Q 变换互相关估计多跳相对音程并与绝对估计做 L1 联合优化,等价转为最小费用循环流用线性规划求解,在语音歌唱器乐上干净时接近维特比、白噪声低信噪比下提升更明显,但巴布尔噪声与强前端上收益有限且偏移集合依赖估计器。

 · 更新于 2026-10-16 · 约 20 分钟 · 9939 字 阅读 →
论文解读

冻结立体声潜空间再摆方向:PLACE 以条件低秩变换生成双耳音频

PLACE 面向文本、视频、可选音频任意组合到双耳波形的生成问题,选择冻结 AudioX 与 SAO 解码器并外挂空间对齐与低秩潜适配器,在 MRSAudio 上小规模微调并用解码音频的 ILD 与 ITD 监督方向,在 FAIR-Play 多数客观指标上优于 ViSAGe 且在 BEWO-1M 上保持部分竞争力,代价是在部分文本到音频指标与分布内主观评分上 …

 · 更新于 2026-10-16 · 约 18 分钟 · 8542 字 阅读 →
论文解读

无新人工评分时如何把多个公开 MOS 预测器合成为一个更稳的模型

针对 MOS 预测器跨域排序不稳的问题,论文用小规模已有人工评分拟合逐句自适应路由以合并四个教师并在 807k 无标注语音上蒸馏出单个 wav2vec 2.0 学生,在 URGENT 上 Spearman 达到 0.802、在 mos260 上达到 0.636,代价是目标上限仍受教师集成约束且绝对分值向中间压缩。

 · 更新于 2026-10-16 · 约 17 分钟 · 8216 字 阅读 →
论文解读

先听准再推理:RMS-AQA 用两段式问答卡住空间音频的猜测捷径

RMS-AQA 针对家庭具身助手需同时判断事件是什么、在哪何时发生的问题,采用先事件接地再条件推理的两段式选择题与 10 秒一阶 Ambisonics 片段,并用实测房间脉冲响应合成训练加真实录制验证测试的组合,证明轻量空间插件能大幅提升冻结音频语言主干的接地推理链,但并发声源、远场与仿真到真实差距仍是主要瓶颈。

 · 更新于 2026-10-16 · 约 22 分钟 · 10554 字 阅读 →
论文解读

一次说完与分次说完:语音数学推理为何需要两种单轮对照

该研究用 103 道切分数学题比较一次呈现原题、一次呈现拼接碎片与多轮递增披露三种语音输入,报告四款商用语音系统从拼接基线到分轮下降 5.0 至 25.3 个百分点、LEGO 三条件均为 77.5%,并指出必须保留两种单轮对照才能区分改写效应与多轮效应。

 · 更新于 2026-10-16 · 约 18 分钟 · 8778 字 阅读 →
论文解读

从自己的误判里长出监督:SE-ADD 在演变伪造环境中的累积适应

针对部署后新伪造攻击占主导而旧攻击仍残留的问题,SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督,在六个演变环境中把未见攻击上的等错误率大幅降低,但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。

 · 更新于 2026-10-16 · 约 19 分钟 · 9510 字 阅读 →
论文解读

能说出道理不等于找到了证据:SEAR 用可验证声学测量检验音频大模型的伪造推理

SEAR 把音频伪造检测拆成 verdict、证据识别与量化、取证解释四问,用 35 个声学特征的统计规则构造参考证据,最强证据是冻结模型的 BAEA-Fixed 在 19LA 上把 T1 EER 从 36.34% 降到 24.53%,代价是依赖稳定的真品参考分布且跨域收益明显变小。

 · 更新于 2026-10-16 · 约 20 分钟 · 9932 字 阅读 →
论文解读

写法藏不住口音:SHAMS 用四层对齐测黎凡特阿拉伯语发音

针对黎凡特阿拉伯语内部差异大、正字法不标口音的问题,SHAMS 用 1300 条带音频的四层对齐语料同时测加符、字音转换、语音识别和音频到音素,并报告方言适配系统与大模型在各变体上的差距与代价。

 · 更新于 2026-10-16 · 约 17 分钟 · 8441 字 阅读 →
论文解读

把扰动关进掩蔽阈里:STM 如何用硬约束换掉反复调参的质量损失

针对只需数秒语音即可克隆的 VC/TTS 滥用问题,STM 把扰动放在频域幅度谱上并用心理声学掩蔽阈做硬钳位,仅优化扰动去逼近目标说话人嵌入,在白盒实验中以 80 步迭代取得可比或更高的声纹拒绝率,同时把黑盒可迁移保护保留在 71.50% 而把生成耗时降到 2.19 对 3.48 秒每句的量级。

 · 更新于 2026-10-16 · 约 22 分钟 · 10879 字 阅读 →
论文解读

把一条混音拆成多层可编辑音轨:Soundwich 的分轨生成与场景协同

针对联合音视频模型只输出单条混音而难以分源控制的问题,Soundwich 在冻结流匹配模型上并行生成多条音频干声并共享一条视频轨,主基准上窗口成功率达 93.1% 且窗外活动降至 1.7%,代价是多干声带来显存与耗时增长且复杂重叠场景仍易受干扰。

 · 更新于 2026-10-16 · 约 16 分钟 · 7658 字 阅读 →
论文解读

把归因判成“像哪个已见例子”:原型网络在合成语音溯源里的可核对做法

该工作把合成语音归因做成基于样例比较的可解释分类,在 MLAAD 英语训练下用架构族标签达到 99.65% 平衡准确率并支持跨语种与开放集拒绝,但原型冗余与说话人覆盖不足仍是主要代价。

 · 更新于 2026-10-16 · 约 17 分钟 · 8119 字 阅读 →
论文解读

不动原模型做唤醒词:用正交子空间从预训练 ASR 里取出紧凑编码器

论文研究不做梯度微调能否直接用预训练 ASR 编码器做说话人无关唤醒词检测,并用 SliceGPT 式 PCA 结构化剪枝把编码器通道减半,证据是 50% 剪枝时参数约减 40% 而 EER 仅温和上升,但随机保留同等维度会使 EER 恶化到 40% 以上。

 · 更新于 2026-10-16 · 约 21 分钟 · 10197 字 阅读 →
论文解读

看唇仍会猜错词:用训练期文本约束收窄一对多映射的视频转语音

针对无声谈话视频只能看到近似唇形而无法唯一确定音素的问题,论文用训练期真值文本加注意力融合与条件流匹配生成梅尔谱,并在 LRS2/LRS3 上以同步指标领先为证据,代价是推理仍依赖唇读预测文本的准确率。

 · 更新于 2026-10-16 · 约 18 分钟 · 8628 字 阅读 →
论文解读

身体分部与快慢分离:Dyna2Music 如何把舞蹈动作变成可监督的音乐时间结构

针对舞蹈到音乐生成中身体部位与快慢运动混在一起、音乐隐变量局部变化缺乏直接监督的问题,Dyna2Music 用五部位慢快能量加 MotionBERT 特征做条件、用隐动态一致性约束相邻帧变化幅度,在 AIST++ 上 F1 达到 55.76 但最高 F1 对应的权重不是 FADc 最低权重。

 · 更新于 2026-10-16 · 约 21 分钟 · 10448 字 阅读 →
论文解读

跨会记住谁说了什么:用全局身份图把说话人错误变成可复述的代价

论文把跨会说话人归属做成一个全局身份映射下的转写评分问题,用同一套单通道串行评测比较五条商用链路、两条学术基线与门控证据的 ThyVoice,最强证据是 ThyVoice 在三种条件下商用最低且全组平均 47.13 对 54.75,代价是重叠与噪声仍带来显著遗漏与身份增殖。

 · 更新于 2026-10-16 · 约 20 分钟 · 9852 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-02

共分析 48 篇语音/AI 论文

 · 更新于 2026-10-16 · 约 89 分钟 · 44332 字 阅读 →
论文解读

跨频结构才留门:二维谱门控如何在逐频阈值上补一层局部平均

针对野外录音中噪声与信噪比多变导致逐频谱门控易漏信号的问题,论文提出先对语谱图做二维高斯局部平均再门控的 2D-SG,并在 70 段椴鸟合成噪声与抹香鲸、斑姬鹟实录上验证去噪与信号保留的改进,代价是多出一个高斯窗超参数且低信噪比与下游任务增益待验证。

 · 更新于 2026-10-16 · 约 18 分钟 · 8591 字 阅读 →