论文解读

长视频里几秒被改了:AV-FABLE 如何按声画两条时间线定位篡改

针对长视频中稀疏、跨模态的局部篡改,AV-FABLE 用双时间线基准暴露单时间线评测的遮蔽问题,NFSR 通过冻结 AV-LLM 特征的分轨读出实现定位,并在域内与三种域外条件下取得最高的 AV-mAP,但视觉覆盖与解释仍是短板。

 · 更新于 2026-11-05 · 约 17 分钟 · 8321 字 阅读 →
论文解读

只记住最后数字还不够:多说话人决策过程如何被完整追回

论文提出中文金融多说话人语音基准 DecisionTraceBench,要求从原始音频恢复决策关键事件链并用 DCIST 打分,最强系统在真人录音上仅得 21.35%,证明只看转写错误率或末态数值会掩盖过程恢复失败。

 · 更新于 2026-11-05 · 约 17 分钟 · 8366 字 阅读 →
论文解读

DRAMA-Eval:面向上下文、多轮、多说话人的语音生成评测

DRAMA-Eval 用结构化剧本同时考指令执行、说话人一致和整场连贯,发现单句做得好不等于整场戏成立,而全局场景信息能明显提升沉浸感。

 · 更新于 2026-11-05 · 约 17 分钟 · 8335 字 阅读 →
论文解读

在真实声场景中实时提取目标说话人:RealSSA 基准与单遍分离方法 Falcon

论文针对固定双人、无混响突变噪声的评测与重型因果模型难以部署的问题,构建同时变化人数、远近场、混响和噪声并配真实录音的 RealSSA 基准,并提出单次编解码完成多尺度时频建模的 Falcon,其编码器空间对比损失在推理零代价下抑制近场泄漏,在多集上达到最优分离质量并大幅降低参数与延迟。

 · 更新于 2026-11-05 · 约 18 分钟 · 8972 字 阅读 →
论文解读

把网上钢琴录音和乐谱配成对:Gangqinpu 数据集如何建成和验证

Gangqinpu 用自动转谱、对齐、表情过滤和流派标注把多风格钢琴音频、演奏 MIDI 与乐谱配成 18786 对,用节拍跟踪跨数据集提升与转谱和渲染主要在域内获益证明其补充价值,但跨域泛化仍不均匀且标注全为自动生成。

 · 更新于 2026-11-05 · 约 19 分钟 · 9236 字 阅读 →
论文解读

隔着玻璃听清说话:毫米波雷达语音增强挑战赛 RASE 在做什么

RASE 针对雷达隔玻璃测振动恢复语音的任务,提供配对雷达与干净语音数据、统一基线与保密评测,用直接振膜和二次表面两种条件加四个客观指标综合排名,首名综合分最高但可懂度绝对值仍低,说明方向可行但远未解决。

 · 更新于 2026-11-05 · 约 16 分钟 · 7704 字 阅读 →
论文解读

MixAgent:按工程师流程分层规划与修正的多轨混音智能体

MixAgent 针对参考引导的多轨混音任务,用分组、检索增强的效果链规划与自底向上的检测加修正流程生成可编辑混音方案,并用 45,657 条修复评论训练的数值修正器在 MedleyDB 上把重建误差相对初始混音降低约 19%,但跨库与主观质量提升仍受评估规模和指标限制。

 · 更新于 2026-11-05 · 约 20 分钟 · 9722 字 阅读 →
论文解读

说清音频和文字哪里对不上:差异描述任务与 AT-DIFFER 数据集

论文提出用一句话指出音频与文本在事件和时间关系上的具体出入,并用系统合成的 AT-DIFFER 数据微调 Qwen3-Omni,先判断有无差异再分类最后写句子,联合学习在合成分布上明显改善描述质量,但结论只在至多两个事件和模板文本范围内成立。

 · 更新于 2026-11-05 · 约 17 分钟 · 8021 字 阅读 →
论文解读

昆曲字腔对齐与押韵检索:KunSet 语料库如何建成与验证

论文针对昆曲演唱与念白缺少音节级时间边界和音韵属性关联的问题,建成 281 段录音共 482164 个音节标注的 KunSet 语料库,并用 251 段微调的对齐模型把总体边界误差降到 194.83 ms、用传统韵部监督把同韵检索 P@10 做到 17.16%,代价是昆曲唱段对齐误差仍明显高于念白且检索绝对精度仍然偏低。

 · 更新于 2026-11-05 · 约 17 分钟 · 8376 字 阅读 →
论文解读

OSynth:用带完整组织上下文的合成会议测长期理解

OSynth 针对孤立会议评测无法衡量长期上下文价值的问题,用分层生成的合成工作区与已知潜在状态构造可精确打分的会议数据,证明增加工作区上下文主要改善实体敏感维度,但整体词错误率改善很小且结论只在合成分布内成立。

 · 更新于 2026-11-05 · 约 17 分钟 · 8355 字 阅读 →
论文解读

合奏里被盖住的钢琴音头:用相位变化把它找回来

针对合奏中响亮持续音掩盖弱钢琴起音导致幅度特征失效的问题,论文在 Transkun 区间打分上叠加由短时傅里叶相位差驱动的起音增强分支,并在三重奏与协奏曲两套精确标注数据上验证了召回率为主的提升,但速度与延音踏板的增益受录音分布影响。

 · 更新于 2026-11-05 · 约 18 分钟 · 8568 字 阅读 →
论文解读

咨询对话语音怎样变成可解释的抑郁评估

AudiPsy 针对咨询语音多轮对话,用观察评估总结结构组织文本与声音情感证据并经三阶段训练,在 DAIC-WOZ 开发集上取得最高 MCC 与 F1,但结论只在给定划分与多数投票聚合下成立且推理仍需临床判断。

 · 更新于 2026-11-05 · 约 18 分钟 · 8946 字 阅读 →
论文解读

DIVE:在连续音视频流中测全双工视觉参与式交互

DIVE 用 525 个带精确时间窗的连续音视频样本,把是否该说、何时说、说得对不对分开测,发现头部实时模型平均延迟已压到 1 秒内,但窗口命中率最高仅 53.77%,且在语音触发干预和说话中改口上最弱。

 · 更新于 2026-11-05 · 约 17 分钟 · 8019 字 阅读 →
论文解读

让人觉得“解压” 的视频如何引发情绪:OSVD 数据与 PI-MLLM 方法解读

论文针对缺少语义情绪线索但靠重复动作与声音引发感受的解压类视频,构建带三视角标注的 OSVD 并提出以运动与能量起振对齐加联盟归因的 PI-MLLM,在 OSVD 上达到 43.2% 分类准确率与 0.661 解释相似度,但结论依赖自动标注与类平衡评测条件。

 · 更新于 2026-11-05 · 约 17 分钟 · 8275 字 阅读 →
论文解读

真实电话里的语音真假检测:RealComm 的配对采集与适配

RealComm 用同一句话的数字源与真实手机通话录音配对,揭示现有检测器过电话后明显变差,并用分阶段波形增强加真实通话训练把 Teffic-Audio 的通话域等错误率从 37.94% 降到 22.37%,代价是需要覆盖多种注入路径和设备的采集与训练。

 · 更新于 2026-11-05 · 约 16 分钟 · 7787 字 阅读 →
论文解读

用相同文本比较不同人群的识别效果:AfriBED 偏置评估数据集

针对缺少可比语音导致的偏置评估困难,论文为 Bemba 和 Nyanja 构建内容可比的性别与说话人类型评估集,并用微调后的 MMS 与 SSA-HuBERT 模型验证其可检出母语与非母语及性别间的识别差异。

 · 更新于 2026-11-05 · 约 17 分钟 · 8271 字 阅读 →
论文解读

长聆听思考:用细致感知与反思式推理改进音频推理

论文针对音频大模型感知错误多、推理链感知依据单薄的问题,用四阶段管线构造约 160 万条感知 grounded 且带验证回溯的长推理轨迹,再以监督微调加直接偏好优化训练 Qwen2.5-Omni-7B,在 MMAU 等基准上提升约 6-7 个百分点,代价是依赖模型生成校验与 30 秒内音频。

 · 更新于 2026-11-05 · 约 18 分钟 · 8575 字 阅读 →
论文解读

移动声源下的人体反应动作:MOMO 如何听声辨位再生成动作

针对移动声源的双耳音频驱动人体动作生成问题,MOMO 用声源定位网络估计头中心方向加 CLAP 理解音频内容再做扩散生成,在 DySAM 测试集上取得更好的对齐和物理合理性,但结论只在室内单声源采集条件下成立。

 · 更新于 2026-11-05 · 约 18 分钟 · 8646 字 阅读 →
论文解读

Monsoon:为低资源语言大规模收集自发语音

Monsoon 针对部署时面对的自发对话语音缺数据问题,用配对话题引导采集加自动过滤加五级人工校对加覆盖度选段的流程,在七个语言各约 3500 小时上证明同量下质量阶段带来 10-39% 相对误差下降和在独立自发测试上 20-44 点的语义词错率差距,且误差随数据量仍在下降。

 · 更新于 2026-11-05 · 约 17 分钟 · 8365 字 阅读 →
论文解读

电话接通后是谁在说话:用冻结音频嵌入加梯度提升做多语言留言检测

论文把应答机检测做成二分类,用冻结的 CNN6 输出 512 维嵌入再接轻量梯度提升机,在两个数据集上都拿到最高精确率并保持毫秒级延迟,代价是抗加性噪声较弱且结论依赖特定的数据划分与统计条件。

 · 更新于 2026-11-05 · 约 18 分钟 · 8673 字 阅读 →