论文解读

广告剪辑考什么:AdShot 如何测多模态大模型的选镜头能力

AdShot 用 823 对 30 秒到 15 秒的真实广告考多模态大模型选镜头,最强 F1 仅 0.676 且时长误差常超 5 秒,架构与音频比参数规模更关键并伴随重信息轻行动的内容偏好。

 · 更新于 2026-11-05 · 约 16 分钟 · 7847 字 阅读 →
论文解读

带标签的语音识别:一次转写并标出被伪造的词

论文把部分伪造检测做成带伪造标记的语音识别,用受保护子空间融合补充伪造线索并用参照锚定的策略优化同时改进转写和词级定位,在五个数据集的平均词错误率和词级 F1 上优于所比较的基线,但域外词级定位仍有明显下降且多任务设置并非处处有益。

 · 更新于 2026-11-05 · 约 19 分钟 · 9497 字 阅读 →
论文解读

Audio-R1:用自监督音频任务构造可验证奖励的强化学习后训练

针对大音频语言模型推理不足且难用人工标注扩展的问题,Audio-R1 把三种自监督音频任务的构造答案转为可验证奖励做 GRPO 后训练,在四个基座和三个基准上取得一致增益,多任务联合优于单任务,而代价是奖励只看最终答案且增益依赖基座已有能力。

 · 更新于 2026-11-05 · 约 19 分钟 · 9091 字 阅读 →
论文解读

AudioFM:用整体对照加局部遮挡判别学习通用音频表示

AudioFM 要同时保留录音整体场景和时频细节,用互补遮挡视图的录音级对照加遮挡块潜表示判别来训练编码器,在 AudioSet 微调、冻结探测和跨数据集迁移上占优,但结论只在 16 kHz 单通道和所用划分下成立,且局部监督带来预测器与大批量训练代价。

 · 更新于 2026-11-05 · 约 22 分钟 · 10898 字 阅读 →
论文解读

长视频里几秒被改了:AV-FABLE 如何按声画两条时间线定位篡改

针对长视频中稀疏、跨模态的局部篡改,AV-FABLE 用双时间线基准暴露单时间线评测的遮蔽问题,NFSR 通过冻结 AV-LLM 特征的分轨读出实现定位,并在域内与三种域外条件下取得最高的 AV-mAP,但视觉覆盖与解释仍是短板。

 · 更新于 2026-11-05 · 约 17 分钟 · 8321 字 阅读 →
论文解读

只渲染你点名的那个声音:AV-QTSS 如何从单声道混合与全景视频生成目标 FOA

AV-QTSS 用类别查询先分离目标单声道、再用稠密绑定定位图给出方向并渲染三路方向通道,在 1 到 4 声源合成集上把角度误差降到 23.3 度并在真实录音适配后提升定位,代价是只处理封闭集内且处于活动状态的查询。

 · 更新于 2026-11-05 · 约 17 分钟 · 8315 字 阅读 →
论文解读

语音情感识别的高准确率里有多少是记住了说话人

论文用同一模型同一训练流程对比随机划分与说话人无关划分,21 组配对显示准确率下降 6.9 到 63.1 个百分点,说明已发表高准确率中说话人记忆占主导,而冻结自监督表示保留相对更多。

 · 更新于 2026-11-05 · 约 15 分钟 · 7319 字 阅读 →
论文解读

看不见说话人时还能判断谁在说话吗:多人上下文与注册身份的说话人检测

论文针对多人遮挡和看不见目标人脸时声画对应失效的问题,用同时可见人脸之间的上下文推理和注册语音身份推理来补证据,在五个基准上提升了检测精度,并在视觉缺失下保留注册说话人检测能力,但增益集中在拥挤困难条件且注册分支依赖事先录入语音。

 · 更新于 2026-11-05 · 约 18 分钟 · 8574 字 阅读 →
论文解读

CASE:用成对技能为冻结多模态大模型补上情绪边界

针对相邻情绪易混淆且错误集中在少数情绪对的问题,CASE 在冻结多模态大模型参数的前提下,用可进化的成对文本技能做第二轮二选一复判,在 DFEW 上进化出的技能可直接用于 CA-MER 和 EMER,最强证据是 Qwen3-VL-8B 在 CA-MER 上从 46.80% 提升到 59.13%,代价是需要两轮推理和外部编辑与验证流程。

 · 更新于 2026-11-05 · 约 18 分钟 · 8623 字 阅读 →
论文解读

ChoreoStudio:把群舞编排拆成想什么、何时变、谁来动

ChoreoStudio 针对群舞队形演变不足的问题,用编排计划先决定队形、切换时机与舞者分工再生成动作,在 AIOZ-GDance 上提升群组真实感与队形动态,但结论只在 150 帧统一评测与所用指标下成立,且长序列与多人时优势会变化。

 · 更新于 2026-11-05 · 约 21 分钟 · 10129 字 阅读 →
论文解读

把嵌入门从球面换到单纯形来缩小模态间隔

本文把冻结 backbone 后的输出域从单位球面换到概率单纯形,用轻量适配器加 softmax 与 Total Variation 相似度做对比学习,在五个音频文本与图文检索基准上把质心 l2 间隔缩小 97-99% 且保持 NDCG@10。

 · 更新于 2026-11-05 · 约 17 分钟 · 8229 字 阅读 →
论文解读

集中控制与分散信息:大音频语言模型里认知障碍决策的神经元机制

论文用类别对比神经元选择加匹配随机对照的消融,证明三个模型中 0.5% 解码器神经元能大幅平移认知障碍二选一决策的偏置并可跨语音文本与语料迁移,而监督线性读出显示诊断信息广泛分布在更大神经元集合中。

 · 更新于 2026-11-05 · 约 16 分钟 · 7845 字 阅读 →
论文解读

配对成功不等于疾病迁移:临床音频元数据对齐的配对控制审计

论文把音频配对的元数据来源本身当作干预,用四种配对轨迹证明正确配对能提高档案找回和属性可解码性,但匹配后的疾病预测增益仍不确定,且代价是需要严格的协变量匹配与锁定流程。

 · 更新于 2026-11-05 · 约 17 分钟 · 8154 字 阅读 →
论文解读

CounselPlex:记住求助者根本困扰的全双工语音咨询模型

针对全双工语音咨询中只回应最近一句话而丢失早期根本困扰的问题,CounselPlex 在说话人沉默时生成 1-7 词的压力源状态并在倾听时注入文本流,结合位置偏移增强训练,在 ESConv 与 ESCoT 合成语音上的咨询质量评分超过同域微调基线,但延迟增加且未检测到简短附和声。

 · 更新于 2026-11-05 · 约 19 分钟 · 9489 字 阅读 →
论文解读

只靠大脑跟随语音来判断注意:CoupleFlow 的耦合解码与证据累积律

针对听觉注意解码中试次泄露与注视等捷径导致虚高准确率的问题,CoupleFlow 只用脑电与语音随时间共变做判决,并在九个脑电与脑磁数据集的内容不相交划分上验证了真实的时间锁定增益与随窗长增长的准确率规律,代价是短窗绝对准确率仍不高且依赖记录信噪比。

 · 更新于 2026-11-05 · 约 17 分钟 · 8083 字 阅读 →
论文解读

只记住最后数字还不够:多说话人决策过程如何被完整追回

论文提出中文金融多说话人语音基准 DecisionTraceBench,要求从原始音频恢复决策关键事件链并用 DCIST 打分,最强系统在真人录音上仅得 21.35%,证明只看转写错误率或末态数值会掩盖过程恢复失败。

 · 更新于 2026-11-05 · 约 17 分钟 · 8366 字 阅读 →
论文解读

长会话下全双工语音模型为什么会变差,又如何稳住

论文用闭环仿真量化了全双工语音模型在 10 分钟会话中的响应、内容和音色退化,再用特权上下文自蒸馏把短会话能力迁移到长会话,并用双分辨率上下文把远期历史压缩成要点记忆,在训练时长内和超长 20 分钟会话中都验证了稳定性提升与显存增长下降的代价。

 · 更新于 2026-11-05 · 约 21 分钟 · 10484 字 阅读 →
论文解读

只用源语音学会早说:DIAL-S2ST 的前视自蒸馏与延迟控制

针对多流同时语音到语音翻译在推理时难调延迟的问题,DIAL-S2ST 用带前视的冻结教师蒸馏无前视学生并用单 LoRA 按尺度控制早说,在法英 Hibiki 上以约 10 小时源语音实现可调的延迟与质量权衡。

 · 更新于 2026-11-05 · 约 15 分钟 · 7387 字 阅读 →
论文解读

DJustify:给人声流行歌做衔接与故事整场的 AI DJ

流行歌人声密、结构变化大,选歌、选进出点和选混合手法互相牵制,DJustify 让同一个大语言模型一次给出联合方案并把渲染出的音频交给确定性声学检查做修复,固定歌对盲听优于已有自动系统而三分钟故事整场与人类 DJ 无可测差距,但检查器只修补偶发切断人声而未提高平均分。

 · 更新于 2026-11-05 · 约 19 分钟 · 9158 字 阅读 →
论文解读

乐谱的丰富记号对建模有帮助吗:MusicXML 分词与理解生成对照

论文用 26 个自回归与掩码模型对照 MusicXML、MIDI 与 ABC 三种表示,显示 MusicXML 在理解任务全面领先、在生成任务的分布相似度与人工偏好上占优,而分块顺序与 BPE 词汇量带来互补的代价。

 · 更新于 2026-11-05 · 约 16 分钟 · 7767 字 阅读 →