共分析 55 篇论文
⚡ 今日概览
✅ 筛选入选 55 篇 → 🔬 深度分析完成
🏷️ 标签说明:本期使用新版受控 taxonomy;站点标签页暂时兼容展示历史标签与新标签。
🏷️ 热门方向
| 方向 | 数量 | 分布 |
|---|---|---|
| #语音识别 | 10 篇 | ██████████ |
| #文本到语音 | 4 篇 | ████ |
| #语音情感识别 | 4 篇 | ████ |
| #音频分类 | 4 篇 | ████ |
| #语音克隆 | 2 篇 | ██ |
| #语音增强 | 2 篇 | ██ |
| #语音质量评估 | 2 篇 | ██ |
| #音视频问答 | 2 篇 | ██ |
📊 论文评分排行榜(55 篇,按分数降序)
📋 论文列表
🖼️ 有图的论文会在这里展示首张原论文图;原图链接见对应独立页面。
🥇 音频注意力可在语言模型运行前被线性读出:先验排序与两段式 Triage
英文题目:Audio Token Attention Is Predictable Before the Language Model Runs
标签:#语音识别 | #模型剪枝 | #音频问答 | #高效推理 | #长音频处理
评分:8.6/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.7/1 | 影响力 1.1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Kyoungjun Park:The University of Texas at Austin
- Yunzhe Li:The University of Texas at Austin
- Lili Qiu:The University of Texas at Austin
📌 核心摘要
大音频语言模型将每分钟语音展开为750-1500个音频词元并全部预填充,上下文与预填充同时受限,而图像常用的第2层后剪枝对音频既非弱关注也非已排序。Triage先在编码器输出上拟合无标签闭式岭回归先验以预测全层注意力排序并在语言模型运行前完成第1阶段筛选。接着在第2层引入见过问题的观测注意力做精度融合修正并执行第2阶段精选,其输出直接决定保留词元集合。转写分支仅用覆盖时间线的分箱保留以维持连续性,问答分支则用两阶段top-K保留以保住关键片段。相对依赖语言模型内注意力的中途剪枝与依赖能量或编码器自注意力的编码器侧启发式,该方法不看问题即可在运行前给出排序,且仅编码器前剪枝能用连续位置扩展窗口。在DREAM基准的多选任务评测下,Triage的准确率为.823,高于DART的准确率.765。该结论适用边界受限于先验仅为注意力代理且线性假设外失效,压缩率需无标签自洽校准。原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://audio-triage.github.io — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🥈 重复打败长度:神经语音合成数不清重复的受控分离
英文题目:Repetition, Not Length: Isolating the Counting Failure in Neural Text-to-Speech
标签:#文本到语音 | #评测协议 | #幻觉与忠实度 | #基准测试
评分:8.4/10 | 创新 1.6/2 | 技术严谨 1.3/1.5 | 实验充分 1.4/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名:前25% | 文档类型:数据集与基准 | arXiv 原文
👥 作者与机构
- Kirill Borodin:机构信息未在 arXiv HTML 中可靠披露
- Vasilii Kudryavtsev:机构信息未在 arXiv HTML 中可靠披露
- Maxim Maslov:机构信息未在 arXiv HTML 中可靠披露
- Grach Mkrtchian:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
神经文本到语音需将含重复短语的文本合成为语音并准确呈现重复次数,输入为载体句中目标词或整句重复k次的文本,输出为对应音频中的实际重复数,实际难点在于重复带来的计数失效与长度增长效应相互混淆。方法先由确定性脚本生成字词载体与重复次数阶梯及词数匹配但消除相邻重复的对照项,其输出直接进入合成环节。接着六个自回归检查点与非自回归基线分别渲染重复与对照音频,再由无自回归偏置的联结时序分类识别器转写并计数,最后以分层统计与规格曲线验证稳健性。与已有归因的关键差异在于对照项保留载体与词数而消除相邻重复,从而将长度账户的预测明确为两条曲线重合,使重复效应可被分离,实际意义在于定位失效来自重复性而非时长预算。在k≥6重复计数评测条件下,重复文本的准确率为18.2%,低于对照文本的准确率94.3%。该结论的适用边界受限于训练频率混杂与跨架构分裂,周期性机制的外推范围尚未验证。结论边界在于训练频率混杂未被分离,跨语言泛化未经验证,周期排序与乱序效应的方向存在架构分裂,原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://github.com/lab260ru/tts-counting-failure — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🥉 只在不确定的词上多等一个音频块:有界前视与按词延迟的流式识别
标签:#语音识别 | #动态计算与早退 | #流式处理 | #语音
评分:8.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Yichen Jia:机构信息未在 arXiv HTML 中可靠披露
- Bastiaan Tamm:机构信息未在 arXiv HTML 中可靠披露
- Hugo Van hamme:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
流式注意力语音识别的输入是分块到达的音频流,输出是增量提交的词序列,难点在于每层都偷看未来会导致感受野随层数线性膨胀。编码器先用年龄版本机制将自注意力与深度卷积统一约束,使当前块仅能读取固定数量的未来块并支持已提交块的重编码。解码器再以块同步束搜索逐块解码,由逐词元触发器决定立即提交还是等待下一块并重解码。已提交前缀通过局部一致规则提前释放,仅不确定后缀承担等待。与固定前视相比,该设计只在未来上下文能改变词元时才付出延迟。在 LibriSpeech test-clean 全集 2620 条话语上动态系统以 306 ms 中值时延达到 6.5% 词错率,与最优静态前视精度持平而中值时延仅为单块静态前视 860 ms 的约三分之一。该结论的适用边界受限于中等词错率的朗读与会议语音,在Common Voice高失配域上延迟降低仍在但精度增益消失构成明确失败条件。年龄版本化带来训练内存与每块多次编码开销,原文明确声明代码接受后发布。
🔗 开源资源
- 代码相关资源:https://github.com/windskylionheart1023/selective-lookahead-asr — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
4. 把一条情绪向量拆成两段:先离开中性,再指向具体情绪
英文题目:EmoRES-TTS: Residual-Enhanced Vector Steering for Emotional Speech Generation
标签:#文本到语音 | #测试时自适应 | #韵律与风格控制 | #语音 | #主观评测
评分:8.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Kuan-Po Huang:Reality Labs at Meta;National Taiwan University
- Haohe Liu:FAIR at Meta
- Puyuan Peng:FAIR at Meta
- Haibin Wu:Reality Labs at Meta
- Zhaoheng Ni:Reality Labs at Meta
- Hung-yi Lee:National Taiwan University
- Jinwon Lee:Reality Labs at Meta
- Neha Chachra:Reality Labs at Meta
📌 核心摘要
情绪可控语音合成以文本与目标情绪混合比例为输入,输出保留说话人与可懂度的情绪化语音,难点在于原生嵌入或指令条件常响应微弱而重训代价高昂。本文冻结语音合成骨干并复用离线提取的均值差向量,先计算情绪均值质心以分离共享分量与类别残差,再为两者配置独立系数并增强残差方向,最后经范数恢复注入注意力输出以保持隐状态幅度。该方法链将离线对比解耦为是否像情绪与像哪种情绪两步控制,使混合目标的共享位移保持恒定而残差随比例凸组合变化。与同向量同范数的常规引导 CoCoEmo 相比,关键差异在于打破单一全局强度的耦合而非增大注入能量。在 held-out 语料 IEMOCAP 上,以 IndexTTS-2 为骨干时 Spearman 排序相关从 22.00% 提升至 48.13%,主导情绪命中率从 64.34% 提升至 77.29%,方向为显著改善。该结论目前仅在两类语言模型式 TTS 与愤怒、高兴、悲伤、惊讶四类情绪及混合标注上验证,对细粒度强度、语内时变情绪与跨语言外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://github.com/facebookresearch/EmoRES-TTS — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
5. 停顿不等于说完:FD-VAD 用因果音频窗口直接判语义终点
英文题目:FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech
标签:#语音活动检测 | #多模态学习 | #流式处理 | #语音 | #0 样本
评分:8.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Puneet Mathur:机构信息未在 arXiv HTML 中可靠披露
- Dinesh Manocha:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全双工语音交互中的语义端点检测(Semantic Endpoint Detection)需从部分语音判断当前停顿是犹豫还是完整对话意图(conversational intent),输入为连续到达的语音波形,输出为保留或让出话轮的 Continue 与 Stop 状态,难点在于无未来上下文时区分声学静音与语义完整。FD-VAD 先用冻结语音编码器从有界因果窗口提取声学与语言表征,再经轻量模态适配器将语音帧下采样并投影到语言模型嵌入空间,最后由参数高效适配的小语言模型结合指令提示自回归输出单步状态,且训练仅监督窗口末块以匹配流式推理。与级联自动语音识别(Automatic Speech Recognition)转写再分类及静音触发语义推理不同,该方法省去转写依赖与显式分段,直接在固定代价滑动窗口上摊销语义推理并保持与下游智能体解耦。在 TurnBench dev 零样本对话评测中,FD-VAD 在误报率(FP)不超过 0.10 约束下以 0.853 的端点召回率(EOT recall)超过所有合格对比系统。该结论依赖声学门控协同与英语会话数据验证,在无门控连续音频及跨语言场景尚未验证。在单个 A100 上每窗口推理耗时约 45.8 毫秒且不随语句长度增长,训练仅用 2 卡完成 1 轮适配。
🔗 开源资源
代码相关资源:https://fd-vad.github.io/ — 链接可访问(HTTP 200)
模型相关资源:https://fd-vad.github.io/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
6. 把带宽扩展变成解码端补码:冻结编解码器,只训练一个多速率预测器
英文题目:Multi-Rate Bandwidth Extension by Token Completion in Neural Audio Codecs
标签:#带宽扩展 | #自回归模型 | #神经编解码与离散单元 | #音乐
评分:8.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Benoît Ginies:机构信息未在 arXiv HTML 中可靠披露
- Olivier Fercoq:机构信息未在 arXiv HTML 中可靠披露
- Gaël Richard:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
带宽扩展任务输入为截止频率为\(b\)千赫兹的带限信号,输出为恢复至二十四千赫兹带宽的四十八千赫兹全频带信号,难点在于高频完全缺失且输入采样率多变而模型需统一处理。冻结的神经音频编解码器先将重采样至四十八千赫兹的带限信号编码为残差向量量化码流,其输出直接进入解码器侧变换器。该变换器沿量化深度自回归地由带限码流补全全频带码流,仅解码预测的第一层并在频域经一千赫兹交叉淡化拼接到真实低频带之上得到最终输出。与直接生成全频带波形的扩散与流匹配模型不同,该机制保留真实低频只合成缺失高频,并将多速率差异吸收进统一四十八千赫兹表征而无需显式带宽条件,具有不增加传输码率的实际意义。在MUSDB18测试集下,SpectroStream预测器的ViSQOL为2.99,高于A2SB的ViSQOL 2.56。该结论的适用边界受限于域内音乐混合场景,其失败条件包括独奏乐器域外语料最窄带八千赫兹输入下被基线反超,且客观填充完整度优势尚未验证为听感优势。原文未披露训练、推理或部署成本。
🔗 开源资源
代码相关资源:https://github.com/Multi-Rate-BWE-by-Token-Completion/Multi-rate-BWE — 链接可访问(HTTP 200)
演示资源:https://multi-rate-bwe-by-token-completion.github.io/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
7. 真话常在而假法常新:用共享真提示与扩张假专家做持续音频伪造检测
英文题目:Learning as Deepfakes Evolve: RF-Prompt for Continual Audio Deepfake Detection
标签:#音频深度伪造检测 | #提示学习 | #持续学习 | #语音
评分:8.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Yuankun Xie:机构信息未在 arXiv HTML 中可靠披露
- Xiaoxuan Guo:机构信息未在 arXiv HTML 中可靠披露
- Xiaopeng Wang:机构信息未在 arXiv HTML 中可靠披露
- Siqing Qin:机构信息未在 arXiv HTML 中可靠披露
- Shaole Li:机构信息未在 arXiv HTML 中可靠披露
- Kong Aik Lee:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
音频深度伪造检测的输入为待测语音波形,输出为真实或伪造二分类,难点在于生成机制持续涌现而历史训练音频不可复用。所提真实锚定机制增量协议先锁定跨库训练、开发与评测样本池,再以循环混合真实语音为背景按4类生成机制组织伪造增量任务。真实伪造提示学习方法冻结语音骨干,先以余弦锚定保护共享真实提示,再为新机制从历史伪造专家继承基座并学习正交残差,最后对全部专家做输入自适应加权融合成固定长度提示。与以往对称正则或蒸馏整体模型不同,该方法把共享容量留给真实知识,把扩展容量留给伪造机制,并用参数级约束替代历史回放与教师前向。在RAMI协议4任务序列评测下,RF-Prompt的平均等误率错误率为10.110%,低于RAWM的平均等误率错误率11.295%。该结论适用边界限于4步机制序列与已知真实域循环复用条件,真实域漂移、更长序列与完全未见生成器的外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
代码相关资源:https://github.com/xieyuankun/RF-Prompt — 链接可访问(HTTP 200)
模型相关资源:https://huggingface.co/facebook/wav2vec2-xls-r-300m — 暂时无法访问
模型相关资源:https://huggingface.co/microsoft/wavlm-large — 暂时无法访问
模型相关资源:https://huggingface.co/facebook/w2v-bert-2.0 — 暂时无法访问
模型相关资源:https://huggingface.co/facebook/wav2vec2-xls-r-1b — 暂时无法访问
模型相关资源:https://huggingface.co/facebook/wav2vec2-xls-r-2b — 暂时无法访问
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
8. 三路必须讲同一页:故事续写如何卡住图文语音的一致性
英文题目:What Comes Next? Omni-StoryBench for Evaluating Story-Grounded Omnimodal Generation
标签:#音视频生成 | #基准设计 | #基准测试 | #数据集 | #语音合成
评分:7.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前25% | 文档类型:数据集与基准 | arXiv 原文
👥 作者与机构
- Sieun Hyeon:机构信息未在 arXiv HTML 中可靠披露
- Yejoon Lee:机构信息未在 arXiv HTML 中可靠披露
- Mintaek Lim:机构信息未在 arXiv HTML 中可靠披露
- Woojin Kim:机构信息未在 arXiv HTML 中可靠披露
- Jaeik Kim:机构信息未在 arXiv HTML 中可靠披露
- Jaeyoung Do:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
故事 grounded 全模态生成要求以当前故事书页面图像与旁白为输入,在结构化下一页条件下同时生成下一插图、下一旁白与角色语音,三者在人物、动作、情感与场景上保持同一叙事状态。Omni-StoryBench先从开放许可童书抽取91449个候选转移并用模型生成书籍元数据、下一页条件与语音元数据,再经规则过滤、GLM-4.6V打分选优与16人复核修订得到900个实例。评测链将BERTScore、CLIP相似度与语音元数据准确率等自动指标与文本、图像、语音及融合四组三评委大模型评审结合,并以有效样本条件平均与零填充对照分别报告质量与完备性。与已有交错生成基准只看开放式图文连贯不同,该基准强制条件可控的页间转移与三模态互一致。在基准零填充诊断设置下,图像瓶颈组的最大Total Average得分为6.55,低于文本瓶颈组的最大Total Average得分6.94。该结论适用边界受限于英语短篇童书受控续写,不支持开放域交互或长程故事外推,图像状态保持仍是主要失败条件。原文未披露训练、推理或部署成本。
🔗 开源资源
代码相关资源:https://github.com/AIDASLab/Omni-Storybench — 链接不可用(HTTP 404)
数据相关资源:https://huggingface.co/datasets/snu-aidas/Omni-StoryBench — 暂时无法访问
数据相关资源:https://www.africanstorybook.org/ — 暂时无法访问
数据相关资源:https://digitallibrary.io/ — 链接可访问(HTTP 200)
数据相关资源:https://www.storybookscanada.ca/downloads/ — 暂时无法访问
数据相关资源:https://storyweaver.org.in/en/stories?language=English — 暂时无法访问
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
9. 从波形还原到语义保持:SENSE 用空间图与一致性条件重做脑电转语音
英文题目:SENSE: Semantic Neural Speech Synthesis from Brain Dynamics via Spatial Graph Encoding
标签:#言语神经解码 | #图神经网络 | #脑信号 | #语音
评分:7.8/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1/1.5 | 可复现 0.5/0.5 | 工程/实践 0.8/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Jisoo Park:Chung-Ang University, South Korea
- Seonghak Lee:Chung-Ang University, South Korea
- Hyojin Park:University of Birmingham, United Kingdom
- Junseok Kwon:Chung-Ang University, South Korea
📌 核心摘要
被动听语音下的脑电到语音波形生成以 128 导脑电为输入,直接合成 22050 Hz 波形,难点是信噪比低、被试差异大且纯声学重建无法约束语义。SENSE 先以通道门控加 BioSemi 几何固定图卷积与 CNN 跳路做空间编码,再经降采样加 4 个 S4 块压缩为隐变量 \(M\),接着用音素 CTC 与仅在同余试次上对齐冻结 CLIP ViT-B/32 的 EEG 语义条件塑造表示,最后经 6 层自注意力连接器映射 VITS 先验并以脑电语义向量条件合成波形。与把通道视为无序特征且同等对待同余与非同余试次的 FESDE 和 FE-Phoneme 不同,该设计同时引入解剖空间归纳偏置与范式感知的语义桥。在 N400 语料 18 训练被试、sub-23 与 sub-24 为未见被试的划分上,SENSE 相对 FE-Phoneme 将 WER 从 1.1231 降至 0.9948,Mel 相关从 26.90 升至 32.07,BERTScore 从 0.0564 升至 0.1088,且训练被试数 \(k=2\) 时 WER 已超越 \(k=18\) 的最强基线。但附录干预显示失配语义条件仅使 BERTScore 微降,自然连续语音仅验证表示层适配而未验证波形重建,绝对可懂度远未实用。原文披露单模型在 2 块 RTX 3090 上约训练 2 天,未披露推理时延。
🔗 开源资源
- 代码相关资源:https://jisoo-o.github.io/website/projects/SENSE/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
10. 剪掉两层误差反而降了:被平均数藏起来的口音与族裔差距
英文题目:Pruning for Efficiency, Paying in Fairness: Demographic Disparities in Pruned Speech-LLMs
标签:#语音识别 | #模型剪枝 | #公平性 | #LoRA
评分:7.8/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名:前25% | 文档类型:应用研究 | arXiv 原文
👥 作者与机构
- Ganesh Pavan Kartikeya Bharadwaj Kolluri:School of Computer Science and Electronic Engineering, University of Essex, UK
- Michael Kampouridis:School of Computer Science and Electronic Engineering, University of Essex, UK
- Ravi Shekhar:School of Computer Science and Electronic Engineering, University of Essex, UK
📌 核心摘要
语音识别任务以连续语音波形为输入、以对应文本转写为输出,实际难点在于不同族裔、性别与口音的声学差异使基线词错误率已相差近一倍,而总体指标会掩盖最差群体的持续恶化。本文沿SLAM-ASR管线分四步推进:以Whisper Small 12层、Medium 24层、Large-v2 32层搭配Qwen2.5-3B构建基线并只训练投影器,其次自顶向下每次移除2层并从零重训投影器形成可部署变体至L-8,再用低秩适配联合微调检验恢复效果至L-10,最后在Fair-Speech与Common Voice上按族裔与口音等分组独立核算词错误率与差距。与只报告总体指标的已有剪枝研究不同,本工作把最差组词错误率与绝对差距与差距比作为显式选择依据,揭示了隐藏性恶化机制。在Fair-Speech上Whisper Large移除2层后总体词错误率从21.6%降至21.1%,而Black组上升0.9个百分点,移除8层后Black与Asian组差距从13.5个百分点扩至24.5个百分点。在Fair-Speech评测设置下,剪枝8层后Black组的WER为51.0%,高于Asian组的WER 26.5%。结论边界在于放大部分仅在Fair-Speech大模型出现,Common Voice英语与荷兰语多为差距维持而非扩大,丹麦语因基线过高与标注稀疏无法得出组级结论。其适用边界受限于语料与尺度,深剪枝与跨语言场景尚未验证公平性外推。原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://github.com/KarthikKolluriKB/SpeechLLM-Pruning-Fairness — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
11. 去掉参考文本还要更快:Tacit-TTS 用掩码并行替代自回归克隆
标签:#语音克隆 | #知识蒸馏 | #0 样本 | #高效推理
评分:7.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Jian Chen:Dolby Laboratories
- You Zhang:Dolby Laboratories
- Mark Vinton:Dolby Laboratories
📌 核心摘要
零样本语音克隆(zero-shot voice cloning)需从短参考音频复现未见说话人音色并朗读任意目标文本,痛点是自回归(autoregressive,AR)语义解码延迟随长度线性增长,而并行方案多依赖参考转录本与预知时长。本文方法链为:冻结复用教师IndexTTS2的说话人与情感条件编码器,由掩码非自回归文本到语义(text-to-semantic,T2S)模型并行生成离散语义码并恢复连续残差,再由免训练声学语速估计器决定生成长度,最后经微调加直流(ReFlow)加速的语义到梅尔(semantic-to-mel,S2Mel)流匹配渲染器与BigVGAN声码器合成波形。与转录依赖掩码生成相比,关键差异是用浊音区能量峰代理音节数并结合目标文本音节数推算长度,从而摆脱参考文本。在LibriSpeech test-clean上系统说话人相似度(speaker similarity,SS)达0.875并领先同组可部署基线,T2S阶段延迟降低26.5倍,长语句端到端超教师10倍以上。该结论限于中英目标朗读与短到段落级时长,外推到分钟级二次注意力开销与强噪声重叠参考仍需验证。训练仅用教师前向合成的蒸馏语料,推理在单张A100上总计4.76倍实时。
🔗 开源资源
数据相关资源:https://github.com/index-tts/index-tts/tree/prepare_files/examples — 链接可访问(HTTP 200)
第三方资源:https://github.com/textstat/textstat — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
12. 固定骨干不动,靠多语料与编解码增强把鲁棒性补起来:ReDimNet2+ 解读
英文题目:ReDimNet2+: Multi-Corpus Data Scaling for Robust Speaker Verification
标签:#说话人验证 | #数据增强 | #鲁棒性 | #音频检索
评分:7.7/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前25% | 文档类型:模型报告 | arXiv 原文
👥 作者与机构
- Kirill Borodin:机构信息未在 arXiv HTML 中可靠披露
- Vasilii Kudryavtsev:机构信息未在 arXiv HTML 中可靠披露
- Maxim Maslov:机构信息未在 arXiv HTML 中可靠披露
- Grach Mkrtchian:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
说话人验证需将可变长语音映射为说话人嵌入并用余弦相似度判定是否同人,难点在于设备、房间、压缩与语言差异会系统性改变频谱结构。该工作先对VoxBlink2子集做字节率与NISQA色彩度分析,发现评测侧存在压缩感与带限迹象,再以随机窗解码送入波形与编解码增强,随后在七语料混合池上适配ReDimNet2骨干并接大间隔微调,最后对缓存嵌入做均值链与图重排以修复检索排序。在共享4秒窗的VoxCeleb1混合池评测设置下,ReDimNet2+ LMFT的EER为0.82%,低于公开ReDimNet2基线的EER 2.42%。与仅在单语料上训练的已有方法不同,该链路以七语料混合扩大说话人与信道覆盖,并用编解码模拟显式对齐压缩退化,实际意义在于提升跨设备与跨压缩条件的稳定性。大间隔微调进一步拉开类间距离以改善阈值判定,而图重排利用邻域一致性修正排序错误,两者分别作用于验证与检索阶段。作者明确承认多因素并变不支持单因素因果结论,且压力集为合成退化,子1%的干净集成绩不能直接外推到任意野外部署。原文未披露训练、推理或部署成本。
🔗 开源资源
代码相关资源:https://github.com/lab260ru/redimnet2-plus — 链接可访问(HTTP 200)
模型相关资源:https://huggingface.co/lab260/redimnet2-plus — 暂时无法访问
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
13. 拍手未知、房间未知:从单次拍手直接回归房间冲激响应
标签:#房间脉冲响应估计 | #端到端学习 | #数据集 | #单通道
评分:7.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Shih-Yu Lai:机构信息未在 arXiv HTML 中可靠披露
- Kyung Yun Lee:机构信息未在 arXiv HTML 中可靠披露
- Nils Meyer-Kahlen:机构信息未在 arXiv HTML 中可靠披露
- Eloi Moliner:机构信息未在 arXiv HTML 中可靠披露
- Bing-Yu Chen:机构信息未在 arXiv HTML 中可靠披露
- Vesa Välimäki:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
本文任务是从单次混响拍手录音中直接估计房间脉冲响应(room impulse response, RIR),输入是未知拍手激励与未知RIR卷积后的观测,输出是1秒RIR波形,难点在于拍手频谱非平坦且个体与姿态差异大并存在深谱零点。方法链分三步:先用已知激励的Tikhonov正则化解卷积建立可达上界,再用截取直达声的短窗估计激励并复用同一正则化解卷积作为盲基线,最后用合成拍手与RIR卷积对训练神经回归器以绕过显式激励估计。与窗截断基线相比,神经回归器不再假设直达窗等于激励,而是从大量激励变体中学习激励无关的房间衰减映射。该回归器采用两阶段时频与波形网络优化波形与压缩谱损失,并用2540个消声拍手与实测及仿真RIR合成训练与评测对。在合成基准的实测RIR条件下,神经回归器的ℒLSE指标为0.112,低于3ms窗基线的ℒLSE指标0.20。该结论仅在单通道、固定距离与受限房间分布下成立,多拍手融合与设备响应解耦尚未验证。原文未披露训练硬件耗时与手机端推理时延等部署成本。
🔗 开源资源
代码相关资源:https://github.com/Akinesia112/ClapRIR.git → https://github.com/Akinesia112/ClapRIR — 链接可访问(HTTP 200)
数据相关资源:https://doi.org/10.5281/zenodo.22892926 → https://zenodo.org/records/22892926 — 链接可访问(HTTP 200)
演示资源:https://akinesia112.github.io/ClapRIR/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
14. 内层循环才是瓶颈:用三千参数偏移量把 RVQ 逐码解码并行化
英文题目:RVQ Position Aware Speculative Decoding for On Device Text to Speech
标签:#文本到语音 | #动态计算与早退 | #端侧运行 | #实时处理 | #语音
评分:7.6/10 | 创新 1.5/2 | 技术严谨 1.3/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
排名:前25% | 文档类型:系统技术报告 | arXiv 原文
👥 作者与机构
- Berkin Durmus:机构信息未在 arXiv HTML 中可靠披露
- Eduardo Pacheco:机构信息未在 arXiv HTML 中可靠披露
- Zach Nagengast:机构信息未在 arXiv HTML 中可靠披露
- Atila Orhon:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
面向端侧单流文本到语音合成,任务输入为文本词元序列,输出为每80ms音频帧的16个残差向量量化码及最终波形,实际难点是单流推理受内存带宽限制,每秒需约200次顺序模型调用,其中内层MultiCodeDecoder的15步深度循环主导延迟而核启动与缓存管理难以分摊。方法链分三步:先复用冻结的多码解码器逐位置语言模型头作为草稿器,在同一次前向中并行提出未来码,其输出直接进入下一步候选集合;再为不同前瞻距离学习位置感知残差偏置向量,对当前位置隐状态做平移以校正跨位置失配,校正后隐状态送入对应冻结头生成草稿;最后用稀疏树注意力将多候选路径打包,由验证流在单次编译调用中并行验证并按推测采样接受。相对需新增约94M参数的Medusa头或改变分布的松弛验收,该机制不触碰验证流而保持部署分布不变,且草稿与验证融合为单次编译调用,具有无额外资产与内存占用的实际意义。在Fleurs英语子集评测任务下,投机解码的WER为3.99,低于自回归基线的WER 4.25。该结论适用边界限于内层码本深度循环,外层CodeDecoder未加速,跨架构与跨语种外推尚未验证。训练成本仅为单卡NVIDIA Tesla P100上学习3072个偏置参数,推理开销在N=32时每轮增加约10-20%,需按硬件选择稀疏树规模以平衡验证延迟与吞吐。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
15. 生成器能否听懂好坏:用损失、熵与稀疏表征读出人类评分
标签:#音频质量评估 | #不确定性估计与校准 | #音乐 | #模型评估 | #可解释性
评分:7.6/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Xiaosha Li:机构信息未在 arXiv HTML 中可靠披露
- Chun Liu:机构信息未在 arXiv HTML 中可靠披露
- Ziyu Wang:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
输入为待评价音乐音频,输出为1至5分的人类音乐性评分,难点在于生成器均值似然与人类偏好长期脱节,而纯波形美学器无法解释低分来源。首先冻结自回归音乐生成器MusicGen,在教师强制下前向抽取逐词元损失曲线、预测熵曲线与稀疏自编码器隐码三路内禀信号,形成与听众期望惊奇对应的时序失配流。接着三路信号分别送入专用一维卷积编码器压缩为定长向量,其中损失熵曲线堆叠编码而隐码经降维再卷积池化,得到的分支表征进入下一步融合。然后将三分支向量晚期拼接后由共享多层感知机回归到评分,与直接处理波形或取平均损失的外置评价器不同,该方法把评价建立在生成器自身的期望与表征失配上,使过度自信错误与概念级质量轴可被定位。在5个基准合并留出集评测下,全混合模型的Pearson为0.81,高于美学基线的Pearson 0.20。结论限于 MusicGen 系内禀信号与所选音乐性维度的对齐,跨生成器、跨文化曲风与长歌曲结构的外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
代码相关资源:https://github.com/YoEv/MEva — 链接可访问(HTTP 200)
模型相关资源:https://huggingface.co/Dev4IC/MEva-checkpoints — 暂时无法访问
演示资源:https://yoev.github.io/MEva → https://yoev.github.io/MEva/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
16. 把固定加权互谱换成可学习的查询键局部匹配:QK-GCC 的时延估计路径
英文题目:QK-GCC: Learnable Query-Key Spectral Matching for Robust Time Delay Estimation
标签:#声源定位 | #注意力机制 | #麦克风阵列 | #鲁棒性
评分:7.6/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名:前25% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Jinkai Zhang:机构信息未在 arXiv HTML 中可靠披露
- Weiye Chen:机构信息未在 arXiv HTML 中可靠披露
- Yue Huang:机构信息未在 arXiv HTML 中可靠披露
- Xiaotong Tu:机构信息未在 arXiv HTML 中可靠披露
- Xinghao Ding:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
时间延迟估计需在源波形与发声时刻未知时从两路麦克风信号推断相对时延,噪声混响下各频点可靠性差异大且单频点相位易被污染。先将双通道频谱构造为对数幅度加余弦正弦相位词元,输入共享映射与可学习频率位置嵌入进行编码,职责是学习频率可靠性加权的嵌入空间,输出查询与键表示。再将上一步输出的查询与键表示送入局部频域邻域多头缩放内积相关,职责是在邻域内聚集谱证据并分解为中心项、对称均值项与反对称差值项,输出三类一致性与方向性证据。最后将三类分量证据拼接后送入一维卷积、频率池化与多层感知机,职责是聚合为时延网格后验并分类选择最大后验时延,输出最终时延估计。与仅在广义互相关前后加神经滤波的方法不同,该设计直接学习跨通道频谱如何匹配,以范数积学习频率可靠性、以夹角余弦学习匹配度,并放宽严格逐频点配对约束。在LibriSpeech仿真混响测试集下,QK-GCC的MAE指标为5.29个采样点,低于NGCC-PHAT的MAE指标6.06个采样点。该结论适用边界限于双通道仿真、固定帧长与有限时延网格,真实录音验证与多麦克风扩展尚未验证,原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://github.com/zhangjinkai33-ui/QK-GCC — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
17. 双编码器互补而冲突时,用稀疏专家分开建模再融合
英文题目:UniAE-MoE: A Unified Audio Encoder via Mixture of Experts
标签:#音频理解 | #混合专家模型 | #指令微调 | #多任务学习 | #统一音频模型
评分:7.6/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前25% | 文档类型:模型报告 | arXiv 原文
👥 作者与机构
- Shengbo Cai:机构信息未在 arXiv HTML 中可靠披露
- Zhisheng Zhang:机构信息未在 arXiv HTML 中可靠披露
- Zichao Nie:机构信息未在 arXiv HTML 中可靠披露
- Jing Peng:机构信息未在 arXiv HTML 中可靠披露
- Jingran Xie:机构信息未在 arXiv HTML 中可靠披露
- Zhiyong Wu:Tsinghua University, China
📌 核心摘要
统一音频编码器需在同一表征内兼顾语音识别、音乐分类与环境声字幕等异构需求,单一参数空间易在细粒度声学线索与高层语义间相互挤压,且20个任务数据量从数百到上百万严重不均衡。该工作选用Qwen2-Audio与Audio-Flamingo 3双分支,将特征序列经时间与特征维对齐后拼接归一化为复合向量,再由token级Top-2稀疏路由的SwiGLU专家与常开共享专家动态融合,经门控加权与RMSNorm得到统一表征。统一表征经投影送入SmolLM2-135M解码器做自回归文本生成,判别标签亦序列化为文本从而取消任务专用头,区别于单编码器与稠密共享适配器的关键在于按token解耦跨域表示并保留特征完整性。训练先冻结双编码器与语言模型只优化融合模块与投影器做语音与字幕语义对齐,再冻结编码器微调其余部分做全任务指令微调,并以任务特定数据缩放为情感、流派与字幕补充公开数据。在XARES-LLM基准下,UniAE-MoE的总体得分为0.802,高于拼接基线的总体得分0.778。FSD50K多标签检测与LibriCount计数仍偏弱且三编码器堆叠引入冗余,其适用边界受限于30秒截断预处理,长音频外推尚未验证。两阶段训练成本为三块NVIDIA L20 GPU上30000步与80000步,硬件约束下的推理开销与解码超参数影响尚未验证。
🔗 开源资源
- 代码相关资源:https://github.com/Syclus123/UniAE-MoE — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
18. 不等目标前缀也能写候选:As2d 把音频本身当作起草依据
英文题目:AS\(^2\)D: Accelerating On-Demand Audio Understanding on Mobile Devices
标签:#语音识别 | #模型融合 | #高效推理 | #端侧运行 | #语音
评分:7.4/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Yunzhe Li:The University of Texas at Austin
- Kyoungjun Park:The University of Texas at Austin
- Hongzi Zhu:Shanghai Jiao Tong University
- Lili Qiu:The University of Texas at Austin
📌 核心摘要
面向音频已缓存的按需理解需要在请求到达后自回归生成完整回复,手机端串行起草常抵消批量验证收益。所提音频推测解码 Audio Speculative Decoding,简称 AS2D,让音频条件起草器只依据固定音频视图、文本指令与自身历史发布候选块,目标模型沿权威提交前缀独立验证或单独解码,对齐模块仅移动缓冲游标并回收可用后缀,设备画像离线选定固定起草器与预算。相对沿目标已验证前缀同步起草的常规推测解码,该机制不再为候选准备多分支延续,也不再等待目标反馈即可推进,从而把起草与验证映射到异构处理器上并发执行。在4款手机688个语音识别窗口的手机代价重放中,合并吞吐相对仅目标解码提升42%至76%,慢于仅目标的电话/窗口对仅占5.7%,而标准推测解码与SpecASR分别为58.1%与63.0%。该增益依赖候选及时到达并覆盖足够目标输出,开放式推理与长时预填充主导场景尚未验证,达到所评估起草器/预算目录下事后逐窗口预言机合并吞吐的97.33%至98.20%。原文未披露训练成本,推理与部署成本仅以校准代价与能耗个例给出。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
19. 不用离散标签也不用动量教师:直接预测当前编码器表示能否学出语音特征
英文题目:GLaS-JEPA: Gaussian-Regularized Speech SSL without Engineered Prediction Targets
标签:#语音识别 | #自监督学习 | #语音 | #预训练 | #正则化
评分:7.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.9/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Gaspard Botté:机构信息未在 arXiv HTML 中可靠披露
- Séverin Baroudi:机构信息未在 arXiv HTML 中可靠披露
- Samir Sadok:机构信息未在 arXiv HTML 中可靠披露
- Francesco Paissan:机构信息未在 arXiv HTML 中可靠披露
- Thomas Hueber:机构信息未在 arXiv HTML 中可靠披露
- Xavier Alameda-Pineda:机构信息未在 arXiv HTML 中可靠披露
- Ricard Marxer:机构信息未在 arXiv HTML 中可靠披露
- Mirco Ravanelli:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
语音自监督学习以无标注波形为输入,输出可迁移到识别与理解的通用表示,实际难点是直接回归自身连续特征时预测误差可被常向量坍缩轻易最小化。GLaS-JEPA先由声学前端将语音转为潜特征序列并分出完整视图与掩码视图,再由共享Conformer编码器与逐词元线性投影器分别映射为目标与预测。接着在掩码位置以均方误差让预测追踪止梯度目标,同时完整分支对未掩码词元施加素描各向同性高斯正则维持非坍缩分布。与依赖量化、聚类伪标签或指数滑动平均教师构造目标的方法不同,该方法把防坍缩从目标工程转移为表示空间分布约束,简化了训练流程并使目标随当前编码器共同演化。在LibriSpeech 960小时预训练冻结编码器评测SUPERB基准下,GLaS-JEPA的WER为6.89%,低于S-JEPA的WER 12.10%。该结论适用边界受限于57M规模与LibriSpeech 960小时语料条件,情感识别落后于同级基线且约95M稳定训练尚未验证,外推至更大规模与跨域场景存在失败条件。原文未披露训练、推理或部署成本
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
20. 不写文本人名,用声音把柄做跨会话归属:冻结大模型的说话人句柄
英文题目:Voices as Handles: Reasoning about Speaker Identity with Frozen Text LLMs
标签:#音频推理 | #前缀微调 | #基准测试 | #课程学习 | #说话人验证
评分:7.3/10 | 创新 1.6/2 | 技术严谨 1.3/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Runqiu Xu:机构信息未在 arXiv HTML 中可靠披露
- Zhisheng Zheng:机构信息未在 arXiv HTML 中可靠披露
- David Harwath:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
多用户共享语音代理需在转录文本之外跨会话记住谁说了什么,仅靠文本线索无法建立持久的说话人引用。为此方法分三步衔接:先由冻结说话人编码器对每条语音独立抽取话轮级声纹嵌入,保留声学身份而不依赖上游一致文本编号。接着轻量两层投影器将该嵌入映射为冻结文本大模型输入空间中由4个软 token组成的手柄,直接替代话轮前的文本说话人标签并与转录拼接输入。最后以手柄接地、接口泛化与结构化身份内容绑定的三阶段课程仅优化投影器,使冻结大模型通过比对复现手柄实现跨轮次分组与事实归属。相比训练专用语音大模型或先聚类再赋离散文本编号的级联方案,该手柄免除全局说话人编号指派且冻结编码器与大模型,仅以极少参数提供可复用的声学引用,可直接嵌入现有转录加文本推理栈。与完美文本标签 topline 相比,该方法在 SpeakerBind 三任务宏平均上达到 70.40%,差距仅为 1.48 个百分点,而破坏绑定后性能趋近随机或任务 chance。该结论限于受控合成对话与短时验证场景,未验证长时漂移、重叠语音与真实噪声下的稳定性。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
21. 分数不是检查点属性:SURE-EVAL 把执行与打分钉成可重放契约
英文题目:SURE-EVAL: A Systematic and Unified Agentic Framework for Reproducible Evaluation
标签:#语音识别 | #评测协议 | #文本到语音 | #基准测试
评分:7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
排名:前50% | 文档类型:系统技术报告 | arXiv 原文
👥 作者与机构
- Jing Peng:Shanghai Jiao Tong University
- Junhao Du:Shanghai Jiao Tong University
- Yixuan Wang:Shanghai Jiao Tong University
- Bowen Wang:University of Bristol
- Hanqi Li:Shanghai Jiao Tong University
- Chaolei Liu:Shanghai Jiao Tong University
- Weihan Chen:Shanghai Jiao Tong University
- Haohui Xie:Shanghai Jiao Tong University
- Ruichen Sun:Imperial College London
- Chenghao Wang:Xi’an Jiaotong University
- Wen Wen:Shanghai Jiao Tong University
- Guanyu Chen:Shanghai Jiao Tong University
- Xiaoyu Gu:Shanghai Jiao Tong University
- Haoyu Li:Shanghai Jiao Tong University
- Yiwei Guo:Shanghai Jiao Tong University
- Bohan Li:Shanghai Jiao Tong University
- Tao Liu:Shanghai Jiao Tong University
- Yucheng Wang:ETH Zurich
- Yu Xi:Shanghai Jiao Tong University
- Yihua Zhou:AISpeech Co., Ltd.
- Qiang Zhou:AISpeech Co., Ltd.
- Feng Lu:AISpeech Co., Ltd.
- Shuai Wang:Nanjing University
- Kai Yu:Shanghai Jiao Tong University
📌 核心摘要
语音评测的输入是大量异构模型发布与评测请求,输出应是可复核分数,但同检查点会因运行时、解码策略与归一化实现不同而显著漂移。SURE-EVAL将一次评测形式化为执行契约与评分契约绑定的可执行声明,主智能体先核验可调用工具并提交数据集与流水线版本,再把得分操作交由确定性程序严格完成。工具智能体负责系统性解析仓库与报错证据并经由四道验证门产出隔离可调用接口,从而把智能体限定在解释证据而非改写评分逻辑。与已有语音基准只固定数据集或打分不同,该框架把环境搭建、推理控制与版本化度量纳入同一完整可追溯审计链条。在Seed-TTS-Eval基准的zh子集下,IndexTTS2的内容错误率为1.09,低于F5-TTS的内容错误率1.54。该结论仅适用于所注册流水线与单卡推理设置,未验证多硬件与大规模重复采样的稳定性。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
22. 任务能做成不等于话能好好说:τ-Multilingual 拆开多语言语音智能体的三类失灵
英文题目:\(τ\)-Multilingual: Benchmarking Voice Agents Across Languages
标签:#语音代理规划与工具使用 | #基准设计 | #基准测试 | #多语言
评分:7.2/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
👥 作者与机构
- Soham Ray:机构信息未在 arXiv HTML 中可靠披露
- Edgard dos Santos Paiva:机构信息未在 arXiv HTML 中可靠披露
- Ruben Valenzuela:机构信息未在 arXiv HTML 中可靠披露
- Karthik Narasimhan:机构信息未在 arXiv HTML 中可靠披露
- Keshav Dhandhania:机构信息未在 arXiv HTML 中可靠披露
- Victor Barres:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
该基准输入为6种语言本地化的全双工语音通话任务,输出要求代理完成数据库接地的检索下单与鉴权等可执行操作并维持自然轮次与母语级语言质量,难点在于口语消歧、打断恢复与跨语言实体映射交织。方法链分三步:语言工厂把英语任务框架本地化为呼叫者指令、 persona、语音规则、身份实体与评测规则并冻结版本,其版本化产物直接驱动级联模拟呼叫者。级联模拟呼叫者以200 ms步进的全双工运行时与被测语音代理产生4500通主呼叫,其通话音频与对齐文本进入三类指标打分。任务完成与交互失败率与生成质量分别度量环境奖励通过、打断与无响应等行为及自然度与语音保真度,其母语者验证的判官审计结果回流修正语言包。相对仅测英语任务成功的前序基准,差异在于把语言包视为完整本地化系统而非翻译文本,并将生成质量从任务成功解耦,使跨语言差距可归因到鉴权与交互而非单一分数。在韩语语音与文本对照评测条件下,韩语语音系统的任务完成率指标为40.9%,低于文本对照系统的任务完成率指标82.0%。结论仅适用于 6 语言 3 领域 3 家托管模型与单一语音栈,开放权重模型与真实人类呼叫者外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
23. 近场满分远场露馅:用混合波形仿真把混响噪声和走动一次只变一项来考验识别
英文题目:FFASR: Benchmarking Far-Field Automatic Speech Recognition using High-Fidelity Simulated RIRs
标签:#语音识别 | #基准设计 | #基准测试 | #鲁棒性
评分:7.2/10 | 创新 1.4/2 | 技术严谨 1.3/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
👥 作者与机构
- Shivam Saini:Treble Technologies, Reykjavík, Iceland
- Eric Bezzam:Treble Technologies, Reykjavík, Iceland
- Georg Götz:Treble Technologies, Reykjavík, Iceland
- Alessia Milo:Treble Technologies, Reykjavík, Iceland
- Steinar Guðjónsson:Treble Technologies, Reykjavík, Iceland
- Konstantinos Gkanos:Treble Technologies, Reykjavík, Iceland
- Finnur Pind:Treble Technologies, Reykjavík, Iceland
- Daniel Gert Nielsen:Treble Technologies, Reykjavík, Iceland
📌 核心摘要
远场自动语音识别以单通道麦克风信号为输入并输出转写文本,难点在于混响拖尾抹除音素线索而加性噪声淹没弱辅音且说话人移动持续改变直达混响比。FFASR先在高校消声室新录15人英语朗读共889条作为干净源,再用工业混合波几何声学引擎生成14间 furnished房间脉冲响应并与定向干扰及器件前端链卷积混合,最后按渲染后信噪比装入近场与实测仿真配对及高信噪比与中信噪比与低信噪比及移动变体共九个条件送入隔离沙箱统一解码评分。与既有多因素混杂且音频公开可爬取的远场评测不同,该基准坚持新录源加音频不分发加单因素对照加实测锚点校准。提交时排行榜已有24个公开系统,论文聚焦15个领先系统的分布:近场平均词错误率 \(WER\) 为4.4%,静态低信噪比升至41.3%,办公锚点实测与仿真跨系统平均绝对差约1.7个百分点、符号平均差为正1.3个百分点。结论仅适用于所测英语朗读单说话人单通道范围,尚未验证多说话人重叠与自发对话及更多实测房间的外推。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
24. 受损音频下如何保住视觉线索:OP-CAD 把干净教师监督压向声学敏感位置
英文题目:OP-CAD: On-Policy Clean-Audio Distillation for Robust Audio-Visual Reasoning
标签:#音视频问答 | #知识蒸馏 | #音视频 | #鲁棒性
评分:7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Xingming Shui:机构信息未在 arXiv HTML 中可靠披露
- Dapeng Chen:机构信息未在 arXiv HTML 中可靠披露
- Bowei Liu:机构信息未在 arXiv HTML 中可靠披露
- Jingqi Tian:机构信息未在 arXiv HTML 中可靠披露
- Minfu Li:机构信息未在 arXiv HTML 中可靠披露
- Kun Yi:机构信息未在 arXiv HTML 中可靠披露
- Jiapeng Hong:机构信息未在 arXiv HTML 中可靠披露
- Yansong Tang:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
任务输入为视频、损坏音频、问题与选项,损坏来自环境噪声或竞争语音,视频与问题不变,输出为限定格式的证据加选项字母,难点是声学干扰不改变画面却会误导跨模态判断。方法为三段式特权自蒸馏:先构造干净与损坏配对音频并经配对筛选划分鲁棒集与热身集,再用验证答案配 Gemini 3 Flash 证据做有监督热身以统一输出结构并初始化学生与冻结教师,最后按 10 dB 到 5 dB 到 0 dB 课程执行在策略蒸馏,学生始终在损坏输入下采样当前策略回复,教师在相同前缀上用干净音视频加验证答案提供目标。监督分配另设不含答案的干净音视频、损坏音视频与纯视觉上下文,以 Jensen-Shannon 散度度量音频移除敏感度与损坏敏感度,回复内归一后取最大值并经停止梯度映射为 1 至 1.5 的有界权重,均匀特权蒸馏为其增益为零的特例。在 Daily-Omni 竞争语音三信噪比平均上该方法为 63.55%,相对同协议均匀对照提升 2.93 个百分点,环境噪声提升 3.48 个百分点,OmniVideoBench 两类干扰分别提升 2.83 和 3.80 个百分点,且聚合干净准确率未见下降。结论限于受控合成干扰、两套问答基准、单骨干单次运行,未验证真实场景与长时漂移。鲁棒训练实测成本已披露,推理仅用学生直答,无需教师与干净参考。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
25. 响亮未必优质:语音大模型裁判的声学捷径与空泛解释
英文题目:Louder, Longer, Livelier: Acoustic Shortcuts and Underspecified Rationales in Speech LLM Judges
标签:#语音质量评估 | #评测协议 | #语音 | #基准测试 | #可解释性
评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Mingyue Huo:机构信息未在 arXiv HTML 中可靠披露
- Shivam Mehta:机构信息未在 arXiv HTML 中可靠披露
- Bhavin Jawade:机构信息未在 arXiv HTML 中可靠披露
- Yinghong Lan:机构信息未在 arXiv HTML 中可靠披露
- Haoqi Li:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
语音大语言模型评测器以单条或成对语音为输入,输出自然度或总体质量分数、偏好与解释性理由,难点在于响度等显著声学线索易被误作质量证据而理由又难以自证。首先构造强度、内容丰富度与情感表达三类单因子受控刺激并做响度归一与静音修整,为审计提供可比输入。接着以逐点打分与双序平均成对比较双模式测试6个评测器,并以15名母语听众偏好校准人类基准以区分无效证据与过度加权。最后对判决翻转样本的理由做显式词表审计,检验其是否点名上一步中起作用的声学线索。与文本评测器冗长偏置不同,该工作揭示成对比较放大声学捷径而逐点打分常掩盖方向性偏好,其实测意义在于使用前必须先做声学预处理与模式核查。在+6 dB强度操控成对比较评测设置下,五个评测器平均的偏好率指标为0.578,低于人类听众的偏好率指标0.612。理由分析显示解释复用自然度与韵律等宽泛术语,响度与静音显式点名率接近0%,重复点名率仅5.7%到27.9%。结论限于英语、4套合成系统与ESD录音池内的受控对比,未验证多语言与真实部署噪声外推。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
26. 不算逆轨迹似然:用终样本加权重建对齐离散扩散克隆
英文题目:RAWD-TTS: Ratio-Free Reward Alignment for Discrete-Diffusion Voice Cloning
标签:#语音克隆 | #强化学习 | #扩散模型 | #0 样本 | #语音
评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Maxim Maslov:机构信息未在 arXiv HTML 中可靠披露
- Kirill Borodin:机构信息未在 arXiv HTML 中可靠披露
- Vasilii Kudryavtsev:机构信息未在 arXiv HTML 中可靠披露
- Nikita Vasiliev:机构信息未在 arXiv HTML 中可靠披露
- Grach Mkrtchian:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
零样本语音克隆需由短参考音频与目标文本生成内容准确且音色一致的波形,而声学词元预测损失并不直接优化可懂度与说话人相似度,这是波形级属性与训练目标错位带来的实际难点。本文方法链分四步:先以目标文本与参考语音为条件用当前策略对同提示采样多条随机轨迹并解码为波形,再由冻结识别与说话人模型给出终端奖励,接着在提示内做组相对标准化得到零和优势,最后用优势加权前向掩码重建 detached终点词元以更新策略。与显式建模反向转移的轨迹策略优化不同,该设计完全丢弃比率约束与反向似然,只学习重建好样本并远离差样本。在500条俄语CV3-Eval评测基准下,联合奖励检查点的词错误率(word error rate,WER)为2.42%,低于基线OmniVoice的词错误率3.18%,说话人余弦为0.748,高于基线的说话人余弦0.733;无选择的终点检查点词错误率为2.58%,低于基线的词错误率3.18%。该结论限于俄语、OmniVoice 单主干与自动评分器,未经主观听测与跨语言验证。单卡 RTX 6000 Ada 上 2000 步训练耗时 9.25 小时,平均每步 16.65 秒。
🔗 开源资源
- 代码相关资源:https://github.com/lab260ru/RAWD-TTS — 链接不可用(HTTP 404)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
27. 线索各自成立时,用事件评价决定该信哪一路信号
英文题目:VISTA: Value-Informed Event Appraisal for Multimodal Emotion Conflict
标签:#语音情感识别 | #多模态学习 | #音视频 | #SFT
评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Jiale Dai:机构信息未在 arXiv HTML 中可靠披露
- Liuxian Ma:机构信息未在 arXiv HTML 中可靠披露
- Xiaoke Niu:机构信息未在 arXiv HTML 中可靠披露
- Wenjing Zhang:机构信息未在 arXiv HTML 中可靠披露
- Huiying Zhao:机构信息未在 arXiv HTML 中可靠披露
- Zhaoxiang Liu:机构信息未在 arXiv HTML 中可靠披露
- Shiguo Lian:机构信息未在 arXiv HTML 中可靠披露
- Guojie Song:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
多模态情感识别需在文本、音频与视频线索冲突时输出与多模态参照一致的情感类别,难点在于同一表情在不同关切下诊断意义完全相反。价值知情语义信任仲裁(Value-Informed Semantic Trust Arbitration,VISTA)先由共享主干预测涵盖关切与事件关系的七字段评估状态,再以该状态调节三路单模态分支权重,最后将加权分支对数与联合证据残差相加得到情感分布。相对仅学习模态可靠性的门控机制,该设计允许评估改变线索解释而非仅移动先验,并保留直接证据通路以避免信息瓶颈。在CA-MER冲突评测下,VISTA的准确率为64.5%,高于Modality-Gate-SFT的准确率62.0%,而一致子集基本持平呈现冲突特异性增益。跨EmoMM、CH-SIMS v2与MELD的评估显示冲突越强获益越大,其适用边界受限于缺失模态与高延迟场景下优势收窄且尚未验证跨语言外推。单种子通用训练约消耗72个GPU小时,中位推理延迟为15.5秒,工程代价显著高于短输出基线。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
28. 问题在中转:音视频大模型为何答错了证据来源
标签:#音视频问答 | #注意力机制 | #幻觉与忠实度 | #音视频
评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Yu Zhang:Harbin Institute of Technology, Shenzhen, China;Peng Cheng Laboratory, Shenzhen, China
- Pingrui Zhang:机构信息未在 arXiv HTML 中可靠披露
- Xuefeng Bai:Harbin Institute of Technology, Shenzhen, China
- Pengfei Zhang:Peng Cheng Laboratory, Shenzhen, China
- Yang Xiang:Peng Cheng Laboratory, Shenzhen, China
- Kehai Chen:Harbin Institute of Technology, Shenzhen, China;Peng Cheng Laboratory, Shenzhen, China
📌 核心摘要
音视频大语言模型需根据问题指定的音频或视频证据作答,输出应忠实于需求模态,但非需求模态干扰线索常被误作证据导致源混淆接地幻觉。论文通过注意力路径切断分析发现问题状态同时承载需求证据与干扰线索,构成向生成位置转发的问询中继,切断干扰到问题状态比切断到生成位置更能恢复正确答案支持。为此提出的源条件中继转向先由模型自判需求模态以确定正负掩码方向,自判输出进入下一步的注意力掩码构造。接着并行构造阻断干扰与阻断需求的正负问题表示,两组表示的差刻画干扰方向并进入范数匹配后的转向向量计算。最后将范数匹配后的差向量加回原始问题状态并完成后半层生成,该设计保留完整音视频上下文并在干扰汇入点纠偏,不同于在生成位置调制或删除模态输入的方法。在CMM基准下,Secret的Overall Acc为89.3%,高于VideoLLaMA2-AV-7B的Overall Acc 75.9%。结论限于短时长问答与字幕评测,依赖需求模态判准与逐模型选择的转向深度。该结论的适用边界受限于短时长问答与字幕评测场景,跨时长与跨任务外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
- 第三方资源:https://github.com/salaniz/pycocoevalcap/tree/master/cider — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
29. 失王蜂群更吵更不稳:调制谱为何在未见过蜂箱上更可靠
英文题目:Acoustic Honeybee Queen-State Detection Under Unseen Conditions
标签:#音频分类 | #时频分析 | #生物声学监测 | #鲁棒性
评分:7.0/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:应用研究 | arXiv 原文
👥 作者与机构
- Mahsa Abdollahi:机构信息未在 arXiv HTML 中可靠披露
- Nico Coallier:机构信息未在 arXiv HTML 中可靠披露
- Maxime Fraser Franco:机构信息未在 arXiv HTML 中可靠披露
- Tiago H. Falk:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
蜂王缺失检测以蜂箱录音为输入,输出有王(queenright)或无王(queenless)二分类标签,难点是野外噪声大、无王样本仅占10.9%、蜂箱与蜂场声学环境差异显著。系统先将15 s长录音提取为声学表示,再用卷积主干编码为声学嵌入,接着将记录时间与地理位置投影为元数据嵌入并与声学嵌入拼接,最后经分类头输出蜂王状态,表示形态直接决定可利用的时频调制结构。相比帧级梅尔特征,调制谱(modulation spectrum)先求梅尔幅度包络再做第二阶段调制频域分析,显式刻画各频带包络慢速起伏,对无王群体响度提升、宽带瞬态与200-1000 Hz低频调制增强更敏感。在蜂箱无关划分下二维调制谱受试者工作特征曲线下面积(Area Under the Receiver Operating Characteristic, AUROC)达0.81,无王类精确率召回曲线下面积(Area Under the Precision-Recall Curve, AUPRC)达0.37,明显高于同设置梅尔倒谱系数(Mel-Frequency Cepstral Coefficients, MFCCs)的0.70和0.24,无王召回从0.31提升到0.67。该结论在蜂场无关划分下不再保持强度,最佳调制模型回落到0.63和0.26,说明跨运营主体与跨地域外推尚未解决。原文未披露训练、推理或部署成本。
🔗 开源资源
- 数据相关资源:https://www.nectar.buzz/ → https://www.nectar.buzz/en/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
30. 删掉了还要再查一遍:用音频语言模型核验精神科对话中指定角色是否删干净
标签:#音频时间定位 | #模型集成 | #语音 | #音频大模型 | #隐私保护
评分:7.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:应用研究 | arXiv 原文
👥 作者与机构
- Joseph T Colonel:机构信息未在 arXiv HTML 中可靠披露
- Daniel Katzman:机构信息未在 arXiv HTML 中可靠披露
- Kelsey Kirker:机构信息未在 arXiv HTML 中可靠披露
- Adam N Davidson:机构信息未在 arXiv HTML 中可靠披露
- Shalaila S Haas:机构信息未在 arXiv HTML 中可靠披露
- Cheryl Corcoran:机构信息未在 arXiv HTML 中可靠披露
- René S Kahn:机构信息未在 arXiv HTML 中可靠披露
- Guillermo Checci:机构信息未在 arXiv HTML 中可靠披露
- Baihan Lin:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
临床精神科双人对话常需按功能角色删除指定说话人并验证删净,输入为已按目标角色静音后的单通道残留音频与重转写文本,输出为疑似漏删的时间区间与对应文本,难点在于简短应答与重叠语音、情感镜像导致的音色趋同、以及随症状波动的患者嗓音漂移。上游先用 Whisper 转写加 Pyannote 3.1 说话人分离标注加 Llama 3.3-70b-instruct 角色归因生成静音时间线,再对残留重转写形成待审视图,随后音频语言模型与大语言模型按窗口扫描并输出固定类别加逐字标记的结构化漏删标记,最后合并重叠区间并以析取或集成汇总多模型多视图结果。与直接全篇人工审听或单模型单视图相比,该机制差异在于把验证与删除解耦并用互补视图换召回,具有质检漏斗的实际意义。在48个双人录音共33小时25分钟的双向删除混合评测中,转录引导的14配置或集成达到F1为0.478,精度为0.330,召回为0.870,明显高于最强单配置的F1为0.408。该结论仅适用于同类上游失配分布下的精神科双人访谈,未验证跨场景跨语种与微调后的外推。原文所有模型均为纯推理模式,未披露训练与部署成本。
🔗 开源资源
- 代码相关资源:https://anonymous.4open.science/r/alm_prompts-D031 — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
31. 新皮肤要换声又不能换错事件:用保留掩码补齐整套游戏音效
英文题目:Game Sound-Effect Completion with Event-Level Transformation Hints
标签:#音频生成 | #流匹配 | #游戏音频 | #数据集
评分:7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Xinrui Jiang:机构信息未在 arXiv HTML 中可靠披露
- Heng Yu:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
本文处理游戏角色新皮肤音效补全,输入为基础皮肤全套事件音频、已完成的目标皮肤前缀、文本设计描述与逐事件变换提示,输出缺失目标事件音频,难点是各事件所需重设计程度不同且须保持玩法角色一致。方法链分三步,先解析游戏客户端音频库并按技能阶段对齐基础与目标事件,再用 Gemini 3.1 Pro Preview 结合原画与静音特效视频生成设计描述,最后在 Stable Audio 3 先验上微调潜空间修复模型完成缺失窗。与通用音频编辑器相比,关键差异是用有符号软保留掩码同时编码音频可用性与重设计强度,并以双轴无分类器引导控制文本与参考条件。在256条测试序列与687个未知窗的k等于2设置下,连续预言提示取得Mel误差8.93 dB,相对最强通用基线SAO-Instruct降低约26.6%。结论限于英雄联盟单游戏与语料级时长布局,设计师指定提示与独立布局泛化尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
32. 听懂语气却用不上:把语音思维链搬进循环解码器深度
标签:#语音对话系统 | #RNN | #语音属性识别 | #语音 | #高效推理
评分:6.9/10 | 创新 1.5/2 | 技术严谨 1.3/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Shengbo Cai:机构信息未在 arXiv HTML 中可靠披露
- Yuxiang Wang:机构信息未在 arXiv HTML 中可靠披露
- Jingran Xie:机构信息未在 arXiv HTML 中可靠披露
- Zhisheng Zhang:机构信息未在 arXiv HTML 中可靠披露
- Shun Lei:机构信息未在 arXiv HTML 中可靠披露
- Di Cao:机构信息未在 arXiv HTML 中可靠披露
- Teddy Sun:机构信息未在 arXiv HTML 中可靠披露
- Zhiyong Wu:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
共情语音对话需同时利用说了什么和怎么说来决定如何回复,难点在于感知到推理的断裂与文本思维链的高延迟。本文提出循环语音语言模型LoopSLM,将响应规划从输出序列轴搬到共享解码器块的循环迭代,推理时不再生成思维链。声学重锚模块ReCue在每次循环前从冻结音频编码器多层记忆中取回原始声学证据,避免深层丢失副语言区分。两阶段思维链到回复课程先以语音接地思维链训练循环通路做隐式精炼,再冻结循环通路训练尾部做直接回复。基座为28层Qwen2.5-Omni-7B思考器,划分为前奏第1至8层、循环体第9至11层、过渡第12至14层与尾部第15至28层。在EchoMind评测下,LoopSLM-R4的推理准确率为63.90,高于匹配Qwen2.5-Omni CoT-SFT基线的推理准确率43.77,且延迟减半。相对 Qwen2.5-Omni-7B 基座平均理解与推理分别提升约 9.8 和 6.6 个百分点,四项回复评分全部提升。适用边界限于中英对话式情感语音与 7B 量级基座,外推到强噪声、多人重叠或长时对话尚未验证。训练使用 8 张 H800 完成 1 轮加 0.5 轮微调,推理执行深度从 28 层增至 37 层调用但免除思维链生成。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
33. 相对变化放在子句上、能量与音高分到不同残差码本:SCIC 的范围与码本感知控制
英文题目:SCIC: Scope- and Codebook-Aware Instruction Conditioning for Speaker-Adapted Expressive TTS
标签:#文本到语音 | #指令微调 | #韵律与风格控制 | #神经编解码与离散单元 | #偏好优化
评分:6.9/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Longyu Lu:机构信息未在 arXiv HTML 中可靠披露
- Zongwei Du:机构信息未在 arXiv HTML 中可靠披露
- Mengtao Xing:机构信息未在 arXiv HTML 中可靠披露
- Zhuoqun Liu:机构信息未在 arXiv HTML 中可靠披露
- Zifan Guan:机构信息未在 arXiv HTML 中可靠披露
- Meiguang Jin:机构信息未在 arXiv HTML 中可靠披露
- Junfeng Ma:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
面向直播长文本语音合成需兼顾段落连贯与子句级韵律起伏的问题,本文提出说话人相对内联韵律控制(Speaker-Relative Inline Prosody Control),其输入为带内联标签的长文本,输出为具子句级起伏的连续语音,难点在于全局条件难以控制局部相对变化。音高、能量、语速指令针对目标子句相对前一同说话人子句的对数域变化量,经方向归一化使正值恒表示符合指令方向,停顿则用三档绝对时长区间直接指定。该形式化避免跨音色强加统一绝对目标,并为段落级渐强渐弱提供可拼接的局部接口。方法链分为三步:先对原始与属性变换语音做残差向量量化(Residual Vector Quantization,RVQ)码本贡献交换诊断,区分前向插入与反向移除干预并度量累计转移轨迹。再由时间指令路由器(Temporal Instruction Router)预测每帧标签激活强度以限定作用域,最后由标签相关码本加权在多词元预测(Multi-Token Prediction,MTP)路径注入分码本强度信号,语速与停顿仍保留在主干自回归首码本路径,这区别于仅将标签作文本词元的已有指令微调。在自有中文多说话人评测上,SCIC-SFT相对指令微调将音高、能量方向准确率分别提升 7.31 和 10.53 个百分点至 90.14% 与 96.39%,完整 SCIC-GDPO 进一步至 92.48% 与 97.16%,字符错误率稳定在 1.63% 至 1.68%,说话人相似度维持在 0.872 附近。该结论仅在说话人自适应而非零样本泛化设定下成立,跨基座、跨语言与真实直播长篇稳定性的外推尚未验证,训练时长与推理部署成本未披露。
🔗 开源资源
- 演示资源:https://taoliveaigc.github.io/SCIC/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
34. 不换标签、不共空间:用亲和图融合神经划分与嵌入聚类
英文题目:Training-Free Affinity Fusion of Neural and Embedding-Based Speaker Diarization
标签:#说话人分离标注 | #模型融合 | #语音
评分:6.9/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Yehoshua Dissen:Linguana Technion – Israel Institute of Technology Equal contribution
- Joseph Keshet:Linguana Technion – Israel Institute of Technology Equal contribution
- Eduard Golshtein:Linguana Technion – Israel Institute of Technology Equal contribution
📌 核心摘要
说话人分离标注(Speaker Diarization,确定谁在何时说话)的难点在于嵌入聚类长窗判别强但边界模糊,神经法局部上下文强但长录音需分块且跨块身份易漂移,两种表示空间不兼容而难以直接融合。本文提出免训练亲和融合(Training-Free Affinity Fusion,TFAF):第一步冻结神经分支按分块推理输出录内说话人划分与局部表示,并按说话人求质心收缩得到分区条件表示。第二步将该表示按单说话人帧映射到基段网格取均值归一化,再算余弦得到连续神经亲和,无证据单元置零弃权。第三步将神经亲和以权重与多尺度嵌入声学亲和相加后做一次全局谱聚类得到最终划分与说话人数。该机制不做标签对齐、不共享嵌入空间、不硬搬运说话人数,只注入软结构证据。在AMI官方16会MixHeadset仅词参考、oracle语音活动、忽略重叠、0.25s领口条件下,融合将DER从1.08降至0.85,词级说话人归属错误从739降至465;在CALLHOME SRE-2000 disc 8电话配置下DER从3.85降至2.74。消融表明二值神经划分已贡献大部分增益,保留连续声学几何进一步取胜。适用边界是依赖单说话人帧、排除重叠帧打分,未验证重叠与流式场景,原文未披露训练与部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
35. 把声音放进世界状态:用全景代理与几何传播做听者相关的空间音频
英文题目:Audible World Models: Spatially Aware Sound Generation for 3D Worlds
标签:#空间音频渲染 | #信号处理 | #空间音频信号 | #音视频
评分:6.8/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:系统技术报告 | arXiv 原文
👥 作者与机构
- Duowen Chen:Georgia Institute of Technology
- Jinjin He:Georgia Institute of Technology
- Gouthaman KV:Dolby Laboratories
- Sandeep Bangalore Venkatesh:Dolby Laboratories
- Bo Zhu:Georgia Institute of Technology
📌 核心摘要
输入为文本提示与听者轨迹,输出为随视点运动变化的双耳空间音频,难点在于声源身份持久性与遮挡反射衰减的几何一致性。系统先由 HunyuanWorld 生成全景代理并分层解析前景可发声物体与背景环境区,再为每个语义标签合成干声素材,然后将声源采样锚定到单目深度提升的三维网格,最后由声学参数智能体预测反射散射等参数并调用 GSound 做几何传播渲染。与仅以文本或渲染视频窗为条件的基线不同,该框架把语义标签、干声、三维位置与传播参数存为可复用世界状态。在80个生成场景的混合声方向恢复评测下,本方法的MAE指标为17.44,低于See-2-Sound的MAE指标45.6。结论仅在静态重建几何与固定声源假设下成立,未验证动态物体与动作声音同步。系统为免训练离线管线,端到端构造耗时约 926.67 秒,其中三维重建导出占 34.9%。该适用边界受限于静态几何假设与固定声源,动态交互情形尚未验证,而单卡H200硬件上的离线推理开销主要集中于三维重建导出环节。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
36. 转写错一个词就失败:Talk2Agent 把语音接口从智能体执行中隔离出来称重
英文题目:Talk2Agent: Benchmarking Voice Interfaces for Text Agents
标签:#语音识别 | #基准设计 | #基准测试 | #语音 | #语音代理规划与工具使用
评分:6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
👥 作者与机构
- Terumi Chiba:机构信息未在 arXiv HTML 中可靠披露
- Guangzhi Sun:机构信息未在 arXiv HTML 中可靠披露
- Zheqi Yuan:机构信息未在 arXiv HTML 中可靠披露
- Chao Zhang:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
计算机使用智能体通常接收干净文本指令,而语音输入会引入转写误差并可能破坏文件名、路径、约束等任务关键信息,现有词错误率难以衡量可执行性保留程度。方法链第一步将书面任务改写为可说脚本并采集真人朗读,形成跨说话人的语音输入,其录音直接进入第二步。第二步由待测语音接口转写为文本后送入固定下游智能体执行,从而隔离接口质量,执行结果由源基准评分器打分。第三步为免执行诊断,将源评分器编译为提示可寻址意图与固定条件,先判定转写保留的意图集合,再通过原生投影代入原评分逻辑与沙普利保留加性归因来度量信息保留。与通用转写指标相比,该框架直接复用任务加权与非加性门控关系,因而更贴近功能性成功而非字面相似度。在50个非安全WildClawBench任务与10种接口构成的500个任务-界面观测上,原生投影与任务完成度的皮尔逊相关系数为0.466,较词错误率基线的0.220绝对提升0.246。该结论适用边界受限于长书面提示口语化与工作区偏置词表未能稳定提升执行的失败条件,自然口语省略与交互式澄清场景尚未验证。原文未披露训练、推理或部署成本,免执行评估虽省去重复执行但仍需意图标注与裁判开销。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
37. 图像没有语序,语音却有先后:用单调先验把视觉内容排成可说的单元序列
英文题目:Monotonicity-Guided Semantic Alignment for Zero-shot Multispeaker Image-to-Speech Synthesis
标签:#音视频语音合成 | #扩散模型 | #0 样本 | #神经编解码与离散单元
评分:6.7/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Lijun Wang:机构信息未在 arXiv HTML 中可靠披露
- Yixian Lu:机构信息未在 arXiv HTML 中可靠披露
- Shogo Okada:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
直接图像到语音需从单张图像生成有序语音描述,难点在于图像允许多种措辞且空间特征与语音单元无单调对应,多说话人语速与声学差异进一步放大对齐难度。本文提出单调性引导语义对齐,先由语义编码器以冻结视觉特征与说话人条件为输入,负责将其压缩为320槽语义记忆并输出该记忆,再由单调查询对齐器以该记忆与共享查询为输入,负责以软单调偏置映射为位置相关条件状态并输出这些状态,最后由块掩码扩散生成器以这些状态为输入,负责逐块生成语义语音单元并交由现成单元到语音模型合成波形。该设计使对齐器不接触语音前缀从而抑制前缀捷径并支持变长推理,与自回归预测HuBERT或EnCodec单元的前作形成对齐与生成解耦的差异。在Flickr8k-Audio测试集无前缀条件下,未见说话人MGSA的CIDEr得分为46.2,高于CLIP初始化Im2Sp变体的CIDEr得分45.8。该结论仅适用于英语朗读式短描述与 25 Hz 语义单元,未验证无文字语言、开放图像或长叙述的外推能力。原文未披露训练硬件与统计显著性。
🔗 开源资源
- 演示资源:https://alizeded.github.io/mgsa-demo → https://alizeded.github.io/mgsa-demo/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
38. 把双声道听感搬到 5.1 声道:在哪个环节融合多声道信息
英文题目:Multichannel Audio Quality Assessment: Extending Pretrained Perceptual Models to Spatial Audio
标签:#音频质量评估 | #注意力机制 | #迁移学习 | #多通道
评分:6.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Gouthaman KV:机构信息未在 arXiv HTML 中可靠披露
- Shiv Gehlot:机构信息未在 arXiv HTML 中可靠披露
- Vishnu Raj:机构信息未在 arXiv HTML 中可靠披露
- Lars Villemoes:机构信息未在 arXiv HTML 中可靠披露
- Arijit Biswas:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
面向5.1环绕声的参考型感知质量预测需要同时判断信号保真度与通道间空间关系,输入为参考与退化5.1对,输出为与主观平均意见分对齐的MUSHRA分数,难点在于预训练双通道模型无法直接消费高通道输入而重训又缺乏数据。作者以冻结的生成机器听众第二版为感知主干,先将5.1映射为前对LR、环绕对LsRs与中置C三个空间组并提取Gammatone特征,再由特征带组注意力按频带估计组权重并融合,最后用单次主干推理输出Beta分布参数映射为质量分。相比信号级下混与预测级平均,该机制在感知处理前保留时序与组内四分量结构并实现跨组联合建模,兼顾自适应与单次推理效率。在五个5.1通道测试集的整体评测下,FGAtt+GMLv2的Pearson相关系数为0.9063,高于Latent Agg+GMLv2的Pearson相关系数0.8875。高阶沉浸格式与声像偏移条件的泛化效果尚未验证,现有结论受限于编解码退化场景。该结论目前仅在5.1编解码退化与排除低频效应通道(LFE)条件下成立,未验证声像偏移与高阶沉浸格式。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
39. 超声数据太多存不下:用边缘端蝙蝠活动检测器先拦住噪声
英文题目:Bad: Taming the Bioacoustic Data Deluge with a Bat Acticity Detector
标签:#音频分类 | #模型量化 | #生物声学监测 | #端侧运行 | #高效推理
评分:6.6/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:系统技术报告 | arXiv 原文
👥 作者与机构
- Stefano Ciapponi:机构信息未在 arXiv HTML 中可靠披露
- Santiago Martinez Balvanera:机构信息未在 arXiv HTML 中可靠披露
- Andrea Cesaretti:机构信息未在 arXiv HTML 中可靠披露
- Elisabetta Farella:机构信息未在 arXiv HTML 中可靠披露
- Kate E. Jones:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
被动声学监测以 192至384 kHz 高采样连续采集超声,单节点每晚可产生超过 27 GB 数据,输入为稀疏蝙蝠回声定位叫声淹没在风雨与直翅目等混淆源中的波形,输出为片段级蝙蝠有无判决,难点是传统幅度门限与单频点 Goertzel 无法区分调频扫频与宽带噪声。方法链为特征提取加轻量调理加硬件协同网络:先以固定物理时长 2 ms 短时傅里叶变换加 50%重叠保持扫频时间分辨率,再带通裁剪 10至120 kHz 并插值到 64 频带,接着用指数滑动平均跟踪稳态底噪并逐列谱减凸显瞬态脉冲,最后送入仅使用矩阵向量处理器原生算子的 8 位量化卷积网络做二分类门控。与 Goertzel 滤波器组只看窄带能量不同,该机制联合建模时频形态与瞬态对比。在空间异域uk_diff低流行率评测设置下,BAD的Precision为85.7%,高于Goertzel的Precision 9.0%。该结论适用边界限于F0.5优化阈值后100 ms离线片段,事件驱动占空比与野外长期续航尚未验证。在Silicon Labs EFM32PG26硬件上192 kHz下100 ms片段预处理74.00 ms加推理30.00 ms合计延迟104.00 ms,平均功耗21.6 mW,单次推理0.648 mJ。
🔗 开源资源
- 第三方资源:https://tinyurl.com/audiomothrevision → https://wildlabs.net/en/article/announcing-wildlabs-awards-2026-grantees — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
40. 预测 MOS 分数被推高了,听感却没有变好:多预测器测试时优化的检验
标签:#语音增强 | #测试时自适应 | #语音质量评估 | #主观评测 | #模型评估
评分:6.6/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Tsubasa Ochiai:机构信息未在 arXiv HTML 中可靠披露
- Marc Delcroix:机构信息未在 arXiv HTML 中可靠披露
- Nahomi Kusunoki:机构信息未在 arXiv HTML 中可靠披露
- Rintaro Ikeshita:机构信息未在 arXiv HTML 中可靠披露
- Naohiro Tawara:机构信息未在 arXiv HTML 中可靠披露
- Naoyuki Kamo:机构信息未在 arXiv HTML 中可靠披露
- Tetsuji Ogawa:机构信息未在 arXiv HTML 中可靠披露
- Shoko Araki:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
语音增强以含噪波形为输入并输出去噪波形,非侵入式平均意见分预测器被广泛用于替代昂贵人听并决定挑战赛排名,但其分数能否反映感知质量存疑。该文研究问题是:经测试时优化抬高预测MOS分数后,人实际感知的质量是否提升。方法链分三步:第一步固定语音增强系统与四个冻结预测器,对增强波形叠加可学习扰动作为待优化变量,使后续梯度可直接作用于信号。第二步将扰动后信号送入各预测器内部重采样可微图,计算四个预测器分数均值与多分辨率L1偏离惩罚构成联合目标,与单预测器限幅不可闻对抗不同,该工作不设扰动幅度显式上界并联合优化DNSMOS、NISQA、UTMOS、SCOREQ,检验多重约束下高分是否更可信。第三步对每条测试话语独立执行500步梯度下降更新扰动并输出修改信号,再用挑战赛脚本与听音测试检验分数与感知是否脱节。在URGENT 2026 Track 1非盲测试集1023条多采样率多语言多失真数据上,联合优化使4个目标预测器同步大涨而8个参考指标基本不动、未见的Distill-MOS变化不超过0.03。在10条英语48 kHz子集上11名听音者的MUSHRA测试显示优化后与原始无等效以上差异。结论仅适用于所测公开预测器与非盲集,未验证盲测集、隐藏预测器与其他语言的外推性。原文未披露训练、推理耗时与部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
41. 预测 MOS 能替人评比出哪个增强系统更好吗:用系统级偏好一致率检验
英文题目:How Reliable Are Predicted MOS for Reproducing Human System-Level Preferences in Speech Enhancement?
标签:#语音质量评估 | #评测协议 | #语音增强 | #语音 | #领域适应
评分:6.6/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.5/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Nahomi Kusunoki:机构信息未在 arXiv HTML 中可靠披露
- Tsubasa Ochiai:机构信息未在 arXiv HTML 中可靠披露
- Naohiro Tawara:机构信息未在 arXiv HTML 中可靠披露
- Marc Delcroix:机构信息未在 arXiv HTML 中可靠披露
- Naoyuki Kamo:机构信息未在 arXiv HTML 中可靠披露
- Tetsuji Ogawa:机构信息未在 arXiv HTML 中可靠披露
- Shoko Araki:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
语音增强系统比较以多系统处理后的语音为输入,以系统间胜负平判定为输出,难点在于人工平均意见分采集成本高而预测分与人评相关高仍可能出现成对排序反转。本文引入系统级偏好准确率并把每对系统映射为胜负平三分类,以自助重采样估计均值与置信区间并用显著性差异确定平局阈值。接着在两个语音增强语料上评测六个公开预测器的单模型可靠性,再比较平均与多数投票集成以及闭域与开域自适应对偏好错误的修复作用,其中后一步的输出直接进入偏好一致性计算。与线性相关和排序相关的关键机制差异在于该指标只检验成对符号一致并容忍微小差值平局,因而能暴露高相关下仍存在的成对反转并指导可靠的系统选型。在URGENT24评测设置下,Ave(All)的SPA准确率为79.8%,高于最优单模型的SPA准确率76.8%。结论仅适用于所测模型与任务分布,开放未知系统与说话人下改善有限且阈值选择尚未原则化。该结论的适用边界受限于已测闭域语料与已知系统,开放未知说话人与系统的外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
42. 决策层才分配分支:用约束混合与情感亲和正则补上融合的最后一环
英文题目:Prediction-Layer Branch Calibration for Multimodal Sentiment Analysis
标签:#语音情感识别 | #混合专家模型 | #对比学习 | #音视频
评分:6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Yulin Sun:机构信息未在 arXiv HTML 中可靠披露
- Kele Xu:机构信息未在 arXiv HTML 中可靠披露
- Yong Dou:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
多模态情感分析(Multimodal Sentiment Analysis,MSA)需从文本、声学和视觉异构线索联合预测utterance级连续情感分值,难点在于语言模型深层融合后各分支预测在决策层如何显式可靠分配权重。分支校准多模态语言融合(Branch-Calibrated Multimodal Language Fusion,BC-MLF)先对均值池化后的融合令牌表示施加高斯亲和对比约束,使表征几何服从连续标签相似度,再由分支校准任务头(Branch-Calibrated Task Head,BCHead)根据三路表征输出带最小权重下限的样本自适应混合权重并完成加权求和。与直接拼接表征做联合预测或静态平均分支相比,该设计把表征结构化与决策层分配解耦,且仅在预测层增加轻量门控。在CMU-MOSEI上相对复现的DeepMLF基线将二分类准确率从86.08提升至87.50,同时平均绝对误差从0.505降至0.495,CH-SIMS上亦取得一致改进。结论目前仅限于两个情感基准与同一融合骨干,尚未验证更换骨干、缺失模态或分布外场景下的分配稳定性。原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://github.com/sunyulin0421/BC-MLF — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
43. 把脉冲稀疏变成可执行的省电:Zephyr 如何让去噪网络同时算对异构算子
标签:#语音增强 | #模型量化 | #动态计算与早退 | #高效推理 | #实时处理
评分:6.5/10 | 创新 1.4/2 | 技术严谨 1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:系统技术报告 | arXiv 原文
👥 作者与机构
- Cheng-En Chang:机构信息未在 arXiv HTML 中可靠披露
- Chi-Wei Kao:机构信息未在 arXiv HTML 中可靠披露
- Chung-Lun Yang:机构信息未在 arXiv HTML 中可靠披露
- Yan-Lin Jiang:机构信息未在 arXiv HTML 中可靠披露
- Yi-Chen Huang:机构信息未在 arXiv HTML 中可靠披露
- Sebastian Fieldhouse:机构信息未在 arXiv HTML 中可靠披露
- Kea-Tiong Tang:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
面向智能手机、无线耳机与助听器等电池供电设备的语音增强任务,输入为含噪短时傅里叶变换频谱,输出为增强后语音频谱,难点在于全频带与子带建模需要大算力而端侧功耗与片上存储极受限。该工作以脉冲全子带网络为基线,先经量化感知训练与激活函数简化及批量归一化折叠得到对称整型权重与膜状态的硬件友好整数模型,权重存储由4MB降至1MB以适配片上静态存储。整数模型的门控预激活经255表项查表映射为门控系数,再经预计算整数乘子与移位重缩放维持膜电位更新结构,其输出的稀疏二值脉冲索引进入加速器参与调度。同一物理混合处理单元阵列经分时复用依次完成门控矩阵乘法、膜更新与多帧深滤波复数累加,事件驱动地址译码仅取活跃脉冲对应权重以跳过无效访存与运算。相比仅支持稠密乘累加的已有加速器,其机制差异在于以稀疏感知取数与同一阵列覆盖异构负载,在保持语音质量的同时降低运算与访存开销。在Intel N-DNS Challenge数据集评测任务下,Zephyr的SI-SNR为14.54 dB,低于Spiking-FullSubNet-XL的SI-SNR 15.20 dB。该结论仅适用于该数据集的离线评测与特定 45 nm 能量模型外推,未验证多噪声、混响与说话人泛化下的稳定性。原文未披露训练、推理或部署成本的完整实测功耗与端到端系统功耗,现场可编程门阵列验证仅提供延迟与实时因子证据。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
44. 不用单独声纹编码器:从内容编码器中间层直接取说话人表示做流式转换
英文题目:VOSSA: Voiceprint Optimization for Streaming Speech Architectures
标签:#语音转换 | #对比学习 | #流式处理 | #语音
评分:6.5/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Mu-Ruei Tseng:机构信息未在 arXiv HTML 中可靠披露
- Waris Quamer:机构信息未在 arXiv HTML 中可靠披露
- Ghady Nasrallah:机构信息未在 arXiv HTML 中可靠披露
- Ricardo Gutierrez-Osuna:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
流式语音转换需在因果低时延下将源语言内容映射为目标音色,冻结的自动说话人验证嵌入为抑制语内可变性而训练,与帧级音素实现所需的声学可变性存在表示失配。VOSSA以TVTSyn为骨干,冻结因果内容编码器同时产出内容令牌与多层中间特征,经注意力统计池化聚合成全局说话人嵌入,再经时变音色模块与因果解码器重建波形。双路径训练以同说话人自重建提供全监督,以跨说话人非平行转换为目标施加合成前后余弦一致性与对称NT-Xent对比正则,使说话人空间直接对齐生成目标,去除x-vector与ECAPA-TDNN外部编码器。在LibriTTS源与LibriTTS、VoxCeleb、EMIME、ARCTIC、L2-ARCTIC、VCTK目标构成的转换协议上,归一化目标相似度达0.86,超过TVTSyn的0.59,自然度3.48与TVTSyn的3.52相当,词错误率同为0.17;LibriTTS自重建上基频平均绝对误差27.8 Hz、皮尔逊相关系数0.43、高中低元音第一共振峰Wasserstein距离24.6、29.7、31.0均为最优。主观平均意见分3.79高于TVTSyn的3.65,对TVTSyn的AB偏好在相似性、易懂性、饱满度上为54%、56%、52%。结论限于6集评测与单元音第一共振峰分析,未验证强噪声、长时漂移与未见语言外推,流式实时因子约0.25、端到端时延约73 ms,未披露完整训练时长与显存占用。
🔗 开源资源
- 演示资源:https://morris88826.github.io/VOSSA/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
45. 不重采样怎么做跨采样率生物声学分类:连续滤波器组与傅里叶算子的分工
标签:#音频分类 | #时频分析 | #生物声学监测 | #鲁棒性
评分:6.2/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.6/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Stefano Ciapponi:机构信息未在 arXiv HTML 中可靠披露
- Francesco Ardan Dal Rı:机构信息未在 arXiv HTML 中可靠披露
- Nicola Conci:机构信息未在 arXiv HTML 中可靠披露
- Elisabetta Farella:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
该工作处理原生采样率高度异构的多类群生物声学分类,输入为任意原生采样率波形,输出为84类物种标签,难点是固定梅尔谱强制重采样会丢弃超声带宽并改变特征对齐。方法链分三步:采样率无关前端在物理频率上参数化连续对数高斯滤波器并按原生奈奎斯特极限离散化合成解析包络,输出多尺度对数频率-时间网格;二维傅里叶神经算子骨干对网格做全局谱变换与局部线性混合得到频时表征;时域金字塔编码器将上一步表征逐尺度池化对齐融合后经掩蔽池化投影到分类与对比头。相比固定48 kHz与语料库最大采样率重采样基线,其机制差异是保留原生带宽并以物理时间为锚统一帧率,避免高低采样率互损并保持恒定下游复杂度。在包含84类与60种采样率的多类群语料评测下,SFI-FNO的准确率为.906,高于MAX-FNO的准确率.895。结论仅适用于所用4个数据集合并分布,对未见类群、极低信噪比野外连续监测与开放集检测尚未验证。原文未披露训练、推理或部署成本,代码标注为接收后公开但无可验证链接。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
46. 不改推理核,只加执行层:用技能与资产图把通用智能体变成全模态包工头
标签:#音频生成 | #工具增强与约束解码 | #音频理解 | #软件工具
评分:6.1/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名:前50% | 文档类型:系统技术报告 | arXiv 原文
👥 作者与机构
- Yanlin Li:National University of Singapore University of Oxford
- Mingyang Hao:National University of Singapore University of Oxford
- Shengqiong Wu:National University of Singapore University of Oxford
- Hao Fei:National University of Singapore University of Oxford
- Mong-Li Lee:National University of Singapore University of Oxford
- Wynne Hsu:National University of Singapore University of Oxford
📌 核心摘要
该工作处理输入输出跨文本、图像、音频、视频、文档、三维模型与代码的多产物生产任务,难点是多交付物共享事实与风格、异构工具协同、中间资产跨任务与跨轮复用。首先技能入口按场景、专家、原子三级选择技能并递归展开为可执行任务,输出的任务清单进入声明执行图。然后声明执行图显式表达控制与数据依赖并经引用校验与无环校验后分波并发调度,就绪节点经模型上下文协议工具服务选路并由提供方配置层绑定工具模型凭证默认参数与回退策略后执行。最后资产注册表以全局标识持久化成功产物并向下游与跨轮引用提供可解析路径,使修订时仅重执行变更节点。与统一自回归或混合离散连续的本体模型路线不同,该机制把统一放在任务执行与资产流层面,宿主推理核无需重训即可替换后端。在UniM-90基准下,Agent + Omni-IO Skills在GPT-5.6 Sol上的相对语义质量耦合分数为74.94,高于Base Agent的相对语义质量耦合分数26.99。该结论仅在90例受控子集与两类闭源宿主上验证,未覆盖开放域长程修订、并发冲突与后端失效外推,原文未披露训练与部署成本。该适用边界尚未验证开放域并发冲突,且原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://github.com/any2any-mllm/Omni-IO-Skill — 暂时无法访问
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
47. 低分辨率听不清动作时,把高分辨率知识压缩后再教给学生
英文题目:RAST: Resolution-Aware Privileged Structure Transfer for Low-Resolution Audio Activity Recognition
标签:#音频分类 | #知识蒸馏 | #隐私保护 | #环境声
评分:6.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Ji Hwan Park:The University of Texas at Austin, Austin, Texas, USA
- Gautham Krishna Gudur:The University of Texas at Austin, Austin, Texas, USA
- Yufei Shen:The University of Texas at Austin, Austin, Texas, USA
- Dawei Liang:The University of Texas at Austin, Austin, Texas, USA
- Edison Thomaz:The University of Texas at Austin, Austin, Texas, USA
📌 核心摘要
低分辨率音频活动识别的输入为同一5秒音频窗的配对视图,输出为日常生活活动标签,难点是1.25 kHz下采样抹除了切菜、刷牙、拍手、倒水等依赖高频瞬态的判别线索。分辨率感知特权结构迁移(Resolution-Aware Privileged Structure Transfer,即RAST)先在16 kHz高分辨率(High-Resolution,即HR)上训练教师并抽取中间块表示,再经K均值聚类生成离散令牌与批量内邻域分布以压缩可迁移结构,接着用标签加令牌加邻域损失对低分辨率(Low-Resolution,即LR)学生做暖启动,最后以局部难负例挖掘完成高低分辨率表示对齐。与直接拟合完整教师空间不同,该链条只传递粗粒度可恢复结构并保留局部几何后再做精细对齐。在SAMoSA被试无关划分下RAST相对纯LR基线的平衡准确率由0.6123提升至0.6532,相对增益6.7%,宏F1由0.6030提升至0.6482,相对增益7.5%;在AudioIMU上平衡准确率由0.5157提升至0.5474,相对增益6.1%,宏F1由0.4933提升至0.5320,相对增益7.8%。该结论的适用边界受限于两个可穿戴音频语料与固定1.25 kHz模拟下采样设置,跨设备与更低带宽下的失败条件尚未验证。部署时推理仅需LR音频,训练硬件为配备八块NVIDIA RTX A4500的工作站,原文未报告训练成本与推理开销的延迟吞吐数值。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
48. 以自由场为参照系:PG-SELD 用配对蒸馏约束混响表示
英文题目:PG-SELD: Physics-Guided Sound Event Localization and Detection
标签:#联合声音事件检测定位 | #知识蒸馏 | #课程学习 | #鲁棒性 | #空间音频信号
评分:6.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Elad Cohen:机构信息未在 arXiv HTML 中可靠披露
- Elad Dror Cohen:机构信息未在 arXiv HTML 中可靠披露
- Arnon Netzer:机构信息未在 arXiv HTML 中可靠披露
- Hai Victor Habi:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
声音事件定位与检测需从多通道音频同时输出事件类别活动与到达方向,混响会扭曲空间线索并使模型过拟合特定房间。该文先在按自由场远场模型大规模合成的数据上预训练同架构教师,再对同一声学场景成对渲染混响输入与自由场输入,冻结教师处理自由场分支,学生处理按课程调度的输入,在主干输出经可学习投影矩阵以余弦距离向教师表征对齐。总损失为多活动笛卡尔到达方向均方误差加权重为0.5的蒸馏损失,训练期配对内同步增强,课程从全自由场渐变为全混响,结束后在STARSS23实录上微调。与仅扩大多样性的多房间仿真和增强不同,该机制显式以无房间参考约束中间表征,推理时丢弃教师与投影而无额外开销。在STARSS23测试集上CNN-Conformer聚合指标由0.384降至0.361,SELDNet定位误差由31.4°降至20.0°,合成验证集上亦全面改善。在STARSS23测试集下,PG-SELD的CNN-Conformer聚合指标为0.361,低于基线的聚合指标0.384。该结论的适用边界受限于一阶Ambisonics格式、1分钟场景、最多3声源,且在训练房间高度多样后附加增益收窄,跨阵列与强噪声下的失败条件尚未验证。原文未披露训练推理成本与开源产物。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
49. 不改语音模型参数,如何把关键词偏置加进编码器隐状态
英文题目:BaLEEN: Biasing with Latent Encoded Entities for Context-Aware ASR
标签:#语音识别 | #Adapter | #数据集 | #语音
评分:5.9/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Chihiro Taguchi:机构信息未在 arXiv HTML 中可靠披露
- Yotaro Kubo:机构信息未在 arXiv HTML 中可靠披露
- Rujikorn Charakorn:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
上下文感知自动语音识别(Automatic Speech Recognition, ASR)以语音波形为输入,以含领域实体与罕见专有名词的文本为输出,难点在于拼写不规则的关键词难以仅靠声学模型正确转写。所提 BaLEEN(Biasing with Latent Encoded Entities)先用字节级语言模型(Language Model, LM)ByT5 第 7 层编码逗号连接的关键词串并经前馈网络映射到 512 维,再经单块感知器(Perceiver)瓶颈压缩为 16 个隐向量并均值池化为全局向量,随后经层相关线性投影生成各层偏置向量并以可学习标量加到冻结的 ParakeetCTC Conformer 编码器隐状态上。与需要逐帧交叉注意力的已有关注偏置方法不同,该偏置与音频输入无关且对静态词表可预计算为常数偏移,推理时仅为加性偏移。验证集最优配置相对未微调基线词错误率(Word Error Rate, WER)降低 22.6%,字符错误率(Character Error Rate, CER)降低 31.7%,关键词漏检率(Keyword Miss Rate, KMR)降低 14.3%;测试集对应降低 21%、28% 和 8.7%。结论仅在英文维基合成语音与封闭关键词条件下验证,未验证真实人声口音噪声与开放大词表下的外推能力。原文未披露训练时长、推理延迟吞吐与部署成本实测。
🔗 开源资源
- 第三方资源:https://pypi.org/project/Wikipedia-API — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
50. 没有处处最优的识别器:伊比利亚语种的准确率、速度与覆盖如何互相牵制
英文题目:Benchmarking Automatic Speech Recognition Tools for Iberian Languages
标签:#语音识别 | #基准设计 | #基准测试 | #多语言 | #高效推理
评分:5.9/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
👥 作者与机构
- Fernando López:机构信息未在 arXiv HTML 中可靠披露
- Pablo Gómez:机构信息未在 arXiv HTML 中可靠披露
- David Solans:机构信息未在 arXiv HTML 中可靠披露
- Paulo Villegas:机构信息未在 arXiv HTML 中可靠披露
- Jordi Luque:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
本文任务是以语音波形为输入生成对应文字转写,难点在于伊比利亚半岛多语资源极不均衡且评测长期偏向英语,单语料与单一词错率无法指导真实选型并掩盖效率与人群差异。方法链分为3步:先汇集7个公开语料并保留原始转写与性别标注形成统一评测池,再纳入10个开源权重模型与1个商用接口覆盖不同架构与许可类型,最后统一文本归一化后计算宏平均词错率与实时率并做分语言与分性别拆分。与已有工作相比,关键机制差异在于将语言覆盖、许可可用性、吞吐与公平性纳入同一比较规则,而非只报总体词错率,从而直接支撑按资源条件与部署约束的选型决策。在 85.37 小时混合评测中商用 Scribe v2 以 6.45% 宏平均词错率领先,最强开源权重 seamless-m4t-v2-large 为 8.12%,但后者禁止商用。结论仅适用于所选朗读、广播与有声书混合分布,不支持剥离声学领域后比较语言内在难度,也未验证未覆盖方言与平衡人口组的外推。原文未披露训练、推理或部署成本。
🔗 开源资源
- 第三方资源:https://pypi.org/project/num2words/ — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
51. 最终答对不等于该出手时出手:PACT-SLM 把动作身份与出手时机分开考
英文题目:When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test
标签:#轮次切换 | #基准设计 | #基准测试 | #流式处理 | #模型评估
评分:5.8/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
👥 作者与机构
- Mengzhe Geng:National Research Council Canada
📌 核心摘要
流式口语代理需在用户话语前缀上决定继续等待还是暴露外部动作,而终点正确只看最终动作,无法判断行动时刻是否有证据支撑。部分语音行动契约(Partial Speech Action Contract for Turn Taking in Speech Language Models,PACT-SLM)先构造转录匹配的双分支对比组并指定首个有效动作时刻,再对每个分支裁剪嵌套前缀并在测试引入语义族与噪声迁移,最后用冻结语音表示探针输出等待或语义动作以分离身份与时机。相对固定终点基线,其关键机制差异是等待期观测在组内字节一致且有效起始时刻可变,使时长捷径无法靠终点规则蒙混过关。在80个留出对比组1600条前缀预测的干净与15dB噪声混合测试集下,WavLM Base Plus的池化起始后语义标签准确率为26.03%,高于Elapsed time only的池化起始后语义标签准确率9.92%。该结论只适用于本合成语音诊断与浅层探针,不支持自然对话或可部署策略的外推。其适用边界受限于合成语音构造与指定起始时刻,尚未验证向自然对话与流式策略的外推。原文未披露训练、推理或部署成本
🔗 开源资源
- 代码相关资源:https://github.com/MENGZHEGENG/pact-slm — 链接不可用(HTTP 404)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
52. 麦克风数量可变时,编码矩阵如何既记住阵列又听见信号
标签:#声场重建 | #注意力机制 | #麦克风阵列 | #空间音频信号
评分:5.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Shichao Hu:机构信息未在 arXiv HTML 中可靠披露
- Zhiheng Jin:机构信息未在 arXiv HTML 中可靠披露
- Chunyang Xu:机构信息未在 arXiv HTML 中可靠披露
- Mengyao Zhu:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
该任务输入为任意几何与可变数量麦克风的阵列传递函数与多通道混合短时傅里叶变换观测,输出为一阶Ambisonics系数,难点在于麦克风数变化改变编码矩阵维度且固定滤波器无法适应声源活动。方法链分为三步:首先由共享多层感知机或因果音频编码器将每个麦克风的方向响应与观测频谱映射为统一维度特征,其次用带填充掩码的麦克风间自注意力或交叉注意力建模变长通道关系并融合声学上下文,最后由共享系数头预测复数残差并叠加到解析最小二乘矩阵后作用于观测信号。与把通道数嵌入特征宽度的固定架构相比,该机制把通道数转为序列长度并以阵列传递函数提供阵列特异信息,从而无需修改网络即可部署。在LibriSpeech未见麦克风数P=5,7测试集条件下,信号相关模型的SI-SDR为9.759 dB,高于静态最小二乘的SI-SDR 8.012 dB。结论仅在仿真鞋盒房间、自由场与刚性球响应及半径 0.04 至 0.10 m 范围内验证,白噪声等宽带平稳源重建仍困难。原文未披露优化器、学习率、批量大小与训练推理成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
53. 文本不够时补声音:用文字化韵律让大模型做离散与 VAD 情感评估
英文题目:Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue
标签:#语音情感识别 | #LoRA | #大语言模型 | #语音
评分:5.5/10 | 创新 1/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.6/1.5
排名:前50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Yutong Hu:机构信息未在 arXiv HTML 中可靠披露
- Jinho Choi:Emory University;Atlanta, GA
📌 核心摘要
该任务输入为多轮对话历史、目标语句文本与对应音频,输出为6分类离散情绪或1至5分的效价、唤醒度、优势度三维分数,难点在于口语情绪依赖上下文且文本转写丢失韵律信息。方法链第一步从音频提取音量、音调与语速的均值与变异共6个数值,并按分位数映射为very low至very high五档自然语言描述以保留非词彙线索。第二步将最多12轮对话历史、目标语句与音频描述组装为任务模板,第三步由离散识别与维度评估各自独立适配的模型输出JSON格式标签,使声学描述进入大语言模型推理。与直接端到端音频建模不同,该框架无需改动大语言模型架构即可注入声学线索,兼顾上下文推理与轻量多模态接入。在IEMOCAP第5会话留一测试设置下,LoRA微调的LLaMA-3.3-70B的效价CCC指标为0.7822,高于GPT-5-mini少样本提示的效价CCC指标0.6697。结论仅在英语表演式双人对话与 LoRA 域适配下成立,对唤醒度与优势度及跨语料泛化尚未验证。原文未披露训练、推理或部署成本。
🔗 开源资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
54. 跨频结构才留门:二维谱门控如何在逐频阈值上补一层局部平均
英文题目:2-Dimensional spectral gating for denoising bioacoustics recordings
标签:#音频修复 | #信号处理 | #生物声学监测 | #环境声
评分:5.3/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
排名:后 50% | 文档类型:方法研究 | arXiv 原文
👥 作者与机构
- Julien Boussard:机构信息未在 arXiv HTML 中可靠披露
- Mélisande Teng:机构信息未在 arXiv HTML 中可靠披露
- Sulagna Saha:机构信息未在 arXiv HTML 中可靠披露
- Mario Gallego-Abenza:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
野外生物声学录音混杂多变环境噪声,目标是从含噪波形中保留动物发声并抑制噪声,难点是噪声类型、信噪比和发声结构随物种、环境和录制条件剧烈变化。所提二维谱门控2D-SG先对短时傅里叶变换Short-Time Fourier Transform幅度谱做二维高斯平滑得到局部均值,再在原始谱每个频率通道估计噪声均值与标准差构造阈值,随后比较平滑谱与阈值生成掩膜,经掩膜平滑后作用于原始复谱并逆变换重建。与Noisereduce按通道独立门控相比,该机制要求信号在时频邻域内连续出现,从而抑制孤立噪声点并保留跨频结构。在Birdsong NOIZEUS基准15 dB条件下2D-SG的分段信噪比Segmental SNR为2.36,显著高于Noisereduce的1.48,尺度不变信号失真比Scale-Invariant SDR为11.94对11.65。该方法在0 dB时SI-SDR被反超且差异不显著,真实抹香鲸与斑姬鹟录音未用下游检测或分类验证。原文明确不与深度学习方法比较,强调无需训练、标注和机器学习专长。其适用边界尚待明确,低信噪比与跨物种泛化的尚未验证部分仍需下游任务检验。原文未披露训练、推理或部署成本。
🔗 开源资源
- 代码相关资源:https://github.com/RolnickLab/bioacoustics_denoising.git → https://github.com/RolnickLab/bioacoustics_denoising — 链接不可用(HTTP 404)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
55. 熟悉是补偿还是干扰:普通话情感韵律在真人与克隆语音中的识别代价
标签:#语音情感识别 | #心理声学实验 | #语音 | #言语感知 | #听觉努力与认知负荷
评分:5.2/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5
排名:后 50% | 文档类型:应用研究 | arXiv 原文
👥 作者与机构
- Feng Xu:机构信息未在 arXiv HTML 中可靠披露
- Gaoyuan Zhang:机构信息未在 arXiv HTML 中可靠披露
- Shanshan Xue:机构信息未在 arXiv HTML 中可靠披露
- Yixiang Chen:机构信息未在 arXiv HTML 中可靠披露
- Hanrui Zhou:机构信息未在 arXiv HTML 中可靠披露
- Xurong Xie:机构信息未在 arXiv HTML 中可靠披露
- Hui Chen:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
本研究处理剥离视觉与语境的普通话孤立语音情绪韵律识别,输入为中性语句录音,输出为高兴、愤怒、恐惧、悲伤四分类判断及反应时与心率变异性,难点在于合成语音频谱失真与韵律微扰动干扰基频轮廓与身份线索联合解码。方法链首先录制陌生人情绪源与熟人中性目标音色的14句中性普通话语句以提供内容与音色输入,接着用基频条件歌声转换模型迁移语义内容与F0轮廓并经两位语音学专家筛选保留合格刺激,然后在PsychoPy被试内范式下采集准确率、反应时与心电并以混合效应模型检验。与已有合成情绪可懂度比较不同,本工作引入说话人熟悉度作为自上而下社会认知调节变量,对立检验熟悉度补偿机制与恐怖谷式失调的实际意义在于揭示熟悉AI音色的部署风险与正向迁移边界。在陌生人语音条件的四情绪识别任务下,高兴条件的准确率β为7.74,高于悲伤条件的准确率β为1.93。熟人AI语音仅提升高兴准确率却延长恐惧反应时,而陌生人人类语音在多情绪上更快更准,心率变异性各条件均无显著差异。该结论适用边界限于实验室孤立听音与高度熟悉同事音色,尚未验证多说话人、多合成系统及视听多模态外推。原文未披露训练、推理或部署成本。
🔗 开源资源
- 第三方资源:https://github.com/Plachtaa/seed-vc — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

































