语音识别

📄 Agent-Computer Observation Interfaces Enable Dynamic Computer Use #语音识别 #基准测试 8.4/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.4/10 | 前10% | #语音识别 | #基准测试 | arxiv 👥 作者与机构 论文作者：Bojie Li, Noah Shi。机构：Pine AI, University of Washington（华盛顿大学）。 💡 毒舌点评 这篇论文清晰地识别并切入了计算机使用代理（CU Agent）一个被长期忽视但至关重要的设计维度：观察接口。与SWE-agent在行动接口上的开创性工作相呼应，论文提出的AOI（代理-计算机观察接口）作为一个模型无关的“中间件”层，巧妙且系统地解决了现有CU代理在动态视觉和音频感知上的“盲聋”问题。其核心价值不在于训练新模型，而在于为现有模型赋能，这是一个工程上更务实、推广门槛更低的思路。 然而，审稿人必须指出，论文的评估环境存在明显的“温室效应”。所有实验均在高度可控的Chromium浏览器和合成音频中进行，这与真实世界中充斥着原生应用、复杂音频环境（背景噪音、多人对话）、系统级弹窗和多显示器交互的桌面使用场景相去甚远。虽然作者承认了外部有效性的局限，但这一局限极大地削弱了其声称的“通用性”和“实用性”。此外，每个配置仅进行一次100任务试验，统计功效有限，尤其对于那些差异不大的组件间比较（如不同关键帧选择策略），结论的稳健性需要更多重复实验来支撑。 最后，论文最深刻的洞察之一——“视觉叙述是价值核心，而关键帧图像本身重要性有限，甚至可能有害（如Gemini 3）”——虽然极具启发性，但也暴露了当前多模态模型在处理视觉信息时的脆弱性和低效性。AOI本质上是在“修补”模型感知层的缺陷，而非从根本上提升模型对动态世界的理解能力。这篇论文为社区贡献了一个优秀的工程解决方案和一个高质量的动态感知基准，但通往真正“动态计算机使用”的道路，仍然需要模型侧和接口侧的共同革新。 📌 核心摘要 本文指出，当前的计算机使用代理（CU Agent）在观察接口上存在系统性缺陷：它们将观察与行动绑定（每3-5秒一张截图，无音频），导致在截图之间对动态视觉内容（视频、动画、通知）和音频（语音、提示音）完全“盲聋”。为此，作者提出了代理-计算机观察接口（AOI），一个模型无关的感知层。AOI通过三个门控组件解耦了连续、自适应的观察与离散的行动：1）自适应关键帧捕获（像素变化门控），2）音量门控音频转录（Whisper），3）CU模型生成的、作为持久文本记忆的视觉叙述。在静态无声内容上，AOI几乎无额外开销，保持了标准循环。 作者同时提出了DynaCU-Bench，一个包含100个动态浏览器任务和50个静态对照任务的基准测试。在涵盖7B到前沿规模的多个闭源和开源CU模型上的实验表明，AOI在不进行任何模型重训的情况下，将所有模型在动态任务上的成功率提升了17至48个百分点。消融实验揭示了关键洞察：关键帧的选择策略不重要；视觉信息的主要价值来自将其转化为持久文本叙述的过程；AOI组件并非固定组合，其最优配置因模型而异（例如，在Gemini 3 Flash上，关键帧图像流会因图像令牌稀释而降低性能）。 🔗 开源详情 代码：是，已开源。仓库地址：https://github.com/19PINE-AI/aoi （论文中明确给出）。 模型权重：否。AOI是一个模型无关的感知层，用于包装和增强现有模型。论文评估的模型（Claude, GPT, Gemini, Grok, EvoCUA, Fara, Qwen3-VL）均来自其各自的官方或第三方渠道，非本文作者发布。 数据集：是，已开源。论文引入了 DynaCU-Bench（100个动态浏览器任务 + 50个静态对照任务）作为评估基准。根据论文“我们发布AOI以及DynaCU-Bench”的表述，该数据集应随代码仓库一同开源。 Demo：是，提供了在线演示。地址：https://01.me/research/aoi （论文中明确给出）。 复现材料：论文在附录I中提供了详细的实现细节，包括软件环境、硬件配置、超参数设置等。具体材料应包含在上述代码仓库中。 论文中引用的开源项目： SWE-agent：https://github.com/princeton-nlp/SWE-agent （论文参考文献中引用）。 CLIP：OpenAI CLIP ViT-B/16 用于关键帧提取。 Whisper：OpenAI Whisper large-v3 用于语音转录。 EvoCUA：https://github.com/meituan/EvoCUA （论文中提及，Meituan发布）。 Agent S3：https://github.com/simular-ai/Agent-S （论文中提及，Simular AI发布）。 OpenCUA：https://github.com/xingyaoww/opencua （论文中提及，Wang et al.发布）。 NLWeb：https://github.com/microsoft/NLWeb （论文中提及，Microsoft发布）。 🏗️ 方法概述和架构 AOI是一个轻量级的Python层（约2600行代码），作为中间件插入在环境与任何现有的、基于图像的CU模型之间。其核心设计原则是解耦连续、自适应、多模态的观察与离散的行动。标准CU代理的观察空间S被限制为单一RGB帧（S = {一张截图}），且每个行动间隔（3-5秒）仅采样一次。AOI扩展了S，使其能够覆盖间隔期间发生的动态视觉变化和音频输入。 ...

📄 AMR: Adaptive Modality Routing for Multimodal Polyglot Speaker Identification #说话人识别 #多模态模型 #自监督学习 #数据增强 #语音识别 #计算机视觉 7.8/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.8/10 | 前25% | #说话人识别 | #自监督学习 | #多模态模型 #数据增强 | arxiv 👥 作者与机构 论文作者为 Chuxiao Zuo, Yao Zhu, Minqiang Xu, Manhong Wang, Yunke Zhang, 和 Fei Huang。所有作者均隶属于 Honor Device Co., Ltd.，单位地点包括南京和上海。 ...

📄 Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study #语音识别 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.7/1.5 ✅ 6.5/10 | 前50% | #语音识别 | #语音识别 | arxiv 👥 作者与机构 Yuanyuan Zhang, Dimme de Groot, Jorge Martinez, Odette Scharenborg. 代尔夫特理工大学，信号处理系统组。 💡 毒舌点评 这篇论文的定位非常清晰，就是做一个严谨的基准测试。优点在于实验设计全面，同时比较了人类（虽然是无经验的）和多种ASR系统（包括最新的商业/开源模型），并且覆盖了读语和更真实的自发语。首次在荷兰语上展示个性化DSR超越人类，这个结论本身有价值，特别是考虑到构音障碍语音的高变异性。方法部分，尤其是统计分析的严谨性值得称赞，对回放次数与WER关系的分析也颇具巧思。 然而，最大的“阿喀琉斯之踵”是泛化性。所有结论都押注在一个35岁的荷兰男性重度构音障碍患者身上，这就像用一把钥匙的形状去推断所有锁的结构，说服力天然受限。作者虽然承认了这一点，但作为审稿人必须强调，这极大地削弱了研究结论的普适性。人类听众的实验设计也存在潜在缺陷：允许无限次回放固然模拟了真实场景，但也可能让听众采用“拼凑”策略，使得WER与人类的瞬时理解能力并非完全等价。此外，论文在声称“个性化模型消除定制读语的识别劣势”时，表述可以更精确，因为FT-Whisper在定制读语上的WER（26.5%）仍略高于通用读语（26.1%），且差异统计不显著。总的来说，这是一项扎实的单例研究，但距离成为“里程碑式”的工作还缺少多说话者验证这块关键拼图。 📌 核心摘要 本研究旨在为个性化构音障碍语音识别（DSR）系统建立性能基准。实验比较了20名无经验荷兰语母语听众、三种零样本SOTA ASR模型（Whisper-large-V3， Google Chirp 3， OmniASR）以及两种微调后的个性化模型（FT-Whisper， FT-OmniASR）在识别一名重度构音障碍说话者的荷兰语连续语音（通用读语、定制读语、自发语）时的表现。核心发现是：零样本系统与人类听众均面临巨大挑战（平均WER > 70%）；而基于目标说话者数据微调的个性化模型（尤其是FT-Whisper）的识别性能（平均WER < 40%）显著超越人类听众，证明了个性化技术在DSR领域的巨大潜力。研究还通过错误分析，指出了针对特定语音类型和音素的优化方向。 ...

📄 CTC-Seeded Token Edit Refinement for Non-Autoregressive Speech Recognition #语音识别 #扩散模型 7.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.7/10 | 前25% | #语音识别 | #扩散模型 | arxiv 👥 作者与机构 作者：Wanting Huang, Weiran Wang。论文中未明确说明作者所属机构。 💡 毒舌点评 这篇论文提出了一个巧妙的思路：与其让扩散模型从零开始“盲猜”一句话，不如先让CTC模型给个大概的草稿（哪怕错误百出），然后让另一个模型在这个草稿上“精修”。这种“编辑”而非“生成”的范式确实比从纯噪声中恢复信息更高效、更直观。方法的技术包装很扎实，连续时间流匹配和变量长度编辑路径的设计避免了传统NAR方法中的序列填充和长度预测问题，显得优雅。实验也做得相当全面，从模型规模到各种推理策略的消融都覆盖了。然而，论文最大的短板在于“效率”的宣称缺乏实锤——说两步就搞定，但一步到底要花多少时间？和自回归模型比延迟到底谁快？这都是一笔糊涂账。此外，方法的通用性也存疑，只在英语LibriSpeech上验证，离真正的“通用语音识别”还有距离。最后，代码虽然说“将开源”，但此刻啥都没有，对于想复现的同行来说等于画饼。总的来说，想法是好的，技术是扎实的，但关键实验数据缺失，实际应用价值的论证不完整。 📌 核心摘要 本文提出了一种非自回归（NAR）语音识别方法，其核心是将解码过程重新定义为对一个贪心CTC假设进行可变长度的令牌级编辑修正。具体而言，首先使用CTC模型生成一个折叠后的初始假设序列。然后，训练一个声学条件化的Edit Flow解码器，该解码器基于连续时间离散扩散损失，以声学特征为条件，并行地学习从含噪CTC假设到真实转录之间的插入、删除和替换操作。该解码器与CTC模型联合进行端到端训练。在推理时，仅需两个迭代编辑步骤即可显著降低词错误率。此外，论文引入了分类器自由引导和基于CTC置信度的编辑约束策略，以进一步提升识别准确性。在LibriSpeech数据集上的实验表明，该方法相比CTC基线取得了显著的性能提升，验证了CTC种子化的变量长度编辑范式的有效性。 🔗 开源详情 代码：论文中提及“代码将开源”，但未提供任何代码仓库链接（如GitHub）。因此当前状态为未开源。 模型权重：论文中未提及。 数据集：LibriSpeech (960小时英文语音训练集，含文本数据用于解码器预训练)。获取链接：https://www.openslr.org/12/ Demo：论文中未提及。 复现材料：论文中详细描述了训练配置（如使用ESPNet框架、35个训练周期、平均最后5个模型、Edit Flow解码器预训练强度 \(\rho=0.03\)、音频分类器自由引导尺度 \(w=0.30\)、推理两步优化等），但未提供具体的配置文件或检查点下载链接。 论文中引用的开源项目： ESPnet: https://github.com/espnet/espnet Whisper: https://github.com/openai/whisper LibriSpeech: https://www.openslr.org/12/ 🏗️ 方法概述和架构 本方法的核心思想是将非自回归ASR解码视为一个对CTC假设进行精修的编辑问题，而非从头生成。整体框架分为三个部分：初始CTC假设生成、Edit Flow解码器训练与联合训练、以及推理时的编辑精修策略。 ...

📄 DialogPII: A multilingual dataset of synthetic dialog transcripts to detect personal information #数据集 #语音合成 #语音识别 8.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 8.9/10 | 前25% | #语音识别 | #数据集 | #语音合成 | arxiv 👥 作者与机构 作者：Roland Roller, Vera Czehmann, Derya Erman, Luke Flanagan, Ibrahim Baroud, Frédéric Blain, Viviana Cotik, Eletta Giusto, Akhil Juneja, Mariana Neves, Maria Słowińska, Christine Hovhannisyan, Aaron Louis Eidt, Lisa Raithel, Sebastian Möller, Maija Poikela. 机构：德国人工智能研究中心 (DFKI)、柏林工业大学、柏林健康研究所 (BIH)、蒂尔堡大学、布宜诺斯艾利斯大学、独立研究员、德国联邦风险评估研究所 (BfR)。 ...

📄 GigaSpeechBench: A Real-World Multilingual Speech-to-Text Benchmark #语音识别 #语音翻译 #低资源 #口音识别 8.7/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.7/10 | 前50% | #语音识别 | #语音翻译 | #低资源 #口音识别 | arxiv 👥 作者与机构 Yujie Tu1,2,8,9, Yifan Yang1, Tianrui Wang4, Yanqiao Zhu1, Guodong Lin5, Mingchen Shao6, Haoran Wang1, Junzhe Liu1, Yuxiang Fu5, Yizhou Peng7, Changsong Liu7, Peng Wang11, Zhikang Niu1, Yunchong Xiao3, Haolong Zheng10, Xiuwen Zheng10, Xulin Fan10, Wei-Qiang Zhang5,16, Lei Xie6,15, Longbiao Wang4, Eng-Siong Chng7, Jiajun Zhang8,9, Kele Xu13, Jianwei Yu3, Binbin Zhang3,15, Jiayu Du16, Wupeng Wang3, Zhigao Chen3, Yunlong Wu3, Guoguo Chen14,16, Xipeng Qiu2,12, Mark Hasegawa-Johnson10, Kai Yu1, Zhifu Gao3, Xiangang Li3, Xie Chen1,2,16 机构: 1.SJTU, 2.SII, 3.Alibaba, 4.TJU, 5.THU, 6.ASLP@NPU, 7.NTU, 8.CASIA, 9.UCAS, 10.UIUC, 11.CUHK-SZ, 12.FDU, 13.CCSE, 14.Seasalt.ai, 15.WeNet, 16.SpeechColab ...

📄 How to Leverage Synthetic Speech for LLM-Based ASR Systems? #语音识别 #数据增强 #参数高效微调 8.7/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.7/10 | 前50% | #语音识别 | #数据增强 | #参数高效微调 | arxiv 👥 作者与机构 Yanis Labrak1, Dairazalia Sanchez-Cortes1, Sergio Burdisso1, Séverin Baroudi2, Shashi Kumar1,3, Esaú Villatoro-Tello1, Srikanth Madikeri4, Manjunath K E5, Oldřich Plchot6, Kadri Hacioğlu5, Petr Motlicek1,6, Andreas Stolcke5 机构：1. Idiap Research Institute (推测), 2. 未知, 3. 未知, 4. 未知, 5. 未知, 6. 未知。（注：原文未明确列出所有作者对应机构，分析中不编造） ...

📄 Position-Aware Target Speaker Extraction for Long-Form Multi-Party Conversations: A Diarization-Free Framework for ASR #语音识别 #多通道 #课程学习 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 8.5/10 | 前25% | #语音识别 | #课程学习 | #多通道 | arxiv 👥 作者与机构 Yichi Wang, Junzhe Chen, Wangjin Zhou, Tatsuya Kawahara. 日本京都大学信息学研究生院. 💡 毒舌点评 这篇论文的核心问题定义清晰，提出的PATSE框架逻辑自洽，在自建的回放数据集上也取得了显著的性能提升。然而，一个顶会级别的工作必须直面其方法的阿喀琉斯之踵——对DOA准确性的绝对依赖。论文对此的讨论轻描淡写，仅在引言中提及DOA可由麦克风阵列或摄像头获得，却在实验部分使用了完美的物理扬声器方向作为真实值，这种“理想化”的评估严重削弱了结论的鲁棒性说服力。更关键的是，对于目标说话人提取而非分离的任务，其计算开销是随说话人数线性增长的，论文对此成本只字未提。此外，在真实世界TEIDAN数据集上的WER结果虽然最优，但20.5%的错误率依然很高，论文将此部分归因于ASR后端，但并未提供分离质量的客观度量（如SDR）来佐证。总而言之，框架新颖，实验扎实，但对实际部署的关键挑战避重就轻，使其“实用”价值打了折扣。 📌 核心摘要 本文针对多人长对话ASR中“谁在何时说了什么”的难题，提出了位置感知目标说话人提取（PATSE）前端框架。该框架利用目标说话人相对稳定的到达方向（DOA）作为显式空间先验，通过一个DOA引导的空间编码器和条件模块，将目标特定的空间特征注入TIGER分离主干网络，从而直接为每个目标说话人生成独立的语音流。通过后续简单的语音活动检测（VAD）即可推断说话人活动，无需显式说话人分割（diarization）。为评估DOA相关方法，论文构建并发布了带真实房间DOA标注的回放数据集LibriReplay-DOA。在合成数据集LibriReplay-DOA和真实对话数据集TEIDAN上的实验表明，PATSE在下游ASR任务上持续优于连续语音分离（CSS）和基于分割的流水线方法。 ...

📄 Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs #语音识别 #语音大模型 9.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 9.5/10 | 前10% | #语音识别 | #语音大模型 | arxiv 👥 作者与机构 Nithin Rao Koluguri, Sasha Meister, Nikolay Karpov, Piotr Zelasko, Desh Raj, Jagadeesh Balam, Boris Ginsburg。 机构：NVIDIA, USA。 ...

📄 VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition #语音识别 9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 9/10 | 前10% | #语音识别 | #语音识别 | arxiv 👥 作者与机构 论文作者：Piyush Arora, Navlika Singh, Umberto Cappellazzo, Stavros Petridis, Maja Pantic。 机构：♡ Imperial College London, UK；♠ NatWest AI Research, UK。 💡 毒舌点评 这篇论文像给一辆在高速公路上跑得飞快但怕下雨的豪华跑车（LLM-based AVSR）加装了一套轻量级的雨天防滑系统（VIB）。它准确地指出了问题所在（LLM骨干不抗噪），给出了一个看起来优雅且不加重负担的解决方案（插入VIB层），并且在测试场（LRS2数据集）的各种雨况（噪声类型和SNR）下证明了有效性，尤其是对极端暴雨（高噪声）有明显改善。然而，它的问题也很明显：测试场只有一个（数据集单一），对比的对手只是原厂调校版（Llama-AVSR基线），没有和其他专门设计的防滑系统（其他抗噪方法）比过；理论解释停留在“加了这个模块能防滑”的层面，没有深究为什么是这个模块、放在这个位置最有效；而且只给驱动轮（音频流）加了防滑，没考虑是否有必要也给转向轮（视频流）加。总的来说，这是一次成功的、针对性的“补丁”升级，实用性强，但离提出一套全新的车辆防滑理论或成为业界标杆还有距离。 ...