语音识别

📄 Read What You Hear: Reference-Free Hypotheses Evaluation with Acoustic Discrepancy #语音识别 #语音合成 #自回归模型 #无监督学习 #鲁棒性 #多任务学习 8.6/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 🔥 8.6/10 | 前25% | #语音识别 | #多任务学习 | #语音合成 #自回归模型 | arxiv 👥 作者与机构 作者：Zhihan Li, Hankun Wang, Yiwei Guo, Bohan Li, Kai Xie, Yu Chen（论文中作者列表顺序与此不同，但姓名与邮箱可对应） 机构：X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, China；MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, China（合作机构） ...

📄 Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers #语音识别 #无监督学习 #Transformer 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.8/10 | 前25% | #语音识别 | #Transformer | #无监督学习 | arxiv 👥 作者与机构 论文作者：Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi。 机构：Idiap Research Institute (瑞士), EPFL (瑞士), BUT (捷克共和国), Novartis Institute of Biomedical Research (瑞士)。 核心贡献者：Yacouba Kaloga 和 Shashi Kumar 被标注为同等贡献。 ...

📄 A Pocket Offline Model for Simultaneous Speech Translation as CUNI Submission to IWSLT 2026 #语音翻译 #语音识别 #多模态模型 #低资源 6.8/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 6.8/10 | 前50% | #语音翻译 | #语音识别 | #多模态模型 #低资源 | arxiv 👥 作者与机构 Aziz Sharipov Ortega， Charles University, MFF, ÚFAL。Dominik Macháček， Charles University, MFF, ÚFAL & University of Edinburgh。 ...

📄 BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language #语音识别 #低资源 #迁移学习 7.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.8/10 | 前25% | #语音识别 | #迁移学习 | #低资源 | arxiv 👥 作者与机构 Muhammad Ali，独立研究者，巴基斯坦吉尔吉特-巴尔蒂斯坦。 💡 毒舌点评 这是一篇典型的“填坑”论文，对于社区的价值大于其技术新颖性。优点是把一个完全被忽视的语言拉进了语音研究的视野，并且极其规范地开源了所有资源（数据、模型、代码、Demo），堪称低资源社区研究的模范。缺点是技术路线非常直白，就是拿现成模型微调，没有在数据增强、归一化、模型架构或评估方法上做出任何实质性的推进。30%的WER说明路还很长，论文更像是一个“开始”的宣言，而非一个“解决”的方案。它最大的贡献是证明了“可行性”并提供了“工具”，而不是“最优解”。 📌 核心摘要 本研究针对在NLP和语音研究中几乎空白的巴尔蒂语，推出了首个公开语音语料库BaltiVoice和对应的微调ASR模型。语料库源自Mozilla Common Voice，包含16.8小时的经验证朗读语音。研究者以OpenAI Whisper-small为基础模型，使用HuggingFace的Seq2SeqTrainer进行微调，并在验证集上取得了30.07%的WER，相比零样本基线的182.18%有大幅提升。论文开源了所有数据、模型、代码和演示，为巴尔蒂语ASR研究建立了可复现的基线。 🔗 开源详情 代码：https://github.com/mohdali-dev/BaltiVoice-ASR 模型权重：https://huggingface.co/mohdali1/whisper-small-balti 数据集：BaltiVoice ASR 数据集，16.8小时巴尔蒂语朗读语音，10,060条经验证语句，采用CC0协议开源。获取链接：https://huggingface.co/datasets/mohdali1/baltivoice-asr Demo：https://huggingface.co/spaces/mohdali1/baltivoice-demo 复现材料：论文提供了详细的训练超参数（如表2所示）和训练曲线（如图3所示）。论文提到提供可复现的训练流程和一个Colab笔记本，并指明可从代码仓库获取。 论文中引用的开���项目： Whisper (Radford et al., 2023)：基础模型，项目信息见原论文引用。 HuggingFace Transformers：微调框架，项目主页为 https://github.com/huggingface/transformers。 pydub：音频格式转换工具，项目主页为 https://github.com/jiaaro/pydub。 机器学习影响计算器 (Machine Learning Impact Calculator)：用于碳排放估算，来源于 (Lacoste et al., 2019)，项目主页为 https://github.com/mlco2/impact。 🏗️ 方法概述和架构 论文的方法论清晰且可复现，主要分为数据构建、模型选择、预处理与微调三个阶段。 ...

📄 Benchmarking Speech-to-Speech Translation Models #语音合成 #语音识别 #基准测试 #多模态模型 #低资源 8.7/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.6/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.7/10 | 前25% | #语音合成 | #语音识别 | #基准测试 #多模态模型 | arxiv 👥 作者与机构 Alkis Koudounas†, Hayato Futami†, Quentin Jodelet†, Osamu Take†, Shinji Watanabe‡, Emiru Tsunoo† †Sony Group Corporation, Japan ‡Carnegie Mellon University, USA 💡 毒舌点评 这是一篇扎实的“元研究”（meta-research）论文。优点很明显：S2ST领域确实急需一个统一的评估标准，作者们以惊人的工程量（1248个配置！）构建并发布了这个COMPASS框架，这种“苦力活”对于社区发展的价值毋庸置疑。然而，审稿人需要清醒地认识到，这篇论文的核心贡献在于“测量工具”和“大规模实证”，而非提出新的翻译或合成算法。因此，它的“创新性”应相对于评估框架领域来评判，而非模型架构领域。论文的实验设计非常全面，但其结论在某种程度上依赖于特定的基准数据集（FLEURS， CVSS），这在作者自己提出的局限性中已经承认。最大的短板在于开源状态：承诺的工具包代码尚未公开，这严重影响了论文的即时可用性和可复现性。总体而言，这是一篇对社区有用的基础设施论文，但距离一个“完美”的基准评估还存在距离。 ...

📄 Efficient ASR Training with Conversations that Never Happened #语音识别 #数据增强 #低资源 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8/10 | 前50% | #语音识别 | #数据增强 | #低资源 | arxiv 👥 作者与机构 论文作者： Máté Gedeon（隶属布达佩斯技术与经济大学电信与人工智能系、SpeechTex Ltd.）， Péter Mihajlik（隶属布达佩斯技术与经济大学电信与人工智能系、ELTE语言学研究中心）。 机构： 布达佩斯技术与经济大学（Dept. of Telecommunications and Artificial Intelligence）， SpeechTex Ltd.， ELTE语言学研究中心。 💡 毒舌点评 这篇论文的动机（为低资源语言/对话场景生成训练数据）是扎实且有实际意义的。核心想法——利用LLM生成对话文本，再经由TTS和说话人模拟转化为语音——本身是合理且可扩展的。然而，论文的“新意”更多是将已有组件（LLM、TTS、说话人模拟）组合成一个管线，并在特定语言（匈牙利语）上进行了详尽的实验。真正的创新点（元数据条件下的语音选择、对比评估）更多体现在工程实践和实验设计上，而非提出一种根本性的新方法。论文对结果的解读比较中肯，承认了生成器选择和混合的复杂性。但是，作者对关键的“说话人感知对话模拟”阶段（Stage III）描述得过于简略，将其作为黑盒引用前作，这削弱了本文方法的完整性。此外，实验的泛化性完全依赖于一个语言资源（匈牙利语BEA-Dialogue）和一个ASR架构（FastConformer），尽管作者声称可移植性，但缺乏证据。对于一篇定位为“高效训练”的工作，论文没有讨论其方法的计算成本（生成、合成、训练的总开销）与传统数据收集的对比，这是一个明显的疏漏。最终的组合模型（4-scale + sim）性能超越2700小时零样本基线，结果很亮眼，但这主要归功于合成数据与目标语料的高度匹配，而非方法本身的革命性。 ...

📄 FSA-GRPO: Teaching Auditory LLMs to Use Few-shot Demonstrations #语音识别 #低资源 #强化学习 8.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.6/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.1/10 | 前50% | #语音识别 | #强化学习 | #低资源 | arxiv 👥 作者与机构 Haolong Zheng (University of Illinois Urbana Champaign), Siyin Wang (Tsinghua University), Xulin Fan (University of Illinois Urbana Champaign), Zengrui Jin (Tsinghua University), Mark Hasegawa-Johnson (University of Illinois Urbana Champaign) ...

📄 SiamCTC: Learning Speech Representations through Monotonic Temporal Alignment #自监督学习 #语音识别 #数据增强 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7/10 | 前50% | #语音识别 | #自监督学习 | #数据增强 | arxiv 👥 作者与机构 作者：SooHwan Eom, Mark Hasegawa-Johnson, Chang D. Yoo 机构：Korea Advanced Institute of Science and Technology (KAIST)， University of Illinois Urbana-Champaign (UIUC) ...

📄 SoulX-Transcriber: A Robust End-to-End Framework for Multi-Speaker Speech Transcription #语音识别 #说话人日志 #大语言模型 8.8/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.8/10 | 前50% | #语音识别 | #说话人日志 | #大语言模型 | arxiv 👥 作者与机构 作者： Yuhang Dai (共同贡献)， Haopeng Lin (共同贡献)， Zhennan Lin， Jiale Qian， Jun Wu， Hanke Xie， Hao Meng， Hanlin Wen， Chuang Ding， Shunshun Yin， Ming Tao， Lei Xie， Xinsheng Wang (通讯作者) 机构： Audio, Speech and Language Processing Group (ASLP@NPU), Northwestern Polytechnical University, Xi’an, China Soul AI Lab, China Moonstep AI, China 💡 毒舌点评 这篇技术报告（Technical Report）展示了一个工程能力扎实的系统。优点是端到端的思路清晰，两阶段训练的动机明确，且在公开基准上取得了SOTA或极具竞争力的结果，尤其是长语音和中文场景。数据生成管线的细节描述相当详尽，是重要的工程贡献。然而，作为一篇论文投稿，其“新意”和“深度”略显不足。模型架构本身（基于Qwen3-Omni）并非原创，核心创新在于将多个说话人相关任务（STP, TSER, SV）整合到预训练阶段，这更像是一个精心设计的“训练技巧”组合，而非理论上的突破。最大的软肋在于依赖大量未公开的内部数据集，这严重削弱了结论的普适性和工作的可复现性。此外，缺乏对关键组件（如多任务预训练中各任务贡献）的消融研究，使得我们无法判断哪些部分真正有效。最终，这篇工作更像是一份优秀的工程实践报告，而非一篇能推动该领域基础认知前进的学术论文。 ...

📄 SVHalluc: Benchmarking Speech-Vision Hallucination in Audio-Visual Large Language Models #语音识别 #多模态模型 8.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.7/10 | 前25% | #语音识别 | #多模态模型 | arxiv 👥 作者与机构 作者：Chenshuang Zhang, Kyeong Seon Kim, Chengxin Liu, Tae-Hyun Oh 机构：KAIST 💡 毒舌点评 这篇论文填补了一个明显但重要的空白：当前的音频-视觉幻觉基准大多盯着狗叫警笛，而忽略了更复杂、更日常的语音内容本身可能引发的“胡说八道”。作者很敏锐地抓住了这一点。然而，作为一个基准测试论文，它的“方法”本质上是一套精心设计的问卷和数据构建流水线，技术深度有上限。最大的槽点在于数据集完全依赖YouCook2，这意味着评测场景被锁定在“厨房教学解说”这一高度同质化的模式上，对现实世界中多变的语音风格（对话、旁白、嘈杂环境）和视频内容的泛化能力存疑。所有任务都用选择题，这更像是在测“辨别力”而非真正的“生成式幻觉”，可能高估了模型在实际对话场景中的可靠性。尽管如此，它系统性地揭示了开源模型在语音-视觉对齐上的无能，以及与商业模型的巨大鸿沟，这点功劳必须认可。 📌 核心摘要 本文指出，现有的音频-视觉大语言模型（AV-LLMs）幻觉基准主要评估环境声音（如狗叫）引发的幻觉，忽略了人类语音内容本身蕴含的丰富语义和时间结构可能导致的、更根本的跨模态对齐失败。为此，作者提出了SVHalluc，这是首个专门评估AV-LLMs中语音-视觉幻觉的综合基准。该基准从“语义幻觉”和“时间幻觉”两个互补维度进行诊断，并分别为每个维度设计了三个由粗到细的任务（共六个）。在六个开源及商业AV-LLMs上的零样本评估表明，开源模型在多个任务上表现接近随机猜测，而Gemini 2.5 Pro显著优于所有开源模型，揭示了巨大差距。深入分析表明，模型失败的根源在于有限的跨模态信息整合与推理能力，而非单模态感知（如语音识别）的不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及具体模型权重的下载链接。论文评估了多个开源模型（Qwen3-Omni, Qwen2.5-Omni, video-SALMONN 2, VideoLLaMA 2）和商业模型（Gemini 2.5 Pro），但未提供它们的HuggingFace或ModelScope链接。 数据集：论文构建了名为 SVHalluc 的基准数据集。该数据集基于公开的 YouCook2 数据集构建，使用了其验证集，并通过自动化流程（使用Whisper模型进行语音转写，GPT模型辅助生成负样本）进行增强。论文中未提供SVHalluc数据集本身的直接下载链接，但提供了项目主页：https://chenshuang-zhang.github.io/projects/svhalluc/，可能包含获取信息。 Demo：论文中未提及。 复现材料： 数据集构建细节：论文详细描述了SVHalluc数据集的自动构建流程，包括使用GPT模型提取动作和对象的提示词（见附录B）、数据集质量控制策略（见附录C）。 评估指标：对于二分类任务，报告了准确率、精确率、召回率和F1分数；对于多分类任务，报告了准确率。 实验设置：论文明确指出所有评估均在零样本（zero-shot）设置下进行，无需额外训练。 论文中引用的开源项目： YouCook2: 数据集。论文中用于构建SVHalluc基准。未提供直接链接。 Whisper: 自动语音识别模型。论文中用于获取视频的语音转录文本。项目链接：https://github.com/openai/whisper Silero-VAD: 语音活动检测模型。论文中用于生成语音活动检测的伪标签，以评估模型的时间定位能力。项目链接：https://github.com/snakers4/silero-vad 🏗️ 方法概述和架构 本文提出的方法是构建名为SVHalluc的基准测试，用于诊断AV-LLMs中的语音-视觉幻觉。其核心架构与流程可分为两个主要部分：基准任务设计和数据集构建流水线。 ...