语音识别

📄 A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges #语音识别 #语音合成 #自监督学习 #多模态模型 #多任务学习 5.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.3/1.5 📝 5.4/10 | 后50% | #语音识别 | #自监督学习 | #语音合成 #多模态模型 | arxiv 👥 作者与机构 Wen Liang: Columbia University, Red Hat Li Siyan: Columbia University Zackary Rackauckas: RoleGaku Julia Hirschberg: Columbia University 💡 毒舌点评 这篇综述试图为“自动化演讲辅导”这个看似细分但实际横跨多个热门领域的课题（CAPT、TTS、L2语言学习）建立一个清晰的分类法和研究路线图。其野心值得肯定，但执行上仍有改进空间。 ...

📄 Do Speech Emphasis Models Generalize across Languages and Emotions? #语音识别 #自监督学习 #迁移学习 #多语言 #数据增强 7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前25% | #语音识别 | #自监督学习 | #迁移学习 #多语言 | arxiv 👥 作者与机构 1 Adobe Research, USA 2 Brown University, USA meganwei@brown.edu, aneja@adobe.com, jsu@adobe.com, yunyunw@adobe.com, haonanc@adobe.com, zejin@adobe.com 💡 毒舌点评 论文动机清晰，提出了一个当前领域内确实缺失的大规模多语言多情感强调检测基准。数据集MMEE的构建过程描述详尽，从语料收集到标注流程都显得相当专业。系统性的基准测试覆盖了单语、跨语言、多语言、跨情感、跨数据集和数据规模等多种场景，实验设计比较全面。然而，其核心贡献——MMEE数据集是专有的，未公开，这极大地限制了工作的可复现性和社区影响力，是一个重大缺陷。研究本身是“评估”而非“提出”新模型，技术深度有限。对音调语言（如中文）表现不佳的根本原因探讨不足，仅仅归因于声调系统显得有些草率。跨数据集泛化实验中，模型在不同数据集上性能差异的原因（如Whisper版本差异）分析可以更深入。整体而言，这是一篇扎实的“数据集与基准”论文，但未开源是其最大硬伤。 📌 核心摘要 本文针对现有语音强调检测模型主要在中性朗读单语数据上训练和评估的问题，引入了MMEE数据集，并利用它对两个前沿模型（EmphaClass, WhiStress）进行了系统性的跨语言、跨情感泛化能力基准测试。核心发现包括：单语模型的跨语言零样本迁移能力有限，且随语言类型距离增加而下降；多语言联合训练显著提升了模型鲁棒性；模型能在高/低唤醒度情感间稳健迁移；人类感知标注与合成标注支持可迁移的表示学习。 🔗 开源详情 代码：论文中未提供代码链接 模型权重：论文中未提供模型权重链接 数据集：MMEE数据集。论文明确指出其基于一个“专有的多语言情感语音语料库（proprietary multilingual expressive speech corpus）”构建，但未提供公开下载链接。 Demo：论文中未提及Demo 复现材料：论文未提供训练配置、检查点等复现所需材料的具体获取方式。 论文中引用的开源项目：论文引用了以下项目作为技术组件，但未在文中提供具体链接： Qwen3-ASR：用于语音转录。 Silero-VAD：用于语音活动检测。 XLS-R (基于Wav2Vec 2.0)：作为EmphaClass模型的基础。 Whisper (包括whisper-small和whisper-small.en)：作为WhiStress模型的基础。 GPT-4o-mini和GPT-5.2：用于数据生成和质量检查（这些是OpenAI的商业模型）。 项目主页：论文提供了一个项目主页链接：https://multilingual-speech-emphasis.github.io ，但该页面未提供数据集或代码的下载方式。 🏗️ 方法概述和架构 本文的方法核心是构建MMEE数据集并利用其对现有模型进行基准测试，而非提出新的模型架构。 ...

📄 From Black-Box to Clinical Insight: A Multi-Stage Explainable Framework for Speech-Based Cognitive Impairment Detection #语音识别 #大语言模型 6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0/1.5 ✅ 6/10 | 前50% | #语音识别 | #大语言模型 | arxiv 👥 作者与机构 作者：Yasaman Haghbin, Sina Rashidi, Ali Zolnour, Fatemeh Taherinezhad, Ali Fartoot, Hossein Azadmaleki, James M. Noble, Maryam Dadkhah, Maryam Zolnoori 机构：1 Independent Researcher, 2 Columbia University, United States, 3 Chalmers University of Technology, Sweden ...

📄 HPRO: Hierarchical Progressive Reward Optimization via Preference Extraction for Emotional Text-to-Speech #语音合成 #语音识别 8.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.2/10 | 前50% | #语音合成 | #语音识别 | arxiv 👥 作者与机构 作者：Sihang Nie, Xiaofen Xing, Rui Xing, Haoming Li, Ruitong Xiao, Jingyuan Xing, Baiji Liu, and Xiangmin Xu。 机构：1华南理工大学；2虎牙公司（实习期间完成）；3中国科学院深圳先进技术研究院；4琶洲实验室。 通讯作者：Xiaofen Xing。 ...

📄 HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models #语音合成 #语音识别 #自监督学习 #高效推理 6.5/10 ✅ 6.5/10 | 前50% | #语音合成 | #自监督学习 | #语音识别 #高效推理 | arxiv 👥 作者与机构 论文作者包括：Artem Ploujnikov (Concordia University, Canada), Francesco Verdini (Sapienza University of Rome, Italy), Samir Sadok (Inria, Université Grenoble Alpes CNRS, LJK, France), Mirco Ravanelli (Mila, Quebec AI Institute, Canada; Concordia University, Canada)。机构包括Mila、Concordia大学、Sapienza大学和Inria。 💡 毒舌点评 关于“首个”的声明过于绝对：作者声称是首个在单一Transformer架构中统一离散和连续细化的方法。然而，离散-连续混合建模在强化学习、机器人学、文本扩散等领域已有探索（论文在Related Work中提及）。本文的贡献在于将其应用于统一的语音处理架构，而非“首创”了混合范式本身。论文应更精确地界定其贡献范围。 连续残差预测的“单步NAR”假设可能过于简化：论文声称通过单步NAR预测连续残差即可恢复高保真细节。这一假设在低比特率下可能成立，但在更复杂的声学环境或更长的生成序列中，单步预测的容量可能不足以建模所有丢失的连续信息。论文缺乏对这一关键设计选择的消融研究或理论分析。 实验评估集中且缺乏深度分析：虽然评估了三项任务，但所有实验均在单一数据集（LibriTTS）和单一评估设置下进行。缺乏对模型在更嘈杂环境、多说话人、跨语言场景下的鲁棒性验证。此外，论文未深入分析为何连续残差能提升ASR性能（是提供了更好的声学特征还是仅仅是模型容量增加？），结论显得略微表面。 对计算成本的讨论不完整：论文强调减少AR步数，但未全面报告HybridCodec引入额外残差编码器/解码器路径所带来的训练和编码开销，以及HybridLM中处理两种模式的额外计算成本。效率提升的净收益需要更全面的分析。 📌 核心摘要 离散音频表示在构建多模态文本-音频系统及将音频能力集成到大型语言模型中越来越流行，但其量化过程会不可避免地导致信息损失，影响下游任务性能。为解决此问题，本文提出了一种结合时序压缩离散token与降维连续残差的新颖混合方法。该框架包含一个混合离散-连续Focal调制编解码器（HybridCodec）和一个混合Transformer（HybridLM）。HybridCodec在FocalCodec的基础上增加了一个并行路径，用于提取和压缩量化后丢失的连续残差信息。HybridLM则通过自适应层归一化（AdaLN）机制，在一个统一的Transformer中，将用于语义结构建立的自回归（AR）离散token生成阶段，与用于高保真声学细节恢复的非自回归（NAR）连续残差预测阶段相耦合。实验结果表明，在LibriTTS数据集上，该方法在极低帧率（如6.25 Hz）下的重合成、TTS和ASR性能显著优于离散-only基线，尤其在说话人相似度保持和可懂度（dWER/WER）降低方面优势明显，同时大幅减少了自回归推理步数。 ...

📄 Room for Error: Large-Scale Simulation of Over-the-Air Acoustic Attacks #语音识别 #信号处理基础 6.2/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.2/10 | 前50% | #语音识别 | #信号处理基础 | arxiv 👥 作者与机构 Andrew C. Cullen， Neil Marchant， Jiani Xie， Paul Montague， Benjamin I. P. Rubinstein 机构：University of Melbourne, DST Group, Adelaide 💡 毒舌点评 这论文想当然地认为在数字领域模拟OTA攻击就能揭示其本质，但实际上ISM模型对真实世界复杂声学环境的简化（如忽略衍射、散射、硬件非线性）是根本性的缺陷。用它进行的“大规模评估”得到的是在高度简化模型下的结论，其对真实部署环境的预测能力存疑。所谓“高通量”更多是计算上的暴力堆砌，而非对物理真实性的逼近。框架对攻击者知识的“形式化”分类（盲目、近似、神谕）过于理想化，与现实攻击者可能获取的杂乱、不完整信息脱节。此外，论文在核心实验中未对比任何现有的OTA攻击方法（如AdvReverb），使得其框架的优越性缺乏直接证据，更像是一个自我封闭的评估体系。 ...

📄 FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following #语音识别 #语音翻译 #语音问答 #语音摘要 6.5/10 ✅ 6.5/10 | 前50% | #语音识别 | #语音翻译 | #语音问答 #语音摘要 | arxiv 👥 作者与机构 作者：Zhihang Xie (Fondazione Bruno Kessler & University of Trento), Marco Gaido (Fondazione Bruno Kessler), Sara Papi (Fondazione Bruno Kessler), Matteo Negri (Fondazione Bruno Kessler), Luisa Bentivogli (Fondazione Bruno Kessler) 机构：Fondazione Bruno Kessler, University of Trento 💡 毒舌点评 这篇论文是一个扎实的共享任务系统描述，但深度和原创性有限。优点在于实验部分做得比较系统，特别是对长格式幻觉的量化分析（如表2， 表8）和HIFS指标的引入，直面了当前SpeechLLM在长序列生成中的一个痛点。对三种分段策略的详尽比较也提供了实用的工程参考。然而，主要的不足在于“创新”的边界很窄。所谓的“长格式扩展”方法（人工拼接短数据）在领域内已有先例（如论文中引用的Fox et al., 2024），并未提出新的长程建模机制。核心模型架构直接复用了现有开源模型，适配器设计也是标准流程。长格式训练只跑了一个epoch就提交，这严重限制了结论的可信度——我们无法知道模型是否充分学习了长程依赖。评估方面，尽管提出了HIFS，但其公平性值得商榷：惩罚因子直接乘在任务分数上，可能过度惩罚了某些任务（如SSUM中幻觉率极高），而ASR中插入错误（INS）的数量剧增是否完全归咎于模型对长音频的幻觉，还是分段策略本身引入的上下文割裂问题，论文未能清晰区分。总体而言，这是一篇合格的任务报告，为社区提供了数据，但距离一篇有显著技术贡献的研究论文还有差距。 ...

📄 Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars #语音识别 #低资源 #数据增强 5.3/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 1/1.5 📝 5.3/10 | 后50% | #语音识别 | #数据增强 | #低资源 | arxiv 👥 作者与机构 作者：Jatin Bhusal, Salma Tamang 机构：Center for Human Mobility and Communications, Prateek Innovations, Kathmandu, Nepal; Sunway International Business School, Birmingham City University, Kathmandu, Nepal ...

📄 SamaVaani: Auditing and Debiasing Multilingual Clinical ASR for Indian Languages #语音识别 #对比学习 #参数高效微调 #多语言 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.8/10 | 前25% | #语音识别 | #对比学习 | #参数高效微调 #多语言 | arxiv 👥 作者与机构 作者：Subham Kumar, Prakrithi Shivaprakash, Abhishek Manoharan, Astut Kurariya, Diptadhi Mukherjee, Prabhat Chand, Pratima Murthy, Koustav Rudra, Lekhansh Shukla, Animesh Mukherjee 机构：印度理工学院卡拉格普尔分校（IIT Kharagpur），国家心理健康与神经科学研究所（NIMHANS, Bangalore），卢加德·邦迪亚拉地区精神病学研究所（LGBRIMH, Tezpur） ...

📄 Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs? #语音识别 #语音合成 #语音翻译 #多任务学习 #大语言模型 7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前50% | #语音识别 | #多任务学习 | #语音合成 #语音翻译 | arxiv 👥 作者与机构 作者：Tomoya Mizumoto, Yusuke Fujita 机构：SB Intuitions Inc. 邮箱：tomoya.mizumoto@sbintuitions.co.jp, yusuke.fujita@sbintuitions.co.jp 💡 毒舌点评 这篇论文像一篇严谨的“消融实验报告”。它精确地回答了一个问题：在训练语音编码器时，加入翻译任务到底有没有用、有多大用？答案是“有用，且双向翻译比单向翻译更有用”。优点在于实验设计非常干净（控制变量），结论清晰直接。然而，这种清晰也暴露了其局限：研究范围被严格限定在“将预训练好的编码器接入冻结LLM”这一特定范式内，没有探索更灵活的架构（如端到端训练）。130k小时的训练数据对于如今的大模型时代来说显得“小家碧玉”，更像是在验证一个想法而非冲击SOTA。开源方面的完全缺席，对于需要复现或在该方向上继续推进的同行来说，无疑是一种遗憾。 📌 核心摘要 本文的核心研究问题是：在预训练语音编码器时，引入翻译任务（尤其是双向翻译）能否改善其与冻结的大语言模型的集成效果？作者认为，传统基于ASR的编码器学习到的是语言特定的表示，这与LLM统一的语义空间存在结构错位。为解决此问题，他们提出在预训练阶段加入跨语言翻译任务，特别是要求模型在英语与其他语言之间进行双向翻译，以迫使编码器学习语言无关的语义表示。实验对比了三种预训练目标：仅ASR、ASR + 单向翻译（X→en）、ASR + 双向翻译（X↔en）。结果表明，双向翻译预训练（X↔en）在语音翻译、意图分类等任务上带来了显著且一致的性能提升，并且能够泛化到预训练未见过的语言对，同时不损害依赖声学信息的情感识别任务性能。论文将这一优势归因于双向翻译目标提供了更对称、更彻底的语义抽象路径。 ...