语音/音乐/音频论文速递 2026-06-25

共分析 27 篇论文

⚡ 今日概览

📥 抓取 27 篇 → 🔬 深度分析完成

🏷️ 热门方向

方向数量分布
#语音识别6篇██████
#语音合成5篇█████
#语音增强2篇██
#音乐生成1篇█
#语音翻译1篇█
#语音伪造检测1篇█
#自监督学习1篇█
#端到端1篇█

📊 论文评分排行榜（27 篇，按分数降序）

排名论文总分分档主任务
🥇Fully Differentiable Neural Forced Alignment via Soft D8.3分前25%-
🥈Attractive and Repulsive Pattern Control in Sequence Ge8.1分前25%#音乐生成
🥉STEB: A Speech-to-Speech Translation Expressiveness Ben7.8分前50%#语音翻译
4.Supervised Post-training of Speech Foundation Models fo7.6分前50%#语音伪造检测
5.Joint Residual Reweighting for Classifier Free Guidance7.5分前50%#语音合成
6.Velocity Prediction in Automatic Guitar Transcription7.5分前25%-
7.SE-AGCNet: An End-to-End Framework for Joint Speech Enh7.4分前50%#语音增强
8.MJEPA: A Simple and Scalable Joint-Embedding Predictive7.4分前25%#自监督学习
9.Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese7.3分前50%#语音合成
10.One Model, Many Latencies: Universal Speech Enhancement7.2分前50%#语音增强
11.From Sounds to Scenes: A Benchmark for Evaluating Conte7.2分前50%#语音识别
12.Wan-Streamer v0.1: End-to-end Real-time Interactive Fou7.2分前25%#语音合成
13.Does Translation-Enhanced Speech Encoder Pre-training A7.1分前50%#语音识别
14.Adaptive Oscillatory Inductive Bias for Modeling Sharp7.0分前50%#语音合成
15.End-to-End Voice Intent Recognition for Spontaneous Hum7.0分前50%#端到端
16.Real-Time Voice AI Hears but Does Not Listen7.0分前50%-
17.FoleySet: A Multi-Level Human-Annotated Foley Sound Dat7.0分前50%#音频分类
18.EmotionAI: A Privacy-Preserving Computational Intellige6.9分前50%#语音情感识别
19.Frequency-Aware Self-Supervised Music Representation Le6.8分前50%#音乐信息检索
20.BCoughBench: Benchmarking Respiratory Acoustic Foundati6.7分前50%#基准测试
21.SpeechEQ: Benchmarking Emotional Intelligence Quotient6.7分前25%#语音对话系统
22.Graph-Based Phonetic Error Correction of Noisy ASR6.7分前50%#语音识别
23.What Does a Pathological Speech Assessment Model Know a6.4分前50%#语音可懂度评估
24.Phoneme-Level Mispronunciation Screening in Polish-Spea6.2分前50%#语音识别
25.Error-Aware TF-IDF Retrieval-Augmented Generation for A6.1分前50%#语音识别
26.Evaluating Japanese Dialect Robustness Across Speech an5.8分前50%#语音识别
27.CrossAccent-TTS: Cross-Lingual Accent-Intensity Control5.5分前50%#语音合成

📋 论文列表

🥇 Fully Differentiable Neural Forced Alignment via Soft Dynamic Programming

8.3/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

🔥 8.3/10 | 前25% | #强制对齐 | #端到端训练 | arxiv

👥 作者与机构

作者：Rotem Rousso, Eyal Cohen, Joseph Keshet。 机构：The Open University of Israel（根据论文信息推断）。

💡 毒舌点评

这篇论文试图解决语音处理中一个经典但被低估的问题——强制对齐，其核心动机（摆脱对G2P词典的依赖、实现端到端可微）是扎实的。作者提出的软动态规划解码器和MNCE损失是有价值的贡献。然而，论文存在一个核心矛盾：它大力宣传“无需发音词典”和“跨语言泛化”，但在其最重要的跨语言评估（表II和IV）中，却大量依赖MFA的G2P和词典来生成测试用的音素序列。这严重削弱了其“端到端”和“无词典”声明的说服力。实验部分的消融研究（表V和VI）虽然必要，但深度不足，未能充分剖析架构各部分的贡献。此外，对关键的时域分辨率限制（10ms）讨论不足，这直接影响了在严格阈值下的性能。总的来说，这是一个技术上有一定新意的工作，但在实验设计和结果论证上存在明显的漏洞，使得其 claims 与其实际表现之间存在一定落差。

📌 核心摘要

本文提出一种用于音素级强制对齐（FA）的端到端、完全可微神经系统。传统FA系统（如MFA）依赖G2P词典，而现代ASR模型（如Whisper）的时间戳精度不足。本文方法包含三个模块：1）表示编码器，通过新型对比损失（MNCE）学习区分音素内部稳态帧与边界过渡帧的特征；2）上下文编码器，生成帧级音素后验概率；3）基于软动态规划（Soft-DP）的解码器，实现对齐过程的端到端训练。实验表明，该方法在英语音素对齐上优于MFA，且在无训练的情况下对荷兰语、德语展现出强泛化能力，在词级对齐上也超越了现有神经对齐基线。

🔗 开源详情

  • 代码：https://github.com/MLSpeech/FALCON/
  • 模型权重：未提及开源链接。
  • 数据集：论文中提及使用了TIMIT、Buckeye、IFA Dutch Corpus、PHONDAT German Corpus以及希伯来语广播新闻数据集，但未提供这些数据集的下载链接或具体开源协议信息。
  • Demo：https://github.com/MLSpeech/FALCON/（项目主页包含演示示例）。
  • 复现材料：论文提供了模型架构和训练过程的详细描述，但未提供独立的训练配置文件、检查点下载或附录等具体复现材料。

🥈 Attractive and Repulsive Pattern Control in Sequence Generation

8.1/10 | 创新 1.3/2 | 严谨 1.3/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5

🔥 8.1/10 | 前25% | #音乐生成 | #信念传播 | #序列建模 #可控生成 | arxiv

👥 作者与机构

作者：François Pachet 机构：未明确说明（论文未列出具体机构）

💡 毒舌点评

这篇论文就像是给一个已经挺会走路的机器人装上了一个极其精确的“姿态矫正器”和“刻意模仿训练器”。作者用严谨的数学和BP框架，优雅地解决了一个序列生成中老大难的问题——长期自我重复（“隧道”效应）。其亮点在于“软控制”的对称性：惩罚重复和奖励重复用的是同一套加权识别器，只是β的符号不同，这很精巧。实验也做得扎实，在多个音乐源上证明了负β的“抗坍缩”效果。但“毒舌”之处在于，作者将方法的通用性吹得很大（“Beyond Music”），但验证域却极其狭窄，仅限于单声部MIDI，且缺乏与当下主流生成模型（如基于Transformer的方法）的直接对比。正分支（奖励）的评估更多是概念展示，缺乏系统性的音乐质量评估。最后，虽然代码开源是好事，但声称“可复现”依赖于读者能完美复刻从MIDI解析到BP采样的全部细节，这可能比想象中更难。

📌 核心摘要

本文针对变量阶马尔可夫模型（VO/Markov）在长序列生成中易陷入“隧道”（即高频自我重复）的问题，提出了一种基于信念传播（BP）和正则化自动机的符号模式对称软控制方法。核心在于引入一个加权识别器来计算候选序列相对于目标模式家族的激活值\(R(x)\)，并通过一个可调符号权重\(\beta\)将其转化为采样分布中的软能量项\(P_{\beta}(x) \propto P_{0}(x) \exp(\beta R(x))\)。当\(\beta < 0\)时，形成自适应“自稳态”控制，惩罚生成过程中变得过度活跃的模式，从而减少高阶自我重复、增加模式多样性并提升训练数据覆盖率，同时保留大部分低阶风格特征；当\(\beta > 0\)时，则可将指定模式变为可控“吸引子”，用于探测生成模型的吸引盆、相变和迟滞现象。该方法在单声部符号音乐（Bach、Telemann、爵士独奏）生成任务上进行了验证，实验结果一致表明负权重机制能有效缓解长期递归坍缩。论文强调该机制提供了对生成器递归景观的显式、可测量、对称的控制能力。

🔗 开源详情

  • 代码：https://github.com/fpachet/transformator （完整代码仓库）
  • 模型权重：论文中未提及，无需提供。
  • 数据集：论文中使用了公开的MIDI数据源文件，包括Bach和Telemann的巴洛克时期作品，以及Weimar Jazz Database (WJazzD)的爵士独奏MIDI文件。所有源MIDI文件均包含在上述代码仓库的data/source_midis/目录下。关于WJazzD的具体来源链接，论文中未提供。
  • Demo：论文中未提及。
  • 复现材料：代码仓库（https://github.com/fpachet/transformator）中包含了复现所需的所有材料：生成的实验脚本（例如scripts/run_penalty_closing_experiment.py）、源MIDI文件（data/source_midis/）、用于示例和探测的乐谱摘录（docs/assets/）。仓库还记录了计算报告中各指标（如自复用率、覆盖率、损失、计算开销）所用的所有具体参数，包括随机种子、查询位置、目标长度、BP阶数、软模式参数和追踪诊断信息。
  • 论文中引用的开源项目：
    • Verovio：一个用于渲染MEI格式乐谱的开源工具，在论文中用于生成乐谱示例图片。论文中提供了链接：https://www.verovio.org/。

🥉 STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity

7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5

✅ 7.8/10 | 前50% | #语音翻译 | #评估与统计 | #语音合成 #语音识别 | arxiv

👥 作者与机构

作者：Sitong Cheng, Weizhen Bian, Songjun Cao, Jin Li, Bei Liu, Chunyang Jiang, Yike Zhang, Weihao Wu, Yiming Li, Chi-Min Chan, Long Ma, Wei Xue 单位：香港科技大学，腾讯优图实验室，清华大学深圳国际研究生院

💡 毒舌点评

这篇论文瞄准了一个重要但被忽视的痛点：语音翻译不能只传意思，还得传“感觉”。STEB基准的构建工作扎实，32.6小时数据、六种场景、自动化流水线，体现了工程实力。提出的LLM评估框架（描述-总结-打分）巧妙地绕开了获取“理想参考语音”的难题，思路值得肯定。然而，作为一篇以“基准”和“评估”为核心的论文，实验部分显得有些“王婆卖瓜”——自家的评估框架在自家数据集上验证自家评估方法的相关性，说服力打了折扣。对六个基线系统的分析有洞察（如级联系统情感分低但NV分高），但结论“语义传递与表现力传递存在差距”略显平淡，对“为什么差距这么大”以及“如何弥补”的深层探讨不足。此外，所有代码、数据、评估脚本均未开源，极大削弱了其作为“基准”的可复现性和社区推动力。总体而言，这是一个有用的数据集和评估工具的开端，但距离一个能引领领域的“标准”还有距离。

📌 核心摘要

本文针对当前语音到语音翻译（S2ST）系统评估主要集中于翻译保真度，而忽视情感、场景风格、非语言发声（NV）等表现力维度的不足，提出了STEB基准。STEB包含32.6小时中英双语评估数据，涵盖戏剧、有声书等六种真实场景。为解决跨语言表现力对齐语音参考难以大规模获取的难题，本文设计了一种无需参考语音的“描述-总结”评估框架：首先使用音频描述模型为源语音和假设语音生成详细描述，然后通过大语言模型（LLM）将描述总结为结构化属性（情感、场景风格、NV），最后由LLM裁判根据标准化规则比较源与假设的属性一致性进行打分（1-5分）。人工验证表明自动评分与人类判断在所有表现力维度上具有统计显著相关性。对六种S2ST系统（涵盖级联、端到端、语音LLM）的评估显示，多数系统在翻译保真度上表现尚可，但在表现力保留上明显滞后：情感保留最佳得分仅3.82/5，NV保留最佳仅2.31/5。结果揭示了当前S2ST系统在语义传递与表现力传递间的显著差距。

🔗 开源详情

  • 代码：论文中未提供具体的代码仓库链接。论文在作者信息部分标注了“Code”，但正文中无具体URL。
  • 模型权重：论文中未提及模型权重的具体获取链接。文中使用的Qwen3系列模型、VoxCPM2等均未提供链接。
  • 数据集：论文介绍了STEB数据集（32.6小时中英评估数据）。论文声称将发布数据集、评估提示和评分脚本，但未提供具体的下载链接或托管平台。
  • Demo：在线音频示例可在以下链接访问：https://cmots.github.io/steb.github.io/
  • 复现材料：论文中未提及训练配置、检查点或可直接运行的脚本。
  • 论文中引用的开源项目：
    • BS-Roformer：用于音源分离的模型。链接：https://github.com/jianfch/stable-ts
    • pyannote：用于说话人分割的工具。链接：https://github.com/pyannote/pyannote-audio
    • CAM++：用于说话人嵌入提取的模型。论文引用（Wang et al., 2023），未提供代码链接。
    • Silero VAD：用于语音活动检测的模型。链接：https://github.com/snakers4/silero-vad
    • Whisper：用于语言识别。论文具体使用了whisper-large-v3-turbo。链接：https://github.com/openai/whisper
    • DNSMOS：用于语音质量评分。论文引用（Reddy et al., 2021），链接：https://github.com/microsoft/DNS-Challenge
    • BEATs：用于非语言声音（NV）检测。论文使用其在PretrainedSED框架中。链接：https://github.com/microsoft/unilm/tree/master/beats
    • Qwen3系列模型：论文中提到了多个Qwen3模型（ASR, ForceAlign, 30B-A3B翻译， Omni-Captioner），但未提供这些模型权重的具体发布链接。
    • UniSS：被评估的基线系统之一。论文引用（Cheng et al., 2025b），未提供代码或模型链接。
    • SeamlessExpressive：被评估的基线系统之一。论文引用（Communication et al., 2023），链接：https://github.com/facebookresearch/seamless_communication
    • Seed LiveInterpret 2.0：被评估的基线系统之一，为商业系统。
    • Step-Audio 2：被评估的基线系统之一。论文引用（Wu et al., 2025），未提供代码链接。
    • VoxCPM2：在“三阶段”和“两阶段”流水线中用作TTS模块。论文引用（Team, 2026），未提供链接。
    • WavLM：用于说话人相似度计算。论文使用了WavLM-Large + ECAPA-TDNN说话人验证模型。链接：https://github.com/microsoft/unispeech
    • Seed-TTS-eval：用于说话人相似度评估的协议参考。链接：https://github.com/BytedanceSpeech/seed-tts-eval

4. Supervised Post-training of Speech Foundation Models for Robust Adaptation in Speech Deepfake Detection

7.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5

✅ 7.6/10 | 前50% | #语音伪造检测 | #自监督学习 | #参数高效微调 #低资源 | arxiv

👥 作者与机构

作者：Zihan Pan, Hardik Sailor, Jinyang Wu 机构：新加坡科技研究局 (A*STAR) 信息通信研究院 (I2R)

💡 毒舌点评

这篇论文在特定赛道（单模型无增强）刷了SOTA，看起来不错。但仔细一想，这所谓的“监督后训练”不就是个精心设计的、分阶段的微调策略吗？创新性被高估了。论文把“混合帧扰动”包装得很厉害，但本质是数据层面的一种增强手段，只是换了个名字叫“post-training”。更让人皱眉的是，方法论部分写得像在绕迷宫，公式列了一堆但关键直觉阐述不清，比如为什么帧级标签分配要依据中心样本（公式3）？这个设计选择缺乏足够的动机论证。另外，在ASV21上只比别人好了一丢丢（gap从0.34降到0.16），但论文却大书特书其“平衡的鲁棒性”，有过度claim之嫌。总之，这是一篇工程上做了不少工作（值得肯定），但理论洞察和叙事都有提升空间的论文。

📌 核心摘要

论文指出，直接微调语音基础模型（如WavLM）用于深度伪造检测效果有限，因为预训练目标（建模语音内容）与检测目标（捕捉伪造伪影）不匹配。为此，作者提出了一种名为“混合帧后训练”的监督后训练策略。该方法分两个阶段：首先，在预训练编码器上附加一个帧级分类头，使用从对立类别中剪切拼接音频生成的混合波形及其帧级伪造标签进行训练，旨在使编码器对局部不一致性敏感；然后，丢弃帧级头，使用多层特征聚合模块和任务级头部，在任务数据上进行整体微调。在ASVspoof5上，该方法以4.50%的EER达到了单模型无数据增强的SOTA；在ASVspoof2021 LA/DF上，LA与DF的EER差距仅为0.16%，表明模型在不同失真条件下具有优异的平衡鲁棒性。低资源实验进一步证明了该策略在数据稀缺时能带来显著的跨域性能提升。

🔗 开源详情

  • 代码：https://github.com/pandarialTJU/Mix-Frame-Post-Training
  • 模型权重：未提供。论文使用WavLM-Large作为骨干，但未提供适配后的模型权重下载链接。
  • 数据集：论文中使用了ASVspoof 2019 LA、ASVspoof 2021 LA/DF以及ASVspoof 5，但未提供这些数据集的具体下载链接或开源协议信息。
  • Demo：未提及。
  • 复现材料：论文中提及了详细的训练配置（如：使用4张 NVIDIA H200 GPU，批次大小256，学习率：后训练为4e-4，微调为5e-5，LoRA秩为32等），但未提供完整的配置文件、训练脚本或检查点。
  • 论文中引用的开源项目：HuBERT、WavLM、AASIST、ECAPA-TDNN、Nes2Net、LoRA。

5. Joint Residual Reweighting for Classifier Free Guidance in Flow-Matching Zero-Shot TTS

7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.0/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5

✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #零样本学习 #少样本学习 | arxiv

👥 作者与机构

作者：Runwu Shi, Yujin Wang, Hongjin Song, Chunxiang Jin 机构：Institute of Science Tokyo, Wuhan University, Beijing Institute of Technology, Ant Group

💡 毒舌点评

这篇论文的思路是好的，把CFG的引导方向拆开看，发现原来“说话人引导”里混着“文本-说话人交互”的成分，试图分开控制。但说实话，整个工作的理论深度有限，更像是一个工程上的trick调整。作者声称提出了一个“统一的框架”，但只是重新表述了已有的几种CFG变体，新瓶装旧酒的味道比较浓。实验部分最大的问题是公平性：和最重要的基线Selective CFG对比时，用了别人论文的数据，标注说“评估设置可能不完全一致”，这在顶会审稿中是大忌，等于直接削弱了核心结论的说服力。超参数γ_spk和γ_joint怎么选的？论文里就给了两组数字，没有任何分析或自适应策略，这让方法的实用性打了个大问号。计算开销翻倍（从2分支到4分支）被轻描淡写地提了一句“可以并行”，但在实时TTS场景下，这往往是决定性因素，论文却缺少定量分析。总体感觉，是一个有一定启发性的初步工作，但离一篇扎实的顶会论文还有距离。

📌 核心摘要

本文针对流匹配零样本TTS中，标准CFG在平衡文本正确性与说话人相似度时的权衡问题，提出了联合残差重加权方法。核心思想是将CFG的完整引导方向（v_full - v_null）分解为文本残差（Δv_text）、说话人残差（Δv_spk）和联合残差（r_joint）三个分量。标准CFG对这三个分量施加相同的权重。本文方法保持标准CFG作为基础采样器，但在此之上为说话人残差和联合残差分配额外的独立权重（γ_spk 和 γ_joint），从而实现对说话人相关生成过程更精细的控制。在F5-TTS和CosyVoice2上的实验表明，该方法在提升说话人相似度（SIM）的同时，能保持或略微降低语音识别错误率（WER/CER）。论文的贡献在于提供了一个分析CFG的四分支残差视角，并展示了一种实用的引导权重调整策略。

🔗 开源详情

  • 代码：论文中未提及代码链接
  • 模型权重：论文中未提及
  • 数据集：论文中未提及
  • Demo：论文中未提及
  • 复现材料：论文中未提及
  • 论文中引用的开源项目：
    1. F5-TTS: 论文中未提供具体链接，其官方开源仓库通常为：https://github.com/SWivid/F5-TTS
    2. CosyVoice2: 论文中未提供具体链接，其官方开源仓库通常为：https://github.com/FunAudioLLM/CosyVoice
    3. Paraformer-zh: 用于中文CER计算的ASR模型。论文中未提供具体链接，其官方开源仓库为：https://github.com/modelscope/FunASR
    4. Faster-Whisper: 用于英文WER计算的ASR模型。论文中未提供具体链接，其官方开源仓库为：https://github.com/SYSTRAN/faster-whisper
    5. WavLM-large: 用于计算说话人相似度（SIM）的预训练模型。论文中未提供具体链接，其官方发布页面为：https://github.com/microsoft/unilm/tree/master/wavlm

6. Velocity Prediction in Automatic Guitar Transcription

7.5/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5

✅ 7.5/10 | 前25% | arxiv

👥 作者与机构

Jackson Loth, Xavier Riley, Simon Dixon, Emmanouil Benetos 机构：论文未在正文明确列出作者单位。根据摘要页脚，该工作受Innovate UK和UKRI Centre for Doctoral Training in AI and Music支持，并利用了Queen Mary University of London的Apocrita HPC设施。

💡 毒舌点评

这篇论文的出发点很好——解决吉他转录中几乎被遗忘的“速度”预测问题。作者诚实地指出了吉他速度定义的模糊性这一根本痛点，并提出了一个务实的、基于虚拟乐器的“曲线救国”方案。两阶段迁移学习的设计在工程上是合理的。然而，最大的尴尬在于，由于缺乏真实世界的ground truth，这项工作的核心贡献（速度预测）几乎无法被严格评估。合成数据上的优异表现，说服力打了个大折扣。那个对音高转录“微小但有时显著”的提升（约0.1%），在顶会舞台上更像是一种安慰奖，很难让人兴奋。论文的实验设计（特别是两次数据划分）体现了审慎，但“我们无法验证模型是否真正理解了吉他速度”这一局限，像一根刺，扎在整篇工作的根基上。整体是一篇扎实、诚实但略显遗憾的领域入门级工作。

📌 核心摘要

本文针对自动吉他转录（AGT）中普遍缺失的速度预测问题，提出了一种基于合成数据预训练和迁移学习的方法。由于缺乏带有真实速度标注的吉他数据集且吉他速度概念本身模糊，作者利用虚拟乐器从现有MIDI数据生成带有速度标签的合成音频，预训练速度预测模块。随后，将该模块的权重冻结并迁移至一个在真实吉他数据集（无准确速度标签）上训练的转录模型中，从而赋予模型速度预测能力，同时利用真实数据保证转录性能。实验表明，该方法在合成数据上显著优于基线速度预测模型，且预训练的速度权重能为音高转录带来微小但有时统计显著的性能提升。这是首个在吉他转录中集成速度预测的工作。

🔗 开源详情

  • 代码：论文中未提及代码链接
  • 模型权重：论文中未提及模型权重下载链接
  • 数据集：
    • FrançoisLeduc数据集：用于创建合成训练数据。论文中引用[22]，未提供直接下载链接。
    • GAPS数据集：用于微调。论文中引用[21]，未提供直接下载链接。
    • GOAT数据集：用于微调。论文中引用[16]，未提供直接下载链接。
    • GuitarSet数据集：用于测试。论文中引用[24]，未提供直接下载链接。
    • EGDB数据集：用于测试。论文中引用[2]，未提供直接下载链接。
    • （注：以上数据集均为论文引用的现有数据集，并非本论文新发布。）
  • Demo：论文中未提及
  • 复现材料：论文中描述了训练配置（如迭代次数、学习率、批量大小、数据增强方法、硬件信息），但未提供具体的配置文件或检查点下载链接。
  • 论文中引用的开源项目：
    • Pedalboard：音频数据增强工具包。链接：https://github.com/spotify/pedalboard
    • mir_eval：用于转录和速度评估的工具包。链接：https://github.com/craffel/mir_eval

7. SE-AGCNet: An End-to-End Framework for Joint Speech Enhancement and Loudness Control in Meeting Scenarios

7.4/10 | 创新 1.4/2 | 严谨 1.0/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5

✅ 7.4/10 | 前50% | #语音增强 | #神经网络架构 | #自动增益控制 #端到端学习 | arxiv

👥 作者与机构

作者：Jinming Zhang, Xionghu Rao, Wei Zhong, Eng Siong Chng 机构：1 浙江大学，中国；2 南洋理工大学，新加坡；3 湖南大学，中国 通讯作者：pmhuan1212@gmail.com, aseschng@ntu.edu.sg

💡 毒舌点评

这篇论文瞄准了音频前端处理中一个真实且略显“脏活累活”的痛点——如何让语音增强（SE）和自动增益控制（AGC）这两个传统分离的模块不再互相打架，而是协同工作。动机非常实际，尤其在会议场景这种音量忽大忽小、噪音干扰多的地方。作者提出的端到端联合训练框架思路清晰，通过让SE“手下留情”（用不对称损失保留弱语音），再交给AGC统一调整音量，逻辑自洽。贡献也不止于一个模型，还包括了专门造数据的管道和引入工业标准响度指标，这很有工程实践价值。然而，论文的“技术深度”有些不足。AGC模块本身的设计（一堆CNN、LSTM）缺乏更根本的解释，为什么是这个结构？峰值归一化到0.4这个魔法数字从何而来？这些关键细节的缺失让人感觉更像一次成功的工程调参，而非一次深刻的算法创新。对比基线虽然合理，但缺少与更新端到端模型的碰撞。总的来说，这是一篇扎实的应用型工作，解决了一个实际问题，并提供了不错的工具，但在“为什么这样做最有效”的理论上挖得不够深。

📌 核心摘要

本文提出了SE-AGCNet，一个用于联合语音增强（SE）和自动增益控制（AGC）的端到端框架，专门针对会议场景中常见的音量显著变化问题。核心思想是通过联合训练，让SE模块在抑制噪声的同时刻意保留低音量语音，为下游的AGC模块提供有利输入，从而避免传统级联处理中噪声放大或语音过抑制的问题。论文还贡献了一个名为SE-AGC-DataGen的数据模拟管道，用于生成训练数据，并引入了基于ITU-R BS.1770和EBU R128标准的响度评估指标（LUFS, St LUFS, LRA）。在模拟数据集（LibriAGC）和两个真实世界数据集上的实验表明，SE-AGCNet在实现目标响度（-23 LUFS）的同时，能有效提升语音质量和下游语音识别（ASR）的准确性。

🔗 开源详情

  • 代码：https://jinming00.github.io/SE-AGCNet/ （论文中标注为“Code and demo”的链接）
  • 模型权重：论文中未提及模型权重的具体托管链接（如 HuggingFace/ModelScope）。
  • 数据集：
    • LibriAGC：论文中构建并命名的模拟数据集，基于 LibriTTS 构建。论文未提供独立的数据集下载链接，但提供了完整的构建流程（SE-AGC-DataGen）。构建基础数据集 LibriTTS 的常见来源可参考：https://huggingface.co/datasets/keithito/lj_speech （注：此为 LibriSpeech 的常用源之一，论文中未直接提供 LibriTTS 的链接）。
    • 其他引用数据集：VoiceBank+DEMAND、MMCSG、AliMeeting-far，论文中未提供它们的具体下载链接。
  • Demo：https://jinming00.github.io/SE-AGCNet/ （论文中与代码链接一同给出）
  • 复现材料：论文中详细描述了模型架构、训练策略（包括课程学习）及损失函数权重（\(\lambda_{\mathrm{AGC}}=0.9\)），但未提供预训练检查点或具体训练日志等文件的链接。
  • 论文中引用的开源项目：
    • pyagc：https://github.com/jorgehatccrma/pyagc （论文中明确标注并作为基线使用）
    • MP-SENet：论文中作为语音增强（SE）骨干网络，并指出其“official GitHub repository”，但未在本文中给出具体URL。

8. MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning

7.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5

✅ 7.4/10 | 前25% | #音视频分类 | #自监督学习 | #表示学习 #多模态学习 | arxiv

👥 作者与机构

Meta FAIR (Revant Teotia*, Adrien Bardes, Michael Rabbat, Sumit Chopra, Matthew Muckley, Nicolas Ballas*), New York University (Revant Teotia)

💡 毒舌点评

论文提出了一个“简单”的框架，但其消融实验和超参数配置可一点也不简单。将一个巨大的ViT-g模型（1B参数）在混合数据集上训练，本身就需要巨大的计算资源，这与“简单”的宣称形成微妙对比。虽然结果不错，但将成功很大程度归功于“跨模态预测”这一简单机制，可能忽略了精心设计的训练技巧（如多阶段学习率、损失缩放）和规模化数据本身带来的红利。此外，结论中称该方法为“模态无关的统一架构”，但目前只在音频-视频这对相对规整的共现模态上验证，距离真正通用的多模态框架还有距离。未来工作部分提到的医学影像、机器人学等更多是画饼，缺乏初步论证。

📌 核心摘要

本文提出了MJEPA，一个用于音视频自监督学习的简单且可扩展的联合嵌入预测架构。不同于先前依赖模态特定编码器和复杂损失函数（如对比学习、重建）的方法，MJEPA采用单一的共享编码器和统一的JEPA预测目标。其核心创新在于显式引入“跨模态预测”机制：除了预测同一模态内的被掩码特征（模态内预测），还预测一个模态的聚合特征（通过池化）从另一个模态（跨模态预测）。消融实验表明，朴素地共享编码器而不进行跨模态对齐会导致两个模态的性能均低于其单模态基线；而引入跨模态预测后，性能显著提升，实现了模态间的正向迁移。在AudioSet-20K等基准上的冻结评估中，MJEPA超越了先前的冻结SOTA方法，其冻结特征在部分音频任务上甚至优于全量微调模型，在视频任务上使用10倍少的视频数据也能达到可比性能。论文强调了在简单架构下，通过合适的预测目标实现跨模态对齐的重要性。

🔗 开源详情

  • 代码：论文中未提供代码链接。
  • 模型权重：论文中未提供模型权重下载链接。
  • 数据集：论文中使用了AudioSet-20K， ESC-50， FSD50K， Kinetics-400， SSv2等公开数据集，但未提供获取链接。
  • Demo：未提及。
  • 复现材料：论文未提供预训练检查点。训练配置（超参数等）在补充材料（Supplementary Material）中提供。
  • 论文中引用的开源项目：未提及。

9. Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis

7.3/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

✅ 7.3/10 | 前50% | #语音合成 | #数据增强 | #语音生成 #评估基准 | arxiv

👥 作者与机构

作者：Lianbo Liu, Shiao Zhu, Kai Washizaki, Reo Yoneyama, Haesung Jeon, Mengjie Zhao, Yusuke Fujita, Hao Shi, Nao Yoshida, Yuan Gao, Roman Koshkin, Yukiya Hono, Yui Sudo。机构：SB Intuitions。

💡 毒舌点评

这篇论文解决了一个真实且重要的问题：日语TTS中的汉字多音字。其核心贡献——大规模数据训练结合针对性数据增强，并配套全新的评估体系——思路清晰且执行有力。然而，审稿人必须指出，论文的“系统性”解决方案在开源版本中打了折扣：核心的PronSteering模型并未开源，仅提供了其产出的合成数据。这就像提供了一份用秘方腌制好的肉，却不公布秘方本身。此外，论文中展示的跨语言鲁棒性结果极具吸引力，但其解释（训练数据语言比例）可能过于简化，提示语言影响TTS发音的深层机制尚未被真正剖析。工程细节的缺失（训练资源、速度）也让其实际部署价值在纸面上打了折扣。总体而言，这是一篇扎实的、以数据和评估驱动的工作，但离“开箱即用的完整解决方案”尚有一步之遥。

📌 核心摘要

本文提出了Sarashina2.2-TTS，一个专注于解决日语语音合成中汉字多音字歧义问题的LLM-TTS系统。作者通过双管齐下的策略应对挑战：在数据层面，利用迄今最大的日语开源训练数据集（约19.4万小时）进行预训练，并设计了一个合成数据增强管道，覆盖所有官方常用汉字的读音以处理罕见情况；在评估层面，提出了假名级别的字符错误率（Kana-CER）和覆盖所有常用汉字读音的基准测试集（Joyo Kanji Yomi Benchmark），实现了对多音字错误的精确诊断。实验表明，该方法在汉字级读音准确度上超越了所有基线系统，并在零样本说话人相似度和跨语言提示鲁棒性方面表现出色。

🔗 开源详情

  • 代码：https://github.com/sbintuitions/sarashina2.2-tts
  • 模型权重：https://github.com/sbintuitions/sarashina2.2-tts （根据论文描述，与代码一同提供）
  • 数据集：Joyo Kanji Yomi Benchmark：https://github.com/sbintuitions/JoyoKanji-Yomi-Benchmark
  • Kana-ASR模型：https://huggingface.co/sbintuitions/kana-whisper
  • 评估脚本：包含在上述GitHub仓库中。
  • 论文中引用的开源项目：
    • CosyVoice 2：声学阶段组件来源。链接：https://github.com/FunAudioLLM/CosyVoice
    • HiFi-GAN：声码器。链接：https://github.com/jik876/hifi-gan
    • Whisper large-v3-turbo：用于ASR和微调Kana-ASR。链接：https://github.com/openai/whisper
  • 复现材料：论文描述了两阶段训练策略，但未提供独立的详细配置文件、检查点或完整的复现脚本。PronSteering模型的合成管道代码未开源。

10. One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications

7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5

✅ 7.2/10 | 前50% | #语音增强 | #混合专家系统 | #实时处理 #延迟控制 | arxiv

👥 作者与机构

  • 作者：Szu-Wei Fu, Rong Chao, Xuesong Yang, Sung-Feng Huang, Ante Jukić, Yu Tsao, Yu-Chiang Frank Wang
  • 机构：1. 台湾大学电机工程系；2. 中央研究院资讯科技创新研究中心。机构信息在论文作者名字的上标中标明。

💡 毒舌点评

这篇论文试图解决一个很实际的问题：用一个模型应对不同延迟要求的实时语音增强。想法很酷，但实现细节经不起推敲。并行卷积层（类似MoE）和早退机制的组合听起来很灵活，但所谓的“通用性”是建立在一个巨大的前提之下的——你得在部署时针对每个硬件和延迟预算重新测试并剪枝模型，这在实际应用中可能并不“通用”。所谓的“两阶段训练”本质上是个后处理的补丁，用来弥补早退机制带来的性能损失。实验数据虽多，但大部分是URGENT Challenge这个特定竞赛的数据集和设定，模型在VoiceBank-DEMAND上跑出的数字（PESQ 2.76）看着不错，但别忘了它可是用了3倍于DeepFilterNet3的参数量（2.9M vs 2.14M）才达到的，性价比存疑。最让人不安的是关于实时性的讨论：作者在论文里都承认12层模型在A100上RTF>1，不满足实时要求，却依然把它纳入“30种配置”中来宣传，这有点自欺欺人。总的来说，这是一篇工程整合度高于学术创新性的论文。

📌 核心摘要

本文提出了一种名为“One Model, Many Latencies”的实时通用语音增强框架，旨在用单一模型满足不同实时应用（如VoIP、流式ASR）的多样化延迟预算需求。该框架通过并行卷积层显式控制算法延迟（即模型需要看多少未来的帧），并通过早退机制动态调整计算延迟（即使用网络的多深）。为解决早退机制中间层性能不佳的问题，作者设计了两阶段训练策略，从共享解码器过渡到为每个退出层分配独立解码器。在URGENT 2025 Challenge数据集上，该模型支持30种延迟配置（10个退出层 × 3个看帧数），性能接近为每个配置单独训练的专用模型。在VoiceBank-DEMAND基准测试上，该模型也取得了有竞争力的结果。

🔗 开源详情

  • 代码：论文中未提供代码链接。论文在第VI-F节明确指出：“Our one-for-all model will be released upon acceptance.” 这表明模型将在论文被接收后开源，但目前未提供具体代码仓库链接。
  • 模型权重：论文中未提及。
  • 数据集：论文中未提及具体数据集的获取链接。论文使用了URGENT 2025 Challenge提供的数据集进行训练和评估，但未给出独立的数据集下载地址。此外，评估部分使用了公开的VoiceBank-DEMAND基准数据集。
  • Demo：论文中未提及。
  • 复现材料：论文中未提及。论文详细描述了训练配置（如学习率、随机采样退出层和看帧数范围等），但未提供具体的配置文件、训练脚本或预训练检查点链接。
  • 论文中引用的开源项目：
    • DEMUCS: 论文中引用为基线模型之一，未提供链接。
    • DeepFilterNet3: 论文中引用为基线模型之一，未提供链接。
    • Diffusion Buffer: 论文中引用为基线模型之一，未提供链接。
    • Stream.FM: 论文中引用为基线模型之一，未提供链接。
    • TF-GridNet: 论文中引用为URGENT 2025 Challenge的非因果基线模型，未提供链接。
    • USEMamba: 论文中提到本模型的架构主要遵循此工作，未提供链接。
    • RE-USE: 论文中提到与本模型的训练策略进行对比，未提供链接。
    • UTMOS: 论文中用作评估指标，未提供链接。
    • DNSMOS: 论文中用作评估指标，未提供链接。
    • NISQA: 论文中用作评估指标，未提供链接。
    • PESQ: 论文中用作评估指标，未提供链接。
    • ESTOI: 论文中用作评估指标，未提供链接。
    • SpeechBERTScore (SBERT): 论文中用作评估指标，未提供链接。
    • Levenshtein Phoneme Similarity (LPS): 论文中用作评估指标，未提供链接。

11. From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models

7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.0/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5

✅ 7.2/10 | 前50% | #音频理解 | #模型评估 | #语音识别 #场景理解 | arxiv

👥 作者与机构

第一作者：Pengfei Zhang (University of California Irvine) 其他作者：Hoang H Nguyen (University of Illinois Chicago), Kazi Shaharair Sharif (Kennesaw State University), Yutong Song (University of California Irvine), Wenjun Huang (University of California Irvine), Henry Peng Zou (University of Illinois Chicago), Pinxin Liu (未注明机构), Honghui Xu (Kennesaw State University), Amir M. Rahmani (University of California Irvine) 通讯机构：University of California Irvine

💡 毒舌点评

这篇论文抓住了一个真实存在的痛点——现有的音频评估大多是“聋子的耳朵”，各听各的。作者提出的CASU范式和半合成数据流水线思路清晰，构建的四个任务也有巧思，尤其是反事实推理，算是给社区提供了一把衡量“听懂话外音”的尺子。然而，尺子本身是塑料做的（半合成数据），而非钢制的（真实世界数据），这使其硬度（生态效度）存疑。实验结果揭示的“感知-理解差距”并不令人意外，更像是一次严谨的确认。主要问题在于，这个“benchmark”的生命力可能受限于其生成规则——当真实场景的复杂性、模糊性和偶然性远超脚本控制时，模型的表现会如何？此外，缺乏开源使得其影响力大打折扣，学术贡献停留在“指出问题”和“提供一个闭源评估工具”的层面，未能最大化社区价值。

📌 核心摘要

论文指出了当前大型音频语言模型（LALMs）评估体系的一个重大缺陷：多数基准仅评估孤立的音频层（如语音、音效），忽视了真实听觉场景中多种声音共存时产生的复杂上下文逻辑关系。为解决这一问题，论文提出了“上下文感知听觉场景理解”（CASU）新范式，并构建了一个相应的基准测试集。CASU的核心是评估模型能否整合语音、环境声和事件声，并推理它们之间的语义关系。论文设计了一套可扩展的半合成数据生成流水线，通过组合真实场景声与合成语音来构建具有精确跨层关系的音频流，并据此构建了包含上下文推理、实体提取、角色推断和反事实推理四个任务的测试集。在多个SOTA LALMs上的实验揭示了关键的“感知-理解差距”：模型在单一感知任务上表现优异，但在需要跨层逻辑推理的场景理解任务上普遍表现不佳。消融实验证实，语音是信息基础，但环境声和事件声提供了不可或缺的逻辑约束。论文还发现，提供文本场景提示有助于提升模型性能，而端到端的联合处理模型普遍优于级联管道。本文贡献在于提出了新的评估范式、数据生成流水线以及一个揭示模型当前局限的基准。

🔗 开源详情

  • 代码：论文中未提及代码开源。
  • 模型权重：论文中未提及模型权重开源。
  • 数据集：论文明确指出数据集尚未公开，论文中未提供任何数据下载链接。
  • Demo：论文中未提及。
  • 复现材料：论文未提供训练配置、模型检查点等复现材料。
  • 论文中引用的开源项目：
    • Zonos: 高保真语音合成工具，用于生成语音层。提供了GitHub链接：https://github.com/Zyphra/Zonos。
    • Clotho: 用于背景声音检索的开源数据集。
    • ARCA23K: 用于短暂事件声音检索的开源数据集。
    • Sentence Transformer: 用于文本编码以计算匹配分数的模型。

12. Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

7.2/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 1.5/1.5

✅ 7.2/10 | 前25% | #语音合成 | #端到端学习 | #语音识别 #多模态模型 | arxiv

👥 作者与机构

Wan Team, Alibaba Group

💡 毒舌点评

这篇工作野心很大，试图用一个模型解决实时交互的“全双工”问题。优点是系统集成度高，从感知到生成一气呵成。但作为一篇会议论文，它更像是一份优秀的工程报告，而非一篇算法或理论创新驱动的学术论文。最令人遗憾的是，几乎所有关键的技术细节都被“黑箱化”了：Transformer的具体结构？多模态token如何调度？流匹配解码器细节？统统没有。实验部分更是避重就轻，用大量篇幅和不规范的表格对比“延迟”，却对生成质量避而不谈。消融实验？不存在的。这就像一个厨师说他的新菜“又快又好吃”，但拒绝透露菜谱、食材和火候，只给你看了一个计时器。对于顶会论文而言，这种程度的细节披露严重不足，可复现性基本为零。作者提出的v0.1版和192p分辨率也暗示这更像一个技术演示而非成熟方案。

📌 核心摘要

Wan-Streamer是一个原生流式、端到端的实时交互基础模型，旨在实现低延迟、全双工的音视频交互。它在一个单一的Transformer中建模文本、音频和视频的输入与输出，无需依赖外部的ASR、TTS、动画或视频生成等级联模块。论文的核心贡献包括：1）提出了一种全因果的多模态架构，包括因果VAE、因果编解码器、块因果注意力以及全历史自回归流式处理；2）设计了“思想家-执行者”（thinker-performer）推理流水线，通过KV缓存交换实现理解与生成过程的重叠，实现了约200毫秒的模型端响应延迟和约550毫秒（含350ms网络延迟）的总交互延迟。论文强调，这种端到端设计使得感知、推理、生成、响应时机控制和轮次管理能在统一的模型中联合优化，从而减少流水线延迟和误差累积。

🔗 开源详情

  • 代码：论文中未提及代码链接
  • 模型权重：论文中未提及
  • 数据集：论文中未提及
  • Demo：https://wan-streamer.com/
  • 复现材料：论文中未提及
  • 论文中引用的开源项目：未提及

13. Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?

7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 7.1/10 | 前50% | #语音识别 | #序列到序列模型 | #语音合成 #语音翻译 | arxiv

👥 作者与机构

💡 毒舌点评

这篇论文像一篇严谨的“消融实验报告”。它精确地回答了一个问题：在训练语音编码器时，加入翻译任务到底有没有用、有多大用？答案是“有用，且双向翻译比单向翻译更有用”。优点在于实验设计非常干净（控制变量），结论清晰直接。然而，这种清晰也暴露了其局限：研究范围被严格限定在“将预训练好的编码器接入冻结LLM”这一特定范式内，没有探索更灵活的架构（如端到端训练）。130k小时的训练数据对于如今的大模型时代来说显得“小家碧玉”，更像是在验证一个想法而非冲击SOTA。开源方面的完全缺席，对于需要复现或在该方向上继续推进的同行来说，无疑是一种遗憾。

📌 核心摘要

本文的核心研究问题是：在预训练语音编码器时，引入翻译任务（尤其是双向翻译）能否改善其与冻结的大语言模型的集成效果？作者认为，传统基于ASR的编码器学习到的是语言特定的表示，这与LLM统一的语义空间存在结构错位。为解决此问题，他们提出在预训练阶段加入跨语言翻译任务，特别是要求模型在英语与其他语言之间进行双向翻译，以迫使编码器学习语言无关的语义表示。实验对比了三种预训练目标：仅ASR、ASR + 单向翻译（X→en）、ASR + 双向翻译（X↔en）。结果表明，双向翻译预训练（X↔en）在语音翻译、意图分类等任务上带来了显著且一致的性能提升，并且能够泛化到预训练未见过的语言对，同时不损害依赖声学信息的情感识别任务性能。论文将这一优势归因于双向翻译目标提供了更对称、更彻底的语义抽象路径。

🔗 开源详情

  • 代码：论文中未提及代码仓库链接。
  • 模型权重：论文中未提及预训练模型或适配器权重的下载链接。
  • 数据集：论文中详细列出了训练和评估所使用的数据集名称。
    • 基础模型预训练数据：包含 LibriSpeech (英语), ReazonSpeech (日语), Multilingual LibriSpeech (德语), WenetSpeech (中文), YODAS-OWSMv4 和 Common Voice (跨语言)。具体数据集获取链接未在论文中提供。
    • Speech LLM 训练及评估数据：包含 VoxPopuli, FLEURS, AISHELL, JSUT, CoVoST2, SpeechBSD, SLURP, Speech-MASSIVE, MELD。具体数据集获取链接未在论文中提供。
  • Demo：论文中未提及演示链接。
  • 复现材料：论文提供了较为详细的训练配置，包括数据混合比例、模型架构参数、学习率调度等超参数信息。然而，未提供训练脚本、配置文件或预训练检查点等直接用于复现的额外材料。
  • 论文中引用的开源项目：
    • Whisper：作为基础架构和对比基线被广泛引用，但未提供具体代码链接。
    • OWSM v4 / OWSM v3.1：在提示格式设计和训练策略上被引用，但未提供具体项目链接。
    • Qwen2.5-32B-Instruct：用于生成翻译数据，但未提供具体模型获取链接。
    • Llama 3.2：作为语言模型组件被使用，但未提供具体模型下载链接。

14. Adaptive Oscillatory Inductive Bias for Modeling Sharp Prosodic Dynamics in Diffusion-Based TTS

7.0/10 | 创新 1.0/2 | 严谨 1.0/1.5 | 实验 1.5/1.5 | 清晰 1.0/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5

✅ 7.0/10 | 前50% | #语音合成 | #神经网络架构 | #扩散模型 #情感语音合成 | arxiv

👥 作者与机构

Sandipan Dhar, Nirmesh Shah, Ashishkumar P. Gudmalwar, Pankaj Wasnik. Sony Research India.

💡 毒舌点评

这篇论文本质上是给一个强大的现有系统（StyleTTS2）换了个激活函数，然后包装成“自适应振荡感应偏置”这样一个听起来高深的概念。创新性实在有限，相当于在 Snake 激活函数的基础上加了个可学习的缩放参数和一个恒等映射，然后声称这能更好地捕捉“尖锐的韵律转换”。论文的理论分析部分，那个四层回归模型的收敛性实验，说服力约等于零——用最简单的玩具任务来论证一个复杂的TTS模型中的关键组件，这操作有点“挂羊头卖狗肉”。实验部分倒是跑了不少指标，但分析流于表面，尤其是 WER 的剧烈变化完全没给出合理解释。最让人皱眉的是，论文声称“开源”，但根据原文，代码、模型权重链接统统没给，只给了个演示链接，这算哪门子开源？整体感觉像是一篇“增量式”的工作，包装得比实质贡献要好。

📌 核心摘要

本文针对扩散模型TTS中建模快速、尖锐的韵律转换（如情感语音中的音高骤变）这一挑战，提出了一种自适应振荡非线性激活函数 Oscilla（\(x + \tanh(\alpha \sin^2(x))\)），并将其集成到 StyleTTS2 的解码器中，构成 OscillaTTS 系统。该激活函数通过可学习参数 \(\alpha\) 实现周期调制的自适应控制，并通过线性项 \(x\) 保持信号稳定性。在 LJSpeech 和 ESD 数据集上的实验表明，该方法在主观（MUSHRA, ES MOS）和客观（MCD, F0-RMSE, AutoPCP, WER）指标上相比基线有所提升，尤其是在情感语音合成任务上。然而，论文的核心创新是对现有周期激活函数的简单修改，理论深度不足，实验分析不够深入，且实际开源状态与声称不符。

🔗 开源详情

  • 代码：论文中未提及提供代码仓库链接。
  • 模型权重：论文中未提及提供模型权重链接。
  • 数据集：
    • LJSpeech：论文中提及，可从其官方页面获取：https://keithito.com/LJ-Speech-Dataset/。
    • Emotional Speech Dataset (ESD)：论文中提及，可从其官方仓库获取：https://github.com/esslab/ESD。
  • Demo：论文中提供了在线演示链接：https://research.sri-media-analysis.com/interspeech26-oscilla-tts/。
  • 复现材料：论文中详细描述了模型架构、训练流程、超参数和评估指标，但未提及是否提供完整的检查点或附录等复现材料包。
  • 论文中引用的开源项目：
    • StyleTTS2：论文明确指出其架构基于此项目。链接：https://github.com/suno-ai/styletts2
    • PLBert：论文中提及为一个预训练的音素级编码器。未提供具体链接。
    • iSTFT-Net：论文中指出解码器基于此架构。未提供具体链接。
    • BigVGAN：论文在对比实验中提及此声码器。链接：https://github.com/NVIDIA/BigVGAN
    • JDC (Joint Diffusion-based Contour) 网络：论文中提及用于提取基频信息。未提供具体链接。
    • HOSC Activation：论文中提及受此激活函数启发。未提供具体链接。
    • Snake Activation：论文中多次提及作为基线激活函数。未提供具体链接。
    • Whisper：论文中提及用于计算字错率（WER）的语音识别模型。链接：https://github.com/openai/whisper

15. End-to-End Voice Intent Recognition for Spontaneous Human-Drone Interaction with Naive Users

7.0/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1.0/1 | 影响 0.4/1.5 | 开源 0.0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 7.0/10 | 前50% | #语音意图识别 | #自监督学习 | #端到端 #知识蒸馏 | arxiv

👥 作者与机构

Allan Henry1,2,3, Solange Rossato1, Christian Graff2, Sylvain Huet3, Jose-Ernesto Gomez-Balderas3。 1LIG, Univ. Grenoble Alpes, Grenoble, France；2LPNC, Univ. Grenoble Alpes, Grenoble, France；3GIPSA-lab, Univ. Grenoble Alpes, Grenoble, France。 通讯邮箱：firstname.lastname@univ-grenoble-alpes.fr。

💡 毒舌点评

这篇论文的动机清晰，工程目标明确，解决了一个实际的“最后一公里”问题：让普通用户能用自然、甚至有点结巴的法语来控无人机，而不是背诵“向左转、向前飞”这样的军规。作者很聪明地把冻结的SSL编码器和跨模态蒸馏这两个已被验证有效的“大招”组合起来，针对无人机控制这个低延迟、高鲁棒性的特殊场景进行了优化。最大的亮点在于他们自己收集并发布了（计划发布）一个宝贵的法语自发语音数据集VoiceStick，这比在现有数据集上刷分要实在得多，为后续研究立了标杆。实验设计也中规中矩，有基线对比、消融研究和统计检验。

然而，作为一篇瞄准顶级会议的论文，其“天花板”似乎触手可及。方法的创新性主要在于“组合”而非“突破”，将现有的SSL冻结+蒸馏范式应用于特定领域。论文在理论深度上显得薄弱，对于为什么跨模态蒸馏在这个任务上如此有效（平均提升7个百分点），解释还停留在“对齐语义”的表面，缺乏更深入的机制探讨。最大的硬伤是“闭环”测试的缺失——所有实验都是离线的，准确率再高，如果用户在真实飞行中因为一个“向左”的误判而导致炸机，那93%的数字就毫无意义。此外，错误分析部分本可以更精彩，比如对“左/右”混淆的声学分析只给了一个例子，没有给出系统性的统计，这对于理解模型的极限和指导后续改进至关重要。论文更像是一个扎实的工程报告和数据集介绍，在“科学发现”的新颖性和深刻性上稍显不足。

📌 核心摘要

本文针对非专业用户使用自发语音控制无人机的场景，提出了一种端到端的口语理解（SLU）架构。现有无人机语音控制系统依赖僵化指令集，无法处理用户自然、不流利的语音；而传统级联系统（ASR+文本分类）延迟高且存在错误传播问题。为此，本文设计了一种轻量级端到端模型，其核心架构如论文图1所示：首先使用冻结的自监督学习（SSL）声学编码器（如法语特化的XLSR-53-FR）从原始音频中提取高级特征；为处理自发语音的时长和节奏变化，采用LSTM编码器建模序列依赖，并通过注意力池化机制将变长序列聚合为固定维度的表示。模型采用双头结构：分类头直接预测意图类别，蒸馏头则将声学表示投影到与文本教师模型（如CamemBERT）对齐的语义空间。训练时联合优化分类交叉熵损失与语义对齐余弦损失，推理时仅需音频输入。论文构建并评估了法语自发语音数据集VoiceStick（约2小时，4219个话语）。实验表明，在明确指令子集上，最佳端到端模型（XLSR-53-FR）���到93%准确率和7毫秒延迟，显著优于Whisper+CamemBERT级联基线（79%，202毫秒）。消融研究证实，移除蒸馏损失平均导致7个百分点的性能下降。在包含真实歧义的完整测试集上，模型准确率为82%。结果证明，该端到端架构在无人机实时遥操作中，兼具高精度、低延迟和对自发语音的鲁棒性。

🔗 开源详情

  • 代码：论文中未提及代码链接。
  • 模型权重：论文中未提及具体模型权重链接。
  • 数据集：VoiceStick 语料库。
    • 名称：VoiceStick。
    • 链接：https://zenodo.org/records/19882638
    • 备注：论文中指出，该数据集在论文被接受后将公开。当前链接指向已发布的数据集记录。
  • Demo：论文中未提及在线演示链接。
  • 复现材料：论文中提及了部分训练配置（如优化器AdamW，学习率10^-3，权重衰减10^-4，批大小1，早停耐心值5，使用单块RTX 2000 Ada GPU进行微调），但未提供完整的训练脚本、检查点或详细的复现指南链接。
  • 论文中引用的开源项目：
    • wav2vec 2.0：论文引用了原始论文链接。 https://arxiv.org/abs/2006.11477
    • HuBERT：论文引用了原始论文链接。 https://arxiv.org/abs/2106.07447
    • SUPERB Benchmark：论文引用了原始论文链接。 https://arxiv.org/abs/2105.01051
    • DistilHuBERT：论文引用了原始论文链接。 https://arxiv.org/abs/2110.01900
    • Sentence-BERT：论文引用了原始论文链接。 https://arxiv.org/abs/1908.10084
    • CamemBERT：论文引用了原始论文链接。 https://aclanthology.org/2020.acl-main.645/
    • LeBenchmark 2.0：论文引用了预印本链接。 https://arxiv.org/abs/2309.05472
    • Pantagruel：论文引用了预印本链接。 https://arxiv.org/abs/2601.05911
    • Whisper：论文引用了原始论文链接。 https://proceedings.mlr.press/v202/radford23a.html
    • VoxPopuli：论文引用了原始论文链接。 https://aclanthology.org/2021.acl-long.80/
    • data2vec：论文引用了原始论文链接。 https://arxiv.org/abs/2202.03555
    • MiniLM：论文引用了原始论文链接。 https://arxiv.org/abs/2002.10957
    • M3-Embedding：论文引用了预印本链接。 https://arxiv.org/abs/2402.03216
    • Text Embeddings by Weakly-Supervised Contrastive Pre-training：论文引用了预印本链接。 https://arxiv.org/abs/2212.03533

16. Real-Time Voice AI Hears but Does Not Listen

7.0/10 | 创新 1.0/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 7.0/10 | 前50% | #语音评估 | #实验评估 | #情感计算 #人机交互 | arxiv

👥 作者与机构

Martijn Bartelds (Together AI), Federico Bianchi (Together AI), James Zou (Together AI, Stanford University)

💡 毒舌点评

这篇论文像个犀利的诊断医生，精准地指出了当前“多模态”语音AI的一个重大“病症”——“听见但不听”（Hears but Does Not Listen）。它设计了几个非常直观、具有现实冲击力的冲突场景（比如一边哭一边说“没事”），用最直接的“决策行为”作为试金石，而非仅仅停留在分类标签上，这一点立意很高，直指部署安全的核心。然而，作为一篇顶会论文，其“手术刀”似乎还不够锋利和全面。研究本质上是一项高质量的系统评测，但方法创新性和技术深度有限。它诊断出了问题，但对于“病因”（如模型架构缺陷、训练数据偏差）的探究浮于表面，仅引用了现有工作的假说。实验结果虽然结论强烈，但评估维度相对传统（情绪、口音、年龄），且未对商业API模型背后的任何技术细节进行分析或控制变量，使得洞察更偏向于现象观察而非机理剖析。论文最大的价值在于为社区敲响了警钟，并提出了一个重要的评估范式，但若期望它给出解决路径或更深层的理论解释，则会感到失望。

📌 核心摘要

本研究系统性地评估了四个领先的生产级实时语音AI系统（GPT Realtime 2, Gemini 3.1 Flash Live, Qwen3.5 Omni Plus/Flash Realtime），探究它们在处理“词汇信息”与“非词汇信息”（如情绪、语气）冲突时的决策机制。研究设计了三个具有高风险含义的多轮对话场景（紧急情况回访、银行反诈核实、志愿者招募），其中语音传递的情绪（如哭泣、恐惧、讽刺）与文字内容（“一切正常”、“我授权”、“我同意”）指向相反的行动指令。同时，通过单轮诊断测试，直接探查系统对声音情绪、说话人口音和年龄的感知能力。核心发现是，这四个系统普遍存在“情感智能差距”：三个系统能够在感知层面识别出语音中的情绪（尽管程度不一），但在做决策时，却几乎完全依赖文字内容，从而导致了错误的决策（如结束对哭泣者的求救回访、批准在恐惧语气下的大额转账）。一个系统（Qwen3.5 Omni Flash）甚至在感知阶段就无法正确识别某些情绪。尝试通过提示词引导系统“关注语气”或“覆盖文字”只能带来部分且不稳定的改善。研究证实，当前实时语音AI的行为模式，在很大程度上等同于将语音信号降级为文字转录来处理，这在依赖语音传递关键情境信息的领域（如医疗、金融、紧急服务）构成了显著的安全风险。

🔗 开源详情

  • 代码：论文中未提供代码链接。
  • 模型权重：论文中未提及。论文评估的是通过公共API访问的商业模型（GPT Realtime 2， Gemini 3.1 Flash Live， Qwen3.5 Omni Plus Realtime， Qwen3.5 Omni Flash Realtime），未提供开源模型权重。
  • 数据集：论文中未提及使用现有数据集。所有实验语音均通过ElevenLabs文本转语音服务合成，实验刺激（语音片段、脚本）由作者自行设计，并在附录C中提供了完整的文本脚本。
  • Demo：论文中未提及在线演示。
  • 复现材料：论文提供了详细的实验复现材料，包括：
    • 附录A：所有三个多轮场景（福利回访、电汇欺诈检查、志愿者招募）的完整提示词（包括基础指令、‘关注’指令和‘覆盖’指令版本）。
    • 附录B：所有单轮诊断任务（情绪、口音、年龄）的完整提示词。
    • 附录C：所有实验刺激的完整文本脚本（用于合成语音）。
    • 附录D：用于人类听众验证的实验工具和问题。 这些信息共同构成了复现论文实验所需的核心材料。
  • 论文中引用的外部服务：
    • ElevenLabs：用于合成所有实验语音的文本转语音（TTS）服务。论文明确引用了ElevenLabs, 2026。
    • GPT-5.5：用于驱动自动化呼叫者对话的模型。论文在附录A中使用了gpt-5.5标识符，并引用了OpenAI, 2026b，但未提供公开访问链接。 项目主页链接为：https://real-time-voice.github.io

17. FoleySet: A Multi-Level Human-Annotated Foley Sound Dataset

7.0/10 | 创新 1.0/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

✅ 7.0/10 | 前50% | #音频分类 | #迁移学习 | #数据集 #开源 | arxiv

👥 作者与机构

未明确列出

💡 毒舌点评

这篇论文像一份工整的“产品说明书”，而不是一篇充满惊喜的科研报告。它清晰地定义并打包了一个“Foley声音零件箱”，分类详尽，标签规范，甚至附上了质检报告（基线实验）。然而，对于NeurIPS/ICLR这类顶会而言，这更像是在展示一个精心准备好的“材料”，而不是用这些材料做出了“惊人的菜肴”。它的核心贡献是“构建了什么”，而非“发现了什么新知识或新方法”。分类法的构建过程描述详尽，但缺乏对分类法本身有效性的实证评估（如人机一致性验证）。实验部分只展示了最基础的“线性探针”性能，如同只测试了零件的尺寸是否合规，却没组装成原型机看看跑起来怎么样，更别提和现有的“竞品”（其他Foley数据集）在核心任务上真刀真枪地比一场了。作者诚实地指出了单一标注员、长尾分布等局限，这很好，但“诚实”不能完全弥补“深度”的不足。它是一份扎实的基础工作，但距离一篇能激发领域广泛讨论、带来方法论或洞察突破的顶会论文，还有距离。

📌 核心摘要

本文提出了FoleySet，一个公开的、专注于Foley（拟音）声音的数据集。该数据集包含10,000个经过人类标注的音频片段，来源于Freesound平台，并采用了一个为Foley任务设计的双层分类体系（9个主类别，73个子类别）。论文详细阐述了该分类体系的构建过程，并描述了从数据收集、筛选、标注到归一化的完整数据集构建流程。作为基准，论文使用预训练的PaSST模型对主要类别和子类别分类任务进行了评估，分别为82%和64%的准确率，为后续研究提供了可比较的起点。

🔗 开源详情

  • 代码：论文中未提及代码仓库或代码链接。
  • 模型权重：论文中未提及在FoleySet上训练好的模型权重。基准实验中使用的预训练模型为PaSST（来自hear21passt包），其链接为：https://github.com/kwatcharasakorn/hear21passt。
  • 数据集：FoleySet 数据集（10,000个音频片段，CC0许可证）。
    • 主要链接：https://zenodo.org/records/20735877
    • 开源协议：Creative Commons Zero (CC0) 许可。
  • Demo：论文中未提及在线演示链接。
  • 复现材料：论文提供了详细的分类基准实验设置，可用于复现实验部分：
    • 特征提取器：PaSST (Patchout Spectrogram Transformer)，使用hear21passt包。
    • 分类器：线性探针（Linear Probe）分类器。
    • 训练配置：使用AdamW优化器；采用类别加权交叉熵损失（权重为 \(N / (K \cdot n_k)\)）；监控验证集准确率进行早停（patience=10个epoch）。
    • 评估数据：测试集包含1000个样本。
    • 附录材料：包含完整的关键词到类别映射表（表6）和73类子类别分类的完整结果表（表7）。
  • 论文中引用的开源项目：
    1. PaSST / hear21passt：作为预训练特征提取器使用。
      • 链接：https://github.com/kwatcharasakorn/hear21passt
    2. HEAR 2021 NeurIPS Challenge API：hear21passt遵循此API。
      • 链接：https://hearing.ai/
    3. DCASE 2023 Task 7：引用了其挑战赛和提供的Foley声音合成数据集。
      • 链接：https://dcase.community/challenge2023/task-foley-sound-synthesis
    4. FoleyBench：作为相关数据集被引用。
      • 链接：论文中未提供具体仓库链接。
    5. MINT：作为相关数据集被引用。
      • 链接：论文中未提供具体仓库链接。
    6. 6KSFx：作为相关数据集被引用。
      • 链接：论文中未提供具体仓库链接。
    7. AudioSet：作为通用音频数据集被详细对比和引用。
      • 链接：https://research.google.com/audioset/
    8. FSD50K：作为开源声音事件数据集被详细对比和引用。
      • 链接：https://zenodo.org/record/4060432
    9. ESC-50：作为环境声数据集被引用。
      • 链接：https://github.com/karolpiczak/ESC-50
    10. UrbanSound8K：作为城市声数据集被引用。
      • 链接：http://urbansounddataset.weebly.com/urbansound8k.html
    11. Universal Category System (UCS)：作为音效分类体系被引用。
      • 链接：论文中未提供具体项目链接。

18. EmotionAI: A Privacy-Preserving Computational Intelligence Pipeline for Speech-Emotion-Grounded Conversational Analysis

6.9/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5

✅ 6.9/10 | 前50% | #语音情感识别 | #系统与管道 | #隐私保护计算 #本地部署 | arxiv

👥 作者与机构

Wai Laam Mak (通讯作者), Isibor Kennedy Ihianle, Pedro Machado (通讯作者)。隶属于英国诺丁汉特伦特大学科学技术学院。

💡 毒舌点评

一篇动机清晰、立场诚实的系统集成论文。作者没有掩饰其情感识别核心组件在跨语料库场景下的拉垮表现（Sad类F1值仅0.010），而是坦然展示，这点值得肯定。然而，作为一篇NeurIPS/ICML/ICLR级别的论文，其“计算智能”的贡献更像是在用乐高积木搭建一个现有模型的流水线。创新性主要体现在流程的“组装”和“隐私保护”概念上，而非算法层面的突破。最大的软肋在于对LLM问答效用（EQ2）的评估，仅在一个117.9秒的录音和12个问题上做文章，样本量小到让统计检验失去意义，难以支撑“情感证据能提升分析质量”的核心主张。论文更像是一个有潜力的概念验证原型，而非一篇成熟的研究工作。

📌 核心摘要

本文提出了EmotionAI，一个旨在保护隐私的本地化计算智能管道，用于从录音访谈中进行情感-grounded的对话分析。该系统整合了pyannote 3.1进行说话人分割、Whisper进行语音识别以及wav2vec2进行情感分类，将每段语音的情感概率作为结构化元数据，注入给一个由Llama 3.2:3B、Qwen 2.5:3B和Gemma 3:4B组成的本地对抗性LLM面板，最终生成带有时间戳和证据引用的回答。论文的核心贡献并非追求先进的语音情感识别（SER）性能，而是诚实地展示了将一个表现不佳的零样本SER模型集成到隐私保护分析流程中的完整过程与局限。关键评估结果包括：在RAVDESS数据集上，部署的wav2vec2-large模型零样本准确率（48.8%）远低于域内MFCC基线（71.0%）；在一个小规模问答评估中，情感证据主要影响了模型是否回答，而非回答质量；整个流程可在CPU上以约1.33倍的实时因子运行，无需外部调用。

🔗 开源详情

  • 代码：论文中明确指出“Code is available on request”（代码可应要求提供），但未提供任何公开的代码仓库链接（如GitHub）。
  • 模型权重：论文中使用的均为公开预训练模型，但未提供具体的模型下载链接（如HuggingFace、ModelScope页面）。明确列出的模型包括：
    • 说话人分割：pyannote 3.1
    • 说话人验证：WeSpeaker ResNet34-LM
    • 语音识别：openai/whisper-medium
    • 语音情感识别：superb/wav2vec2-large-superb-er
    • 本地大语言模型（通过Ollama运行）：Llama 3.2:3B, Qwen 2.5:3B, Gemma 3:4B
  • 数据集：使用了公共数据集RAVDESS进行SER评估。论文描述了筛选规则（四类、16kHz单声道）及子集构成（672条音频），但未提供数据集下载链接。
  • 复现材料：论文说明将保留“RAVDESS筛选规则、种子交叉验证协议、随机基线种子(42)、评估脚本及每条音频的原始预测结果”在项目仓库中，但项目仓库的公开链接未给出。
  • 论文中引用的开源项目：上述所有模型和工具（pyannote, WeSpeaker, Whisper, wav2vec2, Ollama, librosa）均为开源项目，但论文正文中未提供其具体项目链接。

19. Frequency-Aware Self-Supervised Music Representation Learning

6.8/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5

✅ 6.8/10 | 前50% | #音乐信息检索 | #自监督学习 | #表征学习 #音频分析 | arxiv

👥 作者与机构

作者：Yicheng Gu (学生会员，IEEE), Junan Zhang, Jerry Li, Zhizheng Wu (高级会员，IEEE), Lauri Juvela (会员，IEEE)。机构：Jerry Li, Yicheng Gu 与 Spellbrush (东京)；Lauri Juvela 与阿尔托大学声学实验室；Junan Zhang, Zhizheng Wu 与香港中文大学（深圳）数据科学学院；Yicheng Gu 同时隶属以上三个机构。

💡 毒舌点评

这篇论文的工作扎实，工程细节扎实，试图将视觉领域的JEPA框架引入音乐表征学习，并针对音乐信号特性做了大量精心的定制化修改。其核心动机——直接建模2D时频图——直观且有一定新意，尤其是在对比大量1D方法时。消融实验和推理范式的探索非常详尽，值得肯定。然而，创新性主要停留在将现有视觉框架“适配”到新领域，而非提出全新的音乐表征学习范式。核心理论贡献有限。更关键的是，所有预训练数据均为私有，这对于学术可复现性是重大打击，虽然提供了代码和权重。在部分任务（如HookTheory结构分析）上，2D方法的优势并不明显，作者也承认了这种权衡。评分8.5分明显过高，更接近一个扎实的领域适配工作，而非开创性突破。实验结果表格应完整呈现而非概述。

📌 核心摘要

本文针对现有音乐自监督学习（SSL）模型将音频视为1D序列、丢失时频空间结构信息的局限，提出了PupuJEPA。PupuJEPA是一种视觉联合嵌入预测架构，直接在2D梅尔频谱图上进行自监督训练，通过预测被遮盖的频谱图块的潜在嵌入来学习表征。为适配音乐领域，论文在模型架构（引入SwiGLU、QKNorm，移除DropPath/LayerScale）、训练策略（采用平滑L1损失、特定遮罩策略、课程式训练调度）和推理范式（提出针对2D特征的层融合与块汇聚策略）上进行了系统优化。在MARBLE基准测试上的大量线性探测实验表明，PupuJEPA（尤其是Large模型）在多个MIR任务上优于1D序列基线（如MERT、MuQ）和在相同数据上重新训练的2D音频基线（如AudioMAE、A-JEPA）。消融研究验证了各项修改的有效性，注意力可视化证实模型能捕获有意义的音乐时频模式。

🔗 开源详情

  • 代码：https://www.yichenggu.com/PupuJEPA/ （论文摘要与正文多处明确提及）
  • 模型权重：论文中提及的代码与检查点（Checkpoints）发布地址为 https://www.yichenggu.com/PupuJEPA/
  • 数据集：论文中用于预训练的数据集为“约10万小时的高质量音乐音频的内部数据集”，未公开发布。评估所用的MARBLE基准测试集（论文参考文献[42]）为公开基准，但论文中未提供其具体链接。
  • Demo：论文中未提及在线演示链接。
  • 复现材料：论文中提供了详细的模型配置（包括不同规模的参数、层、维度等，见表I）、训练超参数（如训练步数、批大小、优化器、学习率策略等）、以及下游任务评估设置。这些信息均可在论文正文中找到。
  • 论文中引用的开源项目：论文中提到了多个作为基线或相关工作的项目（如MERT、Dasheng、MuQ、MusicFM、Jukebox、CLMR、MULE、MAE、JEPA、DINO等），但未提供其代码或权重的具体链接。仅明确提供了本文工作PupuJEPA的发布链接。

20. BCoughBench: Benchmarking Respiratory Acoustic Foundation Models Under Body-Coupled Wearable Sensor Conditions

6.7/10 | 创新 1.0/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5

✅ 6.7/10 | 前50% | #音频理解 | #基准测试 | #体耦合传感 #可穿戴设备 | arxiv

👥 作者与机构

Mayur Sanap, Centific Global Solutions Inc., USA Prasanna Desikan, Centific Global Solutions Inc., USA Edgar Lobaton, North Carolina State University, USA

💡 毒舌点评

这篇论文试图填补一个重要的空白：在日益流行的可穿戴设备场景下，现有的呼吸声学基础模型到底还能不能用？动机很好，也确实揭示了一个严峻的事实——在模拟的体耦合条件下，这些模型的临床敏感性（Se@Sp95）几乎全线崩溃，远低于可用的阈值。这比单纯看AUROC下降要有价值得多，算是论文最大的亮点。

然而，作为一篇标杆（Benchmark）论文，其“基准”的稳固性值得商榷。最大的软肋在于：所有的“体耦合”条件都是通过EBEN模型模拟出来的，而非来自真实的可穿戴硬件。作者也承认这需要未来验证。这就像用天气预报软件来模拟飓风，然后得出所有建筑都会倒塌的结论——逻辑没问题，但结论的冲击力大打折扣，因为你没在真实飓风里测过。因此，文中所有关于“传感器退化”的结论，都应加上“在模拟条件下”这个重要前提。

其次，评估框架本身偏于简单。分类只用线性探测，回归只用一个简单的MLP。这虽然公平且易于复现，但也可能低估了下游微调后模型的潜力，或者错过了更复杂的适应性策略。论文更像是一次快速的“体检初筛”，而不是深入的“病理分析”。文中提出的“sensor selection is as important as model selection”是一个有价值的观察，但如何指导实际选择？论文没有提供更具操作性的见解。

总的来说，这篇论文提出了一个关键问题，给出了初步的、警示性的答案，但受限于模拟方法和基础的评估框架，其结论的确定性和对工程实践的直接指导意义有所削弱。它是一份合格的“问题报告”，但离一份权威的“使用手册”还有距离。

📌 核心摘要

BCoughBench是首个系统评估呼吸声学基础模型（FMs）在体耦合（BC）可穿戴传感器条件下性能的基准测试。现有基准仅依赖智能手机录音，忽略了BC传感器通过组织/骨骼传导导致的高频信号衰减。本文利用预训练的EBEN反向模型，将来自五个咳嗽数据集（CoughVID, Coswara, CIDRZ, COPD-CC, CovidUK）的智能手机音频，模拟为五种BC传感器条件（前额加速度计、软耳内麦克风、硬耳内麦克风、颞骨振动拾音器、喉部麦克风）下的音频。然后，使用五个冻结的FMs（OPERA-CT/CE/GT, HeAR, M2D+Resp）提取嵌入，并在9个分类任务和3个年龄回归任务上进行评估。关键发现是：所有模型的平均AUROC从智能手机的0.785下降到BC条件的0.689-0.723；没有任何模型在大多数疾病任务上达到临床可用的敏感性阈值（Se@Sp95 ≥ 0.20）；性能退化呈现任务依赖性，例如CIDRZ数据集上的性别分类AUROC大幅下降（Δ = -0.341），而COVID检测几乎不受影响（Δ = -0.004）；年龄回归任务则表现出鲁棒性，部分条件下性能甚至有所提升。本文强调了在呼吸声学FM评估中，除AUROC外，必须报告临床敏感性（Se@Sp95）和校准误差（ECE）等指标。主要局限在于，所有BC条件均为模拟，未经真实硬件验证。

🔗 开源详情

  • 代码：未提供。论文未公布任何代码仓库。
  • 模型权重：未直接提供。论文评估的五个模型（OPERA-CT/CE/GT, HeAR, M2D+Resp）需参考各自原始论文的开源页面获取。
  • 数据集：使用了五个公开数据集，但论文正文未提供直接的下载链接，仅给出了引用信息。读者需根据引用自行查找原始数据集。
  • Demo：未提及。
  • 复现材料：未提供训练配置文件、检查点或模拟后的BC数据集。论文在方法部分描述了评估协议参数，这为复现提供了部分依据，但完整复现仍需大量额外工作。

21. SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models

6.7/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.2/1.5

✅ 6.7/10 | 前25% | #语音对话系统 | #评估基准 | #多轮对话 #情感智能 | arxiv

👥 作者与机构

Liang-Yuan Wu (纽约大学), Zih-Ching Chen (NVIDIA), Tongshuang Wu (卡内基梅隆大学), C.-H. Huck Yang (NVIDIA), Hua Shen (纽约大学, 上海纽约大学)

💡 毒舌点评

一篇扎实的、填补空白的基准测试工作。其核心价值不在于提出新模型，而在于设计了一套严谨且刁钻的“考试”（SpeechEQ），暴露了当前多模态语音对话模型（SLMs）在社会情感智能上的三大“软肋”：依赖文本捷径、安全对齐导致情感扁平化、以及多轮对话中的遗忘。理论基础（EQ-i 2.0）的选择和“语义-声学解耦”的评估范式设计是亮点，体现了对评估科学性的追求。然而，这终究是一个“评测集”论文，其本身的创新天花板有限。更关键的是，作为评测集，其生态效度完全建立在合成数据之上，这是一个无法回避的“阿喀琉斯之踵”。SEQ分数的计算显得有些过于复杂，为了追求形式上的标准化而增加了理解门槛。此外，虽然评估了多个模型，但主要结论（端到端优于级联、模型存在三大局限）的普适性有待更广泛模型（尤其是非Qwen系列）的验证。论文对自身局限的讨论可以更坦诚一些，特别是数据生成管线对特定TTS模型的依赖问题。

📌 核心摘要

针对当前语音语言模型（SLMs）在多轮社交对话中评估不足的问题，本文提出了SpeechEQ基准。该基准基于心理学EQ-i 2.0框架，构建了包含15个情商子维度的2265个多轮对话数据集（42.37小时音频）。其核心设计是语义-声学解耦：每个评估轮次提供两个文本完全相同、但副语言语调截然不同的音频选项，迫使模型必须通过听觉而非文本来做出判断。论文还提出了一种新的评估指标——语音情商分数（SEQ）。实验发现，端到端模型（如Qwen3-Omni-30B）整体优于级联系统，但所有模型都暴露出“模态捷径”、“安全陷阱”（情感扁平化）和“上下文遗忘”这三个关键问题。

🔗 开源详情

  • 代码：论文中未提及代码链接。
  • 模型权重：论文中未提及模型权重下载链接。
  • 数据集：SpeechEQ 数据集。
    • 链接：https://huggingface.co/datasets/SpeechEQ/SpeechEQ
    • 获取方式：开源（可直接在Hugging Face上访问）。
  • Demo：SpeechEQ 在线演示页面。
    • 链接：https://binomial14.github.io/speecheq-demo/
  • 复现材料：论文提供了完整的附录（Appendix A-E），详细说明了EQ-i 2.0框架分类、数据生成管道（五阶段）、人类验证标准、评估提示词和用于消融实验的人格提示词，但未提供具体的训练配置、检查点或打包的复现材料下载链接。
  • 论文中引用的开源项目：
    • Whisper (large-v3)：OpenAI 开源的语音识别模型。链接：https://github.com/openai/whisper
    • wav2vec2-large-robust-12-emotion-msp-dim：audeering 开源的语音情感识别模型。链接：https://huggingface.co/audeering/wav2vec2-large-robust-12-emotion-msp-dim
    • librosa：用于音频分析的Python库。链接：https://github.com/librosa/librosa
    • Prolific：用于招募人类评估者的在线平台。链接：https://www.prolific.co/
    • Raven’s Standard Progressive Matrices：SEQ评分方法的灵感来源，为标准心理测试，非开源软件。
    • EQ-i 2.0：作为理论基础的情感商数评估框架，为商业产品，非开源。
    • GPT-4o / GPT-4o-mini-tts：OpenAI的模型，用于数据生成和语音合成，为商业API，非开源。
    • Qwen 系列模型 (Qwen2.5, Qwen3, Qwen-Omni)：阿里云通义千问系列模型，论文中作为评估对象和数据生成工具，部分模型为开源。例如 Qwen2.5-Omni-7B: https://huggingface.co/Qwen/Qwen2.5-Omni-7B
    • Gemini-2.5-Pro / gpt-audio-1.5：Google和OpenAI的商业模型API，非开源。

22. Graph-Based Phonetic Error Correction of Noisy ASR

6.7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 0.7/1.5

✅ 6.7/10 | 前50% | #语音识别 | #图神经网络 | #掩码语言模型 #大语言模型 | arxiv

👥 作者与机构

Pratik Rakesh Singh, Mohammadi Zaki, Aneesh Mukkamala, Pankaj Wasnik，均来自 Sony Research India。

💡 毒舌点评

论文解决了一个实际问题（ASR后处理），动机清晰：ASR错误，尤其是对语义关键的实体、否定词等，并非随机，而是具有语音相似性的结构化错误。作者提出的方法（G-SPIN）逻辑链条是完整的：先用MLM（XLM-RoBERTa）做上下文异常检测找出疑似错误词，然后用一个在语音相似性上训练的图神经网络（GraphSAGE）生成候选词，再结合MLM打分进行Beam Search，最后让指令微调的大模型（Gemma-3-4b-it）在候选集里做最终选择。这个“先限制搜索空间，再在其中做精细选择”的思路本身是合理且符合直觉的。论文在四种语言（英、西、印地、泰卢固）上做了实验，显示WER等指标优于基线，这部分工作量是实打实的。附录还提供了一些理论分析和伪代码，体现了工作的完整性。然而，最大的问题在于开源和可复现性。论文声称方法“即插即用、无需重训练”，但没有提供代码、训练好的GNN权重、甚至完整的数据集链接。这使得“plug-and-play”的宣称大打折扣，读者无法验证或直接应用。实验对比的基线中，RLLM-CF作为最近的工作，其描述略显单薄，且图表（图2、图3）的绘制比较粗糙，缺乏清晰的图例和误差线。此外，方法在处理插入和删除错误上的效果有限，这在论文中承认了，但也暗示了该方法更适用于特定类型的ASR错误（语音混淆导致的替换）。总体而言，这是一篇方法设计有一定巧劲、实验尚可、但因开源缺失而显得“不够透明、难以检验”的工作，适合顶会中的“技术展示”类别，但离“必读”或“高影响力”尚有距离。

📌 核心摘要

论文针对自动语音识别（ASR）输出中残留的、具有语音相似性结构的错误，提出了一种基于图神经网络的结构化纠错框架G-SPIN。该框架包含三个主要阶段：1）使用掩码语言模型（MLM）进行上下文异常检测，以识别疑似错误词；2）利用在词汇表的音素相似性图上训练的图神经网络（GNN），为每个疑似错误词检索一组语音上合理的候选词；3）通过MLM打分进行Beam Search生成候选集，并最终由一个指令微调的大语言模型（LLM）在上下文约束下选出最佳纠正词。该方法的核心在于先利用语音结构约束候选空间，再依赖LLM进行上下文选择，从而避免无约束生成带来的幻觉和过度纠正。论文在英语、西班牙语、印地语和泰卢固语的Loquacious-Set数据集上进行了实验，结果表明G-SPIN在WER等指标上优于DoCIA、RLLM-CF等基线方法。理论分析（附录）表明，将纠正操作限制在语音邻域内可以提高冻结LLM的局部稳定性。

🔗 开源详情

  • 代码：论文中未提供代码仓库链接。
  • 模型权重：论文中未提供训练好的GNN或其他模型的权重下载链接。
  • 数据集：论文使用了Loquacious-Set (Parcollet et al., 2025)，但未在论文中提供获取该数据集的具体链接或说明。
  • Demo：论文中未提及。
  • 复现材料：论文附录提供了GNN架构配置（表4）、ASR纠错伪代码（算法1）以及LLM提示模板（图4），这些信息为复现提供了重要参考，但不足以完全复现实验。
  • 论文中引用的开源项目：
    1. XLM-RoBERTa：https://huggingface.co/facebook/xlm-roberta-large
    2. Gemma-3-4b-it：https://huggingface.co/google/gemma-3-4b-it
    3. seamless-m4t-v2-large：https://huggingface.co/facebook/seamless-m4t-v2-large
    4. GraphSAGE：论文引用了Hamilton et al. (2017)，原始论文链接为 https://arxiv.org/abs/1706.02216。
    5. BERTScore：论文引用了Zhang et al. (2020)，其官方GitHub仓库为 https://github.com/Tiiiger/bert_score。
    6. SeMaScore：论文引用了 Sasindran et al. (2024)，但未提供具体链接。

23. What Does a Pathological Speech Assessment Model Know about Acoustic Features? A Case Study on Oral and Oropharyngeal Cancer Patients

6.4/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5

✅ 6.4/10 | 前50% | #语音可懂度评估 | #自监督学习 | #病态语音 #模型可解释性 | arxiv

👥 作者与机构

Tuan Nguyen, Corinne Fredouille (阿维尼翁大学，LIA，UPR 4128，法国) Alain Ghio, Muriel Lalain (艾克斯-马赛大学，CNRS，LPL，法国) Virginie Woisard (图卢兹医院 Larrey，法国；UT2J，神经心理语言学实验室，法国)

💡 毒舌点评

这篇论文试图为病理语音评估领域的“性能-可解释性”权衡提供一个桥梁，选题具有明确的现实意义和临床动机。然而，其“桥梁”的构建显得相对初步和保守。核心贡献在于应用PWCCA这一既有工具，对一个已知表现良好的Wav2Vec 2.0模型与一组公认的可解释特征集进行关联性度量。这更像是一个精心设计的“验证”或“映射”工作，而非开创性的方法提出。论文诚实地定位为一项“案例研究”，但其分析深度和结论强度有时超出了“案例”所能稳固支撑的范围，例如从相关性直接推论特征选择指导性时，缺乏直接的消融实验验证。整个工作的扎实程度在于实验设计的合理与结果的清晰，但创新性和影响力因此受到限制。它为社区提供了一个有用的视角和实践参考，但距离顶会级别的突破性贡献仍有差距。

📌 核心摘要

本文针对一个基于Wav2Vec 2.0、用于口腔/口咽癌患者语音可懂度评估的模型，研究其内部表示与可解释声学特征集（eGeMAPS LLDs）之间的相关性，以提升模型的可解释性并指导特征选择。研究采用投影加权典型相关分析（PWCCA），在单个特征和分组特征（韵律、频谱、嗓音质量）两个层面进行逐层分析。结果发现，模型表示与频谱和韵律特征组的相关性最高，与嗓音质量组相关性较低，这与患者群体的病理特征（无喉部受累）相符。其中，MFCC1是贯穿所有层相关性最高的单一特征。模型最后一层与eGeMAPS特征的相关性普遍下降，表明模型可能编码了更高层次的语言信息。本研究为理解深度学习模型在病理语音评估中的决策依据提供了实证，并基于模型性能为临床特征选择提供了初步的参考排序。

🔗 开源详情

  • 代码：论文中未提及代码链接。
  • 模型权重：论文中未提及模型权重链接。
  • 数据集：使用了法语语料库 C2SI。论文提供了获取链接：https://link.springer.com/article/10.1007/s10579-020-09527-6 (参考文献[21])。
  • Demo：论文中未提及。
  • 复现材料：论文中未提供额外的复现材料（如脚本、环境配置文件）。
  • 论文中引用的开源项目：

24. Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

6.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.0/1.5 | 复现 0.2/0.5 | 工程 0.5/1.5

✅ 6.2/10 | 前50% | #语音识别 | #自监督学习 | #语音合成 #低资源 | arxiv

👥 作者与机构

作者：Milosz Dudek, Kamil Hemmerling, Maciej Kwarciak, Maria Stroinski, Mateusz Pensko, Kamil Kowalewski, Leonid Pavlovskyi, Sebastian Jurczak, Anna-Mariia Vitkovska, Zuzanna Miodonska, Natalia Mocko, Michal Krecichwost。 机构：1 AGH University of Krakow, Cracow, Poland; 2 SoftServe, Cracow, Poland; 3 Department of Biomedical Engineering, Silesian University of Technology, Poland; 4 Institute of Linguistics, Faculty of Humanities, University of Silesia in Katowice, Poland.

💡 毒舌点评

这篇论文选题明确，直击一个实际且重要的临床痛点——儿童言语障碍的早期筛查。作者很聪明地选择了波兰语这个辅音系统复杂的语言作为试验田，让问题更具挑战性。方法上，他们组合了现成的自监督模型、参数高效微调、CTC解码和模板化输出，技术路径清晰，工程上可行。但这也意味着创新性有限，更像是一个精心设计的系统集成案例。最令人诟病的在于实验的“保守”二字。测试集仅有10个孩子，这在顶会评审看来几乎是“玩具级”规模，极大地削弱了结论的普适性和说服力。声称“筛查”却完全没有在真实护理人员或临床医生中进行用户研究，使得“可解释助手”的价值悬在空中。所谓的“可解释”更多体现在系统内部逻辑（对齐、模板），而非用户最终能获得的有效理解和安全感。论文反复强调“不是诊断”，这种防御性姿态虽然安全，但也限制了工作的影响力上限。总结：一个诚实、实用但规模不足、验证不完整的系统原型，适合作为领域内一个扎实的工程参考，但离顶会论文所要求的充分验证和显著突破还有差距。

📌 核心摘要

本文针对波兰语儿童咝音错误的早期筛查，提出了一套基于自动语音识别（ASR）的辅助筛查流程。该流程的核心是一个经过微调的wav2vec2声学模型，它不输出文字，而是输出包含专门设计的“方括号标记”（表示常见替换）的音素序列。通过将识别出的序列与提示词的标准音素序列进行对齐，系统能够定位到具体的音素位置，并判断是否存在可能的替换错误。最后，一个基于模板的“可解释助手”将这一对齐结果和错误类型转化为给护理人员的、简单易懂的反馈建议，同时内置了安全边界（如不确定时请求重复录音）。在由10名未见儿童（559条语音）构成的测试集上，音素序列精确匹配率达88.7%。作为筛查代理，系统对目标位置的“错误标记”检测达到了72.9%的精确率和61.4%的召回率（F1=0.67），假警报率仅为2.7%。论文明确将该系统定位为“筛查”工具而非“诊断”工具，并计划未来进行临床验证。

🔗 开源详情

  • 代码：论文中未提供任何代码仓库链接。
  • 模型权重：论文中使用了预训练模型 jonatasgrosman/wav2vec2-large-xlsr-53-polish 作为初始化，其链接为：https://huggingface.co/jonatasgrosman/wav2vec2-large-xlsr-53-polish
  • 数据集：论文中使用了一个专有语料库，受研究许可使用，未提供公开访问链接。
  • Demo：论文中未提及在线演示链接。
  • 复现材料：论文中提及了详细的训练配置（如LoRA参数\(r=32, \alpha=64\)，训练轮次，验证集表现），但未提供具体的代码、检查点或附录。
  • 论文中引用的开源项目：
    • wav2vec2：引用基础架构 [baevski2020wav2vec2]，未提供链接。
    • LoRA：引用参数高效微调方法 [hu2022lora]，未提供链接。

25. Error-Aware TF-IDF Retrieval-Augmented Generation for ASR Error Correction

6.1/10 | 创新 1.0/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 0.9/1 | 影响 0.4/1.5 | 开源 0.0/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5

✅ 6.1/10 | 前50% | #语音识别 | #检索增强生成 | #低资源 #文本纠错 | arxiv

👥 作者与机构

Mohammad Aref Jafari-Raddani。作者隶属于伊朗库姆的库姆科技大学计算机工程系，以及伊朗伊斯法罕的Asa Electronic Akhtaran公司。通讯邮箱为 raddaniaref@gmail.com。

💡 毒舌点评

这篇论文的工作像是在给一个经典的检索增强生成（RAG）流水线做一次非常针对性的“微调”，而非提出新的架构。其核心贡献——修改TF-IDF以赋予错误词项更高权重——虽然在工程上直接且有效，但在方法论上缺乏足够的新颖性和理论深度，更像是一种启发式的技巧。论文在实验验证上显得非常单薄：仅在一个数据集（FLEURS波斯语子集）上评估，模型组合固定（Whisper + Gemini），完全缺乏与其他SOTA纠错方法的对比，也缺少关键的消融研究来证明每个组件（如对称归一化、权重公式）的独立贡献。将错误感知命中率（EA-HR）作为主要贡献之一提出，但其评估范围局限于Top-3检索结果，说服力有限。论文在“未来工作”中提到的计划（如扩展知识库、领域迁移）恰恰点明了当前工作的天花板。整体感觉是一篇扎实但缺乏野心和深度的系统微调报告。

📌 核心摘要

本文针对低资源语言（以波斯语为例）的端到端ASR系统频繁产生的音似和循环幻觉问题，提出了一种高效的检索增强生成（RAG）纠错框架。该框架包含两个主要组件：1）一个对称应用的文本归一化模块，用于处理格式差异和循环幻觉；2）一种新颖的错误感知TF-IDF检索算法，通过构建基于历史错误概率的稀疏对角惩罚矩阵，动态提升高频错误词项的检索权重。在FLEURS波斯语子集上的实验表明，该方法将错误感知命中率从53.7%显著提升至90.9%，并将端到端词错误率从基线23.06%降低至18.83%，且在推理阶段几乎不引入额外延迟。

🔗 开源详情

  • 代码：论文中未提及代码链接
  • 模型权重：论文中未提及模型权重链接（论文使用了 Whisper large-v3-turbo 和 Google Gemini 2.0 Flash-Lite 模型，但未提供其权重的具体下载地址）
  • 数据集：论文中未提及数据集链接（论文明确使用了 Google FLEURS 数据集的波斯语子集，但未给出具体下载地址）
  • Demo：论文中未提及
  • 复现材料：论文中未提及
  • 论文中引用的开源项目：未提及

26. Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models

5.8/10 | 创新 1.0/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5

📝 5.8/10 | 前50% | #语音识别 | #迁移学习 | #语音翻译 #端到端学习 | arxiv

👥 作者与机构

Tomoya Mizumoto, Yusuke Fujita, Hao Shi, Lianbo Liu, Atsushi Kojima, Yui Sudo. （作者所属机构未在提供的原文片段中明确提及）

💡 毒舌点评

这篇文章就像一个精心设计的“方言压力测试”。它思路清晰，实验控制得当，像个规规矩矩的优等生作业，把“SLM继承LLM能力”和“数据/微调有用”这两个直觉验证得漂漂亮亮。但问题在于，这个“压力测试”的跑道（翻译任务）太窄，沙坑（CPJD数据集）太小，连计时器（TTS标准语音）都可能不准。结果就是，你得到了一份关于“如何在特定小跑道上跑得更稳”的精致报告，但对于“方言问题到底有多复杂、在真实世界中如何解决”的宏大命题，贡献就比较有限了。它证明了一些常识，但缺乏让人“Wow”的突破或深刻的洞见。分数给高了对不起那些真正硬核的创新，给低了又委屈了它的严谨和工整，所以卡在中间。

📌 核心摘要

本文针对LLM及其语音变体（SLM）在处理方言输入时性能下降的问题，以日语方言为案例进行了系统性研究。通过定义方言稳健性为模型在方言与标准语输入下的性能比率（\(Robustness=S_{dialect}/S_{standard}\)），并采用日语到英语的翻译任务作为统一评估框架，研究者构建了文本LLM和基于Whisper编码器的SLM模型。通过一系列控制变量实验，论文得出三个主要发现：第一，SLM的方言稳健性与其基础LLM的稳健性强相关，但普遍有所降低；第二，在SLM训练中加入方言数据能有效提升其方言稳健性；第三，微调语音编码器能进一步显著增强SLM的方言稳健性。研究贡献了首个跨模态方言稳健性评估框架和指标，并通过实验证实了两条有效的改进路径。然而，研究受限于单一的翻译评估任务、小规模方言数据集（CPJD）以及对TTS生成标准语音频的依赖，影响了结论的普遍性。该工作为构建更具包容性的语音系统提供了有价值的实证参考。

🔗 开源详情

27. CrossAccent-TTS: Cross-Lingual Accent-Intensity Controllable Text-to-Speech via Disentangled Speaker and Accent Representations

5.5/10 | 创新 1.0/2 | 严谨 1.0/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.6/0.5 | 工程 0.6/1.5

📝 5.5/10 | 前50% | #语音合成 | #对比学习 | #低资源 #跨语言 | arxiv

👥 作者与机构

Ram Annamdevula, Ankit Tatawat, Ashishkumar Gudmalwar, Nirmesh Shah, Pankaj Wasnik Media Analysis, Sony Research India

💡 毒舌点评

这篇论文试图解决一个实际且重要的问题——跨语言、口音强度可控的语音合成，尤其是在低资源印度语言场景。它像一个不错的工程项目集成报告：Neucodec做编码，Qwen大模型做解码，用Perceiver Resampler和梯度反转层（GRL）搞解耦，最后用个线性组合的语言嵌入来控制强度。思路清晰，也确实做了实验。然而，它离一篇顶级会议论文的创新性和深度还有距离。核心创新“口音强度控制器（AIC）”被分解为三个相对标准的部分，组合起来的理论依据和细节描述都显薄弱。实验基线选择存疑，部分结论解读不够严谨，消融实验也不够彻底。更像是一次“现有模块的定制化应用”，而非提出了一个深刻的新方法或新见解。包装尚可，但内核的独创性和技术深度支撑不起一个很强的得分。

📌 核心摘要

本文提出了CrossAccent-TTS，一个旨在实现跨语言口音可控与转换，同时保持说话人身份的TTS框架。其核心是口音强度控制器（AIC），该控制器由三部分组成：1）使用Perceiver Resampler从说话人参考语音的离散编码中提取固定长度的说话人与风格嵌入；2）通过对抗训练（利用梯度反转层GRL和语言分类器）抑制这些嵌入中的口音和语言信息，实现说话人与口音的解耦；3）引入可学习的语言嵌入，并通过线性组合实现口音强度的连续调制。论文在Indic Multilingual和L2 Arctic数据集上进行了实验，展示了该方法在口音相似性控制、口音泄露抑制以及保持说话人相似性方面优于基线模型。

🔗 开源详情

  • 代码：论文中未提供代码链接。
  • 模型权重：论文中未提及。论文中使用了Qwen 2.5 (0.5B)和Neucodec作为预训练组件，但未提供其特定于本任务微调后的权重下载地址。
  • 数据集：
    1. Indic Multilingual Dataset：论文中提及由内部数据（636小时）和Emilia Yodas数据集（350小时）的部分数据组成，但未提供该组合数据集的下载链接。
    2. L2 Arctic Dataset：论文中提及并引用，这是一个公开的学术数据集（http://www.sabine.webfactional.com/l2arctic/），但未在文中提供具体链接。
  • Demo：https://research.sri-media-analysis.com/interspeech26-cross-accent-tts/
  • 复现材料：论文中未提供训练检查点、配置文件或详细复现指南的下载链接。但论文在“4.2 Training Setup”部分详细描述了训练配置（如解码器架构、Perceiver Resampler参数 Ns=32, d=768、训练epoch数、学习率策略、损失权重 λ_GRL=0.1 等），这些信息有助于复现。
  • 论文中引用的开源项目：
    1. Qwen 2.5：论文中作为语言模型骨干使用。
    2. Neucodec：论文中作为神经语音编解码器使用。
    3. IndicF5：论文中作为基线模型之一。
    4. XTTS-v2：论文中作为基线模型之一。
    5. Perceiver (Resampler)：论文中提及引用了 jaegle2021perceiver。
    6. L2 Arctic Dataset：论文中作为评估数据集。
    7. CVAE (Baseline)：论文中作为英文口音转换的基线模型。
    8. GST (Baseline)：论文中作为英文口音转换的基线模型。
    9. Emilia Yodas Dataset：论文中提及作为训练数据来源之一。
    10. Indic Voices Dataset：论文中提及用于微调口音嵌入模型。 注：上述项目中，除L2 Arctic Dataset为公认公开数据集外，其余项目均未在文中提供具体代码或模型仓库链接。