Posts

📄 Natural Yet Challenging to Detect: Robust In-the-Wild TTS through EMA and Dual-Scoring Prompt Selection – Submission for WildSpoof 2026 TTS Track #语音合成 #语音伪造检测 #迁移学习 #数据清洗 #鲁棒性 📝 5.2/10 | 后50% | #语音合成 | #迁移学习 | #语音伪造检测 #数据清洗 | arxiv 学术质量 3.7/7 | 影响力 0.8/2 | 可复现性 0.7/2 | 置信度 0.8 👥 作者与机构 未提及。 💡 毒舌点评 首先，作为一篇提交给特定挑战赛的技术报告，其定位本就偏向工程实现和结果汇报，而非追求根本性的算法创新。最大的槽点在于信息完整性缺失严重：作者、所属机构等基本信息均未披露，这对于一篇正式学术论文而言是不可接受的，严重损害了工作的可信度和可追溯性。其次，论文虽然声称“novel”，但其核心贡献——在微调中加入EMA和基于LLM/LALM的数据筛选——在TTS或更广泛的深度学习领域中都已是成熟技术，创新性有限。论文最大的亮点是挑战赛榜单上的最佳a-DCF分数，但这高度依赖于特定的挑战赛设置和评估系统，其普适价值需要更多验证。写作清晰，但部分关键评估细节（如其他参赛模型具体架构）的缺失，使得对比分析的深度大打折扣。 📌 核心摘要 本文为WildSpoof 2026挑战赛TTS赛道的技术报告，提出了F5-TTS-DPS模型。该模型在F5-TTS基础上，通过两项改进提升在真实场景数据上的合成鲁棒性：1）在监督微调中引入指数移动平均（EMA）以稳定训练过程；2）提出双重评分提示选择（DPS）机制，利用大型音频语言模型（LALM，即Qwen2.5-Omni）和大型语言模型（LLM，即Qwen3-30B-A3B）对参考音频和文本提示进行两阶段筛选，以确保输入质量。实验在挑战赛官方开发集上进行，消融实验显示各组件带来性能渐进提升。最终模型在主要评估指标a-DCF上取得所有参赛模型中的最佳成绩，表明其合成语音最难被反欺骗系统检测。 🔗 开源详情 代码：未提供。 模型权重：论文中使用并提供了基线模型F5-TTS v1的权重链接：https://huggingface.co/SWivid/F5-TTS/tree/main/F5TTS_v1_Base。未提供微调后F5-TTS-DPS模型的权重。 数据集：使用了WildSpoof Challenge官方发布的TITW-easy和TITW-hard数据集子集，未提供独立下载链接或开源协议。 Demo：未提及在线演示。 复现材料： 训练配置：提供了详细的超参数设置（见“细节详述”部分）。 评估工具：使用VERSA工具进行评估。 提示模板：在附录A中提供了用于音频和文本筛选的完整提示模板（Prompt）。 论文中引用的开源项目： F5-TTS：基础模型，提供了链接。 Qwen2.5-Omni：用于音频评分的LALM，未提供链接。 Qwen3-30B-A3B：用于文本评分的LLM，未提供链接。 Whisper：用于计算WER的ASR系统，未提供链接。 ESPnet2：用于提取说话人嵌入，未提供链接。 AASIST：用于计算SDS的反欺骗系统，未提供链接。 VERSA：评估工具，未提供链接。 🏗️ 方法概述和架构 本文方法建立在F5-TTS基座模型之上，针对“野外”数据（TITW）的噪声和多样性特点，引入了训练稳定性增强和输入质量优化两个核心组件。 ...

📄 Self-Calibration DOA Estimation for Movable Antenna Systems with Antenna Position Errors #信号处理 #声源定位 📝 4/10 | 后50% | #声源定位 | #信号处理 | arxiv 学术质量 3.5/7 | 影响力 0.2/2 | 可复现性 0.3/2 | 置信度 0.5 👥 作者与机构 作者: Chengzhi Ye, Ruoyu Zhang, Wen Wu, Byonghyo Shim 机构: 南京理工大学（近场射频传感IC与微系统教育部重点实验室），首尔国立大学 论文状态: arXiv 预印本 (eess.SP) 💡 毒舌点评 理论深度感人：论文核心推导（公式11-23）本身没问题，但全文止步于“我推出来了”，对算法为何收敛（单调下降性）、关键参数\(\varepsilon\)如何选取、数值稳定性影响等关键问题闭口不谈。一个号称“自校准”的方法，对自己算法的鲁棒性分析却如此欠奉，让人怀疑其在实践中的可靠性。 实验对比像在“虐菜”：对比基线弱得令人困惑——一个完全不考虑误差的MUSIC，一个只用校准阵元的MUSIC。这相当于拿一个针对特定问题精心设计的算法，去对比两个完全无视该问题的“傻瓜”算法。然后宣称“我赢了”，这“优越性”的含金量大打折扣。为什么不跟其他考虑阵列误差的校准方法对比？ 关键假设一笔带过：模型要求\(K \geq 2\)个源，且源的DOA不能共线（保证\(\hat{\bm{\varTheta}}^T\)列满秩）。这个约束在实际场景（如只有单个强反射点或多个源角度相近）下可能不成立。论文对此避而不谈，直接展示“成功”的仿真案例，缺乏对方法适用边界的严肃讨论。 “分析”并不thorough：作者在引言中声称提供了“thorough analysis”，但所谓的复杂度分析（公式24）在近似后已丢失主要项，且未结合实际参数（如\(M=12\)）给出具体运算量评估。这种分析对于评估算法在实际边缘设备上的部署可行性帮助有限。 📌 核心摘要 本文针对可移动天线（MA）系统中因天线移动引入的未知位置误差（APE）导致波达方向（DOA）估计性能下降的问题，提出了一种基于交替优化（AO）的自校准算法。算法利用信号导向矢量与噪声子空间的正交性，构建联合估计DOA和APE的优化问题（P1）。通过交替迭代两个阶段求解：第一阶段固定APE，使用MUSIC算法进行DOA估计（问题P2）；第二阶段固定DOA，将APE估计转化为一个关于误差导向矢量的线性约束二次最小化问题（问题P3）。针对该问题核心矩阵\(\bm{Q}\)的秩亏性（秩为\(M-K\)），引入小扰动\(\varepsilon\)使其可逆，并应用拉格朗日乘子法得到了误差导向矢量的闭式最优解。进一步，利用估计的相位信息，通过最小二乘法获得了APE的解析解（公式23）。仿真结果表明，在设定的APE模型下，所提算法在DOA估计的均方根误差（RMSE）和成功率方面优于使用全部阵元或仅校准阵元的传统MUSIC算法。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集：论文中未提及（基于仿真实验）。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 该方法是一个迭代式自校准框架，旨在联合估计MA系统的真实位置（从而补偿位置误差）和信源的DOA。其核心架构围绕一个主优化问题（P1）展开，通过交替优化策略将其分解为两个可迭代求解的子问题。 ...

📄 StepAudio 2.5 Technical Report #统一音频模型 #多任务学习 #强化学习 #语音合成 #语音识别 #实时处理 #模型评估 🔥 8.3/10 | 前25% | #统一音频模型 | #多任务强化学习对齐 | #多任务学习 #强化学习 | arxiv 学术质量 6/7 | 影响力 1.5/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 论文标题： StepAudio 2.5 Technical Report 作者团队： StepFun-Audio Team（贡献者按字母顺序排列，核心贡献者与一般贡献者分开列出） 机构： 未在论文中明确说明，但根据作者团队名称和项目历史推断为 StepFun (阶跃星辰) 的音频团队。 💡 毒舌点评 这份报告像一份精心包装的产品说明书，而非一篇严谨的学术论文。其优点在于清晰地呈现了一个庞大系统的工程设计哲学——“任务特化源于操作规则”，并成功地将ASR、TTS和实时交互塞进了一个共享骨干。然而，对于顶会审稿人而言，这份报告最令人抓狂的是其“技术性模糊”：核心的MoE LLM骨干到底有多大？专家数几何？音频编码器是哪款？统统“未提及”。这就像给你看一辆跑车的赛道成绩，却把引擎盖焊死了不让你看。实验部分，ASR的表格详实可信，但TTS和实时交互的评估则严重依赖自建基准和主观评测，其公平性和可复现性要打个大问号。最遗憾的是，作为一份“技术报告”，它缺乏对关键创新点（如MTP的理论收益边界、RLHF奖励模型的具体设计）的深度分析和消融实验，显得更像是一份内部研发总结，而非可供社区深入研读和复现的学术贡献。 📌 核心摘要 本文介绍了StepAudio 2.5，一个统一的音频-语言基础模型，旨在通过单一共享骨干网络，匹配或超越专用于语音识别（ASR）、语音合成（TTS）和实时语音交互（Realtime）的专用系统。论文的核心论点是，一旦文本和音频共享一个高质量的多模态表示空间，任务间的差异便从架构设计转向了“操作机制”：即数据构建、优化目标和解码约束。基于此，作者提出了一种以强化学习从人类反馈（RLHF）为核心的后训练范式，将其作为定义复杂优化目标的主要机制。该范式结合任务特定的监督微调（SFT）和解码策略，将共享骨干塑造成三种不同的操作模式：ASR分支通过可验证的多头预测（MTP）提升转录效率；TTS分支通过基于偏好的RLHF和上下文丰富的监督实现可控、富有表现力的合成；Realtime分支则通过生成奖励建模在RLHF框架内实现低延迟、角色一致的对话。在标准基准测试上，StepAudio 2.5在ASR、TTS和实时交互任务上均取得了有竞争力的结果。 🔗 开源详情 代码：论文提及了一个用于生成ASR长形式评���数据集（WenetSpeech testnet long）的代码仓库：https://github.com/lawlict/wenetspeech-testnet-long.git。论文未提及StepAudio 2.5模型主体的完整代码开源链接。 模型权重：论文未提及模型权重的公开下载链接（如HuggingFace, ModelScope）。 数据集： 论文中使用的公开数据集包括：AISHELL-1, AISHELL-2, WenetSpeech, FLEURS, LibriSpeech, Common Voice, VoxPopuli, Earnings22。论文未提供这些数据集的直接获取链接。 论文描述了其用于ASR长形式评估的“WenetSpeech testnet long”子集的构建方法，并提供了生成代码的GitHub仓库。 论文未提及TTS和Realtime训练所用具体数据集（特别是其角色矩阵和副语言标注数据）的公开获取方式。 Demo：论文中未提及在线演示链接。 复现材料：论文详细描述了模型架构、训练流程（包括各阶段超参数）和评估方法，但未提供具体的训练配置文件、检查点下载或实验附录的直接链接。 🏗️ 方法概述和架构 StepAudio 2.5的核心架构是一个共享的音频-语言骨干，采用非对称设计（图1）。该架构由三个主要组件构成：1）冻结的音频编码器：负责将原始音频波形转换为紧凑的声学嵌入表示，其参数在训练过程中保持固定，以确保声学特征提取的稳定性。2）轻量级适配器：一个可训练的模块，负责将音频编码器输出的声学嵌入映射到语言模型（LLM）解码器的隐藏空间中。3）大型语言模型解码器：从预训练的文本LLM初始化，是模型的核心，承载语义理解、上下文管理、指令遵循和生成任务。这种设计有意让编码器专注于稳定的声学抽象，而将语义和生成的重担交给解码器，从而使得不同下游任务可以共享大部分模型。 ...

📄 UniSRM: A Unified Speech Reward Model for Reasoning-Based Fine-grained Assessment #语音质量评估 #强化学习 #多任务学习 #模型评估 🔥 10/10 | 前10% | #语音质量评估 | #统一多任务强化学习 | #强化学习 #多任务学习 | arxiv 学术质量 7/7 | 影响力 1.5/2 | 可复现性 2/2 | 置信度 0.8 👥 作者与机构 Yuanyuan Wang (香港中文大学), Dongchao Yang (香港中文大学), Yayue Deng (香港中文大学), Zhiyong Wu (香港中文大学, 清华大学), Yiwen Guo (独立研究者), Helen Meng (香港中文大学), Xixin Wu (香港中文大学)。 💡 毒舌点评 这篇工作直击语音生成评估的核心痛点——依赖昂贵、主观的人工 MOS 评估，或是片面、不透明的自动指标。它提出的 UniSRM 试图用一个统一模型解决成对偏好、质量打分、场景一致性和多轮对话评估四大任务，野心不小。两阶段训练（SFT + GRPO）和“理由一致性奖励”（RCR）是核心创新，意图让模型“说得清、判得准”。实验结果在作者自建的基准上确实亮眼，尤其是上下文相关的任务（T3/T4）优势明显。然而，它也并非无懈可击：首先，数据构建严重依赖强生成模型（Gemini, GPT-4.1）的标注，其“地面真值”本身可能带有偏见，模型本质上在学习模仿另一个大模型的评判逻辑。其次，计算开销（480 GPU 小时用于 GRPO）与复杂度不低，限制了其作为轻量级评估器的部署。最后，尽管声称“统一”，但其任务和维度划分是预设且固定的，对于未来可能出现的全新评估维度或任务类型的扩展性未作讨论。 ...

📄 Word-Level Modeling with Alignment-Aware Acoustic Fusion for Text-Assisted Intelligibility Prediction in Listeners with Hearing Loss #语音质量评估 #语音识别 #信号处理 #注意力机制 ✅ 7.7/10 | 前25% | #语音质量评估 | #词级正确性建模与声学融合 | #语音识别 #信号处理 | arxiv 学术质量 5.8/7 | 影响力 1.2/2 | 可复现性 0.7/2 | 置信度 0.9 👥 作者与机构 作者: Kazushi Nakazawa 机构: 未提及（论文未明确说明） 💡 毒舌点评 这篇论文在技术路线上是清晰且正确的，作者准确抓住了“句子级目标”与“词级信号”之间的粒度不匹配问题，并提出了一个合理的“参考条件化词级建模”框架。然而，论文的“声学融合”创新部分，其核心贡献（字符级对齐的Top-10头选择）带来的性能提升幅度相当有限（F1仅提升0.02），使得整个架构的复杂性显得有些“用力过猛”。此外，论文完全缺乏与当前主流非侵入式或端到端方法的对比，只在自己的“文本辅助”设定内打转，极大地限制了其结论的普适性和影响力。开源信息的完全缺失更是让本已受限的可复现性雪上加霜，对于一篇方法论工作而言是不小的遗憾。 📌 核心摘要 本文针对CPC3挑战赛中听障听众的文本辅助语音可懂度预测任务，指出传统句子级回归方法存在训练信号与预测目标的粒度不匹配问题。为此，论文提出一种参考条件化的词级正确性建模方法。该方法使用冻结的Whisper编码器处理降质语音，通过教师强制的Whisper解码器处理规范转录文本，从而获得文本条件化的解码器状态。为补充纯文本解码特征，模型进一步融合了两个声学分支：一个基于字符级交叉注意力对齐的“本地声学分支”，用于提取每个参考词对应的局部声学证据；一个基于编码器掩码平均池化的“全局声学分支”，用于提供整体声学难度的校准信号。最终，模型预测每个参考词被正确感知的概率，并通过掩码平均得到句子级可懂度分数。在CPC3官方评估集上的实验表明，所提出的联合融合模型在词级指标（错误词F1， MCC）和句子级指标（相关系数， RMSE）上均优于仅使用解码器状态的基线模型，且该趋势在使用Whisper medium骨干网络时得以保持。论文通过消融实验证明了字符级动态对齐优于子词全头对齐，并强调了教师强制参考条件化相比基于解码假设后处理的优越性。 🔗 开源详情 代码：未提及。 模型权重：未提及。 数据集：未提及具体的CPC3数据集下载链接或开放协议。论文评估基于CPC3官方评估集，但未说明数据集获取方式。 Demo：未提及。 复现材料：未提供训练代码、配置文件、检查点或详细附录。仅提供了论文中的实验设置概述。 论文中引用的开源项目： Whisper: https://github.com/openai/whisper WhisperX: https://github.com/m-bain/whisperX NISQA: 仅提及名称，未提供具体链接。 TorchAudio-Squim: 仅提及名称，未提供具体链接。 🏗️ 方法概述和架构 本文提出的模型旨在将句子级可懂度分数预测重新定义为参考条件下的词级正确性建模问题。其核心架构（如论文图2所示）围绕一个完全冻结的Whisper模型构建，并添加了三个可训练的模块：一个投影层将解码器状态映射到共享空间、一个可训练的严重程度嵌入、以及一个轻量级的词级分类器。所有训练仅作用于这些新增组件。方法可分为以下几个核心组件和数据流： ...

语音/音乐/音频论文速递 2026-05-25 共分析 19 篇论文 ⚡ 今日概览 📥 抓取 19 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音质量评估 3篇 ███ #语音识别 3篇 ███ #信号处理 3篇 ███ #音频分类 1篇 █ #语音编码 1篇 █ #音频深度伪造检测 1篇 █ #统一音频模型 1篇 █ #医疗音频 1篇 █ 📊 论文评分排行榜（19 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Frame-Aligned Fusion of Canary and WavLM for Non-Intrus 10.0分 前10% #语音质量评估 🥈 Evaluating the Temporal Detection Capability of Integra 10.0分 前10% #音频分类 🥉 UniSRM: A Unified Speech Reward Model for Reasoning-Bas 10.0分 前10% #语音质量评估 4. AffectCodec: Emotion-Preserving Neural Speech Codec wit 10.0分 前10% #语音编码 5. MixFake: Benchmarking and Enhancing Audio Deepfake Dete 10.0分 前10% #音频深度伪造检测 6. A study on weakly-supervised training approaches for ph 9.7分 前10% #语音识别 7. Broad learning system with robust adaptive kernel 8.7分 前25% #信号处理 8. Articulatory strategy as a source of variation in acous 8.5分 前25% #语音识别 9. StepAudio 2.5 Technical Report 8.3分 前25% #统一音频模型 10. Comprehensive Dataset and Signal Processing Framework f 8.0分 前25% #医疗音频 11. Word-Level Modeling with Alignment-Aware Acoustic Fusio 7.7分 前25% #语音质量评估 12. Convex Low-resource Accent-Robust Language Detection in 7.5分 前25% #语音识别 13. Diffusion Domain Expansion: Learning to Coordinate Pre- 7.4分 前50% #扩散模型 14. EvalVerse: Pipeline-Aware and Expert-Calibrated Benchma 7.1分 前50% #音视频 15. Copula-Induced Correntropy for Robust Conjugate Gradien 7.0分 前50% #信号处理 16. Cost-Effective Model Evaluation with Meta-Learning 5.4分 后50% #迁移学习 17. Natural Yet Challenging to Detect: Robust In-the-Wild T 5.2分 后50% #语音合成 18. Self-Calibration DOA Estimation for Movable Antenna Sys 4.0分 后50% #声源定位 19. 6G Communication Networks Enabling Embodied Agents: Arc 2.7分 后50% #信号处理 📋 论文列表 🥇 Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech 🔥 10.0/10 | 前10% | #语音质量评估 | #模型融合 | #多模态模型 #预训练 | arxiv ...

📄 A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation ✅ 7.0/10 | 前50% | arxiv ← 返回 2026-05-23 语音/音乐/音频论文速递

📄 Abstraction Induces the Brain Alignment of Language and Speech Models #** #未明确列出 #脑部对齐 #语言模型 #语音模型 #内在维度 #意义抽象 #fMRI #ECoG 🔥 8.0/10 | 前25% | #** | #未明确列出 | #脑部对齐 #语言模型 | arxiv ← 返回 2026-05-23 语音/音乐/音频论文速递

📄 Acoustic Interference: A New Paradigm Weaponizing Acoustic Latent Semantic for Universal Jailbreak against Large Audio Language Models ✅ 7.0/10 | 前50% | arxiv ← 返回 2026-05-23 语音/音乐/音频论文速递

📄 ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools — From Consensus Learning to Ambiguity-Driven Emotion Reasoning ✅ 7.2/10 | 前50% | arxiv ← 返回 2026-05-23 语音/音乐/音频论文速递