OpenSTBench: Beyond Semantic Evaluation for Speech Translation

📄 OpenSTBench: Beyond Semantic Evaluation for Speech Translation #语音翻译 #语音合成 #多语言 ✅ 6.0/10 | 前50% | #语音翻译 | #语音合成 | #多语言 | arxiv 学术质量 0.6/7 | 影响力 0.6/2 | 可复现性 0.1/2 | 置信度 高 👥 作者与机构 论文标题:OpenSTBench: Beyond Semantic Evaluation for Speech Translation arXiv ID: 2605.30792 作者:Yanjie An (贡献相等), Yuxiang Zhao (贡献相等, 通讯作者), Yichi Zhang, Qixi Zheng, Yujie Tu, Keqi Deng, Kai Yu, Xie Chen (通讯作者) 机构: 上海交通大学,MoE智能计算与语言处理重点实验室,江苏省语言计算重点实验室,X-LANCE实验室,计算机科学学院,中国上海。 上海创新研究院,中国上海。 微软,美国。 中国科学院大学,中国北京。 💡 毒舌点评 这篇论文像是给一堆散装的语音翻译评估工具做了一次“大扫除”和“标准化收纳”。它指出了当前评估体系“各管一摊”的痛点,并提供了一个能同时测量翻译质量、语音质量、时间质量的“多功能仪表盘”。想法很实际,对社区也有用,避免了大家用不同尺子量同一把椅子。但问题在于,这个“仪表盘”本身并没有发明新的测量技术(比如新的语音质量评估指标),更像是现有工具的集成和协议规范化。其实验部分虽然跑了不少系统,但结论“不同维度排名不同”略显老生常谈,缺乏更深层的洞察。更关键的是,其核心价值高度依赖社区采纳度,如果大家还是习惯用BLEU打天下,这框架可能就沦为又一个备选项。此外,对语音侧自动指标可靠性的验证不足,让这个“统一”框架的基石有点摇晃。总的来说,是一篇扎实但缺乏惊喜的系统性工作,适合作为工具论文发表,但离顶会追求的“突破”尚有距离。 ...

2026-06-01 · 更新于 2026-07-27 · 4 min · 731 words

语音/音乐/音频论文速递 2026-06-01

语音/音乐/音频论文速递 2026-06-01 共分析 23 篇论文 ⚡ 今日概览 📥 抓取 23 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 6篇 ██████ #音乐生成 3篇 ███ #语音翻译 2篇 ██ #语音识别 2篇 ██ #自监督学习 1篇 █ #口音识别 1篇 █ #生成对抗网络 1篇 █ #音频事件检测 1篇 █ 📊 论文评分排行榜(23 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Chatterbox-Flash: Prior-Calibrated Block Diffusion for 10.0分 前25% #语音合成 🥈 UniAudio-Token: Empowering Semantic Speech Tokenizers w 10.0分 前25% #语音合成 🥉 Escaping the Linearity Trap: Manifold Detours for Black 9.7分 前25% #自监督学习 4. ImmersiveTTS: Environment-Aware Text-to-Speech with Mul 9.3分 前25% #语音合成 5. SwanVoice: Expressive Long-Form Zero-Shot Speech Synthe 8.9分 前50% #语音合成 6. AnchorSteer: Self-Discovered Concept Injection for Stru 8.6分 前50% #音乐生成 7. MindVoice: Reconstructing Intelligible Speech from Non- 8.5分 前25% #语音合成 8. Extracting accent features in spoken Brazilian Portugue 8.3分 前50% #口音识别 9. UNISON: A Unified Sound Generation and Editing Framewor 8.2分 前25% #语音合成 10. FiPA-SR – FiLM-Conditioned Perceptually Informed Audio 8.1分 前25% #生成对抗网络 11. DOA: Training-Free Decoder-Only Attention Policy for Lo 7.8分 前25% #语音翻译 12. GaMi: Geometry-Agnostic Material Identification via Cro 7.8分 前50% - 13. Improving acoustic drone detection generalization throu 7.7分 前50% #音频事件检测 14. Audio Pirates: Black-box Audio Watermark Removal via Di 7.4分 前25% #扩散模型 15. Latent Space Disentanglement via Activation Steering fo 7.3分 后50% #音乐生成 16. Scaling Conversational Hungarian ASR: The BEA-Dialogue+ 7.2分 前50% #语音识别 17. On the Use of Dereverberation for Acoustic Feedback Can 6.7分 前50% #语音增强 18. Towards Streaming Synchronized Spatial Audio Generation 6.5分 前50% #自回归模型 19. 3DAE: Binaural Quality Assessment for Audio Novel View 6.5分 前50% #音频质量评估 20. OpenSTBench: Beyond Semantic Evaluation for Speech Tran 6.0分 前50% #语音翻译 21. Sound effects in media:A comparative analysis of record 5.7分 前50% #音频生成 22. Mental Damage: Caption Poisoning Attacks on Retrieval-A 5.6分 前50% #音乐生成 23. A Unified and Reproducible Experimentation Framework fo 5.5分 前50% #语音识别 📋 论文列表 🥇 Chatterbox-Flash: Prior-Calibrated Block Diffusion for Streaming Zero-Shot TTS 🔥 10.0/10 | 前25% | #零样本语音合成 | #Transformer | #块扩散解码 #流式处理 | arxiv ...

2026-06-01 · 更新于 2026-07-27 · 12 min · 2552 words

Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs

📄 Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs #语音识别 #语音合成 #多模态模型 #数据增强 #低资源 #参数高效微调 #多语言 ✅ 7.2/10 | 前50% | #语音识别 | #数据增强 | #语音合成 #多模态模型 | arxiv 学术质量 7.5/7 | 影响力 7.0/2 | 可复现性 0.3/2 | 置信度 中 👥 作者与机构 论文作者为 Nguyen Quang Trung, Cheng Yi Lewis Sun, Minh Duc He, Yingxu Shuo, Ai Ti Aw。机构包括 Institute for Infocomm Research (I2R), A*STAR, Singapore 和 Nanyang Technological University, Singapore。 ...

2026-05-30 · 更新于 2026-07-27 · 2 min · 274 words

语音/音乐/音频论文速递 2026-05-30

语音/音乐/音频论文速递 2026-05-30 共分析 6 篇论文 ⚡ 今日概览 📥 抓取 6 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #语音情感识别 1篇 █ #强化学习 1篇 █ #Transformer 1篇 █ 📊 论文评分排行榜(6 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 A Multi-Probe Audit of Clinical-Interview Depression De 9.6分 前10% #语音情感识别 🥈 EchoDistill:Alignment Noisy-to-Clean Self-Distillation 9.1分 前50% #强化学习 🥉 MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI 8.2分 前50% #Transformer 4. Direct Preference Optimization for English-Mandarin Cod 7.2分 前50% #语音识别 5. Raon-Speech Technical Report 6.5分 前25% #语音识别 6. PiAnnotate: A Web Annotation Tool for Piano Fingering, 6.0分 前50% - 📋 论文列表 🥇 A Multi-Probe Audit of Clinical-Interview Depression Detection Benchmarks 🔥 9.6/10 | 前10% | #语音情感识别 | #迁移学习 | #音频信号处理 #预训练语言模型 | arxiv ...

2026-05-30 · 更新于 2026-07-27 · 3 min · 583 words

Dial HEALTHDIAL for Advice: A Multilingual and Multi-Parallel Spoken Dialogue Dataset for Knowledge-Grounded Information Seeking

📄 Dial HEALTHDIAL for Advice: A Multilingual and Multi-Parallel Spoken Dialogue Dataset for Knowledge-Grounded Information Seeking #数据集 #数据增强 #多语言 #低资源 #语音合成 #语音识别 🔥 8.6/10 | 前25% | #语音合成 | #数据增强 | #数据集 #多语言 | arxiv 学术质量 5.3/7 | 影响力 1.3/2 | 可复现性 2/2 | 置信度 高 👥 作者与机构 Songbo Hu1, Yinhong Liu1, Ej Zhou1*, Evgeniia Razumovskaia1, Xiaobin Wang2, Alexander Fraser3, Ivan Vulić1†, Anna Korhonen1† 1语言技术实验室,剑桥大学,英国 2独立研究者 3计算、信息与技术学院,慕尼黑工业大学,德国 *共同第一作者,†共同通讯作者 💡 毒舌点评 这篇论文做了一件“正确但保守”的事:为多语言对话系统构建了一个大规模、高质量的基准数据集。其方法论清晰,开源彻底,是社区需要的基础设施。然而,主要问题在于其“合成”本质和“管道式”评估框架。用LLM生成对话再由人录音,虽然解决了隐私和成本问题,但得到的终究是“假设性”的健康咨询,与真实世界复杂、混乱的患者交互相去甚远。更关键的是,所有基准测试都基于传统的ASR->检索->LLM->TTS管道,这固然是当前的技术现实,但使得数据集的核心价值——支持原生语音对话模型研究——大打折扣。论文在揭示跨语言性能差异上做得不错,但这更多是现有模型(如Whisper, GPT)多语言能力不均衡的反映,而非数据集本身的独特发现。总体而言,这是一篇扎实的资源论文,但未能在方法论或系统评估上带来突破性视角,更像是一份详尽的“使用说明书”。 ...

2026-05-29 · 更新于 2026-07-27 · 2 min · 358 words

语音/音乐/音频论文速递 2026-05-29

语音/音乐/音频论文速递 2026-05-29 共分析 20 篇论文 ⚡ 今日概览 📥 抓取 20 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 5篇 █████ #语音识别 5篇 █████ #音频生成 2篇 ██ #基准测试 1篇 █ #多模态模型 1篇 █ #音频分类 1篇 █ #音频深度伪造检测 1篇 █ #语音情感识别 1篇 █ 📊 论文评分排行榜(20 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 DirectorBench: Diagnosing Long-Form Video Generation wi 9.8分 前25% #基准测试 🥈 Benchmarking Single-Factor Physical Video-to-Audio Gene 9.0分 前25% #音频生成 🥉 Audio Jailbreaks in Large Audio-Language Models: Taxono 8.9分 前25% #多模态模型 4. HoliTok:A Coutinuous Holistic Tokenization with Robust 8.6分 前25% #语音合成 5. Dial HEALTHDIAL for Advice: A Multilingual and Multi-Pa 8.6分 前25% #语音合成 6. Mitigating Stethoscope-Induced Shortcuts in Respiratory 8.5分 前25% #音频分类 7. Audio Deepfake Detection with Half-Truth Localisation U 8.4分 前50% #音频深度伪造检测 8. ChildVox: A Speech, Audio, and Large Audio-Language Mod 8.0分 前25% #语音识别 9. State-Anchored Complete-View Distillation for Robust Co 8.0分 前50% #语音情感识别 10. VideoFDB: Evaluating Full-Duplex Vision-Speech Capabili 7.9分 前25% #语音合成 11. Native Audio-Visual Alignment for Generation 7.8分 前50% #音频生成 12. OmniInteract: Benchmarking Real-World Streaming Interac 7.8分 前50% #语音识别 13. MusTBENCH: Benchmarking and Advancing Temporal Groundin 7.5分 前50% #音乐生成 14. Archon: A Unified Multimodal Model for Holistic Digital 7.5分 前50% #语音合成 15. MELD: Mel-Spectrogram-Based Speech Language Modeling wi 7.3分 前50% #语音合成 16. The WER Trap: Shattering the Illusion of Unified Tokens 7.0分 前50% #语音识别 17. Decoding Strategies for Diffusion-Based ASR: A Systemat 6.8分 前50% #语音识别 18. COMET: Concept Space Dissection of the Modality Gap in 6.5分 前50% #音频检索 19. AgentHijack: Benchmarking Computer Use Agent Robustness 5.6分 前50% - 20. Data-Efficient On-Policy Distillation for Automatic Spe 5.1分 前50% #语音识别 📋 论文列表 🥇 DirectorBench: Diagnosing Long-Form Video Generation with Personalized Multi-Agent Evaluation 🔥 9.8/10 | 前25% | #音视频 | #多智能体评估 | #视频生成 #多模态生成评估 | arxiv ...

2026-05-29 · 更新于 2026-07-27 · 10 min · 2103 words

Bandwidth-Efficient and Privacy-Preserving Edge-Cloud Many-to-Many Speech Translation

📄 Bandwidth-Efficient and Privacy-Preserving Edge-Cloud Many-to-Many Speech Translation #语音翻译 #多语言 #大语言模型 #课程学习 #参数高效微调 🔥 8.1/10 | 前25% | #语音翻译 | #课程学习 | #多语言 #大语言模型 | arxiv 学术质量 5.1/7 | 影响力 1.5/2 | 可复现性 1.5/2 | 置信度 高 👥 作者与机构 作者:Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Ming Liu, Bing Qin, Yang Xiang 机构:哈尔滨工业大学(深圳),鹏城实验室 💡 毒舌点评 这篇论文试图在一个“不可能三角”——隐私、带宽、性能——上找到一个实用的平衡点,其工程野心和目标是值得肯定的。ESRT框架通过将推理拆分,将重量级的LLM留在云端,仅在边缘传输压缩的特征,这是一个直观且有效的工程解决方案。论文在FLEURS数据集上展示了强大的实验结果,尤其是ESRT-4B模型以较小的参数量超越了之前许多更大的模型,证明了其训练策略的有效性。开源代码和模型也值得鼓励。 然而,其核心创新点——边缘-云分割和特征压缩——在概念上并非开创性的,更偏向于系统优化和工程实现。论文声称的“隐私保护”主要基于信息压缩导致的重建困难(见图10),这是一种弱化的安全假设,而非经过严格密码学或对抗攻击验证的保障。对于顶会论文而言,这种论证略显单薄。实验虽然全面,但缺少在真实、动态的网络环境和多样化的边缘硬件上进行端到端延迟和功耗测试,这使得“边缘计算”的宣称有些理想化。整体而言,这是一篇扎实的系统论文,但理论深度和安全验证的严谨性有待加强。 📌 核心摘要 本文提出了ESRT(Edge-cloud Speech Recognition and Translation),一个隐私保护且带宽高效的边缘-云协同多方语音转文本翻译(S2TT)框架。该框架采用分割推理架构:在边缘设备部署轻量级的Whisper语音编码器和基于Q-Former的语音适配器,仅将高度压缩的声学特征(40或80个token)传输至云端,由云端大型语言模型(LLM,基于MiLMMT/Gemma-3)完成翻译解码。为支持45种语言的多方翻译并克服英语中心偏见,论文引入了改进的多任务加权课程学习策略(分三阶段,动态整合ASR、SMT、SRT任务)。在FLEURS数据集上的实验表明,ESRT-4B和ESRT-12B在45×44个翻译方向上达到了当时的最先进(SOTA)性能,显著优于多种基线模型,并证明了框架在隐私(防止声纹泄露)和带宽(高达15.6倍压缩)方面的有效性。 🔗 开源详情 代码:https://github.com/yxduir/esrt 模型权重:论文中承诺开源模型,并指向同一GitHub仓库(https://github.com/yxduir/esrt),但未单独列出HuggingFace或ModelScope等托管平台的权重下载链接。 数据集: FLEURS: https://huggingface.co/datasets/google/fleurs CommonVoice 24: https://datacollective.mozillafoundation.org/datasets?q=common+voice CoVoST-2: https://github.com/facebookresearch/covost Demo:论文中未提及。 复现材料:论文中提供了详细的训练配置(表I, II, III, V),并声称开源训练和推理框架。完整的训练脚本、依赖环境及详细文档可能包含在代码仓库中,但未提供独立的复现指南链接。 论文中引用的开源项目: Whisper: 来自OpenAI,论文中未提供GitHub链接。 NLLB-200: 作为对比基线,论文中未提供项目链接。 LLaMAX3: 作为对比基线,论文中未提供项目链接。 SeamlessM4T-V2: 作为对比基线,论文中未提供项目链接。 MiLMMT: 作为基础LLM,源自Gemma-3,论文中未提供MiLMMT的具体代码链接。 Gemma-3: 作为基础模型,论文中未提供其具体链接。 LoRA: 作为微调方法,论文中未提供具体实现仓库链接。 Q-Former: 作为语音适配器的核心组件,论文中未提供其原始实现仓库链接。 🏗️ 方法概述和架构 ESRT的核心是边缘-云协同的分割推理架构(如图3所示),旨在平衡性能、隐私和带宽。 ...

2026-05-28 · 更新于 2026-07-27 · 2 min · 257 words

Breaking the Script Barrier: Enabling Automatic Alignment for PoS-based ASR Error Analysis in Non-Latin Scripts

📄 Breaking the Script Barrier: Enabling Automatic Alignment for PoS-based ASR Error Analysis in Non-Latin Scripts #语音识别 #多语言 ✅ 6.0/10 | 前50% | #语音识别 | #多语言 | arxiv 学术质量 6.0/7 | 影响力 5.5/2 | 可复现性 1.5/2 | 置信度 中 👥 作者与机构 论文作者为 Prasenjit K Mudi 和 Dahlia Devapriya(并列第一作者),Sheetal Kalyani。机构未明确说明,但第一作者邮箱后缀显示 affiliation 可能与 Indian Institute of Technology Madras 有关。 💡 毒舌点评 这篇论文的工作像是在为ASR社区做一件必要的“脏活累活”。它指出了一个实际且具体的问题:现有的对齐工具(sclite)在非拉丁文字上表现糟糕,导致下游的语法分析(PoS)完全跑偏。作者提出的解决方案,一个字符宽度感知的改进型Needleman-Wunsch算法,虽然看起来不是什么惊天动地的理论创新,但确实是一个实用、针对性强的工程解决方案,并且通过多个例子和消融实验证明了其有效性。将PoS错误信息融入ASR训练的PoS感知Transformer也提供了一个直观的思路。然而,文章的局限性也相当明显。首先,它明确将自己框定在“分词书写系统”内,这极大地限制了其在ASR领域更广泛的应用(如中日泰)。其次,PoS权重的选择是“启发式”的,缺乏理论指导或更优的自动化方法。最后,文章在实验部分没有与任何近期或SOTA的对齐方法进行定量比较,仅仅是和sclite比,说服力打了折扣。总的来说,它是一篇扎实的、针对特定问题的“工具论文”,为后续研究提供了基础,但自身的理论深度和影响力受限。 📌 核心摘要 本文针对自动语音识别(ASR)评估中,现有对齐工具(如sclite)在非拉丁文字语言上对齐效果不佳的问题,提出了一种字符宽度感知的改进型Needleman-Wunsch对齐算法。该算法通过考虑字符的渲染宽度而非仅字符计数,并包含后处理步骤(合并连续的插入-删除对为替换),实现了对阿布吉达文字(泰米尔语、印地语、卡纳达语)、字母文字(俄语、希腊语、英语)和阿贾德文字(阿拉伯语)的鲁棒对齐。基于正确的对齐结果,论文利用多种PoS标注工具(spaCy, Stanza等)实现了自动化的词性级错误分析,揭示了不同文字系统下语言的错误模式差异。此外,论文提出了一种PoS感知的Transformer模型,通过在解码器交叉注意力机制中为不同PoS类别的词元分配不同权重,将PoS错误信息融入模型训练,最终在泰米尔语、阿拉伯语和俄语上降低了词错误率(WER)。该工作填补了非拉丁文字语言细粒度ASR错误自动分析的空白,为多语言ASR系统的开发和错误理解提供了实用的分析工具和改进思路。 🔗 开源详情 代码:论文未提及提供对齐算法或PoS感知Transformer的代码。 模型权重:论文未提及提供训练好的模型权重。 数据集: SPRING_INX 数据集(泰米尔语、印地语、卡纳达语):https://asr.iitm.ac.in/dataset (协议:CC BY 4.0) Mozilla Common Voice 数据集(俄语、希腊语、阿拉伯语):通过 Mozilla 公共存储库获取(协议:CC0-1.0) LibriSpeech 测试集(英语):标准公开数据集,论文未给出具体链接。 Demo:论文未提及。 复现材料:论文未提供独立的训练脚本或检查点。复现细节包含在论文正文和附录中: 训练配置与超参数:详见附录G,包括模型架构、优化器、学习率、批大小、SpecAugment设置等。 PoS权重表:附录G的表XX列出了泰米尔语、阿拉伯语和俄语的PoS特定权重。 数据集划分:附录G的表XXI提供了各数据集训练/验证/测试集的语句数量。 论文中引用的开源项目: spaCy:用于NLP,特别是PoS标注。链接:https://github.com/explosion/spaCy Stanza:斯坦福大学的神经NLP工具包。链接:https://github.com/stanfordnlp/stanza spaCy-stanza:集成spaCy和Stanza的包装器。链接:https://github.com/explosion/spacy-stanza AI4Bharat IndicBERTv2:用于卡纳达语的PoS标注模型。链接:https://huggingface.co/ai4bharat/IndicBERTv2-alpha-POS-tagging CAMeL Tools:用于阿拉伯语NLP的工具包。链接:https://github.com/CAMeL-Lab/camel_tools gr-nlp-toolkit:用于希腊语NLP的工具包。链接:https://github.com/nlpaueb/gr-nlp-toolkit Whisper:OpenAI的语音识别模型。论文使用了Whisper small模型的微调版本(希腊语):https://huggingface.co/mozilla-ai/whisper-small-el。Whisper模型本身遵循Apache-2.0许可证。 Aksharamukha:用于将印度语言音译为罗马字母的工具(脚注提及)。 Lexilogos:用于将俄语、阿拉伯语等语言音译为罗马字母的工具(脚注提及)。 sclite:NIST语音评分工具包的一部分,被用作对比基线。链接未在论文中明确提供,属于NIST SCTK工具包。 🏗️ 方法概述和架构 本文的方法主要分为两个核心部分:1)一个鲁棒的文本对齐算法,用于正确对齐ASR假设(HYP)、参考文本(REF)和评估序列(EVAL);2)一个PoS感知的Transformer解码器,用于利用对齐后的错误分析信息改进ASR性能。 ...

2026-05-28 · 更新于 2026-07-27 · 3 min · 446 words

VoiceGiraffe: A Benchmark for Extreme Long-Context Audio-Language Understanding

📄 VoiceGiraffe: A Benchmark for Extreme Long-Context Audio-Language Understanding #多语言 #音频问答 #模型评估 ✅ 7.0/10 | 前25% | #音频问答 | #多语言 | #模型评估 | arxiv 学术质量 8/7 | 影响力 8/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 论文第一作者为Jashin Ye,通讯作者为Dongxiao Wang。主要研究机构为阿里巴巴的Future Living Lab。论文中注明Jashin Ye与Dongxiao Wang贡献相等。 💡 毒舌点评 这是一篇扎实的“工作”论文,而非“方法”论文。它的主要贡献是填补了一个明确的空白——小时级自然音频理解的基准,这一点值得肯定。然而,其“严苛”评估的基石,即数据构建流水线,本身就深度依赖当前最强的闭源模型(Qwen3.5-Omni, Gemini)来生成字幕和构建QA,这构成了一种方法论上的循环依赖。用你所要评估的“裁判”来训练“题目”,这在某种程度上削弱了基准的独立性和公平性。论文声称是“首个”,但类似BLAB等工作的存在使得这一声明的绝对性需要商榷。此外,仅用准确率评估QA,对于评估“推理过程”和“错误性质”来说过于粗糙。总的来说,它是一个有用的工具,但其设计上的妥协(依赖闭源模型)和评估上的单一性限制了其作为“黄金标准”的价值。 📌 核心摘要 本文提出了VoiceGiraffe,首个面向小时级极端长上下文音频理解的双语问答基准。基准包含123个完整录音(总时长113.1小时),涵盖体育、电竞、影视剧、新闻、播客五大领域,并设计了从单跳感知到多跳推理的两层任务分类体系,共包含1500个高质量问答对。通过对9个开源和4个闭源模型的系统评估,论文揭示了当前大音频语言模型在该任务上的核心瓶颈:小时级理解极具挑战性,最优推理范式因模型而异,且长程记忆持久性是当前模型的显著弱点,表现模式与人类相反。基准测试远未饱和,亟需具备持久记忆机制的新型模型。 🔗 开源详情 代码:论文中未提及开源数据处理或评估代码。 模型权重:论文中未提及开源任何模型权重。 数据集:论文中声明“我们将发布VoiceGiraffe基准以支持未来研究”,但未提供具体的下载链接、托管平台(如Hugging Face)或发布时间表。 Demo:论文中未提及Demo。 复现材料:论文中未提供用于复现数据构建流水线(如提示词、API调用参数)或实验的详细配置。 论文中引用的开源项目:pyannote VAD (Bredin et al., 2020) 用于音频分段。 补充链接(自动提取): 代码仓库:https://github.com/OpenMOSS/MOSS-Audio 🏗️ 方法概述和架构 VoiceGiraffe的核心是一个多阶段、协作式的数据构建流水线(图3),旨在将原始长音频转化为经过验证的QA对。该流水线包含四个主要阶段: 源数据收集与分割:从公共平台收集五个领域的完整长音频,经人工过滤后,使用pyannote VAD将其分割为30-40秒的片段。这一步建立了全局时间锚点,为后续一致的标注奠定基础。 ...

2026-05-28 · 更新于 2026-07-27 · 2 min · 389 words

语音/音乐/音频论文速递 2026-05-28

语音/音乐/音频论文速递 2026-05-28 共分析 30 篇论文 ⚡ 今日概览 📥 抓取 30 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8篇 ████████ #语音合成 4篇 ████ #音频问答 2篇 ██ #语音情感识别 2篇 ██ #语音翻译 2篇 ██ #多模态模型 2篇 ██ #语音生成 1篇 █ #音频检索 1篇 █ 📊 论文评分排行榜(30 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 When Helpful Context Leaks: Privacy Risks in Domain-Ada 10.0分 前50% #语音识别 🥈 TARQ: Tail-Aware Reconstruction Quantization for Rare-W 10.0分 前10% #语音识别 🥉 Comprehensive Benchmarking of Long-Form Speech Generati 9.9分 前25% #语音合成 4. MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic 9.9分 前25% #语音生成 5. OmniRetriever: Any-to-Any Audio-Video-Text Retrieval vi 9.2分 前25% #音频检索 6. Audio-Mind: An Auditable Agentic Framework for Audio Un 8.7分 前50% #音频问答 7. From Talking to Singing: A New Challenge for Audio-Visu 8.7分 前50% #语音伪造检测 8. SMILE-Next: Teaching Large Language Models to Detect, C 8.7分 前25% #语音情感识别 9. Dasheng AudioGen: A Unified Model for Generating Cohere 8.6分 前25% #音频生成 10. Why We Need Speech to Evaluate Speech Translation 8.3分 前50% #语音翻译 11. Bandwidth-Efficient and Privacy-Preserving Edge-Cloud M 8.1分 前25% #语音翻译 12. EigeNet: Geometry-Informed Multi-Modal Learning for Few 8.0分 前50% #多模态模型 13. Unified Synthesis of Compositional Speech and Sound fro 8.0分 前25% #语音合成 14. Gemini Embedding 2: A Native Multimodal Embedding Model 7.9分 前25% #语音识别 15. HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge 7.5分 后50% - 16. Building Community-Centred NLP Resources for Puno Quech 7.2分 前50% #语音识别 17. Utilizing Missed Detections in Directional Sensitivity- 7.1分 前50% #语音识别 18. Diffusion Large Language Models for Visual Speech Recog 7.0分 前25% #语音识别 19. LoSATok: Low-dimensional Semantic-Acoustic Tokenizer fo 7.0分 前50% #语音合成 20. Affective Music Recommendation: A Rollout-Based World M 7.0分 前50% #音乐推荐 21. VoiceGiraffe: A Benchmark for Extreme Long-Context Audi 7.0分 前25% #音频问答 22. AgenticVBench: Can AI Agents Complete Real-World Post-P 7.0分 前50% #基准测试 23. Do Audio LLMs Listen or Read? Analyzing and Mitigating 6.8分 前50% #语音情感识别 24. A Conflict-Aware Penalty and Statistical Loss Framework 6.8分 前50% #多模态模型 25. I Hear, Therefore I Trust: A Socio-Technical Investigat 6.5分 前50% #语音合成 26. DEMON: Diffusion Engine for Musical Orchestrated Noise 6.0分 前50% #音乐生成 27. Breaking the Script Barrier: Enabling Automatic Alignme 6.0分 前50% #语音识别 28. Robust Quantum-MUSIC for DoA Estimation Using Rydberg A 5.7分 前50% - 29. Benchmarking AI for low-resource contexts: Thinking bey 5.1分 后50% #语音识别 30. Cross-modal characterization of infant cry: validation 5.0分 前50% #信号处理基础 📋 论文列表 🥇 When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR 🔥 10.0/10 | 前50% | #语音识别 | #迁移学习 | #隐私安全 #领域自适应 | arxiv ...

2026-05-28 · 更新于 2026-07-27 · 15 min · 3187 words