低资源

语音/音乐/音频论文速递 2026-05-29 共分析 20 篇论文 ⚡ 今日概览 📥 抓取 20 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 5篇 █████ #语音识别 5篇 █████ #音频生成 2篇 ██ #基准测试 1篇 █ #多模态模型 1篇 █ #音频分类 1篇 █ #音频深度伪造检测 1篇 █ #语音情感识别 1篇 █ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 DirectorBench: Diagnosing Long-Form Video Generation wi 9.8分 前25% #基准测试 🥈 Benchmarking Single-Factor Physical Video-to-Audio Gene 9.0分 前25% #音频生成 🥉 Audio Jailbreaks in Large Audio-Language Models: Taxono 8.9分 前25% #多模态模型 4. HoliTok:A Coutinuous Holistic Tokenization with Robust 8.6分 前25% #语音合成 5. Dial HEALTHDIAL for Advice: A Multilingual and Multi-Pa 8.6分 前25% #语音合成 6. Mitigating Stethoscope-Induced Shortcuts in Respiratory 8.5分 前25% #音频分类 7. Audio Deepfake Detection with Half-Truth Localisation U 8.4分 前50% #音频深度伪造检测 8. ChildVox: A Speech, Audio, and Large Audio-Language Mod 8.0分 前25% #语音识别 9. State-Anchored Complete-View Distillation for Robust Co 8.0分 前50% #语音情感识别 10. VideoFDB: Evaluating Full-Duplex Vision-Speech Capabili 7.9分 前25% #语音合成 11. Native Audio-Visual Alignment for Generation 7.8分 前50% #音频生成 12. OmniInteract: Benchmarking Real-World Streaming Interac 7.8分 前50% #语音识别 13. MusTBENCH: Benchmarking and Advancing Temporal Groundin 7.5分 前50% #音乐生成 14. Archon: A Unified Multimodal Model for Holistic Digital 7.5分 前50% #语音合成 15. MELD: Mel-Spectrogram-Based Speech Language Modeling wi 7.3分 前50% #语音合成 16. The WER Trap: Shattering the Illusion of Unified Tokens 7.0分 前50% #语音识别 17. Decoding Strategies for Diffusion-Based ASR: A Systemat 6.8分 前50% #语音识别 18. COMET: Concept Space Dissection of the Modality Gap in 6.5分 前50% #音频检索 19. AgentHijack: Benchmarking Computer Use Agent Robustness 5.6分 前50% - 20. Data-Efficient On-Policy Distillation for Automatic Spe 5.1分 前50% #语音识别 📋 论文列表 🥇 DirectorBench: Diagnosing Long-Form Video Generation with Personalized Multi-Agent Evaluation 🔥 9.8/10 | 前25% | #音视频 | #多智能体评估 | #视频生成 #多模态生成评估 | arxiv ...

📄 Benchmarking AI for low-resource contexts: Thinking beyond leaderboards #语音识别 #语音合成 #语音增强 #计算机视觉 #低资源 📝 5.1/10 | 后50% | #语音识别 | #语音合成 | #语音增强 #计算机视觉 | arxiv 学术质量 4.5/7 | 影响力 0.3/2 | 可复现性 0.3/2 👥 作者与机构 Aakash Pant, Kavya Shah, Apoorv Agnihotri, Sneha Nikam, Prasaanth Balraj, Nakul Jain. ( 表示同等贡献). 机构：Wadhwani AI Global. 日期：2026年5月. 💡 毒舌点评 这篇论文像一份写给捐赠机构和政策制定者的“高级产品说明书”。其核心诉求（别只看排行榜，要看实际部署）在AI领域确实是个老生常谈但至关重要的痛点，尤其是在医疗、农业等低资源场景。优点是逻辑清晰、目标明确，且贴心地附上了“基准卡”这种傻瓜式工具，试图弥合技术社区与非技术决策者之间的鸿沟。然而，它的弱点也异常明显：这是一份纯粹的“倡议书”或“愿景文档”。全文没有提出任何新颖的算法、模型或实验方法，而是对现有基准（FLEURS, HELM, ImageNet-C等）进行了一次梳理和重新包装。它的“创新”更多体现在视角和倡导上，而非技术贡献。对于寻求具体技术突破的读者（如NeurIPS/ICML的典型审稿人）来说，这可能显得“干货不足”。论文最大的硬伤是缺乏任何形式的实证验证：它提出的框架是否有效？基准卡在实际采购中是否真的能帮助决策？读者无从知晓。它更像是一个设计精良的提案，而非一篇完整的科研论文。 📌 核心摘要 本文是一篇系统性白皮书，旨在批判当前AI基准测试（以排行榜为代表）在评估面向低资源环境（如网络不稳、设备低端、多语言代码转换）部署的系统时的不足。作者指出，现有评估通常孤立地测试模型性能，而忽略了由数据捕获、预处理、工作流和运行条件构成的完整系统。论文提出了一种新的评估范式：1）将“部署系统”而非“孤立模型”作为评估的基本单元；2）采用三层评估框架（组件层、工作流层、运行条件层）分别报告性能；3）为语音、对话/RAG、视觉三类应用定义包含压力测试和核心指标的标准化“基准卡”。最终目标是提供一个对部署上下文敏感、可操作的标准化报告框架，以真正支持低资源环境下的AI系统选型与部署决策。 🔗 开源详情 代码：论文中未提及任何新开发的代码或框架实现。 模型权重：论文中未提及任何模型权重。 数据集：论文未提供新数据集。文中提及了多个现有基准数据集用于说明，具体如下： FLEURS: 用于多语言语音任务评估。链接：https://doi.org/10.1109/SLT54892.2023.10023141 Speech Robust Bench: 用于ASR鲁棒性评估。链接：https://openreview.net/forum?id=D0LuQNZfEl HELM / HELM Instruct: 用于大语言模型综合评估。链接：https://crfm.stanford.edu/helm/ 和 https://crfm.stanford.edu/helm/instruct/latest/ RAGAs: 用于RAG管道评估。链接：https://doi.org/10.18653/v1/2024.eacl-demo.16 CRAG: 用于检索增强生成评估。链接：https://github.com/facebookresearch/CRAG ImageNet-C / ImageNet-P: 用于图像鲁棒性（损坏和扰动）评估。链接：https://doi.org/10.48550/arXiv.1903.12261 WILDS: 用于野外分布偏移评估。链接：https://doi.org/10.48550/arXiv.2012.07421 COCO-C, PASCAL-C, Cityscapes-C: 用于目标检测/分割的鲁棒性评估，具体链接未在论文中提供，参考文献[14]。 其他提及的本地多语言测试集、领域特定评估集等，均未提供统一获取链接。 Demo：论文中未提及。 复现材料：论文中未提及。 🏗️ 方法概述和架构 本文的方法论核心是提出一个用于设计和评估低资源AI部署系统的框架，而非具体的算法实现。该框架的核心架构包括以下几个关键组成部分： ...

📄 Building Community-Centred NLP Resources for Puno Quechua #语音识别 #自监督学习 #低资源 ✅ 7.2/10 | 前50% | #语音识别 | #自监督学习 | #低资源 | arxiv 学术质量 3.7/7 | 影响力 1.5/2 | 可复现性 2/2 | 置信度 高 👥 作者与机构 Elwin Huaman (剑桥大学) Adrian Gamarra Lafuente (斯坦福大学) Johanna Cordova (法国国立东方语言文化学院 ERTIM) Anna Korhonen (剑桥大学) 💡 毒舌点评 一篇扎实、具有重要社会影响力的基础设施建设工作。贡献明确，数据集和开源生态是其最大亮点。然而，论文在技术深度和实验分析的严谨性上存在明显短板，例如测试集划分策略不明、银数据质量分析缺失、以及未在大型基线模型上进行微调对比，这些缺陷削弱了其作为顶级会议论文的技术说服力。论文更像是一份优秀的社区资源报告，而非一篇方法论驱动的技术论文。 📌 核心摘要 本文旨在为秘鲁普诺地区的克丘亚语变体（qxp）构建社区驱动的数字资源。主要贡献包括：1) 构建了针对单一克丘亚语变体迄今最大的语音语料库（66小时，含36小时人工验证数据），通过四阶段参与式设计收集；2) 建立了首个针对该变体的系统性ASR基准，评估了Whisper-base, wav2vec2-base, XLS-R-300M等模型在微调（含/不含持续预训练CPT）后的表现，并与大规模多语言模型（omniASR, MMS）进行对比；3) 完全开源所有数据集、代码和模型。关键发现表明：银数据（自动转写）对自发语音识别性能的提升起决定性作用（相对WER降低达77%）；持续预训练（CPT）对脚本语音有稳定增益；所有微调模型在域外（OOD）泛化能力上存在明显差距，而超大基线模型表现更优。 🔗 开源详情 数据集：在Mozilla Data Collective上发布，包含： Common Voice Scripted Speech v25：34.81小时（30.5小时验证） Common Voice Spontaneous Speech v3：35.3小时（5.18小时验证 + 30小时银数据） 一个小型域外（OOD）语料库（Add_data，约16分钟） 许可证：CC0-1.0 代码：提供明确的GitHub仓库链接：https://github.com/QuechuaBase/asr-puno-quechua 模型权重：所有微调模型（包括Whisper-base、wav2vec2-base、XLS-R-300M及其CPT变体，在V和V+S配置下）均开源。提供Hugging Face组织主页链接：https://huggingface.co/QuechuaBase Demo：论文中未提及专门的在线演示（Demo）地址。 复现材料：论文提供了详细的复现信息，包括： 数据划分：70/25/5（训练/开发/测试）。 训练配置：超参数（学习率、更新步数、调度器等）和不同数据集配置（V, V+S）细节。 硬件环境：所有实验在单块48GB L40S GPU上完成。 评估结果：完整的WER和CER结果表格（表2和表3）。 未提及单独的“复现材料”代码仓库或文档包。 🏗️ 方法概述和架构 本文的核心方法框架是一个“参与式设计数据收集 + 基础模型微调与评估”的流程，旨在构建一个服务于普诺克丘亚语社区的端到端ASR系统。架构图（Figure 1）展示了一个从数据收集到模型部署的简化流程。 ...

语音/音乐/音频论文速递 2026-05-28 共分析 30 篇论文 ⚡ 今日概览 📥 抓取 30 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8篇 ████████ #语音合成 4篇 ████ #音频问答 2篇 ██ #语音情感识别 2篇 ██ #语音翻译 2篇 ██ #多模态模型 2篇 ██ #语音生成 1篇 █ #音频检索 1篇 █ 📊 论文评分排行榜（30 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 When Helpful Context Leaks: Privacy Risks in Domain-Ada 10.0分 前50% #语音识别 🥈 TARQ: Tail-Aware Reconstruction Quantization for Rare-W 10.0分 前10% #语音识别 🥉 Comprehensive Benchmarking of Long-Form Speech Generati 9.9分 前25% #语音合成 4. MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic 9.9分 前25% #语音生成 5. OmniRetriever: Any-to-Any Audio-Video-Text Retrieval vi 9.2分 前25% #音频检索 6. Audio-Mind: An Auditable Agentic Framework for Audio Un 8.7分 前50% #音频问答 7. From Talking to Singing: A New Challenge for Audio-Visu 8.7分 前50% #语音伪造检测 8. SMILE-Next: Teaching Large Language Models to Detect, C 8.7分 前25% #语音情感识别 9. Dasheng AudioGen: A Unified Model for Generating Cohere 8.6分 前25% #音频生成 10. Why We Need Speech to Evaluate Speech Translation 8.3分 前50% #语音翻译 11. Bandwidth-Efficient and Privacy-Preserving Edge-Cloud M 8.1分 前25% #语音翻译 12. EigeNet: Geometry-Informed Multi-Modal Learning for Few 8.0分 前50% #多模态模型 13. Unified Synthesis of Compositional Speech and Sound fro 8.0分 前25% #语音合成 14. Gemini Embedding 2: A Native Multimodal Embedding Model 7.9分 前25% #语音识别 15. HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge 7.5分 后50% - 16. Building Community-Centred NLP Resources for Puno Quech 7.2分 前50% #语音识别 17. Utilizing Missed Detections in Directional Sensitivity- 7.1分 前50% #语音识别 18. Diffusion Large Language Models for Visual Speech Recog 7.0分 前25% #语音识别 19. LoSATok: Low-dimensional Semantic-Acoustic Tokenizer fo 7.0分 前50% #语音合成 20. Affective Music Recommendation: A Rollout-Based World M 7.0分 前50% #音乐推荐 21. VoiceGiraffe: A Benchmark for Extreme Long-Context Audi 7.0分 前25% #音频问答 22. AgenticVBench: Can AI Agents Complete Real-World Post-P 7.0分 前50% #基准测试 23. Do Audio LLMs Listen or Read? Analyzing and Mitigating 6.8分 前50% #语音情感识别 24. A Conflict-Aware Penalty and Statistical Loss Framework 6.8分 前50% #多模态模型 25. I Hear, Therefore I Trust: A Socio-Technical Investigat 6.5分 前50% #语音合成 26. DEMON: Diffusion Engine for Musical Orchestrated Noise 6.0分 前50% #音乐生成 27. Breaking the Script Barrier: Enabling Automatic Alignme 6.0分 前50% #语音识别 28. Robust Quantum-MUSIC for DoA Estimation Using Rydberg A 5.7分 前50% - 29. Benchmarking AI for low-resource contexts: Thinking bey 5.1分 后50% #语音识别 30. Cross-modal characterization of infant cry: validation 5.0分 前50% #信号处理基础 📋 论文列表 🥇 When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR 🔥 10.0/10 | 前50% | #语音识别 | #迁移学习 | #隐私安全 #领域自适应 | arxiv ...

📄 Beyond Binary: Speech Representations Across the Cognitive Score Hierarchy #自监督学习 #支持向量机 #预训练 #低资源 🔥 8.1/10 | 前50% | #自监督学习 | #自监督学习 | #支持向量机 #预训练 | arxiv 学术质量 5.2/7 | 影响力 1.5/2 | 可复现性 1.4/2 | 置信度 高 👥 作者与机构 论文作者包括Serli Kopar, Roshan Prakash Rane, Christian Mychajliw, Lydia Federmann, Gerhard Eschweiler, Sam Berg, Paula Andrea Gijsen, Kerstin Perez-Toro, Daniela Ritter。主要机构包括：1) 赫尔蒂AI脑健康研究所，图宾根大学；2) 图宾根AI中心；3) 柏林洪堡大学心理学系；4) 图宾根大学医院老年病学中心；5) 图宾根心理健康中心；6) 德国心理健康中心图宾根合作点；7) 石勒苏益格-荷尔斯泰因大学医学中心和基尔大学神经内科；8) 图宾根大学医院神经学中心及临床脑研究赫尔蒂研究所；9) 埃尔朗根-纽伦堡大学模式识别实验室；10) 柏林夏里特医学院精神病学和心理治疗系。 💡 毒舌点评 这篇论文在临床语音分析领域迈出了有意义的一步，将目光从简单的二分类投向了认知评估的内在层级结构，这一点值得肯定。研究设计思路清晰，利用CERAD+电池的固有结构构建了一个精巧的分析框架。“专家”与“通才”的比喻虽然启发思考，但更像一个事后归因的描述性框架，其理论深度和验证力度尚显不足。最大的硬伤在于，论文在声称性能模式存在显著“稀释”和“反向稀释”时，却没有提供任何统计检验来证明这些趋势不是随机波动，这让核心论点的说服力大打折扣。此外，将任务简单二分为“开放”和“结构化”忽略了认知成分的复杂性。数据虽来自真实临床环境，但单语（德语）的局限性和未公开的数据集，限制了其更广泛的影响力。总的来说，这是一份扎实的经验性报告，但距离形成一个经得起严格推敲的理论框架还有差距。 ...

📄 FalAR: A Large-scale Speaker-Annotated European Portuguese Speech Corpus of Parliamentary Sessions #语音识别 #预训练 #低资源 📝 5.5/10 | 后50% | #语音识别 | #预训练 | #低资源 | arxiv 学术质量 5.5/7 | 影响力 7.0/2 | 可复现性 0.0/2 | 置信度 高 👥 作者与机构 作者：Francisco Teixeira, Carlos Carvalho, Mariana Julião, Catarina Botelho, Rubén Solera-Ureña, Sérgio Paulo, Thomas Rolland, Ben Peters, Isabel Trancoso, Alberto Abad 机构：INESC-ID, Lisbon, Portugal; Instituto Superior Técnico, Universidade de Lisboa, Portugal 💡 毒舌点评 这篇工作像是为一场特定比赛精心准备的“家酿”食谱：食材（议会录音）很充足，流程（数据处理）写得很细，最后端出了一个看起来量足（5800小时）的“菜”（语料库）。但问题在于，作者只跟你比较了自己以前用小锅做（425小时）的菜，就宣称新菜能让下游模型性能提升14%——这就像一个马拉松选手只和自己的弟弟赛跑就宣称破了世界纪录。在2025年，你不跟Whisper、XLS-R这些“市面大厨”的作品比一比，怎么说服大家你的“菜”真的有独特价值？更别提你吹了半天“说话人标注”这个“独家秘方”，结果连个像样的说话人识别效果都没展示。论文像一份详细的仓库盘点清单，价值在于“我有这么多货”，而不是“我用这些货做了多厉害的菜”。 ...

📄 Music Transcription with (Almost) No Supervision #低资源 ✅ 7.5/10 | 前50% | #音乐转录 | #低资源 | arxiv 学术质量 7.5/7 | 影响力 8.0/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Saebyeol Shin, Chao Wan, Zhenzhen Liu, Justin Lovelace, Daniel C. Lin, Kilian Q. Weinberger, John Thickstun Cornell University, Ithaca, NY 💡 毒舌点评 优点：选题方向极具价值。在标注数据稀缺的音乐转录领域，探索利用海量无监督数据是一条非常务实的路径。论文系统地设计并验证了基于循环一致性的半监督框架，实验设计周密（从单乐器到多乐器、从低资源到域适应），关键结论（无监督数据的价值、音频模态的主导作用、零样本跨乐器适应）有扎实的数据支持。缺点： “几乎无监督”的表述略有夸张：核心框架的稳定训练和对齐仍然依赖于一个“锚点”——哪怕是最少1.6小时的配对数据。这更准确地说是“极低资源监督学习”而非“无监督”。 方法创新性有限：循环一致性（CycleGAN）和潜空间映射（使用预训练VAE）都是成熟技术。本文的主要贡献在于将这些技术组合并系统性地应用于音乐转录这一特定跨模态任务，并进行了详尽的分析，而非提出了全新的算法范式。 与最先进方法的差距显著：虽然论文展示了在低资源下的巨大提升，但其最佳性能（MAESTRO 81.81 Frame F1）与强监督基线（87.43）及领域内SOTA（如MT3，论文中未直接对比，但根据领域知识，其性能更高）仍有明显差距。这说明该框架在追求绝对性能上尚未达到顶尖水平，其核心价值在于提供了一种高效利用无监督数据的范式。 对“音高校准”这一失败模式的深入讨论不足：论文指出了无监督训练易出现全局音高偏移，但未进一步探讨在潜空间中如何从原理上避免此类非全局性对齐错误，或该框架对更细粒度（如节奏、力度）对齐的学习能力。 📌 核心摘要 本文针对音乐自动转录（AMT）中标注数据稀缺的核心问题，提出了一种基于循环一致性框架的半监督学习方法。该方法利用预训练的乐谱变分自编码器（Score VAE）构建连续潜空间，作为连接连续频谱图（CQT）与离散乐谱的桥梁。通过两个核心生成器（转录器与合成器）以及配套的判别器，框架能够同时处理少量配对数据（提供对齐锚点）和大量无配对数据（提供循环一致性学习信号）。 核心发现表明：1）在低资源监督场景下，加入无监督数据能带来巨大的性能增益（1.6小时配对数据+无监督数据可达到全监督性能的86.3%）；2）在无监督数据模态比较中，无监督音频比无监督乐谱提供更强的学习信号；3）无需任何目标乐器的配对标签，仅通过在训练中加入该乐器的无监督音频，即可显著提升其转录性能（GuitarSet上从54.81提升至64.81 Frame F1），实现零样本跨乐器适应。论文还在MusicNet-EM多乐器数据集上验证了方法在极端低资源和多模态不匹配场景下的有效性。代码已开源。 🔗 开源详情 代码：https://github.com/SaebyeolShin/almost_unsupervised_amt 模型权重：未在论文或代码仓库中提及提供预训练权重。 数据集：论文未提供直接链接。所用数据集（MAESTRO v2.0.0, GuitarSet, MusicNet-EM及Gardner Museum音频）需从其官方渠道获取。Gardner Museum音频的获取与去重流程在附录A中有说明。 Demo：未提及。 复现材料：论文附录B和C提供了详尽的模型架构（Score VAE、生成器、判别器）和训练超参数（优化器、学习率、损失权重等）配置，足以复现实验。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 本文提出的框架（如论文图2所示）是一个在CQT频谱图域（\(X_C\)）与一个由预训练Score VAE编码得到的乐谱潜空间（\(\mathcal{Z}_S\)）之间进行双向翻译的半监督循环生成对抗网络（Cycle-GAN）。 ...

📄 PashtoTTS-Bench: automated screening for low-resource non-Latin-script text-to-speech #语音合成 #语音识别 #多模态模型 #低资源 ✅ 6.5/10 | 前50% | #语音合成 | #语音识别 | #多模态模型 #低资源 | arxiv 学术质量 6.5/7 | 影响力 6.0/2 | 可复现性 1.0/2 | 置信度 高 👥 作者与机构 Hanif Rahman，独立研究者。 💡 毒舌点评 这篇论文的核心贡献是提出了一个名为INSV的、系统化的多维评估框架，并将其自动化实例（INSV-A）应用于首个公开的普什图语TTS基准测试。这听起来不错，但实际上是一份“半成品”报告。论文花了大量篇幅定义框架和失败分类法，但其最核心的“自然度”（N）维度——即真正的TTS质量核心——完全没有数据。我们得到的是一堆自动化指标（WER, SFR, LID），而这些指标本身充满陷阱（例如，合成音频的“干净”特性导致WER低于自然语��，可能误导为质量更好）。论文诚实地指出了许多局限（如工具不可靠、缺乏人工验证），但这恰恰暴露了该基准目前只能作为“筛选工具”而非“评估标准”的尴尬地位。作为一篇声称填补空白的基准论文，其系统覆盖面有限，结论受限于单一语言且需大量人工后续工作，实际可用性要打折扣。 📌 核心摘要 本文针对低资源非拉丁语系语言（以普什图语为例）的TTS评估，指出仅依赖单一ASR往返WER指标可能失败。为此，作者提出了INSV（可理解性、自然度、脚本保真度、验证）报告框架，并报告了其自动化筛选子集INSV-A。基于此框架，作者创建了PashtoTTS-Bench，一个包含冻结提示集、评估脚本和结果的公开基准。实验评估了多个商用和开源TTS系统，结果表明：OmniVoice auto在独立ASR下WER最低，但低于自然语音基线主要归因于合成音频的声学干净特性；Whisper对普什图语音识别率接近零；MMS-LID和SpeechBrain模型能有效区分普什图语输出和乌尔都语对照。论文明确声明INSV-A仅为自动化筛选工具，其核心的“自然度”维度依赖未来的人工MOS评估，目前的失败分类法也仅为候选，需原住民标注确认。 🔗 开源详情 代码：论文提到了具体的评估脚本（如scripts/05_tts_benchmark.py, scripts/export_mos_survey.py），并说明发布包包含这些脚本。但未提供公开的代码仓库（如GitHub）的具体链接。复现依赖于获取包含这些脚本的发布包。 模型权重：论文列出了评估中使用的多个模型的标识符或名称： pashto-asr-v3 (ihani/pashto-asr-v3) omniASR_CTC_300M_v2 MMS-LID-4017 (facebook/mms-lid-4017) SpeechBrain VoxLingua107 Edge TTS 模型（ps-AF-GulNawazNeural, ps-AF-LatifaNeural, ur-PK-AsadNeural） OmniVoice (k2-fsa/OmniVoice) Fish Speech S2-Pro (fishaudio/s2-pro) Whisper Large V3 未提供这些模型权重的直接下载链接（如HuggingFace/ModelScope页面）。用户需要根据标识符自行查找。 数据集： FLEURS Pashto (ps_af)：属于公开的Google FLEURS基准数据集，论文未提供独立链接。 Common Voice 24 Pashto：属于Mozilla Common Voice数据集。论文明确指出该音频数据集不可公开再分发，但提供了筛选后的200条提示文本。 Demo：论文未提及在线演示链接。 复现材料：论文明确承诺发布包含以下内容的复现材料包： 冻结的文本提示集（200 FLEURS + 200 筛选后的 CV24）。 逐句评估结果CSV文件（WER, CER, SFR, LID审计结果）。 评估脚本（scripts/目录下）。 提供者元数据和运行日志。 SHA-256音频哈希值（tts_audio_hashes.csv）。 MOS调查导出脚本和说明材料（scripts/export_mos_survey.py，补充材料§A）。 失败日志。 论文提到发布包将遵循可复现的本地构件包布局，并会使用相同的布局发布公共快照（如HuggingFace或Zenodo），但未给出具体快照链接。 论文中引用的开源项目： Edge TTS：微软的语音合成工具包（给出版本 edge-tts 7.2.8）。 OmniVoice：k2-fsa/OmniVoice，一个语音克隆框架。 Fish Speech：fishaudio/s2-pro，一个开源TTS模型。 MMS-TTS (Meta)：facebook/mms-tts-ps（论文中指出未发布该检查点）。 Coqui XTTS v2：一个多语言TTS系统。 UTMOS：一个自动MOS预测模型。 Whisper Large V3：OpenAI的多语言语音识别模型（论文中用于LID压力测试，但指出其对普什图语LID不可靠）。 MMS-LID-4017：Meta的多语言语言识别模型（facebook/mms-lid-4017）。 SpeechBrain VoxLingua107：SpeechBrain的语言识别模型（speechbrain VoxLingua107 ECAPA）。 补充链接（自动提取）： HuggingFace：https://huggingface.co/ihanif/pashto-asr-v3 🏗️ 方法概述和架构 本文的核心方法是提出并实例化一个名为INSV的TTS评估报告框架，其自动化部分称为INSV-A。整个方法可视为一个多维度、多层次的筛选与报告流程，旨在系统化地揭示低资源非拉丁语系TTS可能存在的各类失败模式。 ...

📄 PilotTTS: A Disciplined Modular Recipe for Competitive Speech Synthesis #语音合成 #语音生成 #自回归模型 #生成对抗网络 #数据增强 #低资源 #多任务学习 #语音克隆 🔥 9.2/10 | 前25% | #语音合成 | #生成对抗网络 | #语音生成 #自回归模型 | arxiv 学术质量 5.7/7 | 影响力 1.8/2 | 可复现性 1.7/2 | 置信度 高 👥 作者与机构 作者：Bowen Li, Shaotong Guo, Zhen Wang, Yang Xiang, Mingli Jin, Yihang Lin, Jiahui Zhao, Weibo Xiong, Dongrui Li, Keming Chen, Yunze Gao, Yuze Zhou, Zeyang Lin, Yue Liu 机构：高德（Amap, Alibaba Group）；香港中文大学（深圳） ...

📄 Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for Arabic Speech Diacritization #语音识别 #多模态模型 #低资源 ✅ 6.0/10 | 前50% | #语音识别 | #多模态模型 | #低资源 | arxiv 学术质量 6.0/7 | 影响力 6.5/2 | 可复现性 1.0/2 | 置信度 高 👥 作者与机构 作者：Meshal Alamr, Hassan Alqaeri, Abdullah Aldahlawi 机构：Thaka, Advanced AI and Information Technology (Riyadh, Saudi Arabia) 💡 毒舌点评 这篇论文本质上是一份“调参报告”加上一个“集成技巧展示”。其核心论点——“在低资源下，正则化比架构重要”——是正确的，但也是相当可预期的。论文的亮点在于严谨地实施并报告了这些策略，使其成为了一个获胜系统，但这更多地体现了工程上的细致和对现有技术的熟练运用，而非方法论上的突破。论文声称其系统排名第一，但缺乏与最强竞争系统的详细技术对比（除了数字）。消融实验虽然存在，但不够深入，无法让我们真正理解每个组件的独立贡献。最大的遗憾是缺乏开源，这对于一篇以“技术分享”为名的竞赛论文来说是致命的缺点。 📌 核心摘要 本文介绍了KSAA-2026共享任务（Task 2：阿拉伯语音转写与自动音标）的获胜系统。该任务仅提供2,327个训练样本且不允许使用外部数据，是一个典型的低资源场景。作者的系统对CATT-Whisper多模态架构（结合文本编码器CATT和冻结的语音编码器Whisper）进行微调。其核心贡献在于强调并系统化地应用了训练时的正则化策略：R-Drop一致性正则化、Optuna优化的超参数（包括高权重衰减）、以及Focal Loss。在推理阶段，他们使用基于Monte Carlo Dropout的集成方法：4个不同检查点（3个不同种子，1个不同配置）各进行50次随机前向传播，平均200次softmax概率。该系统在测试集上取得了23.26%的WER（带词尾音标，包含无声调位置），在所有参赛系统中排名第一。论文通过累积消融实验证明，正则化训练策略（带来3.25个百分点的WER下降）是性能提升的主要驱动力，而推理集成进一步贡献了1.16个百分点。 🔗 开源详情 代码：论文未提供代码链接。致谢中提到“Abjad AI团队开源CATT-Whisper模型”，但未提供其代码仓库的URL。 模型权重：论文未提供训练好的模型检查点文件或HuggingFace/ModelScope等平台的链接。仅提到CATT-Whisper由Abjad AI团队开源，但同样未给出具体链接。 数据集：论文未提供KSAA-2026共享任务数据集的获取链接。 Demo：论文未提及。 复现材料：论文提供了详细的训练配置信息（表1），包括所有关键超参数（学习率、R-Drop \(\alpha\)、Focal \(\gamma\)、权重衰减等）和训练策略（Optuna优化、多检查点训练、MC Dropout集成细节）。理论上，拥有数据集和基础代码的读者可以依据此信息复现实验。然而，由于缺少代码和模型，实际复现难度很高。 论文中引用的开源项目： CATT-Whisper: 由Abjad AI团队开源，论文未提供具体仓库链接。引用了其原始论文 (Ghannam et al., 2025)。 Optuna: 超参数优化框架。链接：https://github.com/optuna/optuna （论文引用了其2019年论文）。 SpecAugment: 数据增强方法。论文引用了其2019年论文，未提供工具链接。 Focal Loss: 论文中使用的损失函数。论文引用了其2017年论文，未提供代码链接。 R-Drop: 正则化技术。论文引用了其2021年论文，未提供代码链接。 Whisper: OpenAI的语音识别模型。论文未提供链接，但论文引用了其2023年论文。 AraBERT: 阿拉伯语预训练模型。论文未提供链接，但论文引用了其2020年论文。 CATT: 字符级阿拉伯语模型。论文未提供链接，但论文引用了其2024年论文。 🏗️ 方法概述和架构 本系统构建于CATT-Whisper多模态架构之上。其核心思想是将阿拉伯语文本信息与语音音频信息进行融合，以解决纯文本模型在音标标注任务上的歧义性问题。 ...