低资源

📄 梵颂为何难唱：当吟诵的旋律不在文本里 英文题目：Vagdhenu: A Vrutta (Meter) Aware Shloka-to-Chant (TTS) System for Sanskrit 一句话：为把梵语诗节准确唱出来，Vāgdhenu 放弃在文本侧学习韵律，转而用韵律精确匹配的参考音频去“填充”流匹配模型，并在约 5 小时单人数据上首次完整唱对卷舌送气等密集辅音丛，代价是韵律只能靠参考模板克隆而无法自由设计。 标签：#语音合成 #流匹配 #低资源 #多语言 评分：7.9/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.5/1.5 | 可复现 0.4/0.5 | 工程/实践 1.3/1.5 👥 作者与机构 Prathosh A P：机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 把梵颂吟诵这个低资源高规约任务做成可交付流水线并用 Kannada 路由、韵律感知参考检索和半参考规则解决真实卡点，负结果剖析比多数正结果更有价值；短板是评估仅为单人专家非盲测且 MOS 跨代不可比，所谓韵律感知本质是参考检索而非可控生成，声学骨干与声码器均为现成组件复用，架构创新有限。 📌 核心摘要 本文解决梵语韵律诗节（śloka）到吟诵（parāyaṇa chant）的高保真语音合成问题，目标是保持长元音、尾随 visarga、卷舌与送气对立及密集辅音丛的正确发音并尊重诗律（vṛtta）结构。系统 Vāgdhenu 以现成流匹配（Flow Matching）语音合成骨干（Chen et al. 2024; AI4Bharat 2024，约 337M 参数的扩散变换器 DiT）与大规模对抗声码器 BigVGAN-v2（Lee et al. 2023）为基础，构建脚本感知前端、韵律感知的参考选择机制与面向源文本校验的质量控制栈。核心机制差异在于放弃文本侧韵律条件，转为通过精确匹配参考音频的韵律模板进行上下文填充式克隆，并通过 Kannada 文字路由规避 Devanagari 在指示模型中的固有元音删除问题。最能支撑结论的证据是同一单说话人数据上四代架构的演进中，流匹配骨干以约 5 小时微调在专家平均意见分（Mean Opinion Score, MOS）上达到约 4.6 分并首次完整渲染含卷舌送气在内的辅音丛，而此前三代 StyleTTS2（约 3.0 至 4.2）、VITS2、Matcha-TTS（约 4.2 至 4.3）均触及天花板。该系统已落地两个大规模部署（Mahābhārata Tātparya Nirṇaya 5183 诗节约 17.5 小时视频语料；Śrīmad Bhāgavatam 约 18000 诗节音频应用）并开源前端、推理与训练代码、模型权重与吟诵数据集。局限在于缺乏多听者盲测与置信区间，韵律可设计性在当前自填充骨干上被证明不可达，且评估依赖非可比的专家估计。 ...

语音/音乐/音频论文速递 2026-08-29 共分析 29 篇论文 ⚡ 今日概览 ✅ 筛选入选 29 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 5 篇 █████ #语音交互 3 篇 ███ #音视频理解 3 篇 ███ #音频检索 2 篇 ██ #音频理解 2 篇 ██ #LoRA 1 篇 █ #多模态模型 1 篇 █ #空间音频 1 篇 █ 📊 论文评分排行榜（29 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 AudioSpan: Spanning the Duration and Depth of Audio… 8.7 前25% 数据集与基准 #音频理解 🥈 StreamAV-Bench: A Comprehensive Benchmark for… 8.2 前25% 数据集与基准 #音频生成 🥉 AfriSwitch: A Benchmark for In-the-Wild African Code… 8.1 前25% 数据集与基准 #语音识别 4. Said Aloud, Read Different: Cross-Modal Instability in… 8.1 前25% 数据集与基准 #音视频问答 5. Your Voice Cloning System is Secretly a Voice… 8.0 前25% 方法研究 #语音转换 6. Vagdhenu: A Vrutta (Meter) Aware Shloka-to-Chant (TTS)… 7.9 前25% 系统技术报告 #语音合成 7. Modality Maturity Index: A benchmark for assessing… 7.8 前25% 数据集与基准 #音视频理解 8. Emotion Understanding in Streaming Video with… 7.7 前25% 方法研究 #音视频理解 9. SpeechGym: An Audio-Native Gym for Training Voice… 7.6 前25% 系统技术报告 #语音交互 10. Omni-Interactive Universal Embedder 7.5 前25% 方法研究 #音频检索 11. Multi2AV-Safety: Benchmarking Safety in Multimodal-to… 7.3 前50% 数据集与基准 #音视频生成 12. Mapping Written Words to Spoken Words in a Different… 7.3 前50% 方法研究 #音频检索 13. Towards Interpretable Depression Detection: Linking… 7.1 前50% 系统技术报告 #语音情感识别 14. Letters hide the truth from our eyes: English… 6.8 前50% 方法研究 #语音识别 15. Interpretable, Fairly Evaluated Automated L2 Speaking… 6.7 前50% 方法研究 #语音质量评估 16. When Text Misleads: Inconsistent-Aware Reasoning for… 6.6 前50% 数据集与基准 #语音交互 17. From Sound to Symptom: Real-Time Respiratory Signal… 6.4 前50% 系统技术报告 #音频事件检测 18. Scaling phoneme-based TTS augmentation for ASR: A… 6.2 前50% 方法研究 #语音识别 19. Direct or Mediated? Task-Dependent Audio Information… 6.1 前50% 方法研究 #音频理解 20. Attention-Guided Reliability Scaling for Contrastive… 6.0 前50% 方法研究 #语音识别 21. Soft Active Electromyography Interface for Machine… 5.9 前50% 系统技术报告 #语音识别 22. A Reranker for Orchestrating Heterogeneous Speech and… 5.8 前50% 方法研究 #LoRA 23. Decay-Region Group Delay as a Forensic Cue for AI… 5.8 前50% 方法研究 #音频伪造检测 24. Recovering Expert Critic-Sourced Network Adjacency… 5.8 前50% 方法研究 #音乐推荐 25. Benchmarking_Fast_Domain_Adaptation_for_Unsupervised_S… 5.5 前50% 数据集与基准 #语音编码 26. GAN-based Joint Dereverberation and Directional… 5.3 后 50% 方法研究 #空间音频 27. Real-TurnTurk: A Multimodal Turkish Corpus for Turn… 5.1 后 50% 数据集与基准 #多模态模型 28. A Safety-Gated Multimodal AI Backend for Mental-Health… 5.0 后 50% 系统技术报告 #语音交互 29. How AI Experiences Art: Emergent Aesthetic Structure… 4.0 后 50% 方法研究 #音视频理解 📋 论文列表 🥇 长音频不是更长的短音频：AudioSpan 如何逼模型证明它真的听见了 英文题目：AudioSpan: Spanning the Duration and Depth of Audio Comprehension ...

📄 32 分钟语料能给 Baniwa ASR 一个起点，却不能借此跳过泛化检验 英文题目：Fine-Tuning Whisper for Automatic Speech Recognition in Baniwa: A Preliminary Study 一句话：这篇论文的可证伪判断是：在 1,373 条、约 0.54 小时且主要由引导式短片段构成的 Baniwa 语料上，Whisper Small 微调能形成初始词级基线；它没有证明连续语音、未见说话人或其他原住民语言也会得到同样表现。 标签：#语音识别 #低资源 #迁移学习 #预训练 #数据集 评分：4.7/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.6/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.4/1.5 💬 毒舌点评 这篇论文真正做对的是克制：它没有把 0.54 小时引导式短录音包装成“解决 Baniwa ASR”，而是留下 Whisper Small、Spanish transcription prompts、90%/5%/5% 切分和 WER/CER 的可检查起点。尤其 step 200 的 37.50% WER 与 step 300 的 40.00% WER 并置，至少让读者看见小语料微调的 checkpoint 选择不是看训练 loss 便可交差。 ...

语音/音乐/音频论文速递 2026-08-27 共分析 21 篇论文 ⚡ 今日概览 ✅ 筛选入选 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4 篇 ████ #回声消除 2 篇 ██ #语音交互 2 篇 ██ #音频分类 2 篇 ██ #音频理解 2 篇 ██ #基准测试 1 篇 █ #空间音频 1 篇 █ #语音伪造检测 1 篇 █ 📊 论文评分排行榜（21 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 AllMusicCaps: Album Reviews as Complementary… 9.1 前10% 方法研究 #音乐检索 🥈 LibriBrain100: One Hundred Hours of Broad and Deep MEG… 8.9 前25% 数据集与基准 #基准测试 🥉 What Do Audio-Visual Synchronization Metrics Actually… 8.8 前25% 方法研究 #音视频理解 4. Why ML-based cough models do not generalize: a… 8.8 前25% 应用研究 #音频分类 5. Lost but not erased: Finding traces of a forgotten… 8.6 前25% 方法研究 #语音识别 6. TurnBench: A Multi-Domain Benchmark for Turn-Taking… 8.5 前25% 数据集与基准 #语音交互 7. Knowledge Distillation for Efficient Acoustic Echo… 8.5 前25% 方法研究 #回声消除 8. Domain-Adaptive ASR for Telephony AI Agents: Fine… 7.9 前25% 系统技术报告 #语音识别 9. CSAVocoder: A Causal Spatial Audio Vocoder Towards… 7.6 前25% 系统技术报告 #空间音频 10. SPECTRA: Subspace-Preserving Embedding Calibration… 7.2 前50% 方法研究 #音频分类 11. Dissonance Spectrum explicitly models perceptual… 7.2 前50% 方法研究 #音乐理解 12. AudioLens: Multi-Perspective Speech Clustering with… 7.1 前50% 方法研究 #音频理解 13. Super Star: Towards Streaming Real-time Interactive… 6.9 前50% 系统技术报告 #音视频交互 14. Can We Read the Mind of an Audio LLM? A Verbalizable… 6.6 前50% 方法研究 #音频理解 15. VoiceMem: Streaming Dual-Brain Memory for Real-Time… 6.6 前50% 系统技术报告 #语音交互 16. A Training-Free Proactive Defense Against Partial… 6.5 前50% 方法研究 #语音伪造检测 17. Combining Self-Embedding Audio Watermarking with Ultra… 6.4 前50% 方法研究 #音频水印 18. Generative vs. Encoder Large Language Models for ASR… 6.1 前50% 应用研究 #语音质量评估 19. Mandarin Humorous Homophone Recognition and… 5.7 前50% 方法研究 #语音识别 20. Acoustic Echo Control Based on Sound Object… 4.9 后50% 方法研究 #回声消除 21. Fine-Tuning Whisper for Automatic Speech Recognition… 4.7 后50% 应用研究 #语音识别 📋 论文列表 🥇 把乐评变成检索监督，关键不在多而在语域对位 英文题目：AllMusicCaps: Album Reviews as Complementary Supervision for Music CLAP ...

📄 Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts 标签：#音频理解 #多语言 #基准测试 #低资源 #鲁棒性 8.2/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 8.2/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：高 | #音频理解 | #多语言 | #基准测试 #低资源 | arxiv 👥 作者与机构 第一作者：Meruyert Aristombayeva（Satbayev University, Almaty, Kazakhstan） 通讯作者：Meruyert Aristombayeva 作者列表：Meruyert Aristombayeva、Jason S. Lucas、Chaewan Chun、Dongwon Lee（机构：Satbayev University；University of Colorado Boulder；The Pennsylvania State University） ...

📄 Weakly Supervised Seafloor Segmentation for Seagrass Habitat Mapping in Side-Scan Sonar Imagery 标签：#音频理解 #Transformer #自监督学习 #低资源 8.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 🔥 8.1/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频理解 | #Transformer | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者：Hayat Rajani（Computer Vision and Robotics Research Institute (ViCOROB), University of Girona, Spain） 通讯作者：Hayat Rajani 作者列表：Hayat Rajani、Nuno Gracias、Rafael Garcia（机构：Computer Vision and Robotics Research Institute (ViCOROB), University of Girona, Spain） ...

语音/音乐/音频论文速递 2026-08-26 共分析 26 篇论文 ⚡ 今日概览 ✅ 筛选入选 26 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频理解 7 篇 ███████ #空间音频 3 篇 ███ #语音交互 2 篇 ██ #语音合成 2 篇 ██ #音乐生成 2 篇 ██ #音视频理解 2 篇 ██ #声源定位 1 篇 █ #语音伪造检测 1 篇 █ 📊 论文评分排行榜（26 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 EmoTra-TTS: Smooth Intra-Utterance Emotion Transitions… 9.6 前10% 方法研究 #语音合成 🥈 LAION-BVD: A 10-Million-Hour Open Video Dataset for… 9.4 前10% 数据集与基准 #音视频理解 🥉 The ISCSLP 2026 Real-World Audio-Visual Speech… 8.8 前25% 数据集与基准 #音视频语音分离 4. EM-KalmanNet: Learned Expectation-Maximization for… 8.8 前25% 方法研究 #声源定位 5. EXAM\(^2\): \(\underline{Ex}tending\) \(\underline{A}udio\)… 8.7 前25% 数据集与基准 #音频理解 6. FireRedAudio: A General-Purpose Audio Language Model… 8.7 前25% 模型报告 #音频理解 7. Arbitrary Polygon Oscillator: Generalizing Polygonal… 8.7 前25% 方法研究 #音乐生成 8. Relative Time Intervals Representation for Word-level… 8.6 前25% 方法研究 #语音识别 9. REDnet: Recursive Encoder and Decoder for Speech… 8.2 前25% 方法研究 #语音分离 10. From local kernels to global form: modeling the… 8.2 前25% 理论研究 #音乐理解 11. Lost in Speech: Trilingual Spoken Hallucination… 8.2 前25% 数据集与基准 #音频理解 12. Weakly Supervised Seafloor Segmentation for Seagrass… 8.1 前25% 方法研究 #音频理解 13. SonarLLM: A Native Sonar–Optical Multimodal Large… 8.0 前25% 方法研究 #音频理解 14. CoSTALA: Compositional Spatio-Temporal Audio-Language… 7.9 前25% 方法研究 #空间音频 15. Don’t Just Listen, Try Planning: Graph-based Retrieval… 7.8 前25% 方法研究 #音频理解 16. On the Robustness of Audio Deepfake Detection under… 7.7 前25% 方法研究 #音频伪造检测 17. Speech-to-SOAP: End-to-End Summarization of Medical… 7.7 前25% 系统技术报告 #音频理解 18. Array-Agnostic Ambisonics Encoding via Diffusion… 7.5 前25% 方法研究 #空间音频 19. OmniJudge or OmniBias? Diagnosing Multimodal Judges… 7.4 前50% 数据集与基准 #音频质量评估 20. Task-disentangled Low-Rank Adaptation for Versatile… 7.4 前50% 方法研究 #音视频理解 21. Anatomy of a Scam Call: What 10,000 real scam and spam… 7.3 前50% 应用研究 #语音交互 22. Preference Optimization for Non-Verbal Vocalization… 7.1 前50% 方法研究 #语音合成 23. One Timeline, Many Renderings: A Wolfram Language… 7.0 前50% 系统技术报告 #音乐生成 24. Visually-Guided Spatial Audio Generation for… 6.9 前50% 方法研究 #空间音频 25. Benchmarking LLM Judges for Voice-Agent Evaluation… 6.6 前50% 数据集与基准 #语音交互 26. Investigating voiced and unvoiced regions of speech… 6.4 前50% 方法研究 #语音伪造检测 📋 论文列表 🥇 EmoTra-TTS: Smooth Intra-Utterance Emotion Transitions for Speech Synthesis 9.6/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 ...

📄 Building and Evaluating a Synthetic Bengali Speech Resource for Telecom Customer Care 标签：#语音合成 #扩散模型 #数据集 #语音克隆 #低资源 7.6/10 | 创新 1.1/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 7.6/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：中 | #语音合成 | #扩散模型 | #数据集 #语音克隆 | arxiv 👥 作者与机构 第一作者：Kawshik Kumar Paul（Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology (BUET)） 通讯作者：正文未明确标注 作者列表：Kawshik Kumar Paul、Md. Nafiul Alam Fuji（机构：Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology (BUET)） ...

📄 MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning 标签：#音频理解 #元学习 #音频大模型 #少样本 #低资源 8.0/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1.4/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 🔥 8.0/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频理解 | #元学习 | #音频大模型 #少样本 | arxiv 👥 作者与机构 第一作者：Haolong Zheng（University of Illinois Urbana-Champaign） 通讯作者：正文未明确标注 作者列表：Haolong Zheng、Siyin Wang、Zengrui Jin、Mark Hasegawa-Johnson（机构：University of Illinois Urbana-Champaign；Tsinghua University） ...

📄 Multi-Task Learning for Non-Canonical Phoneme Recognition via Articulatory Feature Decomposition 标签：#语音识别 #多任务学习 #自监督学习 #低资源 8.2/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 🔥 8.2/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #语音识别 | #多任务学习 | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者：Sophia Riaz（Kaliber AI，San Mateo，California） 通讯作者：Aneesh Jonelagadda 作者列表：Sophia Riaz、Haoze Zheng、Amos Roche、Miyu Zhang、Anamika Ragu、Salvatore Penachio、Kaustav Mukherjee、Aneesh Jonelagadda（机构：Kaliber AI，San Mateo，California） ...