MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

📄 MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages 标签:#语音属性识别 #LoRA #多语言 #预训练 #音频理解 7.5/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.5/10 | 前25% | 文档类型:模型报告 | 评分置信度:中 | #语音属性识别 | #LoRA | #多语言 #预训练 | arxiv 👥 作者与机构 第一作者:未说明。论文按 MERaLiON Team 字母顺序署名,无法据此认定第一作者。 通讯作者:Qiongqiong Wang(wang_qiongqiong@a-star.edu.sg) 作者列表(论文 Section 8,字母序):Aw Ai Ti、Chen Fang Yih Nancy、Chiu Ying Lay、Ding Yang、He Yingxu、Jiang Ridong、Liu Zhuohan、Lu Yanfeng、Ma Yi、Muhammad Huzaifah Bin Md Shahrin、Nabilah Binte Md Johan、Nattadaporn Lertcheva、Pham Minh Duc、Sailor Hardik Bhupendra、Siti Umairah Binte Mohammad Salleh、Sun Shuo、Tarun Kumar Vangani、Wang Qiongqiong、Wong Heng Meng Jeremy、Wu Jinyang、Zhang Longyin 机构:Institute of Advanced Intelligence and Computing (IAIC), A*STAR, Singapore 💡 毒舌点评 把 LoRA 微调的大 Conformer 与 ECAPA-TDNN 下游网络拼起来做性别识别,系统集成和评测覆盖度确实比一般任务报告完整,模型权重和 demo 也开放了。但方法本身没有提出新的学习范式或模型模块,缺少消融、缺少统计显著性检验、缺少模型规模与推理效率数据,训练数据和内部评测集也不开放。所谓“consistent surpasses SOTA”实际是 15 个测试集上 12 胜、1 平、2 负,只能算限定条件下的工程优势,不能被视为方法层面的突破。 ...

2026-08-06 · 更新于 2026-08-14 · 5 min · 933 words

语音/音乐/音频论文速递 2026-08-06

语音/音乐/音频论文速递 2026-08-06 共分析 26 篇论文 ⚡ 今日概览 📥 抓取 26 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频理解 3篇 ███ #语音增强 2篇 ██ #语音质量评估 2篇 ██ #音乐理解 2篇 ██ #音视频理解 2篇 ██ #音视频生成 2篇 ██ #音频事件检测 2篇 ██ #语音属性识别 1篇 █ 📊 论文评分排行榜(26 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 Equivariant Music Transformer 8.6分 前25% 方法研究 #音乐生成 🥈 Breaking the Curse ofMultilinguality inMany-to-Many Spe 8.2分 前25% 方法研究 #语音翻译 🥉 PASE: Leveraging the Phonological Prior of WavLM for Lo 8.1分 前25% 方法研究 #语音增强 4. Towards Robust Version Identification in the Wild: A Da 8.0分 前25% 数据集与基准 #音乐检索 5. Agogic: Performance-Timed Music Tokens for LLM-Native T 7.9分 前25% 方法研究 #音频理解 6. OmniPack: Unified Token Compression for Efficient Omni- 7.7分 前25% 方法研究 #音视频理解 7. OmniVR: Joint Video-Audio Conditional Generation for Re 7.7分 前25% 方法研究 #音视频生成 8. A Dual Evaluation for Music Transcription 7.7分 前25% 方法研究 #音乐转录 9. Crowdsourced Multilingual Speech Intelligibility Testin 7.5分 前25% 数据集与基准 #语音质量评估 10. MERaLiON-GR: Speech Gender Recognition Model for Englis 7.5分 前25% 模型报告 #语音属性识别 11. HyPASE: Hyperbolic Geometry for Parameter-Efficient Spe 7.2分 前50% 方法研究 #语音情感识别 12. Transfer Learning for Avian Bioacoustics under Sparse P 7.1分 前50% 方法研究 #音频分类 13. Helping Music Co-Creation Agents ‘Listen’ Well: Hierarc 7.1分 前50% 方法研究 #音乐理解 14. EmpaAva: An Open-source Agentic 3D-Avatar Empathetic Li 7.1分 前50% 系统技术报告 #音视频交互 15. StuPASE: Towards Low-Hallucination Studio-Quality Gener 7.0分 前50% 方法研究 #语音增强 16. Identity-Faithful Audio-Visual Target Speaker Extractio 6.8分 前50% 数据集与基准 #音视频语音分离 17. AudioScape-TTA: A Structured Soundscape Benchmark for F 6.8分 前50% 数据集与基准 #音频生成 18. Visual Representation Matters: Exploiting Temporal Diff 6.8分 前50% 方法研究 #音视频生成 19. Spoken Function Calling: A New Perspective on Spoken La 6.7分 前50% 数据集与基准 #音频理解 20. Masked diffusion enables coherent beat tracking 6.5分 前50% 方法研究 #音乐理解 21. InvFlowFD: Reference-Free and Background-Set-Free Perce 6.4分 前50% 方法研究 #音频质量评估 22. Smartphone Audio Based Distress Detection 6.3分 前50% 系统技术报告 #音频事件检测 23. Assessing speech quality metrics for evaluation of neur 6.0分 前50% 数据集与基准 #语音质量评估 24. Modality Agreement- and Conflict-Aware Prototype Hyperg 5.5分 前50% 方法研究 #音频理解 25. Deep Learning for Real-Time Sound Order Recognition in 5.2分 后50% 方法研究 #音频事件检测 26. C\(^2\)MOE: Consistency and Complementarity-guided Mixtur 4.1分 后50% 方法研究 #音视频理解 📋 论文列表 🥇 Equivariant Music Transformer 8.6/10 | 创新 1.4/2 | 严谨 1.5/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ...

2026-08-06 · 更新于 2026-08-14 · 23 min · 4884 words

MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition

📄 MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition 标签:#语音识别 #LoRA #多语言 #参数高效微调 #音频理解 6.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.7/10 | 前50% | 文档类型:方法研究 | 评分置信度:高 | #语音识别 | #LoRA | #多语言 #参数高效微调 | arxiv 👥 作者与机构 第一作者:Sangmin Lee(延世大学 电子电气工程系) 通讯作者:Hong-Goo Kang(延世大学 电子电气工程系) 作者列表:Sangmin Lee(延世大学 电子电气工程系)、Woojin Chung(延世大学 电子电气工程系)、Woongjib Choi(延世大学 电子电气工程系)、Hong-Goo Kang(延世大学 电子电气工程系) 💡 毒舌点评 论文将语言分组与 Mixture of LoRA Experts 结合,对 495 种语言做了相当系统的分组策略研究,实验设计扎实,洞察到语言先验在复杂正字法空间中的收益大于简化音素空间。但整体架构仍是对已有 PEFT 与 MoE 技术的组合,缺乏真正颠覆性的新组件;且仅基于 300M 量级的 wav2vec2 类骨干,未与当前主流的数十亿参数大模型直接对标,限制了其在产业界的说服力。 ...

2026-07-28 · 更新于 2026-08-14 · 3 min · 574 words

语音/音乐/音频论文速递 2026-07-28

语音/音乐/音频论文速递 2026-07-28 共分析 31 篇论文 ⚡ 今日概览 📥 抓取 31 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 5篇 █████ #语音交互 3篇 ███ #语音属性识别 3篇 ███ #声源定位 2篇 ██ #语音识别 2篇 ██ #音乐生成 2篇 ██ #音视频生成 2篇 ██ #对比学习 1篇 █ 📊 论文评分排行榜(31 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 StanceBench: A Benchmark for Audio LLM-Based Interperso 8.6分 前25% 数据集与基准 #语音属性识别 🥈 Expose Your Disguise: Recovering Source Speaker Identit 7.5分 前25% 方法研究 #对比学习 🥉 Leveraging Gradient Reversal Loss and Multitask Learnin 7.3分 前50% 方法研究 #语音伪造检测 4. PathRIR: Physics-Guided Acoustic Path Selection and Lat 7.2分 前50% 方法研究 #空间音频 5. Indic DiarBench: A Multilingual Joint Diarization and A 7.1分 前50% 数据集与基准 #说话人日志 6. Earnings25: A Comprehensive 500-Hour Speech Benchmark f 7.1分 前50% 数据集与基准 #语音识别 7. OmniVAE: An Audio-Video VAE with Cross-Modal Alignment 7.1分 前50% 方法研究 #音视频生成 8. Revisiting Vocos: That Phasiness Business in Time-Frequ 7.1分 前50% 方法研究 #语音合成 9. Qwen-Audio-3.0-TTS: Freely Controllable and Highly Robu 7.0分 前50% 系统技术报告 #语音合成 10. Towards High-Level Semantic Intelligence 7.0分 前50% 综述 #音视频理解 11. Speech Signals Complement LLMs for Predicting Interpers 6.9分 前50% 应用研究 #语音交互 12. Let Me Look at You: Advanced Facial Expression Modeling 6.9分 前50% 模型报告 #语音合成 13. Simple Language Normalization Wins: Cross-Lingual Speak 6.8分 前50% 系统技术报告 #说话人验证 14. Memory Efficient Audio Synthesis with Decoupled Tempora 6.8分 前50% 系统技术报告 #语音合成 15. Explainable AI through the Lens of Material Agency: Ena 6.7分 前50% 应用研究 #音乐生成 16. MoLGE: Mixture of Language Group Experts for Efficient 6.7分 前50% 方法研究 #语音识别 17. Mind the Microphone Gap: Benchmarking Array Upsampling 6.6分 前50% 方法研究 #声源定位 18. Multimodal Domain Generalization for Depression Detecti 6.4分 前50% 方法研究 #音频分类 19. Infinite Canons: Maximally Self-Similar Melodic Lines a 6.4分 前50% 理论研究 #音乐生成 20. Singlish, Can or Not? Fine-Tuning and Evaluating Zero-S 6.3分 前50% 应用研究 #语音合成 21. JarvisHub: An Open Harness for Canvas-Native Multimodal 6.2分 前50% 系统技术报告 #音视频生成 22. Low-Latency Turn-Taking via Context-Aware Preface Gener 6.1分 前50% 系统技术报告 #语音交互 23. Do Visual Features Improve Other-Initiated Repair Detec 5.9分 前50% 方法研究 #音视频交互 24. Automatic Audio Equalization with Semantic Embeddings 5.8分 前50% 方法研究 #语音增强 25. Music-Source-Separation-Training (MSST): A Unified Fram 5.7分 前50% 系统技术报告 #音乐源分离 26. Disentangling Acoustic Cues in Alzheimer’s Pathology an 5.4分 后50% 应用研究 #语音属性识别 27. Speech Entrainment in Multi-Party Conversations with a 5.3分 后50% 应用研究 #语音交互 28. Improving Zero-Shot Phonetic Classification through Lan 5.3分 后50% 方法研究 #语音属性识别 29. Looking for Affect in Spontaneous Finnish Speech throug 5.3分 后50% 应用研究 #语音情感识别 30. Modeling Stylistic Co-evolution in Symbolic Music Herit 4.9分 后50% 方法研究 #音乐理解 31. Resource-Aware Topology Management for ISAC-Enabled TDO 4.1分 后50% 方法研究 #声源定位 📋 论文列表 🥇 StanceBench: A Benchmark for Audio LLM-Based Interpersonal Stance Evaluation from Speech 8.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ...

2026-07-28 · 更新于 2026-08-14 · 26 min · 5365 words

Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts

📄 Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts #语音情感识别 #知识蒸馏 #多语言 #多模态模型 #LoRA 6.9/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | #语音情感识别 | #知识蒸馏 | #多语言 #多模态模型 | arxiv 👥 作者与机构 第一作者:Andrei-George Durdun(罗马尼亚布加勒斯特大学计算机科学系,PPC Romania 数据科学部) 通讯作者:Radu Tudor Ionescu(罗马尼亚布加勒斯特大学计算机科学系) 作者列表:Andrei-George Durdun(布加勒斯特大学,PPC Romania)、Victor Constantinescu(布加勒斯特大学,PPC Romania)、Radu Tudor Ionescu(布加勒斯特大学) 💡 毒舌点评 这篇论文的卖点是“ASR→NMT全自动生成多语种文本”作为特权信息,让多模态教师吃香喝辣,然后蒸馏出一个纯音频学生来零额外开销推理。想法本身是讨巧的工程设计,但深究下去就发现问题不少。教师模型加入了自动生成的多语种文本后,相比纯音频基线确实有约5.9个百分点的F1跃升,证明多模态信号真香。可一到蒸馏阶段,知识就像被漏斗卡住了,学生只拿到区区1.5个百分点的提升。教师辛辛苦苦学到的跨模态知识,绝大部分在转移过程中蒸发,蒸馏效率堪称惨淡。更令人不安的是,论文完全没有跟领域内其他多模态融合方法(MulT、SUMMER等)或蒸馏方案进行对比,读者根本判断不出这个CCMT教师本身算不算强基线,蒸馏效率低究竟是方法问题还是任务难度问题。所有实验只挂在一棵树上——MSP-Podcast一个英文数据集,多语种翻译的跨语言泛化性连影子都没见着。方法工程痕迹偏重,科学洞察有限,适合发在偏应用的会议,顶会级别还需补大量对比实验和深入分析。 ...

2026-07-09 · 更新于 2026-08-14 · 3 min · 439 words

语音/音乐/音频论文速递 2026-07-09

语音/音乐/音频论文速递 2026-07-09 共分析 13 篇论文 ⚡ 今日概览 📥 抓取 13 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4篇 ████ #音乐理解 2篇 ██ #基准测试 1篇 █ #语音交互 1篇 █ #语音情感识别 1篇 █ #语音活动检测 1篇 █ #音乐生成 1篇 █ #说话人验证 1篇 █ 📊 论文评分排行榜(13 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 MMGenre: Benchmarking Singing Voice Synthesis across Mu 8.3分 前25% #基准测试 🥈 Decoupling Conversational Dynamics in Full-Duplex Spoke 8.2分 前25% #语音交互 🥉 MADB: A Large-Scale Music Aesthetics Dataset with Profe 8.1分 前25% #音乐理解 4. Gradient-Based Speech-to-Text Alignment for Any ASR Mod 7.3分 前50% #语音识别 5. UBG-Net: An Uncertainty-aware Bayesian Gating Network f 7.1分 前50% #语音识别 6. Compress the Cache, Not the Speech Embedding: KV Compre 7.0分 前50% #语音识别 7. Audio Sentiment Analysis via Distillation and Cross-Mod 6.9分 前50% #语音情感识别 8. Multimodal Voice Activity Projection for Turn-Taking in 6.7分 前50% #语音活动检测 9. Extending Xenakis: From Architectural Geometry to Sonif 5.6分 前50% #音乐生成 10. Text-Independent Speaker Verification Using Discrete Au 5.2分 后50% #说话人验证 11. Transformer-based segmentation of prosodic boundaries i 4.0分 后50% #语音识别 12. Rag Classification of Tagore Songs using Symbolic Music 3.0分 后50% #音乐理解 13. EscFOA: Enhancing Spatial Learning for Visually Impaire 2.8分 后50% #教育 📋 论文列表 🥇 MMGenre: Benchmarking Singing Voice Synthesis across Multiple Musical Genres 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.2/0.5 | 工程 1/1.5 ...

2026-07-09 · 更新于 2026-08-14 · 13 min · 2708 words

CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning

📄 CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning #音频字幕生成 #知识蒸馏 #LoRA #音频理解 #参数高效微调 6.3/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | #音频字幕生成 | #知识蒸馏 | #LoRA #音频理解 | arxiv 👥 作者与机构 第一作者:Ganesh Pavan Kartikeya Bharadwaj Kolluri(University of Kent, UK) 通讯作者:未明确标注 作者列表:Ganesh Pavan Kartikeya Bharadwaj Kolluri(University of Kent)、Yuchen Zhang(University of Kent; Queen Mary University of London)、Michael Kampouridis(University of Kent)、Ravi Shekhar(University of Kent; Queen Mary University of London) 💡 毒舌点评 这篇论文提出了一个有趣且直觉合理的洞察:在蒸馏编码器知识到无编码器模型时,将低层感知表征给投影器、高层语义表征给语言模型,这种"按需分配"的策略确实有效。然而,尽管消融实验干净地证明了蒸馏位置的重要性,模型在AudioCaps上与保留编码器的基线仍有11个CIDEr-D点的巨大鸿沟,无编码器方法的实用化依然道阻且长,且全文未提及代码和模型的开源承诺,让"摆脱编码器"这个卖点在复现面前变得脆弱。 ...

2026-07-07 · 更新于 2026-08-14 · 3 min · 469 words

语音/音乐/音频论文速递 2026-07-07

语音/音乐/音频论文速递 2026-07-07 共分析 58 篇论文 ⚡ 今日概览 📥 抓取 58 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 11篇 ███████████ #语音伪造检测 5篇 █████ #音频理解 4篇 ████ #语音交互 3篇 ███ #音频事件检测 3篇 ███ #语音转换 3篇 ███ #音视频理解 3篇 ███ #语音合成 3篇 ███ 📊 论文评分排行榜(58 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 Doppelganger: Sound Effects and Their Synthetic Twins 9.1分 前10% #音频检索 🥈 SPEARBench: A Benchmark for Naturalness Evaluation in S 8.9分 前25% #语音交互 🥉 Metronome: Bound the Cache, Keep the Beat for Real-Time 8.7分 前25% #语音交互 4. Auto-AEG: Scalable Data Construction for Open-Vocabular 8.3分 前25% #音频事件检测 5. RABBiT: Rapidly adaptive BOLD foundation model via brai 8.1分 前25% #音频理解 6. TRACE-EVC: Text-Guided Relative Affective Control for Z 8.0分 前25% #语音转换 7. Parallelized Autoregressive Decoding for Omni-Modal Den 8.0分 前25% #音视频理解 8. Speaker-Disentangled Chunk-Wise Regression for Syllabic 7.9分 前25% #语音编码 9. Speaker-Aware Temporal Aggregation Strategies on Segmen 7.9分 前25% #语音属性识别 10. REDDIT: Correcting Model-Generated Timestamp Drift in A 7.8分 前25% #语音识别 11. Deriving Benchmarking Datasets from Long-Form Recording 7.7分 前25% #基准测试 12. ProPS: Prompted Profile Synthesis for Natural Language- 7.6分 前25% #语音合成 13. DELTA-TTS: Adapting Autoregressive Model into Diffusion 7.5分 前25% #语音合成 14. TokAN: Accent Normalization Using Self-Supervised Speec 7.5分 前25% #语音转换 15. Listen, Think, Transcribe: Continuous Latent Test-Time 7.5分 前25% #语音识别 16. \(C^3\)ASD: Multi-Level Consistency-Driven Representation 7.5分 前25% #音视频理解 17. Training-Free Model Selection and Domain-Aware Score Ca 7.3分 前50% #音频事件检测 18. CHILDES-Aligned: A Curated Children's Speech Datase 7.2分 前50% #语音识别 19. Taste-aware music retrieval from audio embeddings 6.9分 前50% #音乐检索 20. Lights, Camera, Carbon: Architectural Scaling Laws for 6.9分 前50% #音视频生成 21. Unified Audio Intelligence Without Regressing on Text I 6.8分 前50% #音频交互 22. Ranking the Impact of Contextual Specialization in Neur 6.7分 前50% #语音增强 23. SynSFX: Multi-Model Sound Effects Synthesis Dataset for 6.5分 前50% #音频伪造检测 24. Evaluating the Effect of Linguistic Relatedness on Cros 6.5分 前50% #语音识别 25. MOSAIC: Interpretable Multi-Token Cross-Attention of Bi 6.3分 前50% #语音伪造检测 26. CARD: Cross-component Audio Representation Distillation 6.3分 前50% #音频字幕生成 27. Probing Low-Level Acoustic Attribute Encoding in CLAP A 6.2分 前50% #音频理解 28. Trajectory Variance: AnUnsupervised Measure of Developm 6.2分 前50% #音频理解 29. Adaptive Diversity-Uncertainty Active Learning with Red 6.2分 前50% #音频事件检测 30. Adaptive Loss Balancing for Multi-Task Bioacoustic Clas 6.1分 前50% #音频分类 31. An Intervention-Based Framework for Shortcut Diagnosis 6.1分 前50% #语音伪造检测 32. QuaSR: Quality-Aware Sample Reweighting for Pacific Ind 6.0分 前50% #语音识别 33. CaReCoS: A Spectrogram based Visual Benchmark for Cardi 6.0分 前50% #音频理解 34. Open-Set Source Tracing as Compositional Factors via St 6.0分 前50% #语音伪造检测 35. Context-Aware ASR for Mandarin Technical Lectures 6.0分 前50% #语音识别 36. Streaming Neural Speech Codecs through Time-Invariant R 6.0分 前50% #语音编码 37. Physiological Noise Augmentation Improves Non-Invasive 6.0分 前50% #语音识别 38. DuplexChat: Constructing Speaker-Separated Full-Duplex 5.9分 前50% #语音交互 39. Noisy Environment Adaptation of Neural Speech Codec via 5.9分 前50% #语音增强 40. NouveauVoice: Generating Novel Pseudo Speakers for Voic 5.9分 前50% #语音转换 41. OmniFocus: Query-Guided Modality-Balanced Token Compres 5.9分 前50% #音视频问答 42. Jointly Improving Dialect Identification and ASR in Ind 5.8分 前50% #语音识别 43. S-DiverSe: Spanish Diverse Speech 5.8分 前50% #语音识别 44. Towards Robust Uncertainty-Aware Speaker Modeling 5.7分 前50% #说话人验证 45. Towards Language-Agnostic Speech Inversion 5.6分 前50% #语音属性识别 46. Layer-wise Cross-Lingual Depression Detection from Spee 5.5分 前50% #语音情感识别 47. Wan-Streamer v0.2: Higher Resolution, Same Latency 5.4分 后50% #音视频交互 48. Mixture-Constrained Max Pooling Improves Separation-Bas 5.3分 后50% #音频分类 49. Reinforcement Learning for Data-Efficient Code-Switched 5.3分 后50% #语音识别 50. Physics-Informed Direction-of-Arrival Estimation Over D 5.3分 后50% #声源定位 51. Sampling Bias Compensation for Robust Evaluation of Aud 4.9分 后50% #音频分类 52. UniSkip-Mamba: A Frequency-Aware State Space Model for 4.8分 后50% #音视频理解 53. Progressive Refinement: An Iterative Pseudo-Labeling Ap 4.6分 后50% #语音识别 54. Weakly Guided and Autoregressive Beamformer Parameteriz 4.3分 后50% #语音分离 55. DETECT-3B-Omni is Agnostic of Content and Demographics 4.2分 后50% #语音伪造检测 56. Towards Digital Preservation of Efik: TTS for a Low-Res 4.0分 后50% #语音合成 57. Quantum-Inspired Harmonic Decision Models: A Computatio 2.3分 后50% #音乐生成 58. Information-Geometric Superposed Vowel Evaluation: Part 1.9分 后50% #语音伪造检测 📋 论文列表 🥇 Doppelganger: Sound Effects and Their Synthetic Twins 9.1/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ...

2026-07-07 · 更新于 2026-08-14 · 47 min · 9986 words

CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks

📄 CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks #音视频理解 #参数高效微调 #LoRA #多模态模型 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 8.3/10 | 前25% | #音视频理解 | #参数高效微调 | #LoRA #多模态模型 | arxiv 👥 作者与机构 第一作者:Wish Suharitdamrong(Surrey Institute for People-Centred AI, University of Surrey; Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey) 通讯作者:Wish Suharitdamrong(ws00372@surrey.ac.uk) 作者列表:Wish Suharitdamrong(Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey)、Tony Alex(Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey)、Muhammad Awais(Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey)、Sara Atito(Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey) 💡 毒舌点评 CoLA 将 LoRA 的低秩分解巧妙扩展为双路径结构,为双编码器多模态适配提供了一条简洁的跨模态融合范式;视觉‑语言与音频‑视觉两组任务上的实验也较为扎实,并首次实现了基于 PEFT 的多任务视觉定位。然而,该方法本质上仍是对 LoRA 的线性外推,理论分析仅停留在秩和线性跨度层面,未能给出更深的表征交互机制;且跨模态路径在推理时不可合并带来的开销,在资源敏感场景中会成为硬伤。此外,损失函数完全缺失,复现存在实质性缺口。 ...

2026-07-04 · 更新于 2026-08-14 · 6 min · 1131 words

V-LynX: Token Interface Alignment for Video+X LLMs

📄 V-LynX: Token Interface Alignment for Video+X LLMs #音视频问答 #LoRA #参数高效微调 #多模态模型 7.8/10 | 创新 1.4/2 | 严谨 1.4/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.9/1.5 ✅ 7.8/10 | 前25% | #音视频问答 | #LoRA | #参数高效微调 #多模态模型 | arxiv 👥 作者与机构 第一作者:Jungin Park(Yonsei University, Seoul, South Korea) 通讯作者:Jiyoung Lee(Ewha Womans University, Seoul, South Korea)、Kwanghoon Sohn(Yonsei University, Seoul, South Korea) 作者列表:Jungin Park(Yonsei University)、Jiyoung Lee(Ewha Womans University)、Kwanghoon Sohn(Yonsei University) 💡 毒舌点评 这篇论文的立意相当精巧:不搞那些“缝合怪”式的多模态堆叠,而是发现并利用了Video LLM内部天然存在的“Token Interface”——一个连续的几何流形。这相当于告诉你,LLM处理视觉信号时,并不是在翻译词汇,而是在一个“特区”里搞特殊运算。基于此,作者仅用LoRA + 无标签单模态数据,就将音频、3D等新模态像U盘一样即插即用到了视频模型上,参数效率惊人。不过,别高兴太早,这个方法对视觉证据有极强的“路径依赖”,纯音频概念(如BGM里的乐器识别)直接抓瞎,因为它的接口底层逻辑就是“视觉特区”。这限制了它能覆盖的真实世界场景广度。 ...

2026-07-04 · 更新于 2026-08-14 · 2 min · 419 words