From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios

📄 From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios 标签:#音视频语音识别 #多模态模型 #大语言模型 #模型比较 #会议转录 6.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.6/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 6.6/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #音视频语音识别 | #多模态模型 | #大语言模型 #模型比较 | arxiv 👥 作者与机构 第一作者:Thai-Binh Nguyen(Karlsruhe Institute of Technology) 通讯作者:未说明 作者列表:Thai-Binh Nguyen(Karlsruhe Institute of Technology)、Zhaolin Li(Karlsruhe Institute of Technology)、Jan Niehues(Karlsruhe Institute of Technology)、Alexander Waibel(Carnegie Mellon University;论文中 Waibel 的邮箱显示为 zhaolin.li@kit.edu,与第二作者重复,疑似论文排版错误) 💡 毒舌点评 这篇 CHiME-9 MCoRec 系统分析把"鸡尾酒会"问题拆成目标说话人转录与对话聚类两条设计轴,给出"重叠率不能单独解释性能差异"这一反直觉结论,并指出 LLM 语义聚类在高 WER 下仍保持高 F1,对后续系统设计有实际参考价值。 但所有参赛系统都以匿名编号出现且 system paper 尚未发布;各系统在 ASD、AVTSE、AVSR、聚类多个维度上同时变化,文中对"什么策略最有效"的归因停留在相关性层面,无受控消融、无统计显著性检验,session 案例分析样本量也很小。作为挑战赛技术分析报告,定位合格,但难以支撑强因果结论。 ...

2026-08-11 · 更新于 2026-08-14 · 5 min · 895 words

语音/音乐/音频论文速递 2026-08-11

语音/音乐/音频论文速递 2026-08-11 共分析 40 篇论文 ⚡ 今日概览 📥 抓取 40 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 4篇 ████ #音频生成 4篇 ████ #音乐生成 3篇 ███ #音频字幕生成 3篇 ███ #声源定位 2篇 ██ #语音合成 2篇 ██ #语音情感识别 2篇 ██ #语音编码 2篇 ██ 📊 论文评分排行榜(40 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 AVCap: Reinforcing Audio-Video Joint Caption with Detai 8.4分 前25% 方法研究 #音频字幕生成 🥈 Deferred Audio Pruning with Local Audio-Visual Dynamics 8.4分 前25% 方法研究 #模型剪枝 🥉 PACE: A Playback-Aligned Context Engine for LLM-Based F 8.0分 前25% 系统技术报告 #语音交互 4. REFRAMED: Towards Realistic Audio Description Generatio 8.0分 前25% 数据集与基准 #音频字幕生成 5. SraVaani 1.0: Scaling Inclusive Speech Recognition for 7.9分 前25% 模型报告 #语音识别 6. AudioMap: Cloze-and-Choice Reinforcement Learning for T 7.9分 前25% 方法研究 #音频字幕生成 7. SAMOT: State-Aware Step Modulation and Optimal Transpor 7.7分 前25% 方法研究 #音视频理解 8. ReLMCodec: Designing Predictable Speech Tokens from Pre 7.7分 前25% 方法研究 #语音编码 9. VoxZip: Semantic-Anchored Temporal KV Cache Compression 7.7分 前25% 方法研究 #音频理解 10. Steering dense music retrieval with open-vocabulary con 7.7分 前25% 方法研究 #音乐检索 11. VIOLET: High-Fidelity Violin Synthesis with Techniques 7.6分 前25% 方法研究 #音乐生成 12. SonicWeave: Chunk-Routed Mixture-of-Experts for Unified 7.6分 前25% 模型报告 #音频生成 13. Beyond Reconstruction: Full-Context Generative DiT for 7.5分 前25% 系统技术报告 #音乐生成 14. From Inaudible Inputs to Model Failures: Low-Frequency 7.4分 前50% 方法研究 #音频理解 15. Beyond Piano: Cross-Instrument MIDI Velocity Estimation 7.3分 前50% 方法研究 #音乐理解 16. omni-macos: On-Device Omni-Modal Search on Apple Silico 7.2分 前50% 系统技术报告 #音频检索 17. SCoPE: Training-Free Audio-Visual Event Perception via 7.1分 前50% 方法研究 #音视频理解 18. BAMU: Bitstream-Aware Marginal-Utility Allocation for F 7.1分 前50% 方法研究 #语音编码 19. Dramarrator: Object-Based Audio Editing for Audio Drama 7.0分 前50% 系统技术报告 #音频生成 20. CuteTTS: Efficient and High-Quality Speech Synthesis vi 7.0分 前50% 系统技术报告 #语音合成 21. RAG-Audio: Retrieval-Augmented Generation for Faithful 6.9分 前50% 方法研究 #音频生成 22. Listen, See and Track: Spatio-Temporal Audio-Visual Sou 6.7分 前50% 数据集与基准 #音视频问答 23. From Speech to Interaction: Analyzing Multimodal System 6.6分 前50% 系统技术报告 #音视频语音识别 24. MADBench: A Benchmark for Modality-Aware Audio Deepfake 6.6分 前50% 数据集与基准 #音视频理解 25. A Unifying Perspective on Audio Generative Modeling: La 6.5分 前50% 理论研究 #音频生成 26. Multilingual Emotion Neurons in Large Audio-Language Mo 6.5分 前50% 方法研究 #语音情感识别 27. DAVE: A Decoupled Audio-Visual Enhancement Framework fo 6.5分 前50% 系统技术报告 #音视频语音分离 28. Structured Phonological Representations for Audio-Artic 6.5分 前50% 方法研究 #语音属性识别 29. CtrlSpeech: Coarse-to-Fine Control for Expressive Speec 6.4分 前50% 方法研究 #语音合成 30. Neural Array-Generic Direction-of-Arrival Estimation Ex 6.4分 前50% 方法研究 #声源定位 31. AI-Guided Learning: Research on Knowledge and Skill Acq 6.3分 前50% 系统技术报告 #音视频理解 32. Speaker Role and Language Diarization for Analyzing Mul 6.3分 前50% 应用研究 #说话人日志 33. MusicLayout: Explicit Structural Planning for Controlla 6.3分 前50% 系统技术报告 #音乐生成 34. Mitigating Over-Suppression in Speech Enhancement via I 6.2分 前50% 方法研究 #语音增强 35. Physics-Informed Learning for Robust Acoustic Localizat 6.2分 前50% 方法研究 #声源定位 36. EmoS: A Theory-Grounded Framework for Evaluating and Al 6.2分 前50% 数据集与基准 #语音情感识别 37. Dynamic Clustering for Cross-Segment Permutation Alignm 6.2分 前50% 方法研究 #语音分离 38. The Voiceprint Fallacy: Why Voices Are Not Unique Biome 6.0分 前50% 综述 #说话人验证 39. Investigating Multimodal Informativity under Different 5.9分 前50% 方法研究 #多模态模型 40. Machine-Learning-Based Diagnostic Framework for Passive 5.6分 前50% 应用研究 #音频分类 📋 论文列表 🥇 AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward 8.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ...

2026-08-11 · 更新于 2026-08-14 · 33 min · 6905 words

What the Waveform Knows: Transparent-first Speech and Audio Intelligence with Caption Studio

📄 What the Waveform Knows: Transparent-first Speech and Audio Intelligence with Caption Studio 标签:#会议转录 #端到端 #语音识别 #说话人日志 #音频理解 4.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.1/1.5 📝 4.8/10 | 后50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音识别 | #端到端 | #会议转录 #说话人日志 | arxiv 👥 作者与机构 第一作者:Cheng Siong Chin 通讯作者:Cheng Siong Chin 作者列表:Cheng Siong Chin(纽卡斯尔大学新加坡分校,科学、农业与工程学院)、Jianhua Zhang(青岛理工大学,信息与控制工程学院)、Mohan Venkateshkumar(Amrita Vishwa Vidyapeetham,Amrita工程技术学院,电气与电子工程系) 💡 毒舌点评 论文提出了一个具有实用价值的“透明第一”设计框架,并在工程上集成了一个完整的语音音频分析原型。然而,作为一篇顶会水平的研究论文,它最致命的缺陷在于几乎没有提供任何支撑其系统能力声明的实验验证。它更像一份详尽的产品设计文档或系统说明书,而非一篇经过严格实验检验的研究工作。审稿人无法评估其转录质量、日志准确性或任何声称功能的实际效果,这极大地削弱了其作为学术论文的可信度和影响力。 ...

2026-07-22 · 更新于 2026-08-14 · 2 min · 237 words

语音/音乐/音频论文速递 2026-07-22

语音/音乐/音频论文速递 2026-07-22 共分析 20 篇论文 ⚡ 今日概览 📥 抓取 20 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 5篇 █████ #语音合成 3篇 ███ #音频分类 2篇 ██ #基准测试 1篇 █ #语音交互 1篇 █ #语音分离 1篇 █ #语音增强 1篇 █ #语音情感识别 1篇 █ 📊 论文评分排行榜(20 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 Content is What Remains: Invariant Speech Tokenization 9.2分 前10% 方法研究 #语音编码 🥈 Fusion Embedding: A Unified Embedding Space for Text, I 8.6分 前25% 系统技术报告 #音频检索 🥉 End-to-End Markov State Sequence Learning for Auditory 8.3分 前25% 方法研究 #语音交互 4. Staged Depth-Pruning Distillation of a Flow-Matching Te 7.9分 前25% 系统技术报告 #语音合成 5. Constrained CTC Decoding for Efficient Diacritic Restor 7.7分 前25% 方法研究 #语音识别 6. Fretiq: Browser-Native Electric Guitar String Classific 7.5分 前25% 系统技术报告 #音频分类 7. MeetingToM: Evaluating Multimodal LLMs on Theory-of-Min 7.2分 前50% 数据集与基准 #基准测试 8. Transcription Policy as a Latent Variable: Activating C 7.1分 前50% 方法研究 #语音识别 9. Benchmarking Human and Automatic Speech Recognition of 7.0分 前50% 系统技术报告 #语音识别 10. A Situational Speech Synthesizer for Yoruba: System Des 6.7分 前50% 系统技术报告 #语音合成 11. From a Multilingual Streaming ASR Backbone to Kenyan-La 6.5分 前50% 系统技术报告 #语音识别 12. Towards Array-Invariant Speech Enhancement via Geometry 6.3分 前50% 方法研究 #语音增强 13. Comparing Spectrogram Front-Ends for Abnormal Heart-Sou 5.7分 前50% 方法研究 #音频分类 14. EmoEUS: Uncertainty Supervision for Multimodal Emotion 5.6分 前50% 方法研究 #语音情感识别 15. Summary of DCASE 2026 Task 5: Audio-Dependent Question 5.4分 后50% 数据集与基准 #音频理解 16. Towards a reproducible cross-venue method for quantifyi 5.4分 后50% 方法研究 #音频质量评估 17. CS-ETS: Chaos-Inspired Samba-Based EMG-To-Speech Synthe 5.3分 后50% 方法研究 #语音合成 18. Addressing Limited Data in Auditory Attention Decoding 5.1分 后50% 应用研究 #语音分离 19. What the Waveform Knows: Transparent-first Speech and A 4.8分 后50% 系统技术报告 #语音识别 20. Teleportation Game: Quantum Teleportation in Multi-Agen 4.4分 后50% 系统技术报告 #音乐生成 📋 论文列表 🥇 Content is What Remains: Invariant Speech Tokenization from Parallel Utterances 9.2/10 | 创新 1.5/2 | 严谨 1.5/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ...

2026-07-22 · 更新于 2026-08-14 · 17 min · 3461 words

VIP-MINGLE: A Corpus for Videoconference and In-Person Multimodal Interaction in Group Language Engagement

📄 VIP-MINGLE: A Corpus for Videoconference and In-Person Multimodal Interaction in Group Language Engagement 标签:#数据集 #会议转录 #音频理解 #Transformer #模型评估 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型:数据集与基准 | 评分置信度:高 | #音频理解 | #数据集 | #会议转录 #Transformer | arxiv 👥 作者与机构 第一作者:Andrew Chang(纽约大学) 通讯作者:Dustin Freeman(纽约大学) 作者列表:Andrew Chang(纽约大学)、Abhinay K Bodi(纽约大学)、Wenxin Deng(纽约大学)、Junrui Huang(纽约大学)、Venu G Kadamba(纽约大学)、Sumanth B H Karanam(纽约大学)、Dhiwahar A Kennady(纽约大学)、David Poeppel(纽约大学)、Dustin Freeman(纽约大学) 💡 毒舌点评 本文的核心亮点在于其精心设计的跨场景配对(within-subject)结构,为隔离通信媒介对群体交互的影响提供了前所未有的可控实验范式,这在领域内是稀缺且有价值的。然而,作为一篇声称能为下游建模提供“关键资源”的数据集论文,其对下游任务验证的缺失(如模型在跨域迁移上的基准测试)使得其影响力大打折扣,使其更像一份详尽的分析报告而非一个 ready-to-go 的 benchmark。此外,依赖单一、半结构化游戏任务以及单一(尽管数量不小)的大学生样本,限制了其结论的普适性。 ...

2026-07-16 · 更新于 2026-08-14 · 2 min · 422 words

语音/音乐/音频论文速递 2026-07-16

语音/音乐/音频论文速递 2026-07-16 共分析 20 篇论文 ⚡ 今日概览 📥 抓取 20 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频理解 3篇 ███ #声源定位 2篇 ██ #音乐理解 2篇 ██ #音频分类 2篇 ██ #音频生成 2篇 ██ #语音情感识别 1篇 █ #语音翻译 1篇 █ #语音质量评估 1篇 █ 📊 论文评分排行榜(20 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 AVSCap: Orchestrating Audio-Visual Synergy for Omni-mod 9.2分 前10% 方法研究 #音视频理解 🥈 MetaPerch: Learning from metadata for bioacoustics foun 9.0分 前10% 方法研究 #音频分类 🥉 Auditing Protocol-Level Shortcuts in Large Audio Langua 8.2分 前25% 系统技术报告 #语音质量评估 4. Self-supervised Speech Comparison for L2 Phone, Rhythm, 7.7分 前25% 方法研究 #音频理解 5. Efficient Text-to-Audio Generation via Pruning 7.6分 前25% 方法研究 #音频生成 6. From Prediction to Collaboration: Interactive Symbolic 7.5分 前25% 系统技术报告 #音乐理解 7. Live Gurbani Tracking: A Benchmark and Reference System 7.4分 前50% 系统技术报告 #音频字幕生成 8. Music-to-Dance Generation via Atomic Movements 7.4分 前50% 方法研究 #音乐生成 9. Improving Text-to-Audio Instruction Following via Fine- 7.2分 前50% 方法研究 #音频生成 10. Cover First, Disagree Softly: Rethinking Mismatch-First 6.7分 前50% 方法研究 #音频事件检测 11. Rethinking Speech Foundation Model Fine-tuning: Better 6.7分 前50% 方法研究 #语音情感识别 12. VIP-MINGLE: A Corpus for Videoconference and In-Person 6.5分 前50% 数据集与基准 #音频理解 13. A Hybrid Mamba for Audio-Visual Navigation 6.3分 前50% 方法研究 #声源定位 14. Greedy Volume Maximization of Gradient Embeddings for L 6.3分 前50% 方法研究 #音频分类 15. From Continuous Deployment to Queryable Dataset: Teraby 6.1分 前50% 系统技术报告 #音频理解 16. Adapting a Diffusion-Based Music Synthesis Model to Hum 6.0分 前50% 方法研究 #语音转换 17. Genre Bias or Aesthetic Perception? Identifying and Mit 6.0分 前50% 方法研究 #音乐理解 18. Do LLMs Need Architectural Changes for Simultaneous Spe 5.7分 前50% 方法研究 #语音翻译 19. Bring Music The Horizon: Music-Driven 360\(^\circ\) Video 5.3分 后50% 系统技术报告 #音视频生成 20. Task-Oriented Sensing and Covert Transmissions for Coll 4.9分 后50% 方法研究 #声源定位 📋 论文列表 🥇 AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning 9.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ...

2026-07-16 · 更新于 2026-08-14 · 15 min · 3017 words