多模态模型

📄 MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thinking Synergy #多模态模型 #强化学习 7.4/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.4/10 | 前25% | #多模态模型 | #强化学习 | arxiv 👥 作者与机构 作者：Zhiyuan Han, Beier Zhu, Wenwen Tong, Chengwei Qin, Xinyi Wang, Jiayu Zhang, Jiangnan Chen, Hewei Guo, Dongchuan Ran, Lewei Lu, Xun Yang 机构：中国科学技术大学, 商汤科技研究院, 香港科技大学（广州）, 合肥综合性国家科学中心人工智能研究院 💡 毒舌点评 这篇论文精准地戳到了当前多模态推理增强的一个痛处——“我思故我不准”。作者不仅发现了“慢思考悖论”这个反直觉现象，还像侦探一样拆解了快慢思考在召回率和精确率上的不同“作案手法”，并给出了一个工程上颇具巧思的“协同”解决方案。其核心价值在于将现象观察转化为了可优化的数学目标，这比简单地堆砌模型或数据要高明。然而，理论分析部分有点“为了证明而证明”的味道，简化假设较多，实际优化动态可能远比公式复杂。实验上，与最强基线“Baseline”的对比细节含糊，总让人怀疑性能提升里有多少是方法功劳，多少是“调参艺术”。此外，方法严重依赖一个假设：训练时能准确匹配情绪词与真值标签来划分正负样本。在开放词汇、多标签的真实场景下，这个“裁判”本身可能就经常误判，导致校准信号“污染”。总的来说，是一个观察深刻、设计精巧但部分地基不够牢固的优秀工作，离真正的“顶会满分答案”还差一口气。 ...

语音/音乐/音频论文速递 2026-06-29 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4篇 ████ #语音合成 2篇 ██ #说话人识别 2篇 ██ #语音质量评估 1篇 █ #数据增强 1篇 █ #语音情感识别 1篇 █ #多模态模型 1篇 █ #语音增强 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Screening Matters: A Comparative Study of Conventional 8.4分 前25% #语音质量评估 🥈 From General-Purpose Audio Tagging to Spatially Grounde 8.3分 前50% #数据增强 🥉 HPRO: Hierarchical Progressive Reward Optimization via 8.2分 前50% #语音合成 4. Learning from Annotation Uncertainty: Entropy-Aware Cur 7.4分 前50% #语音情感识别 5. MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thin 7.4分 前25% #多模态模型 6. A Comparison of Fusion Techniques for Multi-Modal Human 7.3分 前50% - 7. Do Speech Emphasis Models Generalize across Languages a 7.0分 前25% #语音识别 8. Advancing Speaker-Based Vocal Effort Classification wit 6.8分 前50% #语音增强 9. HybridCodec: Modeling Discrete and Continuous Represent 6.5分 前50% #语音合成 10. Grammar-Guided Hierarchical Parsing for Long-form Audio 6.2分 前50% #音频事件检测 11. Room for Error: Large-Scale Simulation of Over-the-Air 6.2分 前50% #语音识别 12. What Was That Again? Certified Robustness for Automatic 6.2分 前50% - 13. Dialogue to Detection: A Multimodal Hybrid NLP Pipeline 6.0分 后50% #说话人识别 14. From Black-Box to Clinical Insight: A Multi-Stage Expla 6.0分 前50% #语音识别 15. DG^VoiC: Speaker Clustering for Fraud Investigation und 5.7分 前50% #说话人识别 16. A Survey of Automated Presentation Coaching: Systems, M 5.4分 后50% #语音识别 📋 论文列表 🥇 Screening Matters: A Comparative Study of Conventional and Crowdsourced Listening Tests 8.4/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents #Transformer #多任务学习 #多模态模型 7.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.7/10 | 前25% | 音频分离 | #Transformer | #多任务学习 #多模态模型 | arxiv 👥 作者与机构 作者：Adhiraj Banerjee, Vipul Arora 机构：印度理工学院坎普尔分校电气工程系 💡 毒舌点评 论文提出了一个想法清��的模型：利用已经训练好的音频压缩模型（DAC）的紧凑表示和一个强大的文本-音频对齐模型（CLAP）的文本特征，通过一个轻量级的Transformer掩码器实现高效的文本引导音频分离。这个思路在计算效率上确实取得了显著优势，尤其是在边缘部署场景下，GMACs大幅降低。然而，“首个”的宣称需要谨慎对待，因为 CodecFormer 等工作已经探索了NAC在分离中的应用，本文的核心是加入了文本引导。实验评估全面，覆盖了多个数据集和不同的提示粒度。主要问题在于：1) 代码和模型权重未开源，严重削弱了可复现性和社区验证的基础；2) 论文第3.3节关于“为什么NAC潜在空间更好”的讨论篇幅过长，部分内容（如与RVQ层级结构的关联）更像是推测而非由严格实验证明的因果结论；3) 核心结论“掩码优于生成”虽然得到表格3的支持，但对照组（CodecFormer）是固定类别分离模型，与文本引导设置不完全对等，使得比较的公平性稍打折扣。总体而言，这是一篇扎实的增量工作，解决了具体且重要的部署效率问题，但缺乏代码开源和更底层的理论分析。 📌 核心摘要 CodecSep是首个将神经音频编解码器（NAC）与文本引导相结合，用于通用音频源分离的模型。它通过将预训练的DAC作为编解码骨干，冻结其参数，并利用CLAP生成的文本嵌入，通过FiLM条件调制一个Transformer掩码器。掩码器在DAC编码的紧凑潜在空间上操作，预测源掩码，从而实现高效的分离。该方法在分离保真度（SI-SDR）上超越了AudioSep，同时保持了有竞争力的感知质量（ViSQOL），并将代码流部署下的计算成本降低了约54倍。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集： dnr-v2 (Divide and Remaster v2.0)：论文中提及该数据集的引用，但未提供具体下载链接。 AudioCaps：论文中提及该数据集的引用，但未提供具体下载链接。 ESC-50：论文中提及该数据集的引用，但未提供具体下载链接。 Clotho-v2：论文中提及该数据集的引用，但未提供具体下载链接。 AudioSet-eval：论文中提及该数据集的引用，但未提供具体下载链接。 VGGSound：论文中提及该数据集的引用，但未提供具体下载链接。 LibriSpeech, FMA (Free Music Archive), FSD50K：论文中提及作为dnr-v2的组成部分，但未提供具体下载链接。 Demo：论文中未提及。 复现材料：论文中未提及单独的复现材料包（如预训练检查点、完整训练配置文件等）。论文在第4.3节“训练”中详细描述了训练配置（如优化器、学习率、硬件环境等），但未提供可直接使用的材料链接。 论文中引用的开源项目： CLAP (Contrastive Language-Audio Pretraining)：论文中引用，但未提供具体代码仓库链接。 DAC (Descript Audio Codec)：论文中引用，但未提供具体代码仓库链接。 CodecFormer：论文中引用，但未提供具体代码仓库链接。 SDCodec：论文中引用，但未提供具体代码仓库链接。 AudioSep：论文中引用，但未提供具体代码仓库链接。 Torchprofile：用于计算MACs的工具，论文中提供了其GitHub链接：https://github.com/zhijian-liu/torchprofile。 TDANet：论文中引用，但未提供具体代码仓库链接。 DPTNet, SepFormer, Wave-UNet, Demucs, MM-DenseLSTM, DCCRN, Spleeter：论文中引用，但均未提供具体代码仓库链接。 🏗️ 方法概述和架构 CodecSep采用编码器-掩码器-解码器的架构，在DAC的潜在空间中进行操作。 ...

📄 Listening Like a Judge: A Music-Aware Framework for Automatic Singing Performance Evaluation #多模态模型 #参数高效微调 #数据增强 #信号处理基础 8.8/10 | 创新 1.8/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.8/10 | 前25% | 歌唱评估 | #参数高效微调 | #多模态模型 #数据增强 | arxiv 👥 作者与机构 作者：Neelam Saini, Sourav Ghosh 机构：Samsung R&D Institute Bangalore, India 💡 毒舌点评 这篇工作试图解决歌唱评估这个“众口难调”的问题，想法不错。MG-LoRA算是个有用的工程技巧，让Whisper在唱歌时少犯点错。但问题在于，你号称“Judging like a human”，可人类评委听歌时脑子里装的可不只是音高和歌词。论文用全局调性来评判所有段落的音准，这就像让一个只会用A调吉他的人去评判爵士乐里的转调和即兴，过于简单粗暴。另外，SwaraLyrics数据集虽然贴出来了，但只有420个印度音乐样本，以此宣称“跨语言、跨风格”的泛化能力，说服力就像说“我吃过北京烤鸭，所以我懂中餐”一样。最后，框架里用的gpt-oss-120b和all-MiniLM-L6-v2这些组件，论文只说用，没说怎么调、效果如何，复现起来得靠猜。整体是个扎实的工程实现，但离真正的“智能评委”还有距离。 ...

📄 UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating #扩散模型 #多模态模型 8.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.9/10 | 前25% | #扩散模型 | #多模态模型 | arxiv 👥 作者与机构 第一作者Jiehui Huang来自香港科技大学（†表示该工作在快手技术Kling团队实习期间完成），通讯作者Jiaya Jia同样来自香港科技大学。合作机构包括香港中文大学、清华大学、中山大学以及快手技术Kling团队。论文为作者列表提供了机构归属上标和脚注。 💡 毒舌点评 这篇论文在解决一个真实且重要的问题：如何在长序列中保持身份和场景的一致性。双存储器槽（LTM/STM）加边界感知门控的思路直观且有效，工程实现也颇为扎实，特别是发布的多文化基准测试集很有价值。然而，审稿人（也就是我）必须指出几点：第一，这篇工作的核心贡献（记忆驱动的视频生成）并非语音/音乐/音频领域的直接突破，其“音频”部分主要是一个固定的说话人锚点注入，缺乏对音频内容动态生成的深入建模，因此对纯音频读者的吸引力有限。第二，部分技术细节的阐述流于表面，例如门控函数的具体形式为何选择线性？Strata-RoPE的自动衰减效果有无可视化验证？这些关键设计选择缺乏令人信服的理论或实验支撑。第三，消融实验存在明显缺口，未能单独验证“边界条件门控”（尤其是音频信号融合）的必要性。最后，将Gemini-2.5-Pro作为唯一的“裁判”来评估所有多模态一致性指标，这种做法的鲁棒性和公平性值得怀疑。总体来说，这是一篇工程做得不错、想法也靠谱的音视频生成论文，但若想冲击顶级会议，还需要在技术深度的挖掘和评估方法的严谨性上再下功夫。 📌 核心摘要 UnityShots是一个基于双流扩散Transformer（LTX-2.3）的、由记忆驱动的多镜头音视频生成系统。其核心设计是引入了两个固定大小的视频记忆槽：一个长期记忆（LTM）槽锚定于初始镜头，用于保持全局身份一致；一个短期记忆（STM）槽保存前一镜头的尾帧，用于维持局部连续性。这两个记忆槽在每次镜头切换时，通过一个边界条件门控机制进行更新，该机制融合了视觉切割概率和音频节拍信号。音频方面，系统在每个镜头注入一个固定的参考说话人令牌以保持音色一致性，而非使用滑动的音频记忆窗口。论文还构建了一个包含200个序列、覆盖六大文化区域的多文化多镜头评估基准。实验表明，在I2V、T2V、R2V三种条件下，UnityShots在跨镜头一致性指标（如NC， Story， Char）上领先所有开源基线，并与强大的闭源系统Kling相当。 🔗 开源详情 代码：https://github.com/JIA-Lab-research/UnityShots (已提供) 模型权重：论文中未提供模型权重的直接下载链接。论文基于LTX-2.3模型进行构建。 数据集：论文中提及发布了一个包含200个多文化多镜头序列的评估基准测试集，但未在论文中提供具体下载链接。训练数据集（146,000个标注镜头）的构建流程在附录C中详细描述，但未提供独立的数据集下载链接。 Demo：论文中未提及在线演示链接。 复现材料： 训练配置：详细的阶段2训练超参数列于附录A的表1中。 数据集构建流程：训练数据和基准测试集的构建流水线在附录C中详细描述。 推理伪代码：完整的内存更新和推理循环伪代码在附录F中提供（算法1和算法2）。 模型检查点：论文中提到会发布模型检查点，但未提供具体下载地址。 论文中引用的开源项目： LTX-2.3：核心基础模型。 TransNetv2：用于镜头分割和视觉剪切概率计算。 WhisperX：用于转录和说话人分割。 DEMUCS：用于音频源分离。 Qwen3-VL：用于初始的多模态标注。 Gemini3-Pro：用于细粒度叙述性字幕生成。 ElevenLabs eleven_multilingual_v2：用于生成基准测试集中的参考音频。 DeepSpeed：用于分布式训练优化。 DDIM：用于推理的去噪方法。 VBench， ViCLIP：用于文本-视频对齐评估。 DINOv2：用于计算镜头间相似度（TSIM）。 Audiobox：用于音频美学评估。 CLAP：用于音频-字幕相似度评估。 （注：上述项目均为论文中明确提及或使用的工具/模型，但论文文本中未提供它们的独立开源链接。） 🏗️ 方法概述和架构 UnityShots旨在生成内容连贯、身份一致的多镜头音视频序列。其整体架构基于预训练的22B参数双流扩散Transformer（LTX-2.3），该模型能够同时去噪视频和音频潜变量。系统的核心创新在于引入了显式的、结构化的跨镜头记忆机制，该机制主要由以下组件构成： ...

语音/音乐/音频论文速递 2026-06-26 共分析 22 篇论文 ⚡ 今日概览 📥 抓取 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #语音质量评估 2篇 ██ #语音合成 2篇 ██ #扩散模型 1篇 █ 歌唱评估 1篇 █ 音频编解码 1篇 █ 音频事件检测 1篇 █ 音频分离 1篇 █ 📊 论文评分排行榜（21 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 DNSMOS-C: Improving End-to-end Speech Quality Models vi 9.3分 前50% #语音质量评估 🥈 UnityShots: Memory-Driven Multi-Shot Audio-Video Genera 8.9分 前25% #扩散模型 🥉 Listening Like a Judge: A Music-Aware Framework for Aut 8.8分 前25% 歌唱评估 4. Elastic Time: Dynamic Frame Rate Bottlenecks for Neural 8.3分 前50% 音频编解码 5. Soroll-IA: A Weakly Labeled Audio Dataset for Real-Worl 8.3分 前25% 音频事件检测 6. A Large-Scale Database and Predictive Model of Listener 8.1分 前25% #语音质量评估 7. SamaVaani: Auditing and Debiasing Multilingual Clinical 7.8分 前25% #语音识别 8. CodecSep: Prompt-Driven Universal Sound Separation on N 7.7分 前25% 音频分离 9. VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinfo 7.6分 前50% #语音合成 10. What We are Missing in Multimodal LLM Evaluation? 7.0分 前50% - 11. RedVox: Safety and Fairness Gaps in Speech Models Acros 6.8分 前50% #基准测试 12. WQ-Fusion: Dynamic Gated Attention for Cross-Domain Aud 6.7分 前50% #音频分类 13. Thinking While Speaking: Inference-Time Knowledge Trans 6.7分 后50% #知识蒸馏 14. When Does Quality-Aware Multimodal Fusion Matter? A Lea 6.6分 前50% #语音情感识别 15. voxmap-studio: An open-source speaker diarization annot 6.5分 前50% #说话人日志 16. FBK's Long-form SpeechLLMs for IWSLT 2026 Instructi 6.5分 前50% #语音识别 17. wav2tok 2.0: Scalable Audio Tokenization Maintaining Ex 6.4分 前50% #语音检索 18. Generative AI and Copyright Infringement: A Legal-Techn 6.0分 前50% #音乐生成 19. Closing the Quality Gap in Low-Resource Text-to-Speech: 6.0分 后50% #语音合成 20. Neural Speaker Diarization via Multilingual Training: E 5.5分 前50% #语音分离 21. Low Resource Multimodal Translation of Nepali Spoken Wo 5.3分 后50% #语音识别 22 Phonetic and semantic analyses of spoken corpora of Bei N/A - - 📋 论文列表 🥇 DNSMOS-C: Improving End-to-end Speech Quality Models via Contrastive Learning 9.3/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 ...

📄 Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models #语音识别 #语音翻译 #参数高效微调 #多模态模型 #低资源 5.8/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 📝 5.8/10 | 前50% | #语音识别 | #参数高效微调 | #语音翻译 #多模态模型 | arxiv 👥 作者与机构 Tomoya Mizumoto, Yusuke Fujita, Hao Shi, Lianbo Liu, Atsushi Kojima, Yui Sudo. （作者所属机构未在提供的原文片段中明确提及） 💡 毒舌点评 这篇文章就像一个精心设计的“方言压力测试”。它思路清晰，实验控制得当，像个规规矩矩的优等生作业，把“SLM继承LLM能力”和“数据/微调有用”这两个直觉验证得漂漂亮亮。但问题在于，这个“压力测试”的跑道（翻译任务）太窄，沙坑（CPJD数据集）太小，连计时器（TTS标准语音）都可能不准。结果就是，你得到了一份关于“如何在特定小跑道上跑得更稳”的精致报告，但对于“方言问题到底有多复杂、在真实世界中如何解决”的宏大命题，贡献就比较有限了。它证明了一些常识，但缺乏让人“Wow”的突破或深刻的洞见。分数给高了对不起那些真正硬核的创新，给低了又委屈了它的严谨和工整，所以卡在中间。 ...

📄 Joint Residual Reweighting for Classifier Free Guidance in Flow-Matching Zero-Shot TTS #语音合成 #语音增强 #生成对抗网络 #自监督学习 #生成模型 #多模态模型 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #语音增强 #自监督学习 | arxiv 👥 作者与机构 作者：Runwu Shi, Yujin Wang, Hongjin Song, Chunxiang Jin 机构：Institute of Science Tokyo, Wuhan University, Beijing Institute of Technology, Ant Group ...

📄 STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity #语音翻译 #语音合成 #语音识别 #多模态模型 #大语言模型 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.8/10 | 前50% | #语音翻译 | #语音合成 | #语音识别 #多模态模型 | arxiv 👥 作者与机构 作者：Sitong Cheng, Weizhen Bian, Songjun Cao, Jin Li, Bei Liu, Chunyang Jiang, Yike Zhang, Weihao Wu, Yiming Li, Chi-Min Chan, Long Ma, Wei Xue 单位：香港科技大学，腾讯优图实验室，清华大学深圳国际研究生院 ...

📄 Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models #语音合成 #语音识别 #多模态模型 7.2/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 1.5/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #语音识别 | #多模态模型 | arxiv 👥 作者与机构 Wan Team, Alibaba Group 💡 毒舌点评 这篇工作野心很大，试图用一个模型解决实时交互的“全双工”问题。优点是系统集成度高，从感知到生成一气呵成。但作为一篇会议论文，它更像是一份优秀的工程报告，而非一篇算法或理论创新驱动的学术论文。最令人遗憾的是，几乎所有关键的技术细节都被“黑箱化”了：Transformer的具体结构？多模态token如何调度？流匹配解码器细节？统统没有。实验部分更是避重就轻，用大量篇幅和不规范的表格对比“延迟”，却对生成质量避而不谈。消融实验？不存在的。这就像一个厨师说他的新菜“又快又好吃”，但拒绝透露菜谱、食材和火候，只给你看了一个计时器。对于顶会论文而言，这种程度的细节披露严重不足，可复现性基本为零。作者提出的v0.1版和192p分辨率也暗示这更像一个技术演示而非成熟方案。 📌 核心摘要 Wan-Streamer是一个原生流式、端到端的实时交互基础模型，旨在实现低延迟、全双工的音视频交互。它在一个单一的Transformer中建模文本、音频和视频的输入与输出，无需依赖外部的ASR、TTS、动画或视频生成等级联模块。论文的核心贡献包括：1）提出了一种全因果的多模态架构，包括因果VAE、因果编解码器、块因果注意力以及全历史自回归流式处理；2）设计了“思想家-执行者”（thinker-performer）推理流水线，通过KV缓存交换实现理解与生成过程的重叠，实现了约200毫秒的模型端响应延迟和约550毫秒（含350ms网络延迟）的总交互延迟。论文强调，这种端到端设计使得感知、推理、生成、响应时机控制和轮次管理能在统一的模型中联合优化，从而减少流水线延迟和误差累积。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及 数据集：论文中未提及 Demo：https://wan-streamer.com/ 复现材料：论文中未提及 论文中引用的开源项目：未提及 🏗️ 方法概述和架构 Wan-Streamer的设计核心是“流式性作为建模约束”，其整个技术栈均围绕因果性进行重构。 ...