对比学习

📄 Style-Disentangled Diffusion for Controllable and Identity-Generalized Speech-Driven Body Motion Generation #语音驱动动作生成 #扩散模型 #对比学习 #解耦学习 ✅ 7.0/10 | 前25% | #语音驱动动作生成 | #扩散模型 | #对比学习 #解耦学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Zixiang Lu（西安电子科技大学计算机科学与技术学院） 通讯作者：Zhitong He， Qiguang Miao（西安电子科技大学计算机科学与技术学院） 作者列表：Zixiang Lu（西安电子科技大学计算机科学与技术学院）、Zhitong He（西安电子科技大学计算机科学与技术学院）、Zixuan Wang（未说明）、Yunan Li（未说明）、Qiguang Miao（西安电子科技大学计算机科学与技术学院） 💡 毒舌点评 亮点：风格解耦模块的设计很巧妙，通过对比学习拉近同一说话人风格码的距离，并用梯度反转从内容特征中剥离身份信息，理论上提升了可控性和可解释性。短板：论文声称的“Identity-Generalized”能力仅在单一数据集（BEATX）的同一说话人测试集上进行定量评估，缺乏跨数据集或对未知说话人的严格泛化验证，说服力稍显不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开的BEATX数据集，论文中未说明是否提供其他自定义数据。 Demo：未提及在线演示。 复现材料：论文给出了损失函数的权重配置，但缺少训练超参数、模型架构细节等关键复现信息。 论文中引用的开源项目：未在正文中明确引用特定开源项目。方法部分参考了Syntalker [11]的分割策略，数据集使用了BEATX [12]。 论文中未提及开源计划。 📌 核心摘要 本文针对现有语音驱动身体动作生成方法难以生成匹配抽象个人风格、解耦不充分、可解释性差的问题，提出了名为DSfusion的可控与身份泛化动作生成框架。其核心是通过一个风格解耦模块，从参考动作序列中学习并分离出个人风格特征，同时从语音中提取内容特征，并利用对比学习、梯度反转等技术增强分离效果。与已有方法相比，该模型首次在多身份（Multi-ID）数据集上进行训练，并引入了一个运动精炼模块，以防止解耦后的风格信号在融合过程中被平均化动作所覆盖。在BEATX数据集上的实验表明，该方法在Fréchet Gesture Distance（FGD，5.144 vs 次优5.423）和运动多样性（Diversity，13.912 vs 次优13.057）指标上均优于现有SOTA方法（见表1）。该研究的意义在于提升了语音驱动动画的个性化控制能力和动作的多样性与真实感。主要局限性在于扩散模型带来的推理延迟，以及泛化能力验证的场景有限。 ...

📄 SynaSpot: A Lightweight, Streaming Multi-modal Framework for Keyword Spotting with Audio-Text Synergy #关键词检测 #多模态模型 #流式处理 #对比学习 ✅ 7.5/10 | 前25% | #关键词检测 | #多模态模型 | #流式处理 #对比学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Kewei Li (†等贡献) （阿里巴巴集团，智能互联） 通讯作者：Xiaotao Liang (∗) （阿里巴巴集团，智能互联） 作者列表：Kewei Li†, Yinan Zhong†, Xiaotao Liang∗, Tianchi Dai, Shaofei Xue（所有作者均隶属于：Intelligent Connectivity, Alibaba Group, Hangzhou, China） 💡 毒舌点评 亮点在于将“多模态注册”和“流式数学解码”结合得非常优雅，通过一个轻量的音频编码器实现了灵活的多种注册模式，工程实用性强。短板是模型架构本身（DFSMN）缺乏新颖性，流式解码部分的泛化性论证和与更多现代流式模型的深度对比有待加强，且训练策略的细节（如域适应的具体设置）可以更透明。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文使用了公开的LibriSpeech数据集，以及由作者构建或使用的LibriPhrase和WenetiPhrase数据集。后者获取方式未详细说明。 Demo：未提及。 复现材料：论文提供了部分训练细节（如优化器、学习率、批量大小、GPU型号、模型层数和隐藏维度），但关键超参数（如温度τ、平滑窗口尺寸）和完整的数据预处理流程未详细给出，复现信息不完整。 论文中引用的开源项目：主要引用了用于对比的基线方法和损失函数（如ECAPA-TDNN [15] 用于说话人分类器设计，对比学习框架[5]），但未明确列出依赖的特定开源工具包。 📌 核心摘要 本文针对开放词汇关键词检测（KWS）在流式场景中面临的多模态模型参数开销大、端到端解码灵活性差的问题，提出了一种名为SYNASPOT的轻量级流式多模态框架。其核心方法包括：1) 设计一种轻量的音频编码器，并通过对抗训练剥离说话人信息，得到与说话人无关的音频表征；2) 引入文本和音频-文本混合模态，并通过对比学习将三者对齐到同一嵌入空间；3) 提出一种流式解码方案，在线推理时仅运行音频编码器，并利用缓存的模态嵌入通过数学计算（滑动窗口平滑与相似度聚合）直接生成帧级分数。主要实验表明，在英文LibriPhrase和中文WenetiPhrase数据集上，SYNASPOT（仅0.9M参数）在多种注册模式下均优于或媲美基线方法，在难度较大的测试集（LPH/WPH）上取得了更低的错误率（如LPH上EER为27.29%）和更高的AUC（79.15%）。该工作的实际意义在于为资源受限的端侧设备提供了一种高效、灵活的流式KWS解决方案。其主要局限性在于未与更多最新的端到端流式模型进行全面比较，且流式解码的性能对滑动窗口超参数的敏感性未充分讨论。 ...

📄 Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic Event Classification #音频事件检测 #对比学习 #图神经网络 #多模态 #自监督学习 🔥 8.5/10 | 前25% | #音频事件检测 | #对比学习 #图神经网络 | #对比学习 #图神经网络 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Yuanjian Chen（哈尔滨理工大学） 通讯作者：Yang Xiao（墨尔本大学，邮件地址：yxiao9550@student.unimelb.edu.au） 作者列表：Yuanjian Chen（哈尔滨理工大学）、Yang Xiao（墨尔本大学）、Jinjie Huang（哈尔滨理工大学） 💡 毒舌点评 这篇论文在多模态声学事件分类的“时间对齐”这个老大难问题上，给出了一个既优雅又有效的图解方案，用高斯过程和Hawkes过程分别给模态内和模态间的边加权，思路清晰且实验结果亮眼，是同类工作中的一个扎实提升。不过，论文对模型在极端噪声、长尾类别或视频质量极差等更具挑战性的真实场景下的鲁棒性讨论不足，且所提的对比学习目标相对简单，可能未充分挖掘跨模态数据的复杂关系。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/visionchan/THGCL.git 模型权重：未提及是否公开预训练模型权重。 数据集：使用AudioSet，论文中提供了构建高置信子集的方法（33类，置信度[0.7, 1.0]），但未提供处理后的数据集下载链接。 Demo：未提及提供在线演示。 复现材料：论文中详细说明了特征维度、图构建参数、优化器、学习率、训练轮数等关键训练细节。未提及提供配置文件、检查点或详细的复现文档。 论文中引用的开源项目：主要依赖的预训练模型包括VGGish（用于音频特征提取）和S3D（用于视频特征提取），具体实现可能基于公开库。 📌 核心摘要 要解决什么问题：多模态声学事件分类中，音频和视觉信号难以在时间上精确对齐，且易受跨模态噪声干扰，导致识别性能下降。 方法核心是什么：提出时序异质图对比学习框架（THGCL）。首先，为每个事件构建时序异质图，其中音频和视频片段作为节点。其次，创新性地采用高斯过程对模态内边赋予权重以保持平滑性，采用Hawkes过程对模态间边赋予权重以建模时间衰减效应。最后，引入对比学习目标来增强跨模态表示的一致性并抑制噪声。 与已有方法相比新在哪里：与大多仅后期融合或平等处理模态内/间关系的方法不同，THGCL显式区分并建模了模态内（平滑性）和模态间（时间衰减）不同的时间依赖关系，增强了图结构的表达能力和对齐精度。 主要实验结果如何：在AudioSet数据集的高置信子集上，THGCL达到了57.4%的mAP和0.948的AUC，超越了包括TMac在内的所有基线方法（如TMac为55.1% mAP），且参数量仅4.8M，效率较高。消融实验表明，结合高斯与Hawkes过程的策略（ID-1）优于仅使用Hawkes（ID-2）或仅使用高斯（ID-3）；联合损失函数（FL+CL）在收敛速度和最终性能上均优于单独使用交叉熵或焦点损失。 模型 mAP (%) AUC 参数量 (M) THGCL (Ours) 57.4 0.948 4.8 TMac ⭐ 55.1 0.937 4.3 VAED ⭐ 51.6 0.919 2.1 PaSST-S 49.0 0.900 87.0 … … … … 实际意义是什么：为构建更鲁棒、更精准的智能音频-视觉系统（如安防监控、内容检索）提供了一种高效的新方法，证明了通过精细建模时序异质关系可以显著提升多模态事件分类性能。 ...

📄 The Curious Case of Visual Grounding: Different Effects for Speech-and Text-Based Language Encoders #多模态模型 #自监督学习 #对比学习 #语音表示分析 #跨模态表示学习 🔥 8.0/10 | 前25% | #模型评估 | #对比学习 | #多模态模型 #自监督学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Adrian Sauter (Human-Centered AI, Helmholtz Munich；原单位：Institute for Logic, Language and Computation, University of Amsterdam) 通讯作者：未明确说明，论文列出三位作者且无标注，推测为Willem Zuidema与Marianne de Heer Kloots（阿姆斯特丹大学）。 作者列表：Adrian Sauter（Human-Centered AI, Helmholtz Munich；University of Amsterdam）、Willem Zuidema（Institute for Logic, Language and Computation, University of Amsterdam）、Marianne de Heer Kloots（Institute for Logic, Language and Computation, University of Amsterdam） 💡 毒舌点评 亮点：论文的实验设计非常巧妙，利用精心构造的音素和语义聚类数据集，结合全局（CKA）与局部（词对、聚类）分析方法，得出了一个反直觉且重要的结论——视觉语境化对语音模型语义结构的破坏性影响。 短板：结论可能局限于特定的模型对（wav2vec2/FaST-VGS+与BERT/VG-BERT）和英语单词级设置，对更广泛的架构、语言及句子级场景的泛化性有待验证；且分析聚焦于表示空间的几何性质，与下游任务性能的关联未被实证。 ...

📄 Towards Effective Negation Modeling in Joint Audio-Text Models for Music #多模态模型 #对比学习 #音乐理解 #音乐检索 #数据增强 ✅ 7.5/10 | 前25% | #音乐理解 | #对比学习 | #多模态模型 #音乐检索 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yannis Vasilakis（Queen Mary University of London） 通讯作者：未说明 作者列表：Yannis Vasilakis（Queen Mary University of London, UKRI Centre for Doctoral Training in AI and Music）、Rachel Bittner（Spotify）、Johan Pauwels（Queen Mary University of London） 💡 毒舌点评 亮点：论文没有停留在指出“模型不懂否定”的现象上，而是设计了一套从训练方法到评估协议的系统性解决方案，尤其是提出将否定建模拆解为检索和二分类任务进行量化评估，这为社区未来研究类似问题提供了可借鉴的范式。 短板：所提方法（文本增强与对比损失项）本质上是启发式的，未能深入探索语言模型中更复杂的否定语义结构；且所有实验基于合成增强的标签数据，其能否迁移到真实世界复杂多变的自然语言查询，文中未予验证，结论的普适性存疑。 ...

📄 TTA: Transcribe, Translate and Alignment for Cross-Lingual Speech Representation #语音识别 #语音翻译 #多任务学习 #多语言 #对比学习 #模型评估 ✅ 7.5/10 | 前25% | #语音识别 | #多任务学习 | #语音翻译 #多语言 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wei Liu（腾讯AI Lab, USA） 通讯作者：未说明 作者列表：Wei Liu（腾讯AI Lab, USA）、Jiahong Li（腾讯AI Lab, USA）、Yiwen Shao（未说明）、Dong Yu（未说明） 💡 毒舌点评 亮点： 论文针对Whisper编码器在Speech-LLM应用中的具体痛点（输入长度限制、模型臃肿、中文语义弱）设计了专用的轻量模型TTA，并通过巧妙的ZT-AED混合架构和显式对齐损失，在显著更小的模型规模上实现了性能反超，思路清晰且实用。 短板： 模型容量的“天花板”效应在语音翻译任务上暴露无遗（仍落后于Whisper-Large），且论文声称验证了“跨语言能力”对ASR无益，但所用的跨语言检索评估方式和“能力”定义略显单一，结论的普适性有待更深入探讨。 🔗 开源详情 代码： 论文明确表示“模型权重和训练配方将作为音频理解工具包Auden的一部分发布”，但未提供具体代码仓库链接。 模型权重： 承诺公开（“will be released”）。 数据集： 训练数据混合使用了公开数据集和内部数据，论文未提及会公开其训练数据集。使用的公开数据集在参考文献中列出。 Demo： 未提及。 复现材料： 提供了详细的训练设置（模型规格、数据混合比例、多阶段训练策略、优化器参数、硬件环境），具备较好的可复现基础。 论文中引用的开源项目： Whisper [1], OWSM [3], Lhotse [30], Qwen2.5-7B-Instruct (用于生成ST数据) [2]。 📌 核心摘要 要解决什么问题： 现有Speech-LLM模型（如Qwen-Audio）普遍采用的Whisper编码器存在输入长度受限（30秒）、模型规模庞大、中文语义性能较弱等局限，影响了集成效率与效果。 方法核心是什么： 提出轻量级模型TTA（Transcribe, Translate and Alignment），采用混合Zipformer-Transducer与注意力编码器-解码器（ZT-AED）架构。模型在358k小时的多语言数据上联合训练自动语音识别（ASR）、语音翻译（ST）和一个基于BERT的对比学习语音-文本对齐任务。 与已有方法相比新在哪里： ①架构上：创新性地将高效的Zipformer编码器与专为ASR/ST设计的双分支（Transducer + AED）解码结构结合，专门优化语义表示。②训练目标上：显式引入对比学习对齐损失，强化跨语言语义空间的构建。③验证深度上：系统研究了跨语言能力、ASR与ST之间的相互关系。 主要实验结果如何： TTA模型（~250M参数）在多个中文和英文基准测试上显著优于Whisper Medium（762M参数），并在部分多语言基准（如CommonVoice）上超越Whisper Large-v3。在跨语言语音检索任务上超越Whisper Large-v2。作为编码器接入ASR-LLM系统时，TTA编码器表现出最优的识别性能和优化效率。关键对比数据见下表（Table 1节选）： 数据集 指标 Whisper Medium Whisper Large-v3 TTA (Ours) aishell 1 CER↓ 6.74 5.33 1.85 librispeech clean WER↓ 2.88 2.01 1.58 commonvoice (avg) WER↓ 11.86 8.30 6.76 covostv2 BLEU↑ 35.12 37.60 35.28 实际意义是什么： 为Speech-LLM提供了一种更高效、语义更强大的语音编码器选择，有望降低系统复杂度并提升下游任务性能。其设计思路和结论对多任务语音表示学习有参考价值。模型承诺开源，将促进后续研究。 主要局限性是什么： ①模型容量限制导致其在语音翻译上仍无法匹敌超大模型（Whisper-Large）。②在零样本评估（Fleurs）上未超越Whisper-Large，泛化能力存疑。③论文观察到强化跨语言对齐可能对ASR带来轻微性能下降，揭示了任务目标间的潜在张力。 🏗️ 模型架构 TTA的整体架构如图1（pdf-image-page2-idx0）所示，是一个多任务、多分支的端到端系统。 ...

📄 WavLink: Compact Audio–Text Embeddings with a Global Whisper Token #音频检索 #对比学习 #零样本 #预训练 #迁移学习 🔥 8.0/10 | 前25% | #音频检索 | #对比学习 | #零样本 #预训练 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.2 | 置信度 高 👥 作者与机构 第一作者：Gokul Karthik Kumar (Technology Innovation Institute, Abu Dhabi, UAE) 通讯作者：未说明 作者列表：Gokul Karthik Kumar (Technology Innovation Institute, Abu Dhabi, UAE)、Ludovick Lepauloux (Technology Innovation Institute, Abu Dhabi, UAE)、Hakim Hacid (Technology Innovation Institute, Abu Dhabi, UAE) 💡 毒舌点评 这篇论文巧妙地将用于语音识别的Whisper模型“降维”用于音频文本嵌入，用一个全局token替代了1500个帧特征，在检索任务上取得了优于CLAP系列模型的效果，思路清晰且实用。然而，其在零样本分类（如ESC-50）上的性能落后于专用模型，表明为ASR预训练的特征在通用音频理解上仍有局限；同时，论文对“为何选择现代BERT并表现不佳”的讨论不够深入。 ...

📄 Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss #音频检索 #对比学习 #跨模态 #鲁棒性 ✅ 7.5/10 | 前25% | #音频检索 | #对比学习 | #跨模态 #鲁棒性 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Meizhu Liu（论文中未说明所属机构） 通讯作者：未说明 作者列表：Meizhu Liu（未说明）、Matthew Rowe（未说明）、Amit Agarwal（未说明）、Michael Avendi（未说明）、Yassi Abbasi（未说明）、Paul Li（未说明）、Hitesh Laxmichand Patel（未说明）、Kyu J. Han（未说明）、Tao Sheng（未说明）、Sujith Ravi（未说明）、Dan Roth（未说明） 注：论文作者列表中未提供任何作者的机构信息。 💡 毒舌点评 这篇论文的核心优势在于它敏锐地发现了现有音频-文本检索方法（如CLAP）在噪声、小批次训练和长音频下的“水土不服”，并通过精心设计的混合损失（L1+余弦+对比）和仅在训练时引入的跨模态注意力来系统性地解决这些问题，实验结果扎实，说服力强。短板在于其提出的每个单独模块（Transformer投影、交叉注意力、注意力池化）都不是新东西，文章更像是一篇优秀的工程优化集成，理论深度和原创性上稍显不足，且未开源代码，让“复现”停留在了纸面。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：所使用的FSD50K、ESC-50、Clotho、AudioCaps均为公开数据集。 Demo：未提及。 复现材料：提供了较为详细的训练细节（优化器、硬件、Epoch范围、早停策略、超参数搜索工具Optuna）、关键的消融实验表格（表5, 6, 7）以及附录A中的补充说明（如注意力池化细节）。这是重要的复现支持。 论文中引用的开源项目：引用了预训练模型HTSAT、Whisper、RoBERTa、LLaMA的实现；使用了Optuna进行超参数搜索；依赖了CLAP作为基线和过滤生成的caption。 开源计划：论文中未提及开源计划。 📌 核心摘要 这篇论文旨在解决现有音频-文本检索方法（如CLAP、Wav2CLIP）在处理长时、噪声、弱标签音频时性能下降，且依赖大批次训练的问题。方法核心是提出一个训练时使用、推理时弃用的跨模态嵌入优化模块（包含Transformer投影、线性映射和双向注意力），并设计了一个混合损失函数（结合余弦相似度、L1损失和对比损失）。与已有方法相比，新在：1）训练时引入细粒度跨模态交互以提升对齐质量；2）混合损失降低了对大批次的依赖，提升了噪声下的训练稳定性；3）采用静音感知分块和注意力池化来有效处理长音频。实验在Clotho、AudioCaps等基准上进行，在音频到文本和文本到音频检索任务上，其方法在多数指标（如mAP@10，Recall@K）上优于Microsoft-CLAP和LAION-CLAP。例如在AudioCaps数据集上，音频到文本检索的mAP@10达到0.486，显著高于基线。实际意义在于提升多媒体搜索、无障碍访问等场景下检索系统的实用性和鲁棒性。主要局限性包括对预训练编码器质量的依赖，在极端噪声或复杂声学环境下的性能仍需验证，以及静音分块是一种粗略启发式方法。 ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #大语言模型 #对比学习 ✅ 7.0/10 | 前25% | #语音合成 | #知识蒸馏 | #流匹配 #大语言模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Aoduo Li（Guangdong University of Technology） 通讯作者：未说明 作者列表：Aoduo Li（Guangdong University of Technology），Haoran Lv（Guangdong University of Technology），Hongjian Xu（Guangdong University of Technology），Shengmin Li（South China University of Technology），Sihao Qin（South China University of Technology），Zimeng Li（Shenzhen Polytechnic University），Chi Man Pun（University of Macau），Xuhang Chen（Huizhou University） 💡 毒舌点评 亮点：论文提出的“Persona-Prosody Dual-Track (P2-DT)”架构思路清晰，将静态身份与动态韵律显式解耦，并通过蒸馏14B LLM的推理能力来指导韵律生成，为解决“角色一致性”与“情感表达”之间的矛盾提供了一个有潜力的技术路径。短板：论文最大的软肋在于其核心贡献之一——AnimeTTS-Bench数据集——规模极小（仅4.2小时，3个角色）且未开源，导致其报告的SOTA结果（如CCS: 0.86, mAP: 0.75）缺乏在更大规模、更多样化数据上的验证，说服力大打折扣。此外，代码和模型均未开源，严重阻碍了学术界的复现与跟进。 ...

📄 Materialistic RIR: Material Conditioned Realistic RIR Generation #音频生成 #多模态模型 #Transformer #对比学习 #空间音频 ✅ 7.5/10 | 前25% | #音频生成 | #多模态模型 | #Transformer #对比学习 | arxiv 学术质量 3.8/7 | 选题价值 1.5/2 | 复现加成 0.2 | 置信度 中 👥 作者与机构 第一作者：Mahnoor Fatima Saad (University of Utah) 通讯作者：未说明 作者列表：Mahnoor Fatima Saad (University of Utah)、Sagnik Majumder (UT Austin)、Kristen Grauman (UT Austin)、Ziad Al-Halah (University of Utah) 💡 毒舌点评 这篇论文的亮点在于提出了一个优雅的解耦框架（MatRIR），将空间布局和材料属性对声学的影响分开建模，从而实现了对RIR生成的精细控制，这在概念上和实验上都比之前纠缠在一起的方法更合理。然而，其短板也相当明显：模型严重依赖模拟数据集（Acoustic Wonderland），且对某些材料（如钢）的建模效果不佳，这限制了其在真实世界复杂场景中的泛化能力；此外，论文未提供代码和预训练模型，大大削弱了其可复现性和即时影响力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用Acoustic Wonderland数据集，但论文未提及该数据集是否公开或如何获取（注：根据引用，该数据集由M-CAPA论文提出，可能需要查阅前作）。 Demo：未提及。 复现材料：论文在附录中提供了较详细的模型架构描述（Sec 7.8）和评估设置（Sec 7.9），包括网络层数、维度、部分超参数等。但关键训练细节（如损失权重 λ 值、总训练步数）和硬件信息未说明。 论文中引用的开源项目：明确使用了预训练模型DINOv2 [52] 和 MiDaS [4] 作为特征提取器和深度估计器。 📌 核心摘要 问题：现有的房间脉冲响应（RIR）生成方法通常将场景的空间布局和材料属性纠缠在一个表示中，导致用户无法独立控制材料配置来探索其对声学的影响，限制了生成的灵活性和真实性。 方法核心：提出MatRIR模型，采用显式解耦设计。它包含一个空间模块（仅从RGB图像和深度图预测反映空间布局的初始RIR）和一个材料感知模块（根据用户指定的材料分割掩码，对初始RIR进行调制，生成最终的材料条件RIR）。该设计允许在不改变空间结构的情况下修改材料配置。 创新点：与先前方法（如M-CAPA）相比，核心创新在于显式解耦空间和材料因素的建模过程，而非在联合表示中隐式学习。此外，引入了两个新的评估指标（MatC和MatD）来专门衡量模型对材料声学特性的捕获能力。 主要实验结果：在Acoustic Wonderland数据集上，MatRIR在标准声学指标（如RTE）和材料指标（MatC, MatD）上均显著优于最强基线（M-CAPA）。具体而言，在未见材料配置的测试集上，RTE（混响时间误差）降低了约16.8%，材料分类准确率（MatC）提升了71.2%。人类感知研究显示，60.4%的参与者认为MatRIR生成的音频更真实。 实际意义：该工作为虚拟现实（VR）、增强现实（AR）、机器人和建筑声学设计等领域提供了更真实、可控的声学模拟能力，允许用户探索不同材料对空间听感的影响。 主要局限性：模型在输入视角受限（如靠近墙壁）或场景被严重遮挡时性能下降；对某些材料（如钢）的声学特性建模不准确；评估和训练完全依赖于模拟数据集，真实世界泛化能力有待验证。 🏗️ 模型架构 MatRIR模型采用模块化设计，核心思想是将空间和材料因素对RIR的影响显式分离并顺序建模。 ...