对比学习

📄 EchoRAG: A Two-Stage Framework for Audio-Text Retrieval and Temporal Grounding #音频检索 #知识蒸馏 #对比学习 ✅ 7.5/10 | 前25% | #音频检索 | #知识蒸馏 | #对比学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者：Zilin Wang（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室） 通讯作者：Liyan Chen（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室） 作者列表：Zilin Wang（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室）， Zheng Huang（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室）， Zibai Ou（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室）， Yuchen Yang（厦门大学电影系）， Liyan Chen（厦门大学电影系；厦门大学闽台文化遗产数字化保护与智能处理文化和旅游部重点实验室） 💡 毒舌点评 EchoRAG 的亮点在于其工程设计的巧妙，将稳定的全局检索（教师）与精确的细粒度对齐（学生）结合，形成了一个有效的“粗筛-精排”范式。然而，其“创新”更多体现在对现有技术（如ColBERT的后期交互、KL蒸馏）的组合与适配上，在理论深度上稍显不足；峰值平滑正则化虽有效，但其设计（熵+全变差）更像是一个启发式的“补丁”，缺乏更深入的理论分析。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及是否公开训练好的EchoRAG模型权重。 数据集：实验使用的数据集（SQuAD-Spoken， AudioCaps， VoxPopuli）为公开数据集。论文中未提及是否提供了其处理后的VoxPopuli查询数据。 Demo：未提及在线演示。 复现材料：论文提供了较为详细的实现细节（模型架构、训练三阶段、损失函数、优化器设置、硬件环境），但未提供完整的配置文件、训练脚本或检查点。 引用的开源项目：论文依赖预训练模型 CLAP，并引用了 Whisper（用于基线ASR）、 BGE-M3、 Qwen3-Embedding（文本嵌入基线）、 Qwen2-Audio（生成模型）等开源项目或模型。 开源计划：论文中未提及开源计划。 📌 核心摘要 问题：现有的音频RAG方法通常将音频压缩为单一的全局嵌入（如CLS token），丢失了细粒度的帧级信息和时间线索，这限制了其在需要精确定位音频片段的任务中的性能。 ...

📄 Empowering Multimodal Respiratory Sound Classification with Counterfactual Adversarial Debiasing for Out-of-Distribution Robustness #音频分类 #生物声学 #对比学习 #数据增强 #多模态模型 ✅ 7.0/10 | 前25% | #音频分类 | #对比学习 | #生物声学 #数据增强 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Heejoon Koo（伦敦大学学院，RSC LAB） 通讯作者：June-Woo Kim（RSC LAB，光州科学技术院） 作者列表：Heejoon Koo（伦敦大学学院，RSC LAB）、Miika Toikkanen（RSC LAB）、Yoon Tae Kim（RSC LAB，韩国科学技术院）、Soo Yong Kim（RSC LAB）、June-Woo Kim†（RSC LAB，光州科学技术院） 💡 毒舌点评 本文的亮点在于构建了一个系统性较强的去偏框架，将因果推理中的反事实估计与公平学习领域的对抗去偏相结合，并针对医疗数据特点设计了具体的元数据增强策略，逻辑自洽。短板是创新性主要体现在技术组合与特定领域适配上，且实验部分的广度有限，仅在一个主任务（呼吸音分类）和两个数据集上验证，缺乏对更通用音频任务或更复杂偏见场景的探讨。 🔗 开源详情 详�� 代码：是，提供代码仓库链接：https://github.com/RSC-Toolkit/BTS-CARD。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：ICBHI和SPRSound均为公开数据集，论文中给出了具体引用和获取信息。 Demo：论文中未提及提供在线演示。 复现材料：论文中提供了详细的训练数据集描述、预处理步骤、训练超参数、损失函数配置以及评估协议，复现信息较为充分。 论文中引用的开源项目/模型：RUBi用于融合，Clinical TinyBERT用于元数据文本编码，Audio-CLAP/BTS作为基础模型，AdamW优化器。 📌 核心摘要 要解决的问题：多模态呼吸音分类模型易受患者元数据（如年龄、性别、采集设备）产生的虚假关联（伪相关）影响，导致在不同临床环境（分布外数据）下泛化性能显著下降。 方法核心：提出BTS-CARD框架，通过三重机制缓解偏见：1）基于因果图的反事实去偏，通过估计并减去自然直接效应（NDE）来抑制元数据对预测的直接虚假影响；2）对抗去偏，在NDE路径上引入梯度反转层，学习对位置和设备不敏感的特征表示；3）反事实元数据增强，在训练中用中性占位符替换敏感元数据，模拟干预以打破虚假依赖。 与已有方法相比新在哪里：首次将反事实推理与对抗去偏相结合用于多模态呼吸音分类。不同于简单地删除或掩码元数据，本文通过精心设计的反事实估计和对抗学习，旨在保留元数据中可能包含的有益间接信息，同时抑制其直接带来的偏见。 主要实验结果：在ICBHI（分布内）和SPRSound（分布外）数据集上，BTS-CARD在ICBHI Score（敏感性与特异性均值）指标上均优于强基线（如BTS）。具体而言，在分布外设置下，本文方法取得了61.96%的分数，显著高于BTS的53.42%。消融实验表明，三个组件对性能均有贡献，其中去除反事实元数据增强对分布外性能影响最大。参数分析显示，推理时去除直接效应（α=0）反而能获得最佳分布外性能。 实际意义：该方法提升了呼吸音分类模型在不同医院、不同设备间的泛化能力和鲁棒性，对于推动临床AI系统的实际部署具有积极意义。 主要局限性：研究的泛用性有待验证，仅在单一任务和特定数据集组合上进行评估。对抗去偏主要针对采集位置和设备，对年龄、性别等其他敏感属性的去偏效果在实验中未显示出优势，其普适性值得商榷。 🏗️ 模型架构 BTS-CARD框架建立在BTS（Bridging Text and Sound）多模态模型基础上，旨在对BTS预测进行反事实去偏。整体流程如下： ...

📄 Face-Voice Association with Inductive Bias for Maximum Class Separation #说话人验证 #跨模态 #归纳偏置 #对比学习 #基准测试 ✅ 7.0/10 | 前25% | #说话人验证 | #归纳偏置 | #跨模态 #对比学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表未按顺序标注第一作者，但根据惯例，Marta Moscati排在首位） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Marta Moscati¹, Oleksandr Kats¹, Mubashir Noman², Muhammad Zaigham Zaheer², Yufang Hou³, Markus Schedl¹’⁴, Shah Nawaz¹ ¹ Johannes Kepler University Linz, Austria ² MBZUAI, UAE ³ IT:U Interdisciplinary Transformation University Austria ⁴ Linz Institute of Technology, Austria 💡 毒舌点评 亮点：论文巧妙地将一个原本用于单模态分类任务的“最大类分离归纳偏置”技术迁移并适配到了多模态的人脸-语音关联领域，且通过扎实的消融实验证明了它与正交约束损失结合后的“1+1>2”效果，思路新颖且有效。 短板：归纳偏置矩阵的构造（公式1）需要预先知道总说话人数量（Ns），这可能导致其在动态或开放世界的说话人识别场景中应用受限，论文未探讨这一关键限制的缓解方案。 ...

📄 FUSEMOS: Perceptual Evaluation of Text-to-Music Generation with Dual-Encoder Fusion and Ranking-Aware Composite Loss #音乐生成 #模型评估 #预训练 #对比学习 #多任务学习 ✅ 7.5/10 | 前25% | #音乐生成 | #多任务学习 | #模型评估 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Jing Yang（武汉大学电子信息学院， MiLM Plus (小米)） 通讯作者：Ningning Pan（西南财经大学计算机与人工智能学院）， Gongping Huang（武汉大学电子信息学院） 作者列表：Jing Yang（武汉大学电子信息学院， MiLM Plus (小米)）， Haoyu Wang（西南财经大学计算机与人工智能学院， MiLM Plus (小米)）， Ningning Pan（西南财经大学计算机与人工智能学院， 通讯作者）， Zhao Wang（MiLM Plus (小米)）， Jianxuan Yang（MiLM Plus (小米)）， Gongping Huang（武汉大学电子信息学院， 通讯作者） 💡 毒舌点评 亮点：非常务实地解决了T2M评估中的一个痛点——单一CLAP编码器“懂语义不懂音乐”，通过双编码器融合显著提升了评估精度，消融实验做得扎实有力。短板：虽然方法有效，但核心创新（融合两个预训练模型+设计一个损失）在深度学习领域属于常见套路，且论文缺乏对模型推理速度或轻量化可能性的讨论，这在实际部署评估系统时是个关键问题。 ...

📄 GLAP: General Contrastive Audio-Text Pretraining Across Domains and Languages #音频检索 #对比学习 #预训练 #多语言 #零样本 🔥 8.5/10 | 前25% | #音频检索 | #对比学习 #预训练 | #对比学习 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Heinrich Dinkel (MiLM Plus, Xiaomi Inc., China) 通讯作者：未说明 作者列表：Heinrich Dinkel (MiLM Plus, Xiaomi Inc., China)、Zhiyong Yan (MiLM Plus, Xiaomi Inc., China)、Tianzi Wang (MiLM Plus, Xiaomi Inc., China)、Yongqing Wang (MiLM Plus, Xiaomi Inc., China)、Xingwei Sun (MiLM Plus, Xiaomi Inc., China)、Yadong Niu (MiLM Plus, Xiaomi Inc., China)、Jizhong Liu (MiLM Plus, Xiaomi Inc., China)、Gang Li (MiLM Plus, Xiaomi Inc., China)、Junbo Zhang (MiLM Plus, Xiaomi Inc., China)、Jian Luan (MiLM Plus, Xiaomi Inc., China) 💡 毒舌点评 亮点：GLAP真正实现了将语音内容理解无缝整合进音频-文本对齐框架，并在多语言语音任务上取得了远超前辈模型（如L-CLAP, MSCLAP）的惊人效果，证明了“一个模型通吃所有音频类型”的可行性。短板：其语音理解能力的显著提升，很大程度上归功于选择了对语音建模能力强的Dasheng作为音频编码器，这更像是一个工程上的“正确组合”，而非方法论上的根本性突破，且其性能在非英语语言的零样本声音分类上仍有明显衰减。 ...

📄 GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Constrative and Generative Pretraining #音视频 #对比学习 #扩散模型 #音频生成 #多尺度模型 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #音视频 #对比学习 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文作者列表为“Shentong Mo1,2,3, Zehua Chen3, Jun Zhu3”，未明确标注第一作者） 通讯作者：未说明 作者列表：Shentong Mo（卡内基梅隆大学，MBZUAI，清华大学），Zehua Chen（清华大学），Jun Zhu（清华大学） 💡 毒舌点评 亮点在于将多尺度对比学习和多尺度扩散生成统一在一个框架内，为音视频预训练提供了新范式，实验结果在多个指标上刷新了SOTA；短板是论文对于模型具体架构细节（如扩散模型中噪声预测网络的具体设计）、训练硬件和完整超参数列表描述不足，且未提及开源计划，这使得严格的复现存在挑战。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：使用了公开数据集VGGSound、AudioSet和Panda70M，但未说明是否提供了特定的预处理脚本。 Demo：未提及在线演示。 复现材料：给出了部分训练细节（优化器、学习率、批次大小、训练轮数），并参考了Diff-Foley的扩散设置。但模型架构的具体实现细节、完整的超参数列表和训练日志/检查点未提供。 论文中引用的开源项目：引用并基于Diff-Foley [6]的生成器设置；使用Adam优化器。 开源计划：论文中未提及开源计划。 📌 核心摘要 本文旨在解决现有对比音视频预训练方法在捕捉细粒度、多层次跨模态对应关系以及直接支持生成任务方面的不足。方法核心是提出GMS-CAVP框架，它统一了多尺度视频-音频对齐（MSA）的对比学习目标与多尺度空间-时间扩散（MSD）的生成预训练目标。与之前仅使用单尺度全局对比学习的方法相比，GMS-CAVP能捕获从细到粗的时空依赖关系，并直接建模模态间的转换映射。主要实验结果表明，在VGGSound等数据集上，GMS-CAVP在视频到音频生成任务（KLD: 1.63, FAD: 0.75, Align Acc: 95.87）和检索任务（如视频到音频R@1: 28.90）上均大幅超越了现有方法。其实际意义是为音视频理解与生成提供了更强大、统一的预训练基础。主要局限性可能包括模型复杂度增加带来的计算开销，以及对扩散模型采样速度的潜在影响（论文未深入讨论）。 ...

📄 Graph-Based Emotion Consensus Perception Learning for Multimodal Emotion Recognition in Conversation #多模态情感识别 #图神经网络 #对比学习 #会话理解 #情感计算 ✅ 7.5/10 | 前25% | #多模态情感识别 | #图神经网络 | #对比学习 #会话理解 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Huan Zhao (论文中作者列表首位，但未明确标注“第一作者”，因此按惯例推断) 通讯作者：Yingxue Gao (论文明确标注“*Corresponding authors: Y. Gao”) 作者列表：Huan Zhao (湖南大学计算机科学与电子工程学院)、Gong Chen (湖南大学计算机科学与电子工程学院)、Zhijie Yu (湖南大学计算机科学与电子工程学院)、Yingxue Gao* (湖南大学计算机科学与电子工程学院) 💡 毒舌点评 该论文的亮点在于其“共识感知学习模块”设计得相当精巧，通过原型学习和说话人对比损失双管齐下，直击多模态情感识别中“模态冲突”这一核心痛点，理论动机清晰且有效。短板在于其创新更多是增量式的改进而非范式突破，且“共识原型”的学习本质上还是依赖于有监督的类别标签，对于完全未知的、细粒度的或混合情感表达，其泛化能力有待进一步验证。 🔗 开源详情 代码：是。论文提供了GitHub代码仓库链接：https://github.com/Clancyy/ConGraNet。 模型权重：未提及。论文未说明是否公开预训练模型权重。 数据集：未提及。论文使用的是公开数据集（IEMOCAP， MELD），但未说明是否提供处理后的数据或额外资源。 Demo：未提及。论文未提供在线演示链接。 复现材料：提供了部分复现材料，包括： 关键的超参数配置表（表1）。 模型架构描述和公式。 代码仓库（假设包含实现）。 但未提供：训练日志、最终检查点、详细的环境配置文档。 论文中引用的开源项目：论文在参考文献中引用了多个开源数据集（如IEMOCAP [17]， MELD [18]）和基线模型代码（如DialogueRNN [19]， DialogueGCN [21]等）。 📌 核心摘要 要解决的问题：现有对话多模态情感识别（MERC）方法常忽略同一情感类别在不同模态（如声音、语言、表情）下所体现的“情感共识”，导致模态间冲突信号影响识别精度，且难以处理类别混淆和样本不均衡问题。 方法核心：提出图基情感共识感知（GECP）框架。其核心是共识感知学习（CAL）模块，包含两阶段：1) 构建多模态传播图以捕获跨模态共享信号与特有差异；2) 通过情感共识学习单元将各模态信号与共同的“情感原型”对齐，提炼类别本质特征。 与已有方法相比新在何处：不同于以往主要关注上下文依赖或简单融合的方法，GECP显式地建模并学习了类别级的情感共识原型，并通过引入说话人引导的对比学习损失，在对齐跨模态语义的同时，保留了个体表达的多样性。 主要实验结果：在IEMOCAP和MELD数据集上，GECP均取得了最佳性能。 IEMOCAP：Weighted-F1 72.85%， Accuracy 72.91%， 较之前最优模型（Frame-SCN）分别提升约1.85%和1.93%。 MELD：Weighted-F1 66.96%， Accuracy 68.08%， 较之前最优模型（FrameERC）分别提升约0.33%和0.46%。消融实验证明，移除CA单元或任一损失函数（Lc, LSpk）都会导致性能下降，其中移除CA单元下降最明显。 实际意义：提升了机器在复杂对话场景中理解人类情感的能力，尤其在处理情感类别易混淆和样本分布不平衡的情况下更为有效，可直接应用于提升智能客服、社交机器人等系统的交互体验。 主要局限性：论文中未深入讨论。潜在局限可能包括：对动态演变的情感共识建模不足（未来工作已提及）、模型复杂度较高、以及在跨文化、跨语言场景下的泛化能力未被验证。 🏗️ 模型架构 图1展示了GECP的总体架构，其处理流程如下： ...

📄 Graph-based Modality Alignment for Robustness in Conversational Emotion Recognition #多模态模型 #语音情感识别 #对比学习 #鲁棒性 🔥 8.0/10 | 前25% | #语音情感识别 | #多模态模型 | #对比学习 #鲁棒性 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Dae Hyeon Kim（光云大学电子通信工程系） 通讯作者：Young-Seok Choi*（光云大学电子通信工程系） 作者列表：Dae Hyeon Kim（光云大学电子通信工程系）， Young-Seok Choi（光云大学电子通信工程系） 💡 毒舌点评 亮点：该论文最大的贡献在于将对话上下文、说话者关系和多模态信息统一建模在一个异构图中，并通过一种无增强的跨模态图对比学习，显式地将不同模态的嵌入对齐到共享的情感空间，这在理论上优雅地解决了传统堆叠模型的信息瓶颈和模态崩溃问题。短板：论文的实验部分虽然全面，但其鲁棒性验证主要局限于单一模态缺失的极端情况，对于现实场景中更常见的模态质量退化（如音频噪声、视频模糊）或部分缺失的鲁棒性探讨不足。此外，代码未开源，这对于一篇依赖复杂图结构和对齐目标的工作而言，无疑是可复现性上的一个显著扣分项。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开预训练模型或检查点。 数据集：使用的IEMOCAP和MELD是公开的标准学术数据集。 Demo：未提及在线演示。 复现材料：论文中提供了非常详细的超参数设置、优化器配置、训练硬件和轮数等关键信息。 论文中引用的开源项目：openSMILE [13]（音频特征提取）、Sentence-BERT [14]（文本特征提取）、DenseNet [15]（视觉特征提取）、AdamW优化器 [23]。 📌 核心摘要 解决的问题：多模态会话情感识别（MERC）中，传统堆叠式模型容易产生信息瓶颈和冲突的归纳偏见，且缺乏显式的模态对齐，导致模型在推理时遇到某些模态缺失（即“缺失模态问题”）时鲁棒性差。 方法核心：提出了一个名为EmotionHeart的统一框架。其核心是一个异构图Transformer，它将对话（作为节点集合）和其中的关系（说话者内、说话者间、模态间）构建为一个单一的图进行联合建模。同时，引入了一种无增强的跨模态图对比学习（GCL） 训练目标，强制对齐不同模态（音频、文本、视觉）的嵌入表示。 创新之处：1）与以往“序列+图”的堆叠架构不同，采用统一的异构图结构同时编码所有信息源，避免了信息瓶颈。2）提出了跨模态图对比学习，直接对齐单个模态的特征，而非早期融合后的特征，从而更好地解决模态崩溃和缺失模态问题。 主要实验结果：在IEMOCAP和MELD两个基准数据集上达到了新的SOTA。具体而言，在IEMOCAP上加权F1（w.F1）达到73.1%，在MELD上达到69.0%，均显著优于之前的最佳模型（p<0.001）。消融实验证明了异构性和跨模态GCL组件的有效性。关键实验数据如下： 方法 年份 架构 IEMOCAP (w.F1 %) MELD (w.F1 %) BIG-FUSION 2025 混合 72.9 67.2 EmotionHeart – 统一 73.1 69.0 表2（消融实验）显示，从标准Transformer（68.99%）到完整模型（73.13%），每一步添加核心组件都带来了性能提升和稳定性改善（标准差从4.73降至1.09）。 ...

📄 HarmoNet: Music Grounding by Short Video via Harmonic Resample and Dynamic Sparse Alignment #音乐检索 #跨模态 #注意力机制 #对比学习 ✅ 7.0/10 | 前25% | #音乐检索 | #注意力机制 | #跨模态 #对比学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Yaomin Shen（浙江大学南昌研究院XR系统应用研究中心） 通讯作者：未明确说明，但第一作者Y. Shen提供了邮箱 coolshennf@gmail.com。 作者列表： Yaomin Shen（浙江大学南昌研究院XR系统应用研究中心） Wei Fan（独立研究员） Haichuan Hu（阿里云） Xinqi Liu（香港大学工程学院） Min Yang（浙江大学南昌研究院XR系统应用研究中心） Rui Jia（华东师范大学上海人工智能教育研究院） Junbiao Cai（独立研究员） 💡 毒舌点评 亮点：论文针对“短视频配乐”这一具体场景的痛点分析透彻，HRM的多尺度音乐重采样与DSA的动态稀疏注意力机制设计巧妙，且实验消融做得非常扎实，充分验证了每个组件的贡献。 短板：任务定义非常垂直，研究成果的普适性有待观察；更关键的是，作为一篇方法论论文，完全没有提供代码或模型开源计划，这在2026年的顶会上显得有些“古典”，严重制约了工作的影响力和可复现性。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：使用了公开的MGSV-EC基准，但未提及是否对数据进行了额外处理或提供处理后的数据。 Demo：未提供在线演示。 复现材料：论文给出了优化器、学习率、batch size、训练轮数、硬件配置等训练细节，以及关键超参数（如HRM尺度、DSA稀疏比例）。但缺少配置文件、训练脚本和模型定义代码。 论文中引用的开源项目：引用了CLIP（ViT-B/32）、AST作为特征提取器，以及MaDe作为基线。未说明这些项目是否为复现提供了代码支持。 总结：论文中未提及开源计划，可复现性信息不完整。 📌 核心摘要 问题：本文致力于解决“短视频音乐定位”（MGSV）任务，即给定一个短视频，自动从候选音乐库中不仅匹配最合适的音乐曲目，还要定位出该曲目中最适合做背景音乐的时间片段。现有方法忽略了音乐旋律的多尺度特性和节奏变化导致的序列重要性动态变化。 方法：提出了HarmoNet框架，包含两个核心模块：谐波重采样模块和动态稀疏对齐策略。 创新点：HRM将音乐信号在多个时间尺度上重采样为不同层级的表征，以捕捉全局旋律、片段结构和细粒度节奏，并与视频特征进行层级匹配。DSA策略结合可学习的高斯偏置和TopK稀疏选择，动态地强调重要的跨模态对应关系，抑制噪声，提升定位精度。 实验结果：在MGSV-EC基准上，HarmoNet在所有指标上超越了先前的SOTA方法MaDe。具体提升如下表所示： 模型 mIoU↑ R1↑ R5↑ R10↑ MoR1↑ MoR10↑ MoR100↑ MaDe (基线) 0.725 8.9 16.7 18.9 8.3 17.5 30.9 HarmoNet (Ours) 0.735 10.7 19.5 22.8 9.6 19.7 32.8 表：HarmoNet与基线方法MaDe在MGSV-EC基准上的关键结果对比。 消融实验（如表2所示）证明了HRM对音乐检索（MoR指标）至关重要，而DSA对片段定位（mIoU）有显著提升。 实际意义：该方法有望提升短视频创作平台的自动化配乐效率，增强内容表达力和观众参与度。 主要局限性：任务场景相对特定，对更广泛的音视频理解任务的迁移性未验证；未开源代码和模型，限制了其实际应用和学术复现。 🏗️ 模型架构 HarmoNet整体架构可分为三个阶段（参考图2）： ...

📄 HD-PPT: Hierarchical Decoding of Content- and Prompt-Preference Tokens for Instruction-Based TTS #语音合成 #大语言模型 #自回归模型 #对比学习 #模型评估 🔥 8.0/10 | 前25% | #语音合成 | #大语言模型 | #自回归模型 #对比学习 学术质量 5.5/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Sihang Nie（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Sihang Nie（华南理工大学）、Xiaofen Xing（华南理工大学）、Jingyuan Xing（华南理工大学）、Baiji Liu（华南理工大学，广州趣玩网络科技有限公司）、Xiangmin Xu（佛山大学，华南理工大学） 💡 毒舌点评 亮点： 论文将“精细控制”这个模糊的目标，拆解为可操作的、由两个专用token监督的分层生成步骤，这种“结构化解耦”的思路非常清晰且有效，实验数据也确实支撑了其优越性。 短板： 训练过程描述不够细致，例如文本指令的预处理、训练时的正则化细节（如何概率性地掩码隐藏状态和提示token）不够明确，且代码未开源，使得复现其“精妙”的工程实现颇具挑战。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：实验使用了公开数据集TextrolSpeech和EmoVoice-DB，但论文未提供获取方式的额外信息。 Demo：提供了音频样本的在线演示（https://xxh333.github.io/）。 复现材料：提供了一些关键训练细节（如GPU型号、学习率、epoch数、模型层数等），但缺乏数据预处理、代码框架、超参数搜索过程等完整复现所需的关键信息。 论文中引用的开源项目：CosyVoice/2（语音tokenizer和声码器）、Whisper-Small（ASR）、RoBERTa-base（文本嵌入）、Qwen2.5-0.5B（LLM主干）。 总结：论文中未提及开源计划，复现主要依赖公开的第三方模型和论文中提供的部分配置信息。 📌 核心摘要 问题： 现有基于大语言模型的指令TTS（Instruct-TTS）方法，试图将单层的文本指令直接映射到多层的语音token上，导致精细控制能力不足，存在“层级不匹配”问题。 方法核心： 提出HD-PPT框架，包含两个核心创新：a) 设计一个新的语音编解码器（Speech Token Codec），通过ASR和CLAP两个监督目标，将语音token解耦为“内容偏好token”（语义）和“提示偏好token”（风格）；b) 设计分层解码策略，引导LLM按“内容基础 -> 风格渲染 -> 完整声学表征”的顺序生成token。 新意： 相比于直接建模单一语音token序列的方法，本文首次将语音token在生成过程中显式地结构化解耦，并分别用语义和风格目标进行监督，实现了从“隐式映射”到“显式分层生成”的范式转变。 主要结果： 在TextrolSpeech和EmoVoice-DB两个数据集上，HD-PPT在主观自然度（MOS-N）、风格一致性（MOS-S）和情感相似度（EMO-SIM）指标上均取得了最佳成绩（见表1）。消融实验证明，移除任一偏好token或改变解码策略都会导致性能下降。 实际意义： 为实现高保真、高可控的语音合成提供了有效框架，提升了LLM在语音生成任务中的指令遵循能力，对智能语音助手、有声内容创作等应用有推动作用。 主要局限： 多组件架构增加了模型复杂度和部署难度；训练细节部分缺失，不利于完全复现；论文中承认对低资源语言的适应性是一个挑战。 表1：在测试集上的主观与客观对比结果 ...