Icassp-2026

📄 APKD: Aligned And Paced Knowledge Distillation Towards Lightweight Heterogeneous Multimodal Emotion Recognition #知识蒸馏 #情感识别 #多模态模型 #语音情感识别 #轻量化 ✅ 7.5/10 | 前25% | #情感识别 | #知识蒸馏 | #多模态模型 #语音情感识别 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yujian Sun（山东理工大学计算机科学学院） 通讯作者：Shanliang Yang（山东理工大学计算机科学学院，yangshanliang@sdut.edu.cn） 作者列表：Yujian Sun（山东理工大学计算机科学学院），Bingtian Qiao（福州大学莫纳什大学联合国际学院），Yiwen Wang（福州大学莫纳什大学联合国际学院），Shanliang Yang（山东理工大学计算机科学学院） 💡 毒舌点评 APKD框架的亮点在于其问题洞察力——指出异构蒸馏中“特征对齐”与“知识粒度调整”是深度耦合的，并用协同模块优雅地解决了这一矛盾。但短板也很明显：实验仅验证了预设的“大Transformer教师-CNN/MobileViT学生”这一种异构模式，对于其他类型的异构架构（如不同规模的Transformer）是否同样有效缺乏探索，结论的普适性有待加强。 🔗 开源详情 代码：提供了GitHub代码仓库链接：https://github.com/ItsDia/AP-KD。 模型权重：论文中未提及公开预训练学生模型权重。 数据集：使用了CMU-MOSEI和IEMOCAP两个公开数据集，论文中说明了数据集来源，获取方式未详细说明，通常需要按原数据集要求申请。 Demo：论文中未提及在线演示。 复现材料：提供了详细的训练超参数（学习率、优化器、batch size、epoch数、损失权重等）、硬件配置、网络架构细节以及损失函数公式，复现材料较为充分。 引用的开源项目：明确引用了作为教师和学生模型的开源预训练模型，包括SSAST、ViT-B/16、RoBERTa、LightSERNet、MobileViT v3和TextCNN。也引用了GRL等基础模块的来源。 📌 核心摘要 问题：在基于知识蒸馏的轻量级多模态情感识别中，教师与学生模型在架构和规模上的异质性导致两大耦合挑战：特征空间不匹配、不同模态教师的知识粒度差异大。 方法核心：提出APKD框架，包含两个协同工作的模块：结构特征对齐（SFA）模块和自适应知识节奏（AKP）模块。SFA通过标准化将异构特征映射到共享空间；AKP为每个模态引入可学习的节奏系数，动态调整教师知识分布的软硬程度。 创新点：首次明确将异构MER中的特征对齐与知识粒度调整作为耦合问题进行联合优化。AKP模块利用梯度反转层自适应学习每个模态的节奏系数，实现了“按需分配”知识。 主要实验结果：在CMU-MOSEI和IEMOCAP数据集上取得SOTA。一个仅2.73M参数的超轻量学生模型，准确率分别达到49.51%和73.96%，超越或持平于参数量大得多的现有方法。消融实验证实SFA和AKP模块均不可或缺。 实际意义：为将高性能的多模态情感识别模型部署到计算资源有限的边缘设备提供了有效的解决方案，推动了该技术在实际人机交互场景中的应用。 局限性：异质性定义主要基于“大模型教师与小CNN/MobileViT学生”这一范式。对其他异质性组合的普适性未验证。节奏系数τₘ的调整范围（1.0-20.0）是经验值，其理论选择依据未深入探讨。 🏗️ 模型架构 APKD框架的整体架构如图1所示。它遵循“大教师-小学生”的范式，旨在实现高效知识迁移。 ...

📄 AQUA-Bench: Beyond finding answers to knowing when there are None in Audio Question Answering #音频问答 #基准测试 #多模态模型 #鲁棒性 ✅ 7.0/10 | 前50% | #音频问答 | #基准测试 | #多模态模型 #鲁棒性 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chun-Yi Kuan（National Taiwan University） 通讯作者：Hung-yi Lee（National Taiwan University）（论文未明确说明通讯作者，根据学术惯例及作者排序推断） 作者列表：Chun-Yi Kuan（National Taiwan University）、Hung-yi Lee（National Taiwan University） 💡 毒舌点评 亮点：该工作直面了一个被主流评测普遍忽视但极为现实的问题——“当模型无法回答时该怎么办”，并为此构建了系统化、可操作的评估框架，填补了音频大模型评测中的一个重要空白。短板：作为一项“评测基准”工作，其本身并未提出解决模型“强制选择”偏差的方法或模型，更多是“诊断”而非“治疗”，且论文中部分实验图表（如详细Prompt影响、部分模型对比）的可视化数据在正文中缺失，略显遗憾。 🔗 开源详情 代码：论文提供了项目网站链接（https://kuan2jiu99.github.io/AQUA-Bench-demo/），但未明确说明是否包含完整的评估代码仓库。网站本身可能包含演示和部分资源。 模型权重：本文未提出新模型，评估使用的是已有的开源模型（如Qwen2.5-Omni， Audio Flamingo 3等）和商业模型（如GPT-4o）。这些模型的权重获取方式需参考其各自原始论文。 数据集：论文明确表示会发布AQUA-Bench数据集（“our released dataset is available on our website”）。 Demo：提供了在线演示网站。 复现材料：论文给出了详细的评估协议（两阶段测试、条件准确率）、基础数据集来源（ESC-50等）和答案提取方法（正则表达式）。但未提供具体的Prompt模板（除示例外）、正则表达式代码或超参数设置。 论文中引用的开源项目：主要引用并基于以下开源项目/基准进行数据构建：ESC-50 [29], MMAU [20], Dynamic-SUPERB [22, 23], Qwen-Audio [1], Qwen2-Audio [2], SALMONN [3], LTU [4], Audio Flamingo 2/3 [11, 12] 等。 📌 核心摘要 要解决什么问题：当前的音频问答基准（如Dynamic-SUPERB, MMAU）默认所有问题都有答案，忽略了现实世界中常见的、模型应拒绝回答的“不可回答”问题（如问题与音频不相关、选项缺失等），导致对模型可靠性的评估不全面。 方法核心是什么：提出了一个名为AQUA-Bench的新基准，系统评估模型在三种不可回答场景下的表现：(1) 缺失答案检测（AAD），(2) 不兼容答案集检测（IASD），(3) 不兼容音频-问题检测（IAQD）。该基准通过系统性地修改现有可回答的音频问答样本，构造对应的不可回答版本。 与已有方法相比新在哪里：首次为音频问答任务定义并构建了针对“不可回答性”的标准化评测体系。与之前仅关注回答正确性的基准不同，AQUA-Bench专门评估模型“识别并拒绝无效问题”的能力，这更贴近可信AI的要求。 主要实验结果如何：实验揭示了当前主流音频大模型（ALLMs）的一个普遍盲点。如表1所示，模型在原始可回答任务（Ori.）上表现优异（例如Qwen2.5-Omni在动物声音上达96.4%），但在不可回答任务（尤其是AAD）上性能急剧下降（同模型在AAD上仅20.5%）。使用思维链（CoT）提示能显著提升模型在不可回答任务上的表现（如BALSa-MA在多个AAD任务上超过90%）。 实际意义是什么：该基准为评估和推动更可靠、更值得信赖的音频语言系统提供了重要工具。它指出了当前模型在真实部署场景中的一个关键缺陷——倾向于对无效问题给出自信但错误的答案，这对于医疗、安防等敏感领域至关重要。 主要局限性是什么：1. 基准本身不提供解决模型偏差的方法，只是揭示问题。2. 构建的IAQD部分依赖于GPT-4o生成不相关问题，其质量和分布可能受限于生成模型的能力。3. 评估的模型范围有限，主要聚焦于公开的ALLMs，未涵盖更多潜在的架构探索。 🏗️ 模型架构 本文并非提出一个新的音频模型，而是提出了一个评估基准（Benchmark）。因此，其“架构”指的是评估框架的整体设计。 ...

📄 AR-BSNet: Towards Ultra-Low Complexity Autoregressive Target Speaker Extraction With Band-Split Modeling #语音分离 #自回归模型 #时频分析 #实时处理 #基准测试 ✅ 7.0/10 | 前25% | #语音分离 | #自回归模型 | #时频分析 #实时处理 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Fengyuan Hao（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学） 通讯作者：Chengshi Zheng（中国科学院声学研究所噪声与音频研究实验室） 作者列表：Fengyuan Hao（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）、Andong Li（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）、Xiaodong Li（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学）、Chengshi Zheng（中国科学院声学研究所噪声与音频研究实验室；中国科学院大学） 💡 毒舌点评 论文的亮点在于其明确的工程导向，通过一系列精巧的设计（如感知压缩、分带LSTM、自回归连接），将目标说话人提取模型的计算复杂度大幅压缩至适合边缘设备部署的水平（MACs降至0.91 G/s，RTF仅为0.044），同时保持了具有竞争力的性能。短板则在于，其追求极致效率的代价可能是牺牲了一部分模型容量和在非因果、高精度场景下的性能天花板，且论文并未提供代码，对社区复现和基于此工作的后续研究不够友好。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开的WSJ0-2mix和WHAM!数据集，但论文未提供获取方式或数据集本身的链接。 Demo：未提及。 复现材料：论文提供了非常详细的训练配置（损失函数、优化器、学习率、超参数等），具有较好的可复现信息基础。但未提供代码、配置文件或检查点。 引用的开源项目：论文未提及依赖的开源工具或模型。 总结：论文中未提及开源计划。 📌 核心摘要 问题：现有的因果目标说话人提取（TSE）方法虽然性能良好，但计算复杂度高，难以部署在资源受限的边缘设备上。 方法核心：提出AR-BSNet，一种超低复杂度的时频域自回归TSE模型。核心包括：a) 基于Mel滤波器组的感知压缩下采样；b) 分带循环建模（带内LSTM和带间BLSTM）以捕获时频模式；c) 引入自回归机制，利用前一帧的估计输出作为当前帧的辅助参考信息。 创新点：与现有方法相比，AR-BSNet创新性地将自回归框架、基于感知的频率维度压缩以及高效的分带循环处理相结合，在显著降低复杂度的同时，利用帧间依赖增强了提取效果。 主要实验结果：在WSJ0-2mix和WHAM!数据集上，AR-BSNet相比SOTA因果方法（如SpEx++， DSINet），在计算复杂度（MACs）上降低了约87.5%（从约7-11 G/s降至0.91 G/s），同时在SI-SDR、PESQ等指标上取得了可比或更优的性能。关键数据见下表： 数据集 方法 域 因果 参数量(M) MACs(G/s) PESQ eSTOI(%) SDR(dB) SI-SDR(dB) WSJ0-2mix SpEx++ [10] 时域 是 33.81 11.44 2.93 83.86 11.9 11.2 DSINet [17] 时频域 是 2.94 8.13 3.35 90.56 16.2 15.7 AR-BSNet 时频域 是 0.32 0.91 3.13 87.09 13.8 13.3 WHAM! SpEx+ [9] 时域 是 11.14 3.76 2.04 60.01 6.1 5.2 AR-BSNet 时频域 是 0.32 0.91 2.26 57.74 5.7 4.9 -> w/ 60s enroll. 时频域 是 0.32 0.91 2.30 58.71 6.1 5.4 图4：在WSJ0-2mix测试集上，因果SpEx+与AR-BSNet的SI-SDRi改善值分布。AR-BSNet（蓝线）整体分布更靠右，表明其平均性能更好，且在高相似度说话人区域（红点）的错误更少。 ...

📄 AR&D: A Framework for Retrieving and Describing Concepts for Interpreting AudioLLMs #音频大模型 #自监督学习 #模型评估 ✅ 6.5/10 | 前50% | #音频大模型 | #自监督学习 | #模型评估 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Townim Faisal（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表： Townim Faisal（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） Ta Duc Huy（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） Siqi Pan（杜比实验室） Jeremy Stoddard（杜比实验室） Zhibin Liao（澳大利亚机器学习研究所，阿德莱德大学；计算机与数学科学学院） 💡 毒舌点评 亮点：这篇论文首次为音频大模型（AudioLLM）的“黑箱”问题提供了系统性的机械化解释工具链，将稀疏自编码器与音频时序特性巧妙结合，方法设计完整且逻辑自洽。短板：实验验证仅在单一模型（Qwen2-Audio-7B）和有限数据集上进行，其结论的普适性和在更大规模模型上的效果存疑，且缺乏对实际应用场景的深入探索，更像一个“方法论展示”而非“问题解决”。 🔗 开源详情 代码：论文提供了一个代码仓库链接：https://bit.ly/autointerpret-audiollm。 模型权重：未提及是否开源训练好的SAE模型或中间表示。 数据集：所使用的WavCaps， IEMOCAP， FSD50k， VoxCeleb1等均为公开数据集，论文未提供其修改版本或私有数据。 Demo：未提及。 复现材料：论文提供了一些关键超参数（如K=250， e=8， lr=1e-5）和训练步数，但缺少详细的训练硬件、完整的配置文件、评估脚本和附录说明。复现细节不充分。 论文中引用的开源项目：TopK-SAE [17]， CLAP [19]， SeaLLM-Audio-7B [20]， Qwen2-Audio-7B-Instruct [1]， Llama-3-70B-Instruct。 📌 核心摘要 问题：音频大模型（AudioLLM）性能强大但内部决策机制不透明，神经元呈现多义性，限制了其在高风险领域的可信部署。 方法核心：提出首个针对AudioLLM的机械可解释性框架AR&D。该框架包含三个阶段：1）使用TopK稀疏自编码器（SAE）将模型中间层激活解耦为稀疏、单义的特征；2）提出结合平均激活强度和覆盖率的“代表性评分”，自动检索最能代表每个特征的音频片段；3）利用单义性得分筛选最可靠的特征，并通过另一个AudioLLM生成描述，最后用大语言模型为这些特征自动命名，形成可解释的“概念”。 创新点：1）首次将SAE方法系统应用于AudioLLM；2）针对音频时序性，设计了新的代表性评分机制（优于仅用平均激活）；3）构建了从特征检索、评估到自动命名的完整流水线；4）通过人工评估和特征引导（Steering）验证了概念的有效性。 主要实验结果：在FSD50k数据集的可解释性评估中，AR&D（第26层）相比最强基线（Coverage），F1提升33%，mAP提升49%；在IEMOCAP和VoxCeleb1的情绪/性别引导任务中，AR&D的敏感度（如中性→快乐：0.75）远高于直接使用原始多义特征的方法（0.13）。消融实验证明深层（层26）和适中扩展因子（e=8）效果最佳。 实际意义：为理解和控制AudioLLM的行为提供了基础工具，有望提升模型在医疗、辅助技术等敏感领域的透明度和可信度。 主要局限性：框架仅在Qwen2-Audio-7B-Instruct上验证，普适性未证明；探针数据集规模中等；自动命名的质量仍依赖生成模型；未展示在具体下游任务（如音频分类）中提升性能的案例。 🏗️ 模型架构 AR&D是一个多阶段的分析流水线，而非一个新的端到端模型。其整体架构如图1所示。 AR&D 框架概览图 图1：AR&D框架概览（注：此为示意图，论文原文图1描述了三阶段流程）。 核心组件与数据流： ...

📄 Ara-BEST-RQ: Multi Dialectal Arabic SSL #语音识别 #自监督学习 #多语言 #低资源 #阿拉伯语 ✅ 6.5/10 | 前50% | #语音识别 | #自监督学习 | #多语言 #低资源 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Haroun Elleuch（ELYADATA，巴黎，法国；Laboratoire Informatique d’Avignon，阿维尼翁大学，阿维尼翁，法国） 通讯作者：未明确说明（论文未提供邮箱或明确标注通讯作者） 作者列表： Haroun Elleuch（ELYADATA；Laboratoire Informatique d’Avignon, Avignon Université） Ryan Whetten（Laboratoire Informatique d’Avignon, Avignon Université） Salima Mdhaffar（Laboratoire Informatique d’Avignon, Avignon Université） Yannick Estève（Laboratoire Informatique d’Avignon, Avignon Université） Fethi Bougares（ELYADATA；Laboratoire Informatique d’Avignon, Avignon Université） 💡 毒舌点评 亮点在于其系统性地构建了迄今最大的阿拉伯语多方言语音数据集（5,640小时），并证明了“小而精”的领域专注预训练（300M参数）在特定任务（方言识别）上能超越参数量更大的通用模型。短板则是模型规模和实验范围相对保守，在ASR上的性能未能对顶尖多语言模型构成实质性挑战，且“新SOTA”的声称主要局限于一个相对小众的评估基准（ADI-20），整体影响力有被其专业性所限之嫌。 ...

📄 Arbitrarily Settable Frame Rate Neural Speech Codec with Content Adaptive Variable Length Segmentation #音频生成 #神经语音编解码 #可变帧率 #语音表示学习 ✅ 7.0/10 | 前25% | #音频生成 | #神经语音编解码 | #可变帧率 #语音表示学习 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yukun Qian (哈尔滨工业大学深圳) 通讯作者：Mingjiang Wang (哈尔滨工业大学深圳，mjwang@hit.edu.cn) 作者列表：Yukun Qian (哈尔滨工业大学深圳)、Wenjie Zhang (哈尔滨工业大学深圳)、Xuyi Zhuang (哈尔滨工业大学深圳)、Shiyun Xu (哈尔滨工业大学深圳)、Lianyu Zhou (哈尔滨工业大学深圳)、Mingjiang Wang (哈尔滨工业大学深圳，通讯作者) 💡 毒舌点评 亮点在于它巧妙地用Viterbi算法将“帧率”这个连续可调参数转化为了一个全局优化问题，这在工程上非常优雅，且实验表明在低帧率场景下确实比固定帧率的SOTA更抗造。短板则是这篇论文的“任意帧率”听起来很酷，但Viterbi算法的动态规划在超长音频或实时流式场景下的计算开销和时延问题被轻描淡写了，这可能限制其在某些实际部署中的应用。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用公开的LibriSpeech和LibriLight数据集。 Demo：未提及在线演示。 复现材料：提供了详细的训练配置（数据集、裁剪长度、帧率采样范围、优化器、学习率、硬件），但未提供检查点或更详细的超参数（如RVQ码本数量、Transformer具体配置）。 论文中引用的开源项目：明确基于并比较了DAC [8] 和VRVQ [22] 的架构。 📌 核心摘要 要解决什么问题：当前主流的基于残差向量量化（RVQ）的神经语音编解码器采用固定帧率，导致在处理静音或简单音频段时效率低下，造成序列冗余，无法根据内容重要性动态分配码率。 方法核心是什么：提出了内容自适应变长分段（CAVLS）框架。该框架首先用帧评分编码器为每个潜在表示帧打分，然后根据目标帧率，利用Viterbi动态规划算法将相似的相邻帧合并为可变长度的段，实现可变帧率（VFR）。段表示经过RVQ量化后，由带有FiLM调制的上下文段解码器利用局部上下文信息重建原始帧序列。 与已有方法相比新在哪里：与固定帧率（CFR）的DAC、VRVQ等模型相比，CAVLS首次在基于RVQ的语音编解码器中实现了真正意义上由内容驱动的可变帧率，允许用户指定任意目标帧率，而非仅改变码本数量（VRVQ）或多尺度网络（TFC）。 主要实验结果如何：在匹配比特率（图2a）和匹配帧率（图2b）的对比中，CAVLS在高帧率/高码率时与基线（DAC, VRVQ）持平，但在低帧率/低码率时显著优于基线。例如，在1 kbps码率下，CAVLS的UTMOS分数仅比高码率时下降0.2，而VRVQ已跌破3分。消融实验（表1）显示移除段编码器对性能影响最大。 实际意义是什么：为神经语音编解码提供了更高的灵活性和效率，尤其适用于带宽受限的场景（如12.5 Hz的超低帧率传输）。其变帧率表示也可能为下游的语音语言模型提供更紧凑、信息密度更高的离散单元。 主要局限性是什么：论文中未讨论Viterbi算法在极长音频序列上的计算复杂度和实时流式应用的可行性；STE在训练中的稳定性影响未深入分析；生成的可变帧率表示是否完全兼容现有依赖固定帧率的下游任务（如某些语音合成模型）也未探讨。 🏗️ 模型架构 CAVLS建立在标准的RVQ-GAN编解码框架之上，核心创新在于编码和解码阶段引入了动态分段机制。 ...

📄 ARCHI-TTS: A Flow-Matching-Based Text-to-Speech Model with Self-Supervised Semantic Aligner and Accelerated Inference #语音合成 #流匹配 #自监督学习 #零样本 #多语言 🔥 8.0/10 | 前25% | #语音合成 | #流匹配 | #自监督学习 #零样本 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Chunyat Wu（香港中文大学） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Chunyat Wu, Jiajun Deng, Zhengxi Liu, Zheqi Dai, Haolin He, Qiuqiang Kong（所有作者均来自香港中文大学，香港，中国） 💡 毒舌点评 亮点：这篇论文最大的“工程巧思”在于发现了非自回归流式解码器中，条件编码器的输出在不同去噪步之间可以安全地重复使用，从而在几乎不损失质量的前提下将推理速度提升了数倍（RTF从0.31降至0.09），这个发现极具实用价值。短板：虽然“语义对齐器”被设计为核心，但论文对其内部学习到的对齐质量缺乏直接、可视化的分析（例如对齐矩阵图），其对合成语音“时序稳定性”的贡献更多是间接推断，说服力可以更强。 🔗 开源详情 代码：论文明确指出“code are publicly available”，并提供了项目主页链接 https://archimickey.github.io/architts ，但论文PDF中未给出具体的GitHub等代码仓库链接。 模型权重：论文中未提及是否公开模型权重。 数据集：使用的是公开数据集（Emilia, LibriHeavy, LibriTTS）。 Demo：项目主页上应包含音频样本（Audio samples）。 复现材料：提供了详细的模型架构描述、超参数设置（如层数、学习率、批次大小、损失函数权重）、训练硬件和时长等关键信息，有利于复现。 论文中引用的开源项目：主要依赖和参考了Emilia数据集、ConvNeXt V2（用于文本编码）、Stable Audio的VAE架构、以及用于提取说话人嵌入的CAM++模型。 总结：论文有明确的开源计划和部分复现信息，但开源信息（特别是代码链接和模型权重）在提供的PDF中不完整。 📌 核心摘要 问题：当前基于扩散/流匹配的非自回归TTS系统面临两大挑战：1）文本与语音之间复杂、灵活的对齐关系难以有效建模；2）迭代去噪过程带来高昂的计算开销，推理速度慢。 方法：本文提出ARCHI-TTS，一种非自回归架构。核心方法包括：a) 语义对齐器：通过一个Transformer编码器，将文本特征与长度等于目标语音帧数的、可学习的“掩码嵌入”序列进行交互，从而端到端地学习出对齐的语义表征，无需显式时长标注。b) 高效推理策略：在条件流匹配的解码器中，将负责编码文本、说话人、参考音频等条件的“条件编码器”部分的输出，在多个去噪步骤间共享（重用），避免了每一步都重新计算，从而大幅提升推理效率。 创新：与E2-TTS、F5-TTS等通过填充字符来实现隐式对齐的方法不同，ARCHI-TTS显式设计了一个对齐模块。与需要额外蒸馏训练（如DMDSpeech）的加速方法不同，本文的加速策略是训练无关的，直接来自对模型架构特性的洞察。 主要实验结果： 在LibriSpeech-PC test-clean上，WER为1.98%，SSIM为0.70，RTF为0.21（单卡3090）。 在SeedTTS test-en上，WER为1.47%，SSIM为0.68。 在SeedTTS test-zh上，WER为1.42%，SSIM为0.70。 使用75%共享比例时，在NFE=32下，WER仍保持1.98%，RTF降至0.09。 MOS主观评测中，其自然度和说话人相似度与F5-TTS和CosyVoice2处于竞争水平。 模型 参数量 训练数据 WER(%)↓ SSIM↑ RTF↓ 测试集 F5-TTS 336M 100K Multi. 2.42 0.66 0.31 LibriSpeech-PC test-clean ARCHI-TTS 289M 100K Multi. 1.98 0.70 0.21 LibriSpeech-PC test-clean F5-TTS - - 1.83 0.67 - SeedTTS test-en ARCHI-TTS - - 1.47 0.68 - SeedTTS test-en DiTAR - - 1.02 0.75 - SeedTTS test-zh ARCHI-TTS - - 1.42 0.70 - SeedTTS test-zh (图1：ARCHI-TTS整体架构概览图，展示了语义对齐器、条件编码器、速度解码器及数据流。) ...

📄 Are Modern Speech Enhancement Systems Vulnerable to Adversarial Attacks? #语音增强 #对抗样本 #扩散模型 #鲁棒性 ✅ 7.5/10 | 前25% | #语音增强 | #对抗样本 | #扩散模型 #鲁棒性 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Rostislav Makarov (汉堡大学信号处理组) 通讯作者：未说明 作者列表：Rostislav Makarov（汉堡大学信号处理组）、Lea Schönherr（CISPA亥姆霍兹信息安全中心）、Timo Gerkmann（汉堡大学信号处理组） 💡 毒舌点评 论文系统性地揭示了现代语音增强系统在对抗攻击下的脆弱性，并令人信服地论证了扩散模型因其随机采样机制而具备的“先天”鲁棒性，这是一个有价值的安全视角。然而，实验完全基于白盒攻击和合成攻击对，离验证真实世界（如助听器、通信系统）中的攻击场景还有很长距离，且代码和模型权重的未明确开源限制了结论的即时可验证性。 🔗 开源详情 代码：论文在摘要和引文部分提供了一个项目页面链接 https://sp-uhh.github.io/se-adversarial-attack，声称包含音频示例和代码。但论文正文中未明确说明代码是否完全开源、具体包含哪些内容（如训练脚本、评估代码、预训练模型）。因此，基于论文文本，不能确认其完全开源。 模型权重：论文未提及是否公开了所使用的SE模型（Direct Map, CRM, Diffusion）的预训练权重。 数据集：实验使用公开的EARS-WHAM-v2数据集，但论文未说明该数据集的获取方式（假设读者已知）。 Demo：项目页面可能包含音频示例演示，但论文正文中未提及在线可交互的Demo。 复现材料：论文给出了攻击优化的主要超参数（学习率、迭代次数、动量等）和扩散模型推理的步骤数N，但缺少SE模型训练的详细配置（如学习率调度、优化器、batch size、具体架构参数修改细节）。 论文中引用的开源项目：论文引用了多个开源项目/工具作为基础： SGMSE+ 基线仓库：https://github.com/sp-uhh/sgmse 心理声学模型实现：https://github.com/RUB-SysSec/dompteur/tree/main/standalone-psychoacoustic-filtering Whisper 语音识别模型（用于计算WER） DistillMOS 评估指标 总结：论文声称提供了代码和示例，但未在正文中做出明确的开源承诺或提供详细的复现指南。其依赖的上游开源项目（SGMSE+等）是公开的。因此，复现难度中等，需要自行搭建模型并调试。 📌 核心摘要 问题：本文研究了一个新兴的安全问题：现代的、表达能力强大的语音增强（SE）系统是否容易受到精心设计的、人耳难以察觉的对抗性噪声的攻击，从而输出与用户意图完全不同的语音内容。 方法核心：提出了一种针对语音增强系统的白盒对抗攻击框架。攻击者向原始混合语音（语音+噪声）中添加一个经优化的小扰动δ，目标是让SE系统的输出语音听起来像另一个指定的、攻击者选择的语音信号（Sattacker）。该扰动通过结合心理声学模型（MPEG-1）进行隐藏，使其不易被察觉，并使用PGD结合ℓ2范数约束进行优化。 新颖之处：首次系统性地将对抗攻击从语音识别（分类任务）扩展到语音增强（回归任务）。对比分析了三类主流SE模型（直接映射、复数掩膜、基于分数的扩散模型SGMSE+）在攻击下的脆弱性差异，并创新性地将心理声学隐藏技术适配到SE攻击场景。 主要实验结果：在EARS-WHAM-v2数据集上对100对样本进行攻击。结果显示，预测式模型（Direct Map, CRM）在适中约束下（λ=20dB, ε=10）能被有效攻击，输出语音与目标攻击语音高度相似（WER≈0.20， AS-POLQA≈1.81），同时扰动具有一定隐蔽性（SNR≈12.88 dB）。相比之下，扩散模型（Diffusion）更难攻击：即使在相同约束下，攻击成功率更低（WER≈0.80， AS-POLQA≈1.14），且扰动更明显（SNR≈7.90 dB）。消融实验进一步证明，扩散模型的随机采样步骤是其鲁棒性的关键来源（固定噪声路径后WER从0.47降至0.27）。 实际意义：本研究首次指出了语音增强系统存在被恶意操纵以篡改语义内容的安全风险，为未来SE系统的设计和安全评估提出了新挑战。其结论暗示，基于扩散模型的生成式SE可能因其随机性而更适合对安全性有要求的应用。 主要局限性：攻击场景为理想化的白盒攻击，且未考虑真实信道传输的影响；实验规模相对有限；攻击成功与否高度依赖于模型的可微性和攻击者对模型的完全控制。 🏗️ 模型架构 论文并未提出一个新的SE模型架构，而是评估和对比现有三类主流SE架构在对抗攻击下的表现。这三类架构都基于同一个骨干网络（NCSN++ U-Net），主要区别在于输出生成方式： ...

📄 Assessing Identity Leakage in Talking Face Generation: Metrics and Evaluation Framework #说话人脸生成 #模型评估 #基准测试 #音视频 ✅ 7.5/10 | 前25% | #说话人脸生成 | #模型评估 | #基准测试 #音视频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Dogucan Yaman（Karlsruhe Institute of Technology, KIT Campus Transfer GmbH (KCT)） 通讯作者：未说明（根据惯例和贡献推测，Alexander Waibel 可能为通讯作者，但论文未明确标注） 作者列表：Dogucan Yaman (Karlsruhe Institute of Technology, KCT)、Fevziye Irem Eyiokur (Karlsruhe Institute of Technology, KCT)、Hazım Kemal Ekenel (Istanbul Technical University)、Alexander Waibel (Karlsruhe Institute of Technology, KCT, Carnegie Mellon University) 💡 毒舌点评 亮点：精准戳中了当前说话人脸生成领域评估体系的“阿喀琉斯之踵”——高lip-sync分数可能掩盖了严重的“身份参考泄漏”问题，并设计了一套精巧的、可量化的“体检方案”来揭露它。短板：它本质上是一份详尽的“验尸报告”和“检测标准”，对于如何从根本上“治愈”泄漏问题（即设计新模型）着墨较少，创新止步于评估方法论层面。 ...

📄 Assessing the Impact of Speaker Identity in Speech Spoofing Detection #音频深度伪造检测 #多任务学习 #自监督学习 #说话人识别 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #多任务学习 | #自监督学习 #说话人识别 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Anh-Tuan DAO（法国阿维尼翁大学计算机实验室， Laboratoire d’informatique d’Avignon） 通讯作者：未说明（论文未明确标注，但联系邮箱来自Nicholas Evans） 作者列表：Anh-Tuan DAO（法国阿维尼翁大学计算机实验室）、Driss Matrouf（法国阿维尼翁大学计算机实验室）、Nicholas Evans（法国EURECOM， Sophia Antipolis） 💡 毒舌点评 这篇论文的亮点在于它设计了一个巧妙的“可开关”框架（SInMT），能统一评估两种关于说话人信息的对立假设，并且实验设计扎实，在四个数据集上验证了“去除说话人信息”对检测特定高级伪造攻击（A11）的显著效果。然而，其短板在于整体创新属于对现有SSL+多任务框架的特定应用组合优化，且论文未探讨将两种模式（aware/invariant）动态融合的潜力，结论部分稍显仓促。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用的是公开的ASVspoof 5， ASVspoof 2021， ITW和MUSAN数据集，论文中未提供新的或私有数据集。 Demo：未提及。 复现材料：论文给出了详细的训练细节、配置（如优化器、学习率、Batch Size、Epochs、硬件）和关键超参数（α, λ），以及数据增强流程，为复现实验提供了必要信息。 论文中引用的开源项目：引用了XLSR预训练模型（[10]）。 📌 核心摘要 要解决什么问题： 研究在基于自监督学习（SSL）的语音伪造检测系统中，说话人身份信息究竟是应该被利用还是被抑制，以及这种信息对模型性能有何具体影响。 方法核心是什么： 提出一个名为说话人不变多任务（SInMT）的统一框架。该框架使用预训练的XLSR作为特征提取器，后接两个结构相同的MHFA分类头。核心创新在于通过控制一个梯度反转层（GRL）的开启/关闭，使模型能在“说话人感知（MHFA-spk）”和“说话人不变（MHFA-IVspk）”两种模式间灵活切换。 与已有方法相比新在哪里： 以往工作多单独评估多任务学习或不变性学习，SInMT框架首次在单一SSL骨干网络中实现了二者的统一与直接对比。它允许研究者系统评估在相同数据和特征基础上，引入或抑制说话人信息带来的不同效果。 主要实验结果如何： 在四个评估集（ITW， ASVspoof 5 评估集， ASVspoof 2021 LA和DF隐藏子集）上，说话人不变模式（MHFA-IVspk） 取得了最佳的整体性能。与基线MHFA模型相比，其平均EER（等错误率）降低了17.2%（从7.41%降至6.13%）。对于最具挑战性的攻击类型A11，MHFA-IVspk实现了48%的相对EER降低（从17.02%降至8.76%）。说话人感知模式（MHFA-spk）也优于基线。 主要实验结果表格（论文中Table 1）： 模型 ITW EER(%) ASV5 eval EER(%) ASV21LA EER(%) ASV21DF EER(%) 平均EER(%) AASIST 7.03 5.54 13.66 9.60 8.95 Conformer 5.69 3.85 12.49 10.40 8.10 MHFA 4.31 4.64 12.14 8.58 7.41 MHFA-spk 3.76 5.29 8.67 8.41 6.53 MHFA-IVspk 3.58 4.98 8.41 7.57 6.13 实际意义是什么： 为设计更鲁棒的语音伪造检测系统提供了新的思路和实证依据。研究表明，在SSL特征基础上，主动抑制说话人特定信息可能使模型更专注于伪造痕迹本身，从而提升对高级、高仿真伪造攻击的检测能力，尤其是在跨数据集、跨说话人的场景下。 主要局限性是什么： 论文指出，虽然MHFA-IVspk整体更优，但其在“见过说话人”的闭集场景下可能不如MHFA-spk，这一点因评估集均为开集（说话人与训练集不重叠）而未能验证。此外，框架的通用性受限于其特定的特征提取器（XLSR）和后端分类器（MHFA）。 🏗️ 模型架构 SInMT框架的整体架构如下： ...