ICASSP 2026 语音/音频论文详细分析

ICASSP 2026 语音/音频论文详细分析 共分析 898 篇 ICASSP 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 语音识别(102篇) 语音增强(75篇) 语音合成(63篇) 语音情感识别(49篇) 音频分类(39篇) 音频生成(39篇) 音乐生成(31篇) 空间音频(31篇) 音频深度伪造检测(29篇) 音乐信息检索(26篇) 语音分离(25篇) 语音生物标志物(24篇) 音频事件检测(21篇) 模型评估(16篇) 声源定位(15篇) 音频问答(15篇) 生物声学(12篇) 音频安全(11篇) 音频检索(11篇) 音乐理解(11篇) 语音对话系统(10篇) 语音匿名化(10篇) 说话人验证(10篇) 说话人分离(9篇) 语音转换(9篇) 语音质量评估(8篇) 语音翻译(8篇) 语音伪造检测(8篇) 多模态模型(6篇) 音视频(6篇) 语音编码(5篇) 基准测试(5篇) 语音评估(5篇) 语音活动检测(5篇) 歌唱语音合成(5篇) 语音克隆(4篇) 语音问答(3篇) 情感分析(3篇) 音频场景理解(3篇) 音频增强(3篇) 语音识别 #语音翻译(3篇) 数据集(3篇) 音乐检索(3篇) 语音大模型(3篇) 歌唱语音转换(3篇) 视觉语音识别(2篇) 多模态情感识别(2篇) 信号处理(2篇) 语音理解(2篇) 领域适应(2篇) 听觉注意力解码(2篇) 多模态情感分析(2篇) 情感识别(2篇) 跨模态(2篇) 音频压缩(2篇) 音乐源分离(2篇) 关键词检测(2篇) 说话人日志(2篇) 跨模态检索(2篇) 水下声学目标识别(2篇) 视频生成(2篇) 听觉注意解码(1篇) 视频高光检测(1篇) 多音高估计 #音符跟踪(1篇) 歌唱语音转录(1篇) 异常声音检测(1篇) 脑机接口(1篇) 脑信号编码(1篇) 实体消歧(1篇) 音频检索 #音频分类(1篇) 目标说话人提取(1篇) 语音转换 #语音增强(1篇) 音频超分辨率(1篇) 基频估计(1篇) 语音发现(1篇) 语音表示学习(1篇) 数据集对齐(1篇) 预训练(1篇) 医疗AI(1篇) 语音解码(1篇) 说话人合成(1篇) 说话人脸生成(1篇) 说话人检测(1篇) 多模态对话意图识别(1篇) 视频理解(1篇) 音乐推荐(1篇) 视频设备识别(1篇) 说话人识别(1篇) 房间脉冲响应去噪(1篇) 音频质量评估(1篇) 主动降噪(1篇) 舞蹈生成(1篇) 歌唱旋律提取(1篇) 声场估计(1篇) 语音编码器(1篇) 音频编辑(1篇) 零样本关键词检测(1篇) 音频分离(1篇) 音频无损编码(1篇) 语音增强 #对抗防御(1篇) 音视频实例分割(1篇) 视频到音频生成(1篇) 语音摘要(1篇) 音频水印(1篇) 说话人日志 #语音分离(1篇) 联邦学习(1篇) 音乐混合(1篇) 视频片段检索(1篇) 神经解码(1篇) 视频检索(1篇) 语音驱动动作生成(1篇) 视频问答(1篇) 音频分类 #零样本学习(1篇) 主题建模(1篇) 说话人生成(1篇) 对抗样本(1篇) 音频描述(1篇) 主动噪声控制(1篇) 音乐分离(1篇) 音乐源提取(1篇) 音乐转录(1篇) 房间脉冲响应(1篇) 语音识别 #语音合成(1篇) 音频场景分类(1篇) 多通道(1篇) 音频效果估计(1篇) 音频信号处理(1篇) 回声消除(1篇) 语音生成(1篇) 实时处理(1篇) 音频大模型(1篇) 声学建模(1篇) 迁移学习(1篇) 课堂阶段分割(1篇) 噪声控制(1篇) 音频字幕生成(1篇) 轻度认知障碍检测(1篇) 音乐分类(1篇) 槽填充(1篇) 多模态学习(1篇) ⚡ 今日概览 📥 898 篇 → 🔬 深度分析完成 ...

2026-05-01 · 更新于 2026-05-19 · 430 min · 91382 words

3D Mesh Grid Room Impulse Responses Measured with A Linear Microphone Array And Suppression of Frame Reflections

📄 3D Mesh Grid Room Impulse Responses Measured with A Linear Microphone Array And Suppression of Frame Reflections #空间音频 #3D音频 #麦克风阵列 #信号处理 #数据集 🔥 8.3/10 | 前25% | #空间音频 | #麦克风阵列 | #3D音频 #信号处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者:Yoichi Haneda(The University of Electro-Communications, Tokyo, Japan) 通讯作者:未说明 作者列表:Yoichi Haneda(The University of Electro-Communications)、Yi Ren(The University of Electro-Communications) 💡 毒舌点评 亮点在于其“授人以渔”的思路:不仅提供了一个罕见的、高分辨率的3D实测RIR数据集,还详细阐述了为获取该数据集而开发的、用于抑制测量系统自身干扰的专用信号处理方法,这为后续类似测量工作提供了实用参考。短板在于测量系统本身引入了需要额外处理的人工反射,且该方法的有效性在空间边缘区域有所下降,限制了数据集的完整利用率。 🔗 开源详情 代码:论文提供了频率-波数域掩蔽处理的参考实现链接(https://github.com/xefonon/RIRPINN),以及用于测量的playrec工具的安装说明链接。 模型权重:未提及。 数据集:是,已公开。数据集可通过项目主页(https://yh-audio.github.io/meshgrid-ir.html)获取,并永久存档于Zenodo(https://doi.org/10.5281/zenodo.17051811)。 Demo:未提及在线演示。 复现材料:论文详细给出了测量系统参数、数据处理步骤、降采样配置等关键信息,足以支撑复现其数据处理流程。对于数据集的使用,提供了格式说明。 论文中引用的开源项目:playrec(用于音频测量)、RIRPINN(用于PINN插值实验验证)。 📌 核心摘要 本文旨在构建一个大规模、高空间分辨率的3D房间脉冲响应(RIR)数据库,以支持RIR插值、外推及基于物理信息神经网络(PINN)等机器学习方法的研究。为解决使用线性麦克风阵列进行自动化三维扫描时,支撑导轨和框架会产生不可忽略的早期反射干扰这一核心问题,作者提出了一种基于频率-波数域的二进制掩蔽方法。该方法通过二维傅里叶变换将信号变换到频域-波数域,识别并抑制主要沿特定方向(如x轴或z轴)传播的框架反射分量。实验表明,该方法有效抑制了位于直达声之后的框架反射。利用该系统,作者在一个8.4m×6.14m×2.66m的房间内,针对4个扬声器位置,以2cm的网格间距测量了共计4×63,648个RIRs(16kHz采样率)。所有数据已公开。PINN插值实验证实了该数据集用于驱动数据驱动声场重建模型的有效性。主要局限性包括:处理后边缘麦克风的反射抑制效果不佳需被剔除;测量环境受限于特定房间及扫描体积。 ...

2026-04-29 · 更新于 2026-05-19 · 1 min · 202 words

A Bayesian Approach to Singing Skill Evaluation Using Semitone Pitch Histogram and MCMC-Based Generated Quantities

📄 A Bayesian Approach to Singing Skill Evaluation Using Semitone Pitch Histogram and MCMC-Based Generated Quantities #音乐理解 #贝叶斯建模 #信号处理 #模型评估 #少样本 ✅ 7.0/10 | 前25% | #音乐理解 | #贝叶斯建模 | #信号处理 #模型评估 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Tomoyasu Nakano(日本产业技术综合研究所,AIST) 通讯作者:未说明 作者列表:Tomoyasu Nakano(日本产业技术综合研究所,AIST)、Masataka Goto(日本产业技术综合研究所,AIST) 💡 毒舌点评 亮点:论文将统计建模的严谨性引入了一个通常由深度学习主导的“歌唱评估”领域,利用贝叶斯概率输出和PHC指标,为“音准好不好”这个问题提供了带有不确定性的量化答案,而非一个冰冷的分数,这种视角在可解释性和用户反馈设计上很有价值。 短板:模型假设过于简化,将颤音和音符过渡“均匀”地混在一起,导致音准指标(π, pδ)本质上是“稳定音高比例”的一个嘈杂估计;且实验仅在单一内部数据集上进行,缺乏与传统机器学习或深度学习方法的直接性能对比,说服力有限。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:使用内部数据集,论文未提及公开获取方式。 Demo:未提及。 复现材料:论文详细描述了模型公式、先验分布、MCMC采样设置(预热、采样数、链数、收敛标准),以及评估指标(pδ, PHC)的计算方法,提供了较高的理论复现性。依赖的开源项目:CmdStanPy (https://mc-stan.org/cmdstanpy/),Stan (https://mc-stan.org/)。 论文中未提及开源计划。 📌 核心摘要 问题:现有自动歌唱技能评估方法要么依赖手工特征,要么依赖大规模数据集训练模型输出单一标量分数(如排名/评级),难以从单次演唱中提供可解释的、概率性的技能指标,且对引入新任务不友好。 方法核心:提出一种基于贝叶斯建模的方法。以“半音音高直方图”(将基频F0转换为半音并以±0.5半音为窗口折叠)作为表示,构建了一个由截断正态分布和均匀分布组成的混合模型来对其进行建模。使用汉密尔顿蒙特卡洛(HMC)/No-U-Turn Sampler (NUTS) 从模型后验中采样。 新意:与依赖点估计或判别式学习的方法不同,该方法通过MCMC后验采样生成“生成量”(generated quantities),如参数π(稳定音高成分权重)和σ(分布宽度),并进一步计算“假设正确概率(PHC)”。这允许进行概率性的、考虑不确定性的技能比较和阈值判断,且对小样本数据友好。 主要实验结果:在包含140首日文流行歌曲的内部数据集上进行验证。表1显示,模型参数(σ, π, pδ)在87%-96%的演唱中达到收敛标准。图3的散点图显示,生成的指标(π, pδ=0.10, pδ=0.25)与人工标注的综合音准分数呈现正相关(EAP相关系数分别为0.34, 0.44, 0.42),σ则呈现负相关(-0.30)。 实际意义:为歌唱技能评估提供了一种可解释、概率化、无需大规模数据的新范式,可用于个性化反馈(如指出哪些段落音准更稳定)和交互设计。该框架可扩展至其他音频特征。 主要局限性:模型仅部分捕捉音准相关技巧,未显式建模颤音和音符过渡等重要成分,仅将其视为“非稳定”噪声的一部分;实验未与任何现有SOTA歌唱评估方法进行性能对比;数据集规模较小且未公开。 🏗️ 模型架构 论文未提供系统架构图。其核心是一个用于建模半音音高直方图的贝叶斯混合模型。流程如下: ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 271 words

A Bimodal Approach for Detecting Fatigue Using Speech and Personal Assessments in College Students

📄 A Bimodal Approach for Detecting Fatigue Using Speech and Personal Assessments in College Students #语音生物标志物 #特征提取 #多模态模型 #低资源 #健康监测 ✅ 6.5/10 | #语音生物标志物 #特征提取 👥 作者与机构 第一作者:Kapotaksha Das(密歇根大学计算机与信息科学系) 通讯作者:未说明 作者列表:Kapotaksha Das(密歇根大学计算机与信息科学系)、Mihai Burzo(密歇根大学机械工程系)、John Elson(福特汽车公司)、Clay Maranville(福特汽车公司)、Mohamed Abouelenien(密歇根大学计算机与信息科学系) 💡 毒舌点评 这篇论文最大的亮点是提出了一个“聪明”的低成本、非侵入式疲劳检测框架——只需一次性的问卷就能“校准”后续语音分析,这个想法在个性化健康监测上很有巧思。然而,其短板也同样明显:用仅12个大学生的数据就下了结论,且分类器用的是传统的XGBoost而非更复杂的模型,这让“增强性能”的说服力打了折扣,更像是一个概念验证(Proof-of-Concept)。 🔗 开源详情 代码:论文中未提及代码链接或开源计划。 模型权重:未提及公开模型权重。 数据集:论文描述了自建数据集,但未提及是否公开或如何获取。 Demo:未提及在线演示。 复现材料:提供了特征提取所用的OpenSMILE工具和具体特征集名称(ComParE 2016, eGeMAPSv02),以及数据分段和融合的基本方法。但缺少XGBoost的超参数、训练脚本等关键复现细节。 论文中引用的开源项目:明确提到了使用OpenSMILE进行音频特征提取,并引用了其论文。 📌 核心摘要 问题:传统疲劳检测方法(如视觉、生理信号)存在不便、不客观或不实时的问题,亟需一种便捷、可扩展的检测手段。 方法核心:提出一种双模态框架,融合自发语音的声学特征与一次性问卷调查的个人评估数据(包括晨/夜型、睡眠质量等),以检测大学生的自我报告疲劳状态。 创新点:首次系统性地探索将静态、个性化的问卷数据作为先验知识,与实时的语音特征早期融合,以增强模型对个体疲劳状态的判别能力。相比仅使用语音或仅使用问卷,这提供了新的结合路径。 主要实验结果:在12名大学生的自建数据集上,使用16秒语音片段。仅用语音特征(eGeMAPS)时F1分为59.63%;融合所有问卷特征后,最佳F1分提升至64.62%。实验结果表格如下: 特征使用 ComParE 2016 (16s) eGeMAPSv02 (16s) 仅语音 60.10% 59.63% 语音 + OLQ 59.99% 63.24% 语音 + PSQI 58.26% 63.66% 语音 + MCQ 64.07% 64.05% 语音 + 所有问卷 61.70% 64.62% 通过t-SNE可视化(图1 vs 图2),融合问卷数据后,疲劳与非疲劳状态的数据点分离度有所改善。 ...

2026-04-29 · 更新于 2026-05-19 · 1 min · 194 words

A Consistent Learning Depression Detection Framework Integrating Multi-View Attention

📄 A Consistent Learning Depression Detection Framework Integrating Multi-View Attention #语音生物标志物 #一致性学习 #注意力机制 #数据增强 #音频分类 ✅ 6.5/10 | 前50% | #语音生物标志物 | #一致性学习 | #注意力机制 #数据增强 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者:徐淑敏(Shuomin Xue)(东南大学网络科学与工程学院) 通讯作者:杨春峰(Chunfeng Yang)(东南大学计算机科学与工程学院) 作者列表:徐淑敏(Shuomin Xue)(东南大学网络科学与工程学院)、姚嘉轩(Jiaxuan Yao)(东南大学软件工程学院)、杨春峰(Chunfeng Yang)(东南大学计算机科学与工程学院) 💡 毒舌点评 这篇论文首次将一致性学习范式引入基于音频的抑郁症检测,想法巧妙,技术整合度也不错。但论文的实验对比部分有些“自说自话”,Table 1中多个重要基线方法的Precision和Recall列为空,削弱了对比的说服力,而且作为一篇2026年的论文,完全没有提及开源计划,这对于临床应用研究来说是一个明显的短板。 🔗 开源详情 代码:论文中未提及代码���接。 模型权重:未提及公开权重。 数据集:论文使用了公开数据集DAIC-WOZ和CMDC,但未在论文中提供具体的获取方式或链接(通常这些数据集需通过官方渠道申请)。 Demo:未提供在线演示。 复现材料:论文给出了基本的超参数设置(λ1, λ2, σ, p, 学习率, batch size, BiLSTM维度)和数据预处理流程,但缺少模型具体层结构参数(如FAM中间层维度、多头注意力头数)、训练轮数、Dropout率、代码框架(如PyTorch/TensorFlow)等关键信息。 论文中引用的开源项目:论文中引用了VGGish[7]和eGeMAPS[6](通过OpenSMILE工具[6]实现)作为特征提取器,这些是公开可用的模型和工具。 📌 核心摘要 本文旨在解决基于音频的自动抑郁症检测中面临的信号噪声大、模型鲁棒性不足的问题。作者提出了DSCAM(Dual-Student Consistency Learning Framework with Multi-view Attention)框架,其核心是采用两个独立初始化的学生模型,通过对未标注数据施加高斯噪声和通道掩码增强,利用一致性损失和稳定性损失约束两个模型输出的一致性,从而学习对噪声鲁棒的表示。同时,提出了时间注意力模块(TAM)和特征注意力模块(FAM),分别从时间和特征维度关注关键信息并抑制噪声。实验在CMDC和DAIC-WOZ两个抑郁症数据集上进行,结果表明DSCAM在F1分数和召回率上优于所对比的监督学习方法,例如在DAIC-WOZ数据集上F1达到0.683,召回率达0.710,在CMDC数据集上F1和召回率均达到0.955。消融实验证明了每个模块的贡献。该工作的实际意义在于为临床抑郁症的早期、客观筛查提供了一种潜在的自动化工具。主要局限性包括:1)实验对比不够全面,部分关键基线指标缺失;2)方法高度依赖半监督学习设置,且在更复杂的真实噪声环境下的泛化能力有待验证;3)未提供代码或模型复现资源。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 298 words

A Data-Driven Framework for Personal Sound Zone Control Addressing Loudspeaker Nonlinearities

📄 A Data-Driven Framework for Personal Sound Zone Control Addressing Loudspeaker Nonlinearities #空间音频 #信号处理 #麦克风阵列 #深度学习 ✅ 7.5/10 | 前25% | #空间音频 | #信号处理 | #麦克风阵列 #深度学习 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Lei Zhou (重庆邮电大学通信与信息工程学院) 通讯作者:Liming Shi (重庆邮电大学通信与信息工程学院) 作者列表:Lei Zhou(重庆邮电大学通信与信息工程学院),Chen Gong(重庆邮电大学通信与信息工程学院),Chen Huang(重庆邮电大学通信与信息工程学院),Hongqing Liu(重庆邮电大学通信与信息工程学院),Lu Gan(Brunel University伦敦校区工程、设计与物理科学学院),Liming Shi(重庆邮电大学通信与信息工程学院) 💡 毒舌点评 亮点:论文针对一个实际且被长期忽略的问题(小型扬声器的非线性破坏了传统线性控制理论),提出了一个“用魔法打败魔法”的优雅框架——先用深度学习精确建模非线性,再用这个模型去训练一个能补偿非线性的控制器,逻辑闭环非常漂亮。 短板:虽然物理实验验证了有效性,但核心控制器(如WaveNet+VNN)的计算开销巨大(MACs达33G),对于论文标题中暗示的“移动和边缘设备”场景,其落地可行性存疑,更像一个原理验证原型。 标题:A Data-Driven Framework for Personal Sound Zone Control Addressing Loudspeaker Nonlinearities 摘要:论文针对个人声区控制系统性能受小型扬声器非线性严重制约的问题,提出一个两阶段、数据驱动的框架。第一阶段,训练一个高保真非线性前向模型以精确捕获从数字输入到声压的真实声学过程。第二阶段,将该预训练模型作为可微模拟器,优化一个控制网络。该框架为传统线性方法提供了一个统一视角,同时实现了更强的端到端非线性控制。在物理微型扬声器阵列上的实验表明,性能最佳的非线性控制器相比基线方法,在语音信号(200–4000 Hz)上实现了平均5.33 dB的声对比度(AC)提升。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 342 words

A Dataset of Robot-Patient and Doctor-Patient Medical Dialogues for Spoken Language Processing Tasks

📄 A Dataset of Robot-Patient and Doctor-Patient Medical Dialogues for Spoken Language Processing Tasks #语音对话系统 #数据集 #大语言模型 #模型评估 #语音识别 ✅ 7.5/10 | 前25% | #语音对话系统 | #数据集 | #大语言模型 #模型评估 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:Heriberto Cuayáhuitl(University of Lincoln, School of Engineering and Physical Sciences) 通讯作者:未说明(论文中未明确指定通讯作者) 作者列表: Heriberto Cuayáhuitl(University of Lincoln, School of Engineering and Physical Sciences) Grace Jang(Lincoln Medical School, Universities of Lincoln and Nottingham) 💡 毒舌点评 亮点:数据集规模(111+小时)和收集方法(结合远程操控机器人与真实医患对话)在公开免费资源中独树一帜,并创新性地设计了模拟ASR噪声的评估协议。短板:对LLM的评估停留在通用多选题任务上,未能深入设计更能体现医疗对话复杂性和安全性的评测,使得这项重要的数据资源在论文中的价值释放略显不足,更像一个“半成品”基准。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 238 words

A Distribution Matching Approach to Neural Piano Transcription with Optimal Transport

📄 A Distribution Matching Approach to Neural Piano Transcription with Optimal Transport #音乐转录 #最优传输 #注意力机制 #循环神经网络 ✅ 7.0/10 | 前25% | #音乐转录 | #最优传输 | #注意力机制 #循环神经网络 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Weixing Wei(京都大学信息学研究生院) 通讯作者:未说明 作者列表:Weixing Wei(京都大学信息学研究生院)、Raynaldi Lalang(京都大学工程研究生院)、Dichucheng Li(独立研究者)、Kazuyoshi Yoshii(京都大学工程研究生院) 💡 毒舌点评 亮点是跳出了传统BCE损失“对齐即全对,错一位全错”的思维定式,用OT损失来容忍合理的时间偏差,理论上更优雅且实验效果显著。短板在于论文对OT损失计算复杂度的讨论几乎空白,且将钢琴转录中复杂的踏板问题简单归因于offset不准,未来提升路径仍需更扎实的论证。 🔗 开源详情 代码:论文在“Repo:”处提供了一个GitHub仓库链接(https://github.com/WX-Wei/AMT-optimal-transport),但论文正文中未描述该仓库的具体内容(如是否包含完整代码、模型权重、训练脚本等),因此其实际开放性和完整性未知。 模型权重:未提及。 数据集:MAESTRO为公开数据集,但论文中未说明如何获取或处理的具体细节。 Demo:未提及。 复现材料:论文中提到了一些关键训练细节(数据集分割、CQT参数、优化器),但缺少batch size、具体epoch数、硬件信息等关键复现参数。 论文中引用的开源项目:提到了mir_eval库用于评估。 📌 核心摘要 该论文要解决自动钢琴转录中传统帧级二分类交叉熵(BCE)损失对时间错位过于敏感、导致模型需过度拟合微小对齐误差的问题。 核心方法是将钢琴转录形式化为最优传输(OT)问题,通过最小化预测音符分布到真实音符分布的运输成本来训练模型,从而自然地容忍合理的时间错位。 与已有方法相比,新在:a) 将损失函数从BCE替换为OT,改变了优化目标;b) 提出了专门设计的SFT-CRNN模型,包含谐波感知注意力机制。 主要实验结果:在MAESTRO数据集上,所提SFT-CRNN模型结合OT损失取得了音头F1分数98.36%的SOTA性能,相比使用BCE损失提升了0.75个百分点;在整体音符转录(���音头和音尾)上F1为90.78%。消融实验表明OT损失和模型中的LSTM、谐波注意力组件均带来显著性能提升。 实际意义是提出了一种即插即用的、更符合音乐感知逻辑的OT损失函数,可替换BCE用于现有模型,并推动了钢琴转录性能的提升。 主要局限性是当前模型未显式处理延音踏板,导致音尾(offset)转录性能(90.78% F1)尚未达到最佳,且OT损失的引入可能增加训练时的计算负担。 🏗️ 模型架构 本文提出了名为SFT-CRNN(空间-频率-时间卷积循环神经网络)的模型架构,旨在全面建模音乐信号的时频依赖关系。整体输入输出流程为:以CQT频谱图(维度 T x F)为输入,经过模型处理后,输出两个分布矩阵:预测的音头质量分布 Mon 和音尾质量分布 Moff(维度均为 T’ x F’)。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 279 words

A Dynamic Gated Cross-Attention Framework for Audio-Text Apparent Personality Analysis

📄 A Dynamic Gated Cross-Attention Framework for Audio-Text Apparent Personality Analysis #多模态模型 #音频分类 #人格分析 #跨模态 ✅ 7.0/10 | 前25% | #音频分类 | #多模态模型 | #人格分析 #跨模态 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Yunan Li(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室) 通讯作者:Zixiang Lu(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室) 作者列表:Yunan Li(同上)、Zixiang Lu(同上)、Yang Ma(西安电子科技大学计算机科学与技术学院)、Haozhe Bu(西安电子科技大学计算机科学与技术学院)、Zhuoqi Ma(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室)、Qiguang Miao(西安电子科技大学计算机科学与技术学院;西安大数据与智能视觉重点实验室;陕西省智能人机交互与可穿戴技术重点实验室) 💡 毒舌点评 该论文提出了一种结构清晰的音频-文本双流融合框架,其动态门控机制为处理模态特异性与交互性提供了合理的解决方案。然而,其核心创新(交叉注意力+门控)在多模态融合领域已不算新奇,且实验仅限于一个数据集,缺乏跨数据集或跨任务的泛化验证,说服力有限。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:使用了公开的ChaLearn First Impressions V2数据集,但论文中未说明具体获取方式。 Demo:未提及。 复现材料:仅提供了部分训练细节(优化器、学习率范围、损失函数类型)和硬件信息,但缺乏完整的超参数配置、数据预处理脚本、训练日志等,复现难度较大。 论文中引用的开源项目:提到了Adam优化器[18],以及参考了损失函数设计[7],但未明确列出依赖的开源代码库或预训练模型(如RoBERTa的具体版本)。 总体:论文中未提及开源计划。 📌 核心摘要 要解决什么问题:针对从音频和文本中推断人格特质的表观人格分析(APA)任务,现有方法在融合异质模态时存在语义对齐不足和动态贡献调节困难的问题。 方法核心是什么:提出一个基于动态门控交叉注意力(DGCA)的框架。首先使用注意力增强的ResNet(AttResNet)和RoBERTa分别编码音频和文本;然后通过双向交叉注意力机制(BCAM)建模细粒度交互;最后引入动态门控模块(GMM)和单模态保留门,自适应地平衡模态贡献并保留特异性信息。 与已有方法相比新在哪里:与简单的拼接或加权融合不同,该方法设计了双向交叉注意力以对称捕捉跨模态依赖,并创新性地集成了两组门控机制:一组(GMM)用于抑制跨模态对齐中的噪声,另一组(单模态保留门)用于显式保留原始模态特征,防止信息在融合中丢失。 主要实验结果如何:在ChaLearn First Impressions V2数据集上,该方法在大五人格特质预测的平均分上达到0.9010,优于文中对比的所有基线方法(如Sun et al. 0.8966, Li et al. 0.8967, Zhu et al. 0.8984)。消融实验证明,AttResNet比基础ResNet性能更优,BCAM和GMM的引入共同带来了性能提升(从0.8906提升至0.9010)。具体结果见下表。 表1:与现有方法的性能对比(ChaLearn First Impressions V2) ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 285 words

A Feature-Optimized Audio Watermarking Algorithm with Adaptive Embedding Strength

📄 A Feature-Optimized Audio Watermarking Algorithm with Adaptive Embedding Strength #音频安全 #深度学习 #鲁棒性 #信号处理 ✅ 7.5/10 | 前25% | #音频安全 | #深度学习 | #鲁棒性 #信号处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Weili Zhou(厦门大学信息学院、管理学院) 通讯作者:Shuangyuan Yang(厦门大学信息学院) 作者列表:Weili Zhou(厦门大学信息学院、管理学院,共同第一作者)、Jiabei Zhou(厦门大学信息学院,共同第一作者)、Shuangyuan Yang(厦门大学信息学院,通讯作者) 💡 毒舌点评 亮点在于将Transformer的特征提取能力与NSGA-II多目标优化框架巧妙结合,为“嵌入强度”这一传统难题提供了自适应解决方案,在实验数据上实现了容量、不可感知性与鲁棒性的较好平衡。短板是论文理论分析稍显薄弱,未能深入阐释Transformer编码器为何及如何在水印任务中优于传统模块,且优化策略(NSGA-II)的离线性质对实时性场景的适用性讨论不足。 🔗 开源详情 代码:论文中未提及代码链接或开源计划。 模型权重:未提及公开权重。 数据集:使用了公开的FMA和VCTK数据集,但论文未提供其具体使用版本或预处理脚本。 Demo:未提及在线演示。 复现材料:未提供完整的训练细节、配置文件、检查点或附录说明。损失函数权重已给出,但优化器学习率等关键超参数未说明。 论文中引用的开源项目:未提及依赖的特定开源代码库或模型(如使用某个Transformer实现)。 📌 核心摘要 本文针对现有音频水印方法在嵌入容量、不可感知性和鲁棒性之间难以平衡,且跨音频类型泛化能力有限的问题,提出了一种名为AESAW的音频水印算法。该方法的核心是:1)利用Transformer编码器层来优化水印的特征表示,提升其与音频信号的融合质量;2)引入NSGA-II多目标优化算法,以信噪比(SNR)和误码率(BER)为目标,自适应地调整嵌入强度。实验在FMA音乐和VCTK语音数据集上进行,结果表明AESAW在保持较高嵌入容量(86 bps)的同时,实现了出色的不可感知性(音乐SNR 31.2 dB,语音SNR 26.7 dB)和强大的鲁棒性(在重采样、裁剪、重量化等攻击下BER接近0%)。与传统方法(SVD-DWT, SIFT-DWT)和现有深度学习方法(DeAR, AudioSeal)相比,AESAW在性能上具有明显优势。其实际意义在于为音频版权保护提供了一种更可靠的技术方案。主要局限性在于NSGA-II的优化过程是离线的,论文未详细探讨其对不同类型音频的实时嵌入适应性以及在实际部署中的计算开销。 实验结果关键数据对比表: 方法 数据集 容量 SNR (dB) 无攻击BER(%) AWGN BER(%) 重采样BER(%) 重量化BER(%) 回声BER(%) 幅度缩放BER(%) SVD-DWT 音乐 102 bps 25.3 0 1.79 0.10 1.01 1.46 0.10 SIFT-DWT 音乐 102 bps 28.1 0 0.29 0.07 0 0 1.00 DeAR 音乐 9 bps 23.2 0 0 0 0 4.20 0 AudioSeal 音乐 16 bps 22.67 2.00 3.50 1.81 1.81 4.25 2.06 AESAW 音乐 86 bps 31.2 0 0.14 0 0 0.01 0 SVD-DWT 语音 102 bps 25.3 0 0.16 0 0 1.92 0 SIFT-DWT 语音 102 bps 31.2 0 0.20 0.16 0.03 - 4.30 DeAR 语音 9 bps 20.5 0 0 0 0 11.6 0 AudioSeal 语音 16 bps 27.96 0 16.25 0 7.50 0 0 AESAW 语音 86 bps 26.7 0 0.03 0 0 0.22 0 🏗️ 模型架构 AESAW的整体框架由三个核心模块构成:水印嵌入器、攻击层和水印提取器。 AESAW总体框架 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 375 words