不靠攻击仿真堆料:用对抗嵌入与时间无关读出做音频水印
针对剪切拼接易失同步的问题,AWARE 用时频域对抗优化嵌入水印并以时间无关检测器解码,在保持 PESQ 约 4.26 与 STOI 约 0.99 的同时在多种编辑下保持低误码率,代价是逐样本迭代嵌入开销与神经压缩等条件仍有残留误差。
针对剪切拼接易失同步的问题,AWARE 用时频域对抗优化嵌入水印并以时间无关检测器解码,在保持 PESQ 约 4.26 与 STOI 约 0.99 的同时在多种编辑下保持低误码率,代价是逐样本迭代嵌入开销与神经压缩等条件仍有残留误差。
该文研究针对 Whisper 系列的通用、有迁移性的目标性声学攻击,提出 MuteOut 随机掩码优化,以较大的扰动预算换取跨模型的目标词成功率,同时用词错率和语义分数量化通用性与迁移性之间的折中。
该工作用注意力端到端语音识别内部后验的不确定性做全盲微观可懂度估计,在 GRID 句库上以熵和离散度指标在相关性和逻辑回归预测准确率上超过直接用识别结果的基线,代价是离散度需额外对齐与多假设打分且结论限于小词汇矩阵句。
针对 Transformer 解码器非因果交叉注意力导致的长删除与重复幻觉,该文提出只在推理时逐 token 右移注意力质心并钳制跳变的方法,在 LibriSpeech 四集上相对基线平均降低 8.9% 词错误率,代价是引入 δ、β、ν 三个需在开发集上调参的启发式阈值且不改变模型参数。
针对电影混音需分离对白、音效、音乐且缺乏带干净分轨的视听电影数据问题,该工作用条件流匹配同时生成三路频谱并以面部与场景双路视觉为条件,合成数据训练后在合成与真实电影片段上获得更干净的主观与分布指标,但多步采样与预测模型在信噪比类指标上的差距仍是代价。
针对电影音轨要分成对白音乐音效的问题,CineSubNet 用稀疏编解码加 Transformer 分离并以 Whisper 加 BERT 字幕作语义先验,在 DnR 全系列上以 SDR 为指标超过 BandIt 等基线,多模态版本代价是参数从 23.5M 到 24.1M 而延迟基本不变。
针对卒中后失语命名中发音变异和多重尝试导致转写不可靠的问题,论文把判断改成音频与提示文本在共享空间的配对,用两组法语命名数据在留一说话人评估下报告最高 0.90 准确率,代价是仍需在失语数据上微调且重度损伤集上降到 0.85。
针对类别标签难表混合情绪、维度分数难直观解释的问题,该研究把日语表演性情绪语音标注为色相、饱和度、明度并用回归直接预测,留一说话人交叉验证下多任务学习在色相角误差约 29.7 度、饱和度与明度一致性相关系数约 0.560 与 0.803、六分类准确率 90.8% 上同时优于单任务,但结论限于表演性日语与小规模众包标注条件。
针对同一视频中语言、视觉、音频情感极性不一致时相似性对齐会扭曲共享语义的问题,论文提出冲突感知自适应交叉重构 CACR,用共享空间冲突分数加权交叉重构实现隐式对齐并以视听线索精炼文本,在 MOSI 上报告 ACC7 为 48.69、ACC2 为 87.04,代价是需要多组重构解码器与多项正则损失协同训练。
该文用图像字幕先建视觉词表再过滤语音,用无监督词发现做两两对齐与堆叠评分定位关键词,在视觉监督下超过神经基线,但共现词与字幕噪声仍带来明显定位损失与计算代价。
针对高阶全通变换 DCT 分析合成滤波器组相位与混叠失真难以同时补偿的问题,论文用凸最小二乘直接求解 FIR 合成子滤波器系数,以完全重建设计实现全局最优,并以混叠受限的近完全重建设计换取更好的合成滤波器频率选择性。
针对手势数据缺描述文本导致的语义先验缺口与音频加描述难以协调控制的问题,CoordSpeaker 先用动作语言模型离线生成多粒度手势字幕,再用统一表示的潜在扩散加分层去噪器实现语音节奏与字幕语义的联合生成,最强证据是推理耗时大幅下降与文本对齐指标领先,代价是部分重建指标未占优且长序列时序感知仍有限。
针对印地语英语代码切换中声音对但文字错的问题,论文冻结语音编码器与指示大模型只训练 27.8M 瓶颈适配器,以 21.56% 词错误率与 20.69% 转写词错误率超过解码器微调基线,代价是依赖大模型词表与干净盲测集。
针对说话人视频中情绪编辑受限于离散标签和参考图像的问题,C-MET 用语音与表情空间的情绪语义向量差做跨模态回归,在 MEAD 上把情绪准确率做到最高,同时保留唇动与身份,且能处理训练未见的扩展情绪。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读
针对帕金森病理语音增强数据少且声学 atypical 的问题,论文在 PC-GITA 上系统比较变换型、生成型与噪声增强对预测式 CR 与生成式 SB 模型的影响,最强证据是噪声增强带来最稳健的大幅提升,而生成式合成在比例增大时反而损害性能,且病理与常态语音间的差距依然存在。
针对分布式子阵列间通信贵、难同步的问题,论文提出只在子阵列间共享非负矩阵分解变量的三种去中心化独立低秩矩阵分析,并报告基共享变体在混响与采样时间偏移下保持稳定分离的主要证据与建模代价。
针对 Conformer 在噪声下注意力分散导致上下文建模退化的问题,论文提出混合式修正差分门控注意力 Conformer,在保持参数量基本一致时于 Librispeech 干净与加噪测试上取得相对词错误率下降,但小模型增益有限且早期全量替换会损害表征。
针对模数转换器动态范围不足导致的削波与绕回溢出,该文在模拟前端引入模折叠并用分帧离散余弦变换加矩阵铅笔法恢复丢失的高位,硬件实验报告在严重削波下提升超过 25 dB,但依赖过采样与带限平滑先验且对硬件非理想折叠需鲁棒处理。