按输入风险分配净化强度的音频伪造检测防御
针对伪造语音加微小扰动即可骗过检测器的问题,该文用轻净化前后检测分数的变化来判断风险,只对高风险输入做强扩散净化,在三个检测器和三种攻击下取得最优综合误差,而干净输入几乎不受影响,代价是每次都要做轻探针净化且自适应攻击下存在绕门风险。
针对伪造语音加微小扰动即可骗过检测器的问题,该文用轻净化前后检测分数的变化来判断风险,只对高风险输入做强扩散净化,在三个检测器和三种攻击下取得最优综合误差,而干净输入几乎不受影响,代价是每次都要做轻探针净化且自适应攻击下存在绕门风险。
针对方言语音缺数据导致翻译变差的问题,论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广,并用中间标准文本预测做语义桥,在日语德语中文方言到英语翻译上验证效果与代价。
针对每 80 ms 都要唤醒主干的全双工对话开销,DiffuPlex 一次预测 16 帧未来并只消费可信前缀,在保持打断与轮转行为的条件下把主干调用降到约一半,代价是单次唤醒更贵且激进消费语音未来会损失自然度。
针对参考试听中先要决定比哪两段的问题,Diptych 让用户自定整曲或自选片段的比较范围,再用 59 个结构化音频特征加语言模型解释差异,12 名音乐人单会话实验显示新增 10 条判断中有 9 条获双专家至少部分支持,但原有 38 对判断的双专家完全支持数从 24 变为 23,可用性均分 74.79 分而判断正确率并未整体提升。
本文针对带混响和噪声的球形阵列录音,用基于相对谐波系数的多输出波束形成同时提取目标声场并约束残留干扰的空间分布,仿真显示目标声场相似度保持在 0.99 而干扰相似度优于现有方法,但结论只在给定仿真房间和先验条件下成立。
论文把冻结大模型词向量当几何锚点,用距离 CTC 统一时间压缩和几何约束,只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统,同时保留独立 CTC 解码能力,代价是空白符位置敏感和长语音退化。
论文在冻结语音编码器上加 TopK 稀疏自编码器并把稀疏单元路由到语言与副语言两路,用路由监督加交叉对抗实现保留与抑制的分工,独立探针与路由交换实验显示了跨编码器和跨语料的一致分离,但重建误差上升且依赖有标注的任务监督。
DMAD 针对少步学生需要拟合自身演化分布的高成本问题,用两个判别器头的对数密度比分类代替辅助分数拟合,在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优,但每步一次判别器更新与缓存教师样本等条件不可去掉。
论文用 500 人德语 RVG1 语料对比十种语音表示在朗读与自发两种风格下的地区分类与连续地理定位,发现 Whisper 同条件最强但跨风格下降最大,而跨风格说话人可检索性越好则地区信息保持越好。
DriftTTS 针对少步声学模型依赖教师蒸馏和固定轨迹的问题,用梅尔域分布匹配漂移力加同策略展开训练四步解码器,在 LJSpeech 上以相近客观指标和盲听自然度接近基线,代价是推理步数不能超过训练深度且长时稳定性仍需更多验证。
论文解决全双工语音持续对话与复杂推理工具任务难以兼顾的问题,用六模块协作框架加模拟考试驱动的修补闭环,在保持打断响应同时提升口语知识与可执行工具分数,代价是部分暂停条件变差与额外调用增加。
针对合成语音破坏自然频谱-时间协同变化的问题,论文用频谱节点和时间节点之间的联合协方差建图并做多项式图滤波,再与图注意力分支互补融合,在 ASVspoof 与四个跨数据集上降低等错误率,代价是只增加约 4 至 8k 的后端可训练参数和高阶滤波可能引入冗余关系。
DyRA 针对稠密矩阵乘法太贵的问题,在静态结构化权重近似之外增加随输入变化的低秩残差修正,在视觉、语音和语言模型上用同等计算预算保留更多输出精度,但其加速主要适用于矩阵-矩阵乘法充足的场景。
EchoChat 针对语音共情中细粒度感知不足与多步推理误传问题,用声学锚定注意力做有监督微调,再用级联门控与分步信用分配做结构化强化学习,在 EchoEval 的多场景感知推理回应评测中取得领先,但结论依赖合成训练数据与模型打分评测条件。
论文研究把前向仿真学到的传感器关系图用于稀疏源定位逆任务是否有效,通过定理证明边误差容忍条件并用氢气泄漏 CFD 与声学两类 180 场景实验证明满足边准确仍因任务目标错位而失效,且给出基于 Jaccard 重叠的轻量可迁移性检验及其代价。
EDICT 用可训练的音色编辑器先产生共享的已编辑编解码参考,再用冻结语音合成主干分段生成并在边界重建 KV 缓存,TimbreEdit 与 IntraTTS 评测显示其编辑准确率和局部指令跟随更好,但内容误识率和未提及属性保持存在代价。
论文用保留与归一化脉冲间隔的配对录音对比卷积与 Transformer 流程在同条件与跨条件下的物种分类准确率,发现归一化未给 Transformer 带来更大优势且跨到自然录音时性能下降,证据只支持有限作用。
针对多模态推理中全量编码浪费算力的问题,SeMARC 用增量融合器 SeMA 逐个执行被选分支并给出前缀预测,再用控制器 ARC 决定下一个取哪个模态或停止,在六个分类数据集上以更少算力保持或提升宏 F1,但结论只在跨被试划分、批量为 1 和原文成本口径下成立。
针对第一视角视频音频流中何时说话与说什么的联合问题,论文用分离与重合成清洗指导录像,再经监督微调学听或说、经偏好优化调时机,在 170 段基准上以起始 F1 与内容相似度为最强证据,代价是召回仍低且内容略有回落。
EMODE 针对语音大模型容易只看文字内容而忽略韵律情感的问题,用语义和副语言两条专家通路加三阶段训练做情感语音建模,在九个数据集平均准确率 72.10% 上最高,但合成可控测试显示中文组级别稳定性仍明显弱于英文。