随输入换压缩宽度、只扰动高频梅尔带:音频伪造检测的泛化框架
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。
论文在方言适应中同步跟踪损失与字错率,把快速崩溃、随后修复与长期普通话漂移拆成三个可分离过程,并用层拼接、梯度谱与更新迁移证明绕开早期崩溃仍会出现源域退化。
论文用平均词段的二维投影发现圆周式词计时轨迹,再用旋转切分在 HuBERT 第 9 层上以 64.3% 边界 F1 和 39.8% 词 F1 切分出单个词,而未训练模型与对数梅尔特征不能做到同等实例级切分。
把 Whisper-small 从 TED 演讲语音调到 Earnings22 财报语音时,同域两分区上都出现负遗忘,不加正则的微调取得最低词错误率,而需要正则时 mini-KFAC 比对角 EWC 更低更稳,但差异在 5 个种子下不显著。
DuplexAct 把边听边说的交互拆成 8 个动作和 24 种条件,用立即执行与后续跟进两段成功率评价 14 个模型,发现能力分布不均且后续跟进普遍偏弱。
论文用语音语言模型直接从声音算惊奇值,提出对多种发音求平均的重要性采样估计,在听句瞳孔数据上发现词级抽象估计比单次具体发音更能预测瞳孔变化,但总体预测力很弱且受刺激与时间基线限制。
针对多模态情绪识别中 softmax 被迫自信的问题,论文提出每个模态输出狄利克雷证据并用 Dempster-Shafer 规则融合,在四个数据集上同时提升精度与校准,而代价是需要调冲突权重与 KL 退火且依赖条件独立假设。
GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题,用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示,在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率,代价是双分支与双曲运算带来的额外复杂度。
论文用同一批日式英语做分析再合成以对齐口音强度,对比四种指示语和两类评测者并对照三种自动打分,说明笼统问自然度会把口音当缺陷,而问像人声程度并请熟悉该口音的人来听能更公平地比出系统差异。
论文针对固定频带划分难以兼顾不同混合内容的问题,提出随混合自适应移动边界的动态频带切分框架,在三个数据集上用固定带数对照验证了划分自适应的增益,并以消融说明了分块预算与重建细化的代价。
针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。
论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码,用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器,通过控制哪些比特可见来切换联合生成与不同条件生成,并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。
针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题,论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法,在两个小规模日语患者数据集上优于纯语音和普通多模态基线,但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。
论文把实时语音系统放到 176 段闲聊的真实停顿和话轮末尾,比较它是否像真人一样保持沉默或接话,最强证据是托管 API 几乎从不沉默而全双工模型才会沉默,代价是历史输入通道不同且标注和触发方式影响结论适用范围。
Prime-EVC 把目标情感的音高能量与说话人相关的风格提前做进条件 μ 中,再用 DiT 条件流匹配解码器一步生成梅尔谱,在 ESD 英文集上以单步取得 UTMOS 3.37 与 EECS 0.87,代价是条件分支更复杂且结论只在相同划分与声码器下成立。
论文把压缩语音表示送入 8 比特变分量子电路做瓶颈变换,在匹配经典对照下主要改善固定阈值下的部署代价与校准,最强域外证据是 AASIST 上 EER 相对降低 28% 而真机验证只证明可行且代价不稳定。
RASSG 针对流式语音中用户修正参数会导致已启动工具产生不可逆陈旧执行的问题,用三次识别一致启动加校准无效风险在最后可取消时刻否决继续执行,在受控执行时钟下把 ReCAST 修正子集的陈旧率从 50.00% 降到 3.15%,代价是保留 3.676 s 成功延迟并依赖固定工具时间假设。
针对全双工语音模型中实时音频与内部思考共用一条位置时间轴导致变速推理时错位的问题,Rubato 用实时钟与思考钟两套独立位置计数实现零样本变速插值,在只训练两种极端思考预算下保持准确率并随算力提升缩短给出答案的时间,代价是推理需维护多套键缓存与合成数据依赖。
论文把语音指令识别拆成一次编码得到固定记忆、多次共享循环读记忆并修正预测,在三个基准上用 0.16-0.17M 参数取得可比精度,早退能减少循环步数但总能耗节省有限。