已知很准、未知就自信过头:用门控让 SSL 与手工声学特征各管一段
针对 MLAAD 开放集溯源中 SSL 域内强但域外过自信的问题,论文用冻结 XLSR-53 加 66 维 CORES 双分支与输入条件门控联合能量间隔训练,在 Eval 上报告 97.6% 域内准确率、4.9% EERc 和 10.4% FPR95,代价是需 Dev 域外样本做辅助监督且门控需冻结预热与熵正则维持。
针对 MLAAD 开放集溯源中 SSL 域内强但域外过自信的问题,论文用冻结 XLSR-53 加 66 维 CORES 双分支与输入条件门控联合能量间隔训练,在 Eval 上报告 97.6% 域内准确率、4.9% EERc 和 10.4% FPR95,代价是需 Dev 域外样本做辅助监督且门控需冻结预热与熵正则维持。
针对隐式身份泄漏导致的跨说话人泛化失败,论文用样本级余弦正交加批量级交叉协方差的双粒度几何约束配合课程式加权做说话人伪影分离,在 ASVspoof 2019 LA、2021 DF 和 In-the-Wild 上报告 1.35%、7.88% 和 21.58% 等错误率,代价是对解耦强度与训练节奏更敏感且最难攻击仍有残留误差。
针对信号级水印易被神经编解码器和声码器重建抹除的问题,DuraMark 选择在音节时长这一信息级载体上嵌入奇偶水印,最强证据是在多种生成式攻击下保持 TPR 大于 95% 且平均达 0.993,代价是依赖文本转录与时长提取精度并需要时长可控的合成流水线。
该研究把模仿质量判断转化为 20 类名人识别的 Top-1 命中问题,用注意力增强的 ECAPA 嵌入融合韵律与频谱打分,在 MIMICz 上达到 75% Top-1 命中,代价是依赖小规模棚录数据与主观 MOS 定义的最优。
针对多语言试听中语言线索混入说话人嵌入的问题,论文比较了梯度反转、特征扰动、后端解耦和打分校准四类语言补偿,最终融合系统在 tv26 eval-A 上报告 2.53% EER,但前端去语言化会损失一部分可由强后端利用的说话人信息。
该研究用玩具问答诱发对比性焦点与两种手势,报告象征手势拉长目标音节时长、典型发展儿童压缩焦点后时长而自闭症儿童对手势呈现更弥散的缩短,支持多通道整合困难的解释且代价是效应集中在时长而非基频扩展。
该研究用 120 名日语母语者的重复聆听实验检验了短语内元音与辅音分布偏向和歌与说唱两种指导语对言转歌错觉强度的影响,发现任一偏向都显著强于无偏向且说唱指导整体更高,但双偏向并未显著叠加且韵律等混淆仍待控制。
针对悬停无人机自噪声在极低信噪比下同时破坏方位估计、噪声协方差估计和残留噪声抑制的问题,该研究用相位一致性选时频格、交叉频率混合掩蔽做最小方差无失真响应波束形成、再加零陷参考后滤波,在无混响负 25 分贝输入下报告方位准确率 98.12% 并提升语音质量,但计算只计乘加操作且只验证悬停状态。
针对长而细的情感语音描述难以整体打分的问题,论文把评价拆成原子感知单元并用音频语言模型逐条做有无的二值验证,再与参考单元做语义匹配算 F1,在 320 对的人评上取得约 0.44 的正相关,而传统 n-gram 指标呈负相关,代价是依赖模型判断且对复杂人声事件的检出率明显下降。
针对端到端神经语音编码模型过大难以部署的问题,该工作用说话人分组训练组专用小模型,在主观听感上以 96% 参数量削减和从 2 kbps 到 1 kbps 的码率减半维持了大模型质量,代价是发送端需增加说话人分组与组索引传输且错分会带来损失。
针对推理时缩放或插值情感向量导致中间强度不稳定的问题,ETC-TTS 用残差向量量化情感原型锚定起点与终点并以流匹配学习中性到情感的连续速度场,在韩语 AIHub 与英语 ESD 上改善了单调可控性与情感表达并保持可比的自然度与可懂度,代价是三阶段训练与分层流预测器的额外设计与调参负担。
针对构音障碍语音识别,该文比较四种病因知识用法,发现同码流内先预测病因再转写在 SAP 上达到 7.77% 词错误率,代价是训练仍需临床标签且代码链接当前不可用。
针对深而窄语音学生模型蒸馏训练慢的问题,论文提出每次把复制层插回原层之后以保持层位置一致的交错堆叠,在 SUPERB 四任务上以约 1.16-1.24 倍加速达到接近或超过全量训练的性能,代价是仍需分四阶段调度和中间层损失权重。
针对音频超分辨率中扩散模型参数大、训练久、推理步数多的问题,FastWave 沿 NU-Wave 2 引入 EDM 去噪范式与 ConvNeXtV2 轻量化结构,在 VCTK 任意到 48 kHz 基准上以 1.3M 参数和更少训练资源达到可比重建质量,代价是低频谱距离仍弱于充分训练的 NU-Wave 2 与 FlowHigh。
论文要解决音节切分方法分散、难以同条件复现比较的问题,用包络计算、帧特征、切分算法三模块可互换的 findsylls 工具包统一经典与神经路线,在英语、西班牙语和 Kono 语七个语料上以 50 ms 容差比较核、边界与区间 F1,最强神经组合以 3-5 tok/s 实现最高边界与区间精度,但经典包络在吞吐量上高出一个数量级。
针对语音命令与脑电情绪等时序信号全长推理浪费算力的问题,论文提出以输出层谁先发放脉冲就判为哪类的内禀早退机制,并用竞争抑制与混合时序训练加速收敛,在 GSC V2 上以 92.89% 准确率、63.68 平均决策步长和 2.75 微焦能耗取得报告的最优权衡,但代价是增加小规模抑制矩阵与三项损失超参数。
针对多轮口语对话中模型内部能注意到历史却在生成时被参数先验压制的问题,论文提出只遮挡注意力选出的关键轮并对比有无该轮输出分布的免训练解码方法,在 Audio MultiChallenge 上把三套端到端语音对话系统的平均通过率提高约 6.7 至 13.3 个百分点,而全历史粗放对比反而使性能下降。
该研究在真实语音人工标注上对比文本特征、大语言模型与 Whisper 解码器内部探测三条路线,最强可部署证据是内部序列 BLSTM 在无参考下达到 F1 65.5%,而文本与内部融合进一步达到 F1 68.3%,代价是失去零样本可用性并需要直接访问模型内部。
针对自发话语中语义、句法和叙事逻辑的非线性退化问题,该研究用语义图、依存图和基于健康常模 PMI 的共现图三路图注意力建模并以样本级门控融合,在 ADReSSo 上报告测试集准确率 90.00%,代价是依赖 ASR 转写与 BERT 词嵌入且未引入声学韵律。
针对多人混合中抽取目标说话人的任务,GenTSE 用语义级与声学级两段解码器语言模型分工建模,并用冻结模型条件训练缩小训练与推理的输入差异、用直接偏好优化提升感知质量,在 Libri2Mix 上感知质量优于同类生成式基线,但可懂度仍不及最强判别式对照且偏好优化带来轻微可懂度和说话人相似度代价。