鲁棒性

该研究以六类蚊种图像加 5 秒翅振音频为输入，用 SwinV2 与音频频谱变换器分别输出类别对数再做可学习加权融合，在干净集上融合准确率为 97.8 未超过单模态，而在图像与音频双侧加噪后融合仅下降 4.66 个百分点的代价是需要配对双模态输入与联合微调。

该文在两个闭集溯源任务上冻结支撑区做前瞻性单阶段编解码压力测量，显示干净 Macro-F1 超 0.97 的表示仍可单点损失超 50 点且损失随条件与表示剧烈变化，而预注册的匹配保真度比较因无共同支撑不可估计。

针对全双工语音对话在背景噪声和重叠说话下语义口令损坏的问题，AV-STE 用流式视听编码器加噪声自适应融合在冻结 Moshi 之前恢复第一码本语义口令，同数据集多人干扰下 GPT-4o 连贯性平均从 1.42 提到 1.91，代价是干净语音存在口令失配且依赖可靠唇部视频。

针对二元音频问答中模型因语言先验而虚报存在的幻觉，TAD 以静默音频为对照做对比解码并仅在首步用音频增益门控惩罚肯定词，在 AudioCaps-Hallucination 与 Clotho-AQA 上提升拒绝能力但在部分设置下以精度与准确率下降为代价。

针对 Whisper 在无语音输入上生成流畅幻觉文本的问题，论文用无语音校准集估计解码器幻觉子空间并在推理时做低秩投影以提升无语音概率，门控版本在保留语音识别的同时把非语音幻觉率大幅降低。

论文针对语调情感与字面语义冲突时主流语音情感识别显著退化的问题，提出解耦声学与语义双通路并做高能量筛选与查询融合的 DAS 框架，在 378 条高冲突 TWIN-SER 上取得 59.38% 加权准确率的最好结果，代价是零样本通用集上不及大预训练模型且小样本恐惧与厌恶类仍难分。

论文把幻觉拆为接地失效的必要条件与流畅编造的充分条件，用跳层因果干预定位到编码器最后 1-2 块为接地可恢复边界，并以有效秩压缩、透镜可读性与字形探针收敛作几何与可读性佐证，但干预本身只产生乱码或重复而非流畅幻觉。

CRAW 针对神经编解码器与去噪重合成导致后处理水印失效的问题，用加宽失真训练加注意力池化加推理时感知掩蔽加重复纠错码，在保持 PESQ 约 4.0 的同时把编解码器与去噪下的检测 F1 拉回 0.8 以上，代价是掩蔽带来约 150 ms 的额外推理延迟。

在固定音轨、种子、上下文与评分窗下，中央 4 秒三全音破坏比完整 CNN-CRF 回放引发更大的伴奏特征偏移，而同时匹配改变支撑与关系构成的合成画像最接近回放响应，但它只缩小条件响应距离，不代表音质提升。

针对训练与测试噪声失配导致的增强残留噪声，该文用冻结的自回归干净先验对单条测试语音做 KL 散度自适应，在 DNS 等四组数据上主要提升背景抑制，但需早停且初始已干净时收益很小。

语音增强 | 6.3/10

说话人验证 | 7.8/10

音频分类 | 7.0/10

语音伪造检测 | 7.4/10

语音合成 | 4.3/10

声源定位 | 5.7/10

语音识别 | 7.8/10

语音识别 | 6.9/10

语音识别 | 7.4/10

语音增强 | 6.4/10