语音

针对多人重叠时只转写目标说话人并在目标缺席时拒识的问题，该报告用参考语音拼接混合语音加文本提示的端到端大语言模型方案，在合成与真实会议集上报告了目标说话人词错率下降，同时保留单人识别与空文本拒识能力，但拒识率与误拒之间仍需权衡。

针对纯因果状态空间模型难以全局检索频域伪造痕迹的问题，论文提出 XLSR 前端加 Mamba 与注意力混合后端的模块化框架，最强证据是 MamBo-3-Hydra-N3 在三组跨域评测上取得有竞争力的等错误率，代价是堆叠深度与变体选择敏感且浅层检查点方差大。

针对约 1 kbps 下语义对齐与波形重建互相冲突的问题，XY-Tokenizer 用语义与声学双编码器加残差矢量量化与先联合对齐后冻结细化的两阶段训练，在英中多数据集上同时取得低识别错误率与高说话人相似度，代价是更大的编码器规模与更重的训练流程。

针对阿拉伯语标准语与多方言零样本识别落差，论文用解码器提示、编码器加解码器前缀和 CTC 代理引导 n-best 重选三种免训练上下文接入，在十个条件下取得 MSA 相对 22.29% 等词错率下降，代价是首遍解码、检索与合成带来的额外延迟与对辅助信号质量的依赖。

论文针对多模态大模型只被单项音频能力考核的问题，构造 9 类 9000 条音频内嵌提问的推理基准，用是否问答与描述问答两种协议测得人类约 92.9% 而开源模型多在 50% 附近，代价是全合成语音与模板化问题限制了声学多样性。

共收录 1 篇 aistats-2026 会议论文的 Reader 深度解读

该工作把音频切段后用 CLAP 嵌入算段间余弦相似度分布并提取 29 个统计特征再用 XGBoost 与多专家集成判别，在 ASVspoof5 上 EER 为 17.7% 而在 In-the-Wild 上 F1 为 0.679，代价是 21 个特征出现训练与野外判别方向反转且音乐需用分位自适应才能跨域。

针对带声音的人脸视频在压缩、模糊和低分辨率下的退化，GAVN 用低分辨率空间的帧间时域特征做粗修复、用高分辨率空间的音频加关键点身份特征补细节，在 VoxCeleb2 和 Obama 两种说话人场景下取得最优的图像质量与唇音同步分数，但代价是两阶段训练与多模块推理成本。

该文研究用大音频模型直接做成对语音评测是否可行，发现基础提示在副语言细粒度判断上接近随机猜测，而测试音频拼接加 4 样本上下文与多方面集成可在系统排名上达到 0.91 左右的人类偏好相关，但冗长与位置偏置仍需处理。

该文把线性探测、logit lens 与激活干预搬到 Whisper 与 Qwen2-Audio 上，追踪声学与语义表征如何随层演化，最强证据是解码器残差流可达 93.4% 幻觉判别与交叉注意力单头干预抑制 78.1% 重复，代价是合成语境偏置集与小规模探测集限制了泛化结论。

该研究把文本选择题改写为可朗读的三语语音题，用同一批题目比较语言、口音、性别与选项顺序的稳定性，发现选项顺序与语言扰动最大而性别与口音较小，推理加深与先转写后作答能部分缓解不稳定，但语音总体放大了文本中已有的敏感性。

论文用冻结语音基础模型做表示、图神经网络做已知生成器归因、近邻分支做未知检测并以置信度阈值分流，在 DiffSSD 上 Mamba-B 的联合配置取得 DEV 准确率 98.11% 与等错误率 2.33%，代价是仍依赖固定阈值且不对多个未知源做细粒度区分。

针对语音能量集中而音乐音效需全频保真的问题，BSCodec 把频谱切成独立频带并行编码量化解码，在相同混合训练下以 2.55 kbps 和 3.83 kbps 对标 DAC 的 4.5 kbps 和 6 kbps，代价是编码器解码器数量随频带数增加且语音对切分粒度敏感。

论文针对多语言语音事实问答中跨语言与跨模态答案不一致问题，构建 8 语言平行语音文本基准 CCFQA 并用英语为桥的 5 样本迁移训练 LLM-SQA，最强证据是以极少目标语言样本达到与 GPT-4o-mini-Audio 可比的跨语言语音问答表现，代价是仍以英语为中心且仅覆盖语音与文本两种模态。

ConsistTalk 针对音频驱动说话头视频的闪烁、身份漂移与音画失同步，用面部光流时间模块解耦运动、用音频到强度蒸馏建模帧级运动幅度、用强度引导的噪声束搜索做推理初始化，在 HDTF 上报告 FVD 171.7 与更低闪烁，但推理束搜索带来约 B 倍的计算代价。

针对卒中后构音障碍的交替与顺序轮替发音任务，CLINIC 用临床可解释声学特征联合频谱与自监督语音表示做三级严重度分类并用 Shapley 值归因，GENIE 再用检索到的相似病例生成韩文四维度解释，报告显示平衡准确率 0.952 且重度召回 1.000，专家保真度 4.94，但重度样本少且仅覆盖任务化语音。

DialoGen 针对双人对话手势同时生成问题，用权重共享的双路扩散加互交互估计保持同步，用监督对比学习的身份解耦风格引导保留个人风格，在 TWH 上报告了 FDg 1.18 与 FDk 2.33 的主结果，代价是仍依赖长风格样本与对话语音内容特征。

DIFFA 针对语音理解仍依赖自回归解码的问题，选择冻结 Whisper-small 与 LLaDA-8B-Instruct、只训练语义与声学双适配器的两阶段路线，在 960 小时 ASR 加 127 小时合成指令数据下 MMAU 平均 49.71% 与 MMSU 平均 56.04%，代价是音系与副语言细粒度感知仍弱于语义推理。

论文用词义中性、对齐、冲突和无词四种条件对照文本、音频和图文三种输入，测六个大音频语言模型，发现中性词下音频分仅三成左右、冲突时塌缩到少数类别、非言语接近猜测，说明模型主要依赖词义而非声学线索。

论文用线性残差化减去音素与二三音子成分后，发现英文预训练的 HuBERT 和 wav2vec 2.0 靠后层仍能在帧级别线性预测词身份，并在词发现中验证去音素表示的改善，代价是依赖对齐标签且音素去除未降到机会水平。