语音

该综述把印度语言 NLP 按六大组十七个细粒度任务重组，用 200 余数据集、50 余评测和 100 余模型工具的覆盖来暴露语言与任务的不均衡，并以可核对的资源清单支撑后续复用。

针对多模态大模型做音视频语音识别时视觉时间建模粗糙且深层解码逐渐丢失时序的问题，论文用编码端时间感知注意力和解码端分层时间 token 堆叠来补时间信息，在 LRS2 与 LRS3 上把纯视觉识别词错率做到更低，代价是只在英语离线句子级条件下验证且增加了投影与注意力模块的开销。

论文以语音、音乐、环境音和歌声四类伪造检测为问题，用单前端、双前端与蒸馏双前端对比自监督前端选择，最强证据是 XLS-R 加 EAT 十八层双前端在联合训练下取得最低平均等错误率，代价是前端参数量明显增大且混合音频仍大幅退化。

针对加泰罗尼亚语到英语方言语音翻译任务，论文比较了两种级联与一种端到端系统，最强证据是 Whisper-v3 加 NLLB 级联取得 44.7 BLEU 和 65.1 chrF，而代价是依赖大规模外部语音与文本预训练和两段式推理链路。

CIS-BWE 针对带限语音缺失高频的问题，用双流 ConformerNeXt 生成器并行恢复幅度和相位，再用李雅普诺夫与去趋势涨落两类混沌判别器约束非线性动态，在 VCTK 与 MLS 上以约一半生成参数取得更优感知质量，代价是训练期李雅普诺夫特征计算使单轮训练时间明显增加。

针对语音输入推理明显弱于文本的模态推理鸿沟，论文提出非对称奖励的在线轨迹对齐框架 TARS，用表示对齐约束层间隐状态、用行为对齐约束输出语义，在 MMSU 与 OBQA 上把语音恢复率提升到 98.89 到 100.45 区间，代价是约 27.5 小时基线之上的在线强化学习与约 4.4% 额外奖励计算开销。

针对神经退行性疾病语音监测中临床量表噪声大与小数据难复用的问题，论文提出只要求预测分数服从样本间排序的比较器损失，在仅用自报三级标签训练的条件下得到与 ALSFRS-R 等未见标注相关的严重度分数，其代价是分数绝对值无标定且对录音条件偏移敏感。

针对长语音与对话生成的评测缺口，该工作构建 1101 样本、17 场景的 SwanBench-Speech 并提出 7 个解耦指标，用人类一致性验证支撑其发现的混响一致性与表现力层次短板，但高表现力场景与多说话人声场统一仍代价明显。

该文把有声书按叙述与人物直接引语切分并构建 LibriQuote，再用引文微调与从头训练检验自回归与流匹配两类语音合成基座的表现力与可懂度变化，主要代价是小数据从头训练会损失可懂度和域外泛化。

针对重复扩展使时长只改变出现位置而不改变表示取值的问题，该文把音素加时间通道作控制路径并用神经向量场求解受控微分方程产生连续隐状态，在情感语音上以单层每步一音素取得宏观 Spearman 排序相关 0.53 高于微调基线 0.08，但绝对校准与感知质量仍随情绪和分辨率变化。

针对沃洛夫语音查法语文本的跨语言跨模态检索问题，论文比较晚融合与双编码器路线，最强证据是晚融合在自然口语检索与未见意图任务上保持可复述的优势，代价是依赖合成文档与较高维度推理开销。

针对日语多音字读错且成对偏好样本稀少的问题，论文用两个对比语言模型估计 token 级重要性权重再做加权 KTO，在报告中将日语准确率从 0.668 提升到 0.958 并把可利用样本从 1.5K 扩大到 9K，代价是需要先训练两个对比模型约 10 分钟 8 卡 A100 的额外预计算。

该工作用自发语音同时检验阿尔茨海默病淀粉样蛋白阳性预测与原发性进行性失语三分类，对比拼接加注意力池化的 DMHAM 与词级对齐加门控交叉注意力的 CogniAlign，最强证据是西班牙语 SPIN 队列上 CogniAlign 加手工声学特征达到淀粉样预测准确率 83.86%，代价是 PPA 小样本三分类不稳定且手工特征在不同任务上时而冗余时而互补。

针对首尔韩语重音短语连续基频难以对应离散声调类别的问题，论文用双分支有监督对比学习整条轮廓的整体形状，在 10093 个短语上达到准确率 77.75% 与宏 F1 值 51.54%，代价是稀有类别与长低平尾音仍易混淆。

该文把声码器从条件生成改写为从梅尔退化观测恢复目标谱的两步优化，用可学习伪逆做初始化加分频大核卷积注意力做深层先验，在 3.89M 参数下报告了优于 112M 量级基线与流匹配基线的质量，同时代价是仍需 GAN 判别器训练与多损失调参。

该文把语音幻觉检测转为推理时读取注意力图的二分类问题，用四个音频注意力指标加轻量逻辑回归在同域语音识别上超过不确定性基线，最强提升约 0.23 PR-AUC，但跨任务需重训且模型依赖明显，少头反而更利于域外泛化。

该文用 k-稀疏自编码器把三种语音自监督特征压成不同稀疏度，再在 SUPERB 六任务上测出最优 k 各不相同，并用信息瓶颈解释为说话人与情感偏压缩、音素与识别偏保留，而输入层质量只能小幅移动该权衡。

该研究以语音情绪识别为探针比较四种神经元选择器，用失活与放大的自对交叉对照验证情绪敏感神经元的存在，其中均值偏离与对比间隔选择器显示约 11–15 个准确率点的自效应而交叉影响接近零，但标签无关的联合放大效果不稳定且存在跨数据集部分迁移的代价与边界。

针对基于扩散变换器的语音合成推理太慢的问题，论文用时间跳过与分支跳过复用已算结果，并经三阶段校准在保持可懂度和相似度下把计算量与实时率明显压低，而代价是阈值过高后音质会退化。

针对三种真实退化信道下 11 种零样本克隆把验证错误率推高且预训练检测接近失效的问题，论文用混合标准库与域内退化语音的微调把已知攻击检测恢复到低错误率并改善部分未知攻击，代价是高保真未知攻击与小模型遗忘仍未解决。