语音

LiveGesture 针对实时对话中不能等待整句语音的手势生成问题，采用可流式解码的分区运动词表加区域专家与因果空时融合，在 BEAT2 上以零前视达到与离线方法可比的真实感与节拍同步，但面部顶点误差与首包延迟仍受音频编码与自回归漂移约束。

针对紧凑阵列按用户给定方向图做空间滤波的问题，该工作把采样方向图经 FiLM 调制送入 FT-JNF 并用差分与矩形混合配方训练，在未见高阶与缩放方向图上高于理想到达方向的参数滤波上界，代价是依赖大量无混响仿真语音与固定阵列几何。

针对视频配音只做可见环境声、做不了语音与画外声共存的问题，OmniSonic 用视频加文本联合条件的流匹配扩散与三路交叉注意力加门控融合，在自建的三场景基准上同时生成语音与环境声，主观与客观指标报告全面领先，但时间同步仍弱于带细粒度同步视觉特征的基线。

该研究把同一段语音拆成前景/背景、谐波/打击、低频段与房间脉冲响应分别训练检测器，报告在 ASVspoof 2019 训练下低频 0-4 kHz 与去混响 MFCC 能改善跨域 EER，但以 ITW 上 24% 仍远非可用为代价。

论文把传声器信号写成声源经无限冲激响应的卷积，证明在环路延迟足够长且该无限冲激响应可用有限冲激响应近似时反馈分量落入晚期混响段，从而用加权预测误差去混响做联合去混响与声反馈抑制，仿真显示其在 6 dB 与 -6 dB 增益裕量下均优于连续自适应滤波器，代价是依赖延迟条件与有限冲激响应近似。

针对音频驱动说话人脸只求口型对齐而说话风格单一、情绪不可控的问题，PC-Talk 用隐式关键点上的唇同步变形与纯情绪变形分别建模，在 HDTF 上以视频输入 9.03 与图像输入 9.37 的 LSE-C 显示口型优势，并以情绪分类准确率 46.19 与 72.32 显示情绪优势，代价是需要分开训练两个控制模块并固定渲染器参数。

针对语音编码器偏发音而大语言模型偏语义的对齐错位，该文提出先预测音素再生成文本的联合训练，在 100 小时低资源和 960 小时及荷兰语条件下报告词错率下降，代价是输出变长与仍需低秩适配。

论文以 Whisper-small 为对象，用梯度与 Fisher 灵敏度定位可剪部位并做无微调一次幅度剪枝，最强证据是解码器自注意力 50% 稀疏度在 LibriSpeech test-other 上绝对词错误率下降 2.38%，代价是解码器前馈与早期解码器层在同等稀疏度下灾难性退化且全局均匀剪枝在 40% 附近崩溃。

论文以持续一年的生成式广播 In Search of Good Ancestors 为案例，提出再活化框架把数据集制作、迭代再训练与长期聆听当作现场性所在，证据是四层异步系统与四轮工作坊加巩固期的可复述过程，代价是放弃低延迟 virtuosity 式控制与可重复定量评价。

针对目标说话人提取中干扰声与目标方向接近且混响模糊空间线索的问题，该工作在 SpatialNet 骨干上加入区域方向卷积、高斯核距离编码与混响参数调制，并在方位差为零的极端条件下报告大幅提升，但小距离间隔叠加相似混响指纹时仍有退化。

针对加性噪声下传统加权预测误差去混响鲁棒性下降和多通道延迟观测导致矩阵求逆复杂度为 O(M^3L^3) 的问题，论文用观测自相关矩阵主特征向量重建参考信号并压缩延迟观测子空间，在 8 麦克、混响时间 800 毫秒、白噪声与扩散噪声各两种信噪比仿真中提升去混响增益，代价是压缩维度与迭代近似带来性能与复杂度权衡。

针对双说话人竞争下脑电信噪比低而窗级解码在分辨率与精度间折中问题，论文用马尔可夫切换模型把包络回归与注意状态转移联合建模并用 EM 逐采样点估计，在 KULeuven 数据上取得与 HMM 后处理相当的中位精度而中位切换检测延迟显著更短，代价是对初始化敏感且仍依赖线性回归假设。

针对 CLIP 视频文本检索丢弃音轨且 AST 类编码器不理解语音的问题，SAVE 用 Whisper 转写加 CLIP 文本编码的语音分支与 ImageBind 软监督的 soft-ALBEF 先对齐再融合，在五个基准上超过 AVIGATE 等基线，代价是依赖 ASR 可用性与离线三分支特征抽取。

针对带环境噪声的插入与替换编辑问题，SeamlessEdit 选择先用分离模型分出人声与噪声、再用稀疏贝叶斯与滤波压残留噪声并做语境精修，在 EARS-WHAM 上把插入自然度做到 3.78 而基线 VoiceCraft 仅 2.93，代价是仍需依赖现成分离与编辑模型且对女声高频与重叠说话人保留残留问题。

针对多模态意图识别中固定维度信息瓶颈难以适应样本级冗余与噪声、且把两者混在一起压缩的问题，SeD-UD 用影响因子驱动的自适应瓶颈做单模态去冗余与融合后统一去噪，在 MIntRec 加权精度 73.96% 等指标上报告最优，但文本增强基线与情感泛化边界仍是代价与限制。

针对循环脉冲网络中稠密循环矩阵参数平方增长的问题，该工作用核长为 3 的一维卷积替代全连接循环并保留每个神经元可学习的轴突延迟，在 SHD 上达到 91.51% 精度并把单层循环参数从 65792 降到 259，代价是在 SSC 上落后 DelRec 约 4 个百分点且 SSC 未做超参搜索。

该工作用短时傅里叶变换相位的正弦余弦作输入，结合卷积、双向门控循环和自注意力估计 0-360 度方位角，在仿真混响干净条件下平均角度误差 19.9 度、个性化到说话人与房间后降到 11.3 度，代价是仍需仿真预训练和少量目标域微调才能泛化。

该研究用三模型对比学习加包络重建做跨被试听觉注意解码，在 24 人移动脑电三种自然范式上 2 秒窗 61.4% 到 30 秒窗 79.1%，代价是依赖 5 秒训练窗与多特征音频编码且短窗绝对精度仍有限。

针对混响噪声下有多个间歇强干扰时的多通道语音增强问题，论文用黎曼平均的首席特征向量抗干扰、再向样本相关矩阵的子空间投影来抑制噪声，并以 MVDR 波束形成器验证，在所报告的 SIR、SNR、混响和阵元数条件下取得更低的 NMSE 与更高的 PESQ 和 STOI，但低维投影阈值选择与高 SIR 下黎曼分支的退化仍是代价与边界。

针对声源活动范围大致已知但精确位置未知的多通道分离问题，论文把导向矢量约束在预测导向矢量张成的低维子空间内并扩展迭代源导向框架，用固定与灵活两种子空间维度配置在四声源混响仿真中对照标准 ISS 与平均导向矢量 MVDR，代价是仍依赖预测网格与混响条件且原文未给出可复述的逐点数值。