边界不清与归属不稳:用语言约束修分割、用已知人声锚定聚类的两级会议说话人日志
针对真实会议中快速轮转与重叠导致的边界模糊和聚类不稳,该工作在分割级用 OWSM 编码器经 FiLM 调制 WavLM 中间层、在聚类级用已知说话人嵌入复制加权做 KSGC,在 AMI、AliMeeting 和 AISHELL-4 上报告了 DER 下降,但以双编码器计算开销和复制因子需按语料调参为代价。
针对真实会议中快速轮转与重叠导致的边界模糊和聚类不稳,该工作在分割级用 OWSM 编码器经 FiLM 调制 WavLM 中间层、在聚类级用已知说话人嵌入复制加权做 KSGC,在 AMI、AliMeeting 和 AISHELL-4 上报告了 DER 下降,但以双编码器计算开销和复制因子需按语料调参为代价。
论文把语音情感识别拆成说话人侧与标注者侧两路公平,先用对抗去偏构造单侧 FairCLAP,再用源域双侧参数差 ATT2Fair 向量推断目标域缺失侧,在 IEMOCAP 等三库上以约 2.15% 平均 F1 代价换来统计 parity 明显下降。
针对无平行干净-带噪数据时的语音增强问题,UFL-GAN 用话语级与帧级双判别器加 APC 辅助特征约束 NTVF 生成器,在 VoiceBank+DEMAND 上达到 PESQ-WB 2.64 等接近领先无监督方法水平,但仍需非平行干净语音且未验证混响与削波。
该研究用发音属性序列代替音素直接建模,在母语数据训练后于学习者语料上做检测与诊断,报告显示误接受率与诊断错误率下降,但误拒绝率略有上升且声调细化带来灵敏度代价。
该文以 73 人静息与 32 人发元音的正中矢状面磁共振数据,用几何形态测量比较男女声道形状参差,发现男性在混合元音构音上参差显著更大并提出其可能使声音签名更可分,但静息与单因素元音差异多不显著且未直接测识别率。
本文针对噪声、混响和竞争说话导致语音智能体做错动作的问题,提出 TRACE 配对比较工作流,用原文与声学压力拷贝的任务成功、违规、恢复和用户代价对照来定位失败,代价是需要为每个应用自建任务、录音与评分规则且文中示例计数均为假设说明而非实测性能。
论文用最大似然分类器在 Warlpiri 语 VCV 材料上比较辅音内在线索与元音外在线索,显示只用辅音内在线索时五个塞音很易混淆,加入相邻元音中点共振峰后辅音分类显著提升且元音识别不下降。
VoxKit 针对无桌面工具同时集成强制对齐与发音优度分析的问题,用可扩展的桌面流水线串起数据集注册、对齐器训练、双引擎对齐与声学优度打分,其最具体的可核对条件是 42 音素库存下 10 ms 分辨率的帧级后验打分,而代价是本文未报告对齐精度与评分有效性的定量实验。
针对示例查询语音词检测中变长发音的记号不一致问题,wav2tok 2.0 在 BEST-STD 骨干上先做对比学习与向量量化再加 CTC 与 DTW 帧级对齐,在 LibriSpeech 与 TIMIT 上一致提升检索一致性与 MAP/MRR,代价是两阶段训练与自适应加权维护。
论文以问答式任务检验榜单前列开放语音识别模型在口吃与构音障碍语音上的泛化能力,用统一预处理与贪婪解码比较五种架构,最强证据是平均词错误率相对榜单膨胀 2 至 5 倍且极端幻觉可达 24 倍,代价是逐字转写取向与长时读句任务上误差急剧放大。
针对 10 万小时野外伪标签数据与 10-100M 专才模型的失配问题,论文用说话人、语音、语义三种嵌入做最大边缘相关选择,仅用 5% 数据就超过全量训练,最高相对词错误率降低 36.8%,代价是贪心选择计算贵且多域统一选择效果不稳。
论文把非语音幻觉当作编码器表示中线性可分的方向来检测,用原始激活转向和稀疏自编码器潜变量加性转向做免微调干预,最强证据是完整非语音测试集上 small 从 72.63% 降到 14.11%、large-v3 从 86.88% 降到 27.33%,代价是中文 CER 明显上升和语音 WER 小幅波动。
针对 Whisper 长语音中静音幻觉、重复循环和内容遗漏互相放大的问题,Whisper-CD 用高斯噪声、静音、全零谱与时间平移三种负信号在解码时做多负例对比减法,在五个英文长语音基准上报告最高在 CORAAL 降低 24.3 个百分点,代价是每步要多算三路解码。
针对第一视角下判断说话人是否在对佩戴者说话的问题,该工作用说话人身份与对话轮次感知的文本上下文建模加注视感知的视觉分支,在 Ego4D 验证集上报告 72.40% mAP,代价是依赖转写、说话人聚类与冻结视觉骨干的级联流水线。
该研究以四个英西语料检验话轮末尾词是否比句中词更长,用同词同人配对与音节定位排除选词假象,最强证据是排除回馈词后 pooled 差 203.1 ms、d=1.22,而代价是未建模语速句法且只覆盖两种语言。
针对直接压平小波散射系数会丢失父子路径关系的问题,WST-Graph 用固定的小波散射变换重建稀疏调制-载波网格再接入图后端,在 ASVspoof2019 LA 上以约 120k 可训练参数达到 2.92% 等错误率,并在 DFADD 等跨域集上显示出局部优势,但并非所有跨域集都一致占优。
针对端到端语音大模型相对文本模型在推理与指令任务上的退化,论文提出跨模态同策略蒸馏 X-OPD,让学生在语音与文本上自己采样再由文本教师做 token 级打分,最强证据是 Qwen3-Omni-A3B 语音平均下降从 11.29% 降到 3.43% 且 MMAR 保持在 69% 以上,代价是需要严格语义一致的平行语音文本对与在线教师打分开销。
针对低信噪比下判决引导增益过度衰减弱语音的问题,论文提出逐帧下限增益的 ABCDD 结构并用轻量 MLP 自动预测贝塔,在代表性样本上全面优于谱减法和经典 DD,在 100 条未见 VoiceBank-DEMAND 测试上把平均对齐信噪比从 9.41 dB 提升到 13.82 dB,代价是贝塔过大仍会残留噪声且感知质量未验证。
该文研究服务器只有少量标注种子、客户端只有无标注语音的半监督联邦 ASR,用每客户端在线教师打伪标签加轮间服务器有监督更新做锚点,最强证据是稳定后在线教师在域内和多数跨域上持平或超过全局教师,代价是必须把服务器增强强度和批量调进稳定区间否则发散。
针对儿童语音声学变异大而 Whisper 固定对数梅尔前端丢失连续包络结构的问题,该文用时域子带希尔伯特包络加可学习逐通道能量归一化替换前端,在相同 Whisper-small 微调下把 MyST 清洗测试集词错误率从 13.16% 降到 11.08%,代价是删除错误小幅上升且低频保留原因仍待验证。