噪声越大越要看脸,但还不够:给音视识别补上说话人与环境线索
该工作在 Whisper 加自注意力音视融合基线上对比前缀拼接、交叉注意力和门控加权三种注入方式,用噪声嵌入管融合、用说话人嵌入管解码,在 LRS3 多噪声条件下相对基线取得噪声与说话人适配增益并相对 AV-HuBERT 取得优势,代价是额外参数与推理耗时且两类嵌入信息冗余而无法叠加。
该工作在 Whisper 加自注意力音视融合基线上对比前缀拼接、交叉注意力和门控加权三种注入方式,用噪声嵌入管融合、用说话人嵌入管解码,在 LRS3 多噪声条件下相对基线取得噪声与说话人适配增益并相对 AV-HuBERT 取得优势,代价是额外参数与推理耗时且两类嵌入信息冗余而无法叠加。
针对相似音色混合尾部误差大的问题,论文用在线说话人对难度矩阵加温度 Softmax 课程采样多练难对,在 Libri2Mix 上以初始温度 20 保住或小幅提升平均 SI-SDRi 并改善底部 30% 表现,代价是温度过低会损害平均分且首尾两段必须切回均匀采样。
AdaptLingo 针对固定难度对话练口语容易过难或过简的问题,选择用时间声学特征预测初级中级高级流利度并以此控制 EIKEN 词汇生成与 TTS 语速,最强证据是标注数据上 95% 宏 F1 但噪声用户语音上仅 47% 准确率,主要代价是野外泛化不足与母语背景差异大。
针对已很强的德英多语识别基座,论文用两步合成数据加贝叶斯低秩适配证明瓶颈在知识整合而非数据复杂度,以保持单语为代价换来语码切换词错误相对下降 32.87% 而标准微调则大幅退化。
针对大模型语音识别中罕见实体难识别且提示词注入易幻觉的问题,AFG-Bias 用声学检索先定位再用门控注入偏置,在金融和医疗集上报告最高 74.1% 相对字错率下降,代价是需额外训练轻量增强模块并依赖检索质量。
该研究以沙溪白语 30 人的送气与不送气擦音为对象,用同一标注框架提取时长比、频谱质心差和 H1*-H2* 并做线性混合效应建模,显示时间与频谱效应稳健而发声效应弱且不稳定,青年组出现对比弱化与协同模式重组,但青年组仅 3 人使结论需谨慎对待。
该研究在同一乡村社区内比较青年和老年听者对/a(:)/的感知,用时长五步与 F1、F2 各三步正交合成的 90 个目标刺激做二选一辨别,报告组水平以时长为主、F1 其次、F2 最小,老年组中有 6 人以 F1 为主,不一致刺激反应时更长且无年龄交互,支持线索权重正在转移但仍待生产数据验证。
本文追问现行人工智能透明度义务为何只盯合成语音输出而漏掉可携带的说话人嵌入模型与多分支合成工作流,并以文本转语音、声音转换、说话人验证与语音识别的趋同证据说明监管语言需要补上模型全生命周期与工作流环节,代价是需要处理助残与身份认同等特殊用途的例外设计。
针对依赖正则音素与强制对齐的发音评估问题,ALFreeD 用教师语音做参照,经 HuBERT 表示、DTW 对齐、帧级偏差与 i 向量压缩再用 MLP 打分,在 SpeechOcean762 上用 300 到 2500 个标注样本达到 0.68 到 0.74 的皮尔逊相关,代价是仍需同文本教师语音且只验证了句子级总分。
该研究以三个方言区 18 名发音人的词表与自然对话比较/CECi/与/CECa/中/E/的第一二共振峰,报告和谐语境下一致的 F1 降低与 F2 升高,但 F1 效应量随方言与语体组合变化且不能据此断定范畴性音系过程。
针对无线声传感器网络中集中式传输代价大而 DANSE 依赖协方差估计与迭代求逆、在低信噪比和非平稳下不稳定的问题,论文提出全神经的 ANDFilter 经单节点滤波、节点选择与多节点融合直接合成复数滤波器,在 LibriSpeech 加 Freesound 仿真上 PESQ、ESTOI 和 DNSMOS 全面超过 DANSE 等基线,代价是每节点仍需传输一路 …
该研究针对塔斯马尼亚澳大利亚英语词表 onset /p,t,k/,用两层 Praat 切分把释放段拆为清送气与叠加气声,报告 689/1638 约 42% 含气声、女性与双唇齿龈更高发、气声多在 8 ms 至 30 ms,代价是时长模型中部位效应不显著且需人工听辨边界。
该研究用八次网络认知行为治疗的会话语音追踪隐居患者的纵向声音变化,以基线校正后的 MFCC 轨迹区分改善与恶化,并报告 Wav2vec 2.0 与 MFCC 加基频融合在各年龄性别组取得最高 F1,但样本小且中段无临床量表监督。
针对只能看到 2-8 秒前缀时的语音质量估计问题,ANCHOR 在 ARECHO 上引入块级与整句级双分辨率自回归解码与块优先顺序,在 2 秒前缀上把 PLCMOS 误差降低 48%,代价是在长前缀的 UTMOS 等全局指标上出现可预期的交叉落后。
针对动漫感没有统一绝对量表的问题,该工作用 15000 对两两偏好构建评价数据,证明手工声学特征只能到 69.3% AUC 而冻结自监督表示加排序模型可达 90.8% AUC,代价是人群偏男性化与数据规模中等。
该研究用同一批被试在学习、导航、闲聊和听故事四种任务中交叉评价四个合成系统,报告应用场景会显著改变系统间差异,而虚拟现实数字孪生在宽松等价带下得到可比评分,但分系统看仍有不确定性且播放设备不同构成代价。
该研究用实时磁共振成像量化普通话齿音与卷舌音四对辅音的收缩位置与前后腔形态,发现收缩位置后移和前腔扩大是跨辅音对稳定的相关物,而收缩长度和后腔区分力弱,且卷舌常呈舌尖下垂而非上卷。
论文用声学到发音反演加协调特征谱量化自然对话中的发音卷入,在 1381 对非自闭对话和 62 对含自闭与混合神经类型对话上显示同神经类型趋向复杂化和靠拢而混合对齐最弱,且卷入与自评会话成功正相关,但只报告群体趋势与相关性而未验证因果与实时开销。
针对单通道无监督去混响缺少干净参考的问题,ARTT 先用随机合成混响构造可训练的加重混响到观测混响映射,再用均值教师非对称蒸馏提纯,并在 WSJ0CAM-DEREVERB 上以 7.3 dB 的 SI-SDR 和 2.61 的 PESQ 超过已有无监督基线,代价是两阶段流程与仿真参数依赖。
该研究用 3 名女性的自主提调与 16 名女性的 5 档合成提调检验谱 x-vector 系统,发现默认-抬高比较把 EER 从 0.0 推高到 14.4、极端合成把 EER 推高到 15.2,但降级集中在抬高幅度最大且音高起伏受限的个人身上,单纯平移 f0 不能代替真实伪装。