流式之下还要对准每个音素:MPA-KWS 如何统一文本与音频注册
针对开放词汇关键词检测中易混词难区分且流式对齐与训练推理不一致的问题,MPA-KWS 用 W-CTC 强制对齐统一处理支持音频与查询音频并做音素级多模态对比学习,在 LibriPhrase-Hard 上文本加音频注册达到 AUC 97.30% 与 EER 8.21%,代价是需要预训练声学编码器与多任务权重调参且当前无公开代码可用。
针对开放词汇关键词检测中易混词难区分且流式对齐与训练推理不一致的问题,MPA-KWS 用 W-CTC 强制对齐统一处理支持音频与查询音频并做音素级多模态对比学习,在 LibriPhrase-Hard 上文本加音频注册达到 AUC 97.30% 与 EER 8.21%,代价是需要预训练声学编码器与多任务权重调参且当前无公开代码可用。
针对标注少且情感线索分散在能量与时序中的问题,该文用信噪比控制的混合增强扩大能量分布、用帧级注意力挑选关键帧,并以四种损失联合优化,在四个数据集上报告了最高准确率,但代价是更多的超参数与训练分支。
针对含噪混响单通道分离缺空间线索问题,该文用双通道三元组预训练单通道空间编码器并以 MHCA+FiLM 调制 TF-Locoformer,在 WHAMR!上 S 模型 17.4 升至 17.7 dB、M 模型 18.6 升至 18.9 dB,代价是增加 1.0-1.2M 参数并依赖仿真空间条件构造。
该文针对混响语音盲估计的房间嵌入易被语音内容和破损扰动的问题,用冻结 RIR-VAE 潜空间锚定加多正对比学习表示,并用破损离散度排序校准单句不确定性分数,在 RIR 验证 AP 达 0.99 和全局排序相关 0.90 的同时保持重建与参数估计基本不变。
针对跨语料口语语种识别的域偏移问题,该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近,印度 12 语实验显示 Whisper 版在未见域上取得最高准确率,但 IndicVoice 绝对精度仍低且推理只用音频分支。
针对流匹配零样本语音合成中跳词和复读的对齐失稳,RobustSpeechFlow 用等长复读与跳读隐变量构造难负样本做对比流匹配,在 0.06B 参数下把 Seed-TTS-eval 词错误率从 1.44 降到 1.38,并把 ZERO500 在 NFE=24 的英韩字符错误率分别降到 0.35% 和 0.57%,代价是公开基准说话人相似度未提升且主观听感尚 …
针对单通道带噪混响语音中房间信息易被噪声掩盖的问题,论文采用纯混响对比学习、带噪混响对比学习、冻结教师对齐学生三阶段学出噪声鲁棒的房间嵌入,并以声学参数探针和条件化深滤波增强验证其可读性与一致增益,代价是弱识别器仍受增强伪影影响且动态多通道场景未验证。
针对整句独热标注模糊和变长聚合稀释问题,该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入,再用图注意力做序列到一聚合,并在后训练和微调用自蒸馏与监督对比增强鲁棒性,在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率,在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差,但 …
针对说话人确认在非言语发声上跨域失效且微调会遗忘语音的问题,论文用冻结 Data2Vec 加 ECAPA-TDNN 配合层间混合专家与只对语音蒸馏的教师约束加跨域对比损失,在保持可运行基线的条件下把语音对非言语 EER 从 38.93% 降到 22.66%,代价是标准语音 EER 仍高于大规模预训练的 5.60%。
针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题,T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离,在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%,代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。
该文把说话人属性预测从 44 类固定分类改写为对大语言模型嵌入的余弦对齐,并用关键词追加收紧流形、用前 k 负样本损失拉开拥挤区,在 LibriTTS-P 上闭集 F1 达到 0.7625 且同义词零样本基本不掉点,代价是依赖单一语料与特定嵌入维度。
该文把说话人遗忘定位到 ASR 微调后 HuBERT 中间层,用辅助说话人头加 K-Means 质心驱散做表征级遗忘,在 VCTK 上把遗忘集成员推断压到接近重训练金模型的 52.6%,同时保留保留集与未见说话人的转写能力,代价是遗忘集词错误率向金模型抬升且保留集成员推断略高。
针对电话开场验一次后中途换人或冒充的风险,该工作用冻结 ReDimNet-B1 加三元组训练的轻量投影网络做持续比对,在 TidyVoice 上报告等错误率 2.08%,代价是系统只验证了该数据集与给定增强条件且本次未能确认代码数据可达。
针对大音频语言模型只说安全中性话的问题,论文用大语言模型做多维语义漂移提出情感假设,再用听原声的判别模型做声学验证与重排,报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%,代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。
针对 1000 bps 以下语音编码中声学细节挤占语言内容的问题,ContextCodec 用双分支解耦加音素对齐的上下文引导重建,在 500 bps 仍保持可懂度和质量平衡,代价是需要离线强制对齐监督与两阶段解码注入的复杂度。
针对病理性语音标注稀缺问题,论文提出跨语言检索增强分类 CRAC,用有监督对比对齐做跨语言检索再做交叉注意力融合,在韩国脑卒中和意大利 ALS 两套数据上受试者级平衡准确率达到 87.3% 和 86.7%,代价是需要维护异语言向量库并调检索数 k。
针对无参考语音质量预测在未见失真下泛化弱的问题,DNSMOS-C 在 DNSMOS Pro 上把 SCOREQ 三元组对比损失直接加到 64 维编码器嵌入上做单阶段联合训练,域内相关系数和跨 NISQA 子集泛化多数提升,且 PCA 显示质量排序增强,代价是失真类型可分性略降且推理与 DNSMOS Pro 相同。
针对对话中同一说话人情绪渐变难分的问题,论文提出情绪惯性感知的监督对比学习模块 EII-SCL,用动态惯性窗挑选难负样本并联合交叉熵训练,在 IEMOCAP 和 MELD 上提升可复现骨干,最强加权 F1 达 74.01%,代价是引入注意力窗与对比温度等额外超参数。
针对零样本跨语言语音情绪识别中语言失配与无目标标注问题,论文用有监督对比拉齐跨语言同情绪表示并用说话人对抗去说话人线索,在九组零样本任务上平均 UAR 达 82.26%,代价是仍需多语言有标注训练数据且未闭合与有监督上限的差距。
针对同一声音可被多种文本描述、同一文本可对应多种声音的多对多含糊性,MixProLAP 用波形叠加与文本拼接构造语义超集并施加多级包含损失,在 AudioCaps 与 ClothoV2 零样本检索上提升音频到文本召回,但文本到音频方向存在不对称与轻微代价。