论文解读

流式之下还要对准每个音素:MPA-KWS 如何统一文本与音频注册

针对开放词汇关键词检测中易混词难区分且流式对齐与训练推理不一致的问题,MPA-KWS 用 W-CTC 强制对齐统一处理支持音频与查询音频并做音素级多模态对比学习,在 LibriPhrase-Hard 上文本加音频注册达到 AUC 97.30% 与 EER 8.21%,代价是需要预训练声学编码器与多任务权重调参且当前无公开代码可用。

 · 更新于 2026-10-15 · 约 18 分钟 · 8971 字 阅读 →
论文解读

能量决定混合比例、帧决定聚合权重:多损失如何管住语音情感识别

针对标注少且情感线索分散在能量与时序中的问题,该文用信噪比控制的混合增强扩大能量分布、用帧级注意力挑选关键帧,并以四种损失联合优化,在四个数据集上报告了最高准确率,但代价是更多的超参数与训练分支。

 · 更新于 2026-10-15 · 约 20 分钟 · 9654 字 阅读 →
论文解读

单通道推理时没有空间线索怎么办:用双通道做特权监督练出伪空间嵌入再调制分离

针对含噪混响单通道分离缺空间线索问题,该文用双通道三元组预训练单通道空间编码器并以 MHCA+FiLM 调制 TF-Locoformer,在 WHAMR!上 S 模型 17.4 升至 17.7 dB、M 模型 18.6 升至 18.9 dB,代价是增加 1.0-1.2M 参数并依赖仿真空间条件构造。

 · 更新于 2026-10-15 · 约 14 分钟 · 6830 字 阅读 →
论文解读

房间变了还是说话变了:让房间嵌入先说自己有多不可信

该文针对混响语音盲估计的房间嵌入易被语音内容和破损扰动的问题,用冻结 RIR-VAE 潜空间锚定加多正对比学习表示,并用破损离散度排序校准单句不确定性分数,在 RIR 验证 AP 达 0.99 和全局排序相关 0.90 的同时保持重建与参数估计基本不变。

 · 更新于 2026-10-15 · 约 24 分钟 · 11666 字 阅读 →
论文解读

同语不同域就该拉得轻一点:半正样本对比如何约束语言聚类

针对跨语料口语语种识别的域偏移问题,该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近,印度 12 语实验显示 Whisper 版在未见域上取得最高准确率,但 IndicVoice 绝对精度仍低且推理只用音频分支。

 · 更新于 2026-10-15 · 约 19 分钟 · 9133 字 阅读 →
论文解读

用跳读和复读的失败样子教流匹配走稳:RobustSpeechFlow 的对齐鲁棒训练

针对流匹配零样本语音合成中跳词和复读的对齐失稳,RobustSpeechFlow 用等长复读与跳读隐变量构造难负样本做对比流匹配,在 0.06B 参数下把 Seed-TTS-eval 词错误率从 1.44 降到 1.38,并把 ZERO500 在 NFE=24 的英韩字符错误率分别降到 0.35% 和 0.57%,代价是公开基准说话人相似度未提升且主观听感尚 …

 · 更新于 2026-10-15 · 约 18 分钟 · 8922 字 阅读 →
论文解读

先建干净房间空间再对齐噪声:三阶段房间脉冲响应嵌入及其增强条件化

针对单通道带噪混响语音中房间信息易被噪声掩盖的问题,论文采用纯混响对比学习、带噪混响对比学习、冻结教师对齐学生三阶段学出噪声鲁棒的房间嵌入,并以声学参数探针和条件化深滤波增强验证其可读性与一致增益,代价是弱识别器仍受增强伪影影响且动态多通道场景未验证。

 · 更新于 2026-10-15 · 约 15 分钟 · 7400 字 阅读 →
论文解读

整句平均会稀释情绪爆发点:分段嵌入加图注意力如何重做聚合

针对整句独热标注模糊和变长聚合稀释问题,该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入,再用图注意力做序列到一聚合,并在后训练和微调用自蒸馏与监督对比增强鲁棒性,在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率,在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差,但 …

 · 更新于 2026-10-15 · 约 16 分钟 · 7977 字 阅读 →
论文解读

语音能验身份,笑声咳嗽就不行:用条件蒸馏保住语音,再用专家分流学会非言语声

针对说话人确认在非言语发声上跨域失效且微调会遗忘语音的问题,论文用冻结 Data2Vec 加 ECAPA-TDNN 配合层间混合专家与只对语音蒸馏的教师约束加跨域对比损失,在保持可运行基线的条件下把语音对非言语 EER 从 38.93% 降到 22.66%,代价是标准语音 EER 仍高于大规模预训练的 5.60%。

 · 更新于 2026-10-15 · 约 20 分钟 · 10017 字 阅读 →
论文解读

先对齐再分离:以文本为锚把讽刺的言外冲突拆出来

针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题,T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离,在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%,代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。

 · 更新于 2026-10-15 · 约 16 分钟 · 7891 字 阅读 →
论文解读

把声音映射到语义空间:关键词规整与负样本推开如何让未见属性可预测

该文把说话人属性预测从 44 类固定分类改写为对大语言模型嵌入的余弦对齐,并用关键词追加收紧流形、用前 k 负样本损失拉开拥挤区,在 LibriTTS-P 上闭集 F1 达到 0.7625 且同义词零样本基本不掉点,代价是依赖单一语料与特定嵌入维度。

 · 更新于 2026-10-15 · 约 18 分钟 · 8528 字 阅读 →
论文解读

转写要留、身份要走:面向说话人级遗忘的 ASR 表征驱散

该文把说话人遗忘定位到 ASR 微调后 HuBERT 中间层,用辅助说话人头加 K-Means 质心驱散做表征级遗忘,在 VCTK 上把遗忘集成员推断压到接近重训练金模型的 52.6%,同时保留保留集与未见说话人的转写能力,代价是遗忘集词错误率向金模型抬升且保留集成员推断略高。

 · 更新于 2026-10-15 · 约 19 分钟 · 9193 字 阅读 →
论文解读

通话中途换人怎么办:用冻结大骨干加轻量投影做每 500 毫秒一次的持续验声

针对电话开场验一次后中途换人或冒充的风险,该工作用冻结 ReDimNet-B1 加三元组训练的轻量投影网络做持续比对,在 TidyVoice 上报告等错误率 2.08%,代价是系统只验证了该数据集与给定增强条件且本次未能确认代码数据可达。

 · 更新于 2026-10-15 · 约 19 分钟 · 9099 字 阅读 →
论文解读

从安全中性到声学可验:以假设与验证打破语音情感的中性偏置

针对大音频语言模型只说安全中性话的问题,论文用大语言模型做多维语义漂移提出情感假设,再用听原声的判别模型做声学验证与重排,报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%,代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。

 · 更新于 2026-10-15 · 约 17 分钟 · 8476 字 阅读 →
论文解读

超低码率先保说什么:用内容上下文引导重建的 ContextCodec

针对 1000 bps 以下语音编码中声学细节挤占语言内容的问题,ContextCodec 用双分支解耦加音素对齐的上下文引导重建,在 500 bps 仍保持可懂度和质量平衡,代价是需要离线强制对齐监督与两阶段解码注入的复杂度。

 · 更新于 2026-10-15 · 约 17 分钟 · 8346 字 阅读 →
论文解读

跨语言借样本做判断:对齐、检索、融合如何补足构音障碍严重度数据

针对病理性语音标注稀缺问题,论文提出跨语言检索增强分类 CRAC,用有监督对比对齐做跨语言检索再做交叉注意力融合,在韩国脑卒中和意大利 ALS 两套数据上受试者级平衡准确率达到 87.3% 和 86.7%,代价是需要维护异语言向量库并调检索数 k。

 · 更新于 2026-10-15 · 约 18 分钟 · 8738 字 阅读 →
论文解读

小模型也要排好队形:DNSMOS-C 用质量引导的三元组让隐空间按 MOS 排序

针对无参考语音质量预测在未见失真下泛化弱的问题,DNSMOS-C 在 DNSMOS Pro 上把 SCOREQ 三元组对比损失直接加到 64 维编码器嵌入上做单阶段联合训练,域内相关系数和跨 NISQA 子集泛化多数提升,且 PCA 显示质量排序增强,代价是失真类型可分性略降且推理与 DNSMOS Pro 相同。

 · 更新于 2026-10-15 · 约 20 分钟 · 9586 字 阅读 →
论文解读

情绪有惯性:用说话人局部时间窗构造难负样本的会话情感识别

针对对话中同一说话人情绪渐变难分的问题,论文提出情绪惯性感知的监督对比学习模块 EII-SCL,用动态惯性窗挑选难负样本并联合交叉熵训练,在 IEMOCAP 和 MELD 上提升可复现骨干,最强加权 F1 达 74.01%,代价是引入注意力窗与对比温度等额外超参数。

 · 更新于 2026-10-15 · 约 19 分钟 · 9046 字 阅读 →
论文解读

不看目标语言也能认情绪:用跨语言拉齐加去说话人学情绪判别表示

针对零样本跨语言语音情绪识别中语言失配与无目标标注问题,论文用有监督对比拉齐跨语言同情绪表示并用说话人对抗去说话人线索,在九组零样本任务上平均 UAR 达 82.26%,代价是仍需多语言有标注训练数据且未闭合与有监督上限的差距。

 · 更新于 2026-10-15 · 约 17 分钟 · 8040 字 阅读 →
论文解读

以叠加代替遮挡:MixProLAP 用混合不确定性建模音频文本多对多对齐

针对同一声音可被多种文本描述、同一文本可对应多种声音的多对多含糊性,MixProLAP 用波形叠加与文本拼接构造语义超集并施加多级包含损失,在 AudioCaps 与 ClothoV2 零样本检索上提升音频到文本召回,但文本到音频方向存在不对称与轻微代价。

 · 更新于 2026-10-15 · 约 17 分钟 · 8179 字 阅读 →