模型融合

跨语言零样本合成中参考音频的源语言口音会泄漏到目标语音，本文用同一合成代理声音在两种语言下预测之差估计口音方向并在采样时减去，在 OmniVoice 等四个公开模型上实现等口音下更高的说话人相似度，代价是每步增加代理计算与每模型需小幅扫描去口音强度。

Argmax Pro 针对离线可用的富功能语音识别问题，选择以 Parakeet v2 做转写、Canary v2 CTC 经 CTC-WS 做偏置、Streaming Sortformer v2 微调做说话人切分并全部部署到手机 NPU 上，论文报告自定义词表可扩至 3000 词而不影响运行时延迟，但未给出词错率、延迟与功耗的定量对照。

该研究针对十个欧洲葡萄牙语域各训一个模型再合并成一个可部署模型的问题，对比 11 种合并算法并提出 BoostedTSV-M，最强证据是欧洲葡萄牙语全集平均词错误率 11.55% 略优于联合微调 11.58%，代价是非欧洲葡萄牙语分布外英语与多语言性能相对回落。

针对咳嗽筛查结核任务，论文用频谱描述子与音频基础模型表示做异构融合，提出共享双曲原型码本加老虎机可靠性加权的 COBALT，并在 CODA TB 基准上以 MFCC 加 PaSST 取得最强结果，代价是更多适配与融合模块和跨设备泛化仍待验证。

针对德语 SKT 语音评估中转录误差与手部动作子测试缺失问题，该研究用规则打分融合 Whisper 编码器与解码器向量先校正言语子测试分再补偿总分，最强证据是言语子测试序列在缺失动作题时仍与专家总分达到 0.94 以上相关，代价是依赖小样本临床数据与固定超参数且未验证真实部署延迟与误诊成本。

针对跨语言时语言线索与说话人身份纠缠的问题，该工作用正交投影只取自监督特征中与监督嵌入互补的分量，并用流形约束的神经 PLDA 做判别优化，最终融合系统在两条测试赛道上报告等错误率为 1.39% 和 1.95%，代价是三阶段前端与两阶段后端的复杂训练流程和大规模数据依赖。

论文研究仅用一句自然语音做音色参考的个性化电子喉语音转换，对比伪目标训练与级联两条路线，报告最佳特征级级联加有监督微调在 SER 降到 59.65%、相似度到 0.84，代价是需要 240 对平行数据构造伪监督与额外的微调步骤。

针对真实会议中快速轮转与重叠导致的边界模糊和聚类不稳，该工作在分割级用 OWSM 编码器经 FiLM 调制 WavLM 中间层、在聚类级用已知说话人嵌入复制加权做 KSGC，在 AMI、AliMeeting 和 AISHELL-4 上报告了 DER 下降，但以双编码器计算开销和复制因子需按语料调参为代价。

针对全双工语音模型工具调用弱的问题，论文用前端判何时委派、后端做多轮工具调用再预填回前端复述的办法，在单轮调用召回 92%-97% 与多域语音代理任务上取得可比效果，代价是打断率偏高与合成数据带来的识别与暂停处理退化。

针对同一话语的频谱图、MFCC 与 HuBERT 既重叠又互补而直接融合会淹没弱线索的问题，TriCGF 先分解为公共与特有分量再用全局共识加门控融合，在 IEMOCAP 上取得 74.19% 加权准确率与 75.17% 非加权准确率、在 EmoDB 上取得 94.36% 与 94.28%，代价是三路编码与门控带来更多训练配置与调参负担。

针对田间噪声、多说话人和农业词汇三类失败，论文用可开关的增强、说话人分离与词表修复包裹未改动的 ASR 模型，在印地语等三语评估上实现云端相对 16% 至 23% 的词错误率下降，多说话人下达 32% 至 42%，代价是增强与修复只在证据支持时生效且 M4 未被测量。

针对多编码器大音频语言模型靠直觉或穷举选编码器的问题，论文提出只用单编码器成绩算类别级与任务级相关性的 CUES 规则，在 XARES-LLM 上 Track A 选出三编码器提升 4.3% 而 Track B 主动只留双编码器提升 6.3%，代价是选择依赖开发集打分且仅在单 135M 骨干上验证。

该工作在西班牙语德语捷克语帕金森语音上对比语音大模型的编码器表示解码器表示与零样本生成，报告编码器优于解码器而生成接近随机，并用样本自适应层聚合代替单层搜索，但跨语言绝对性能仍明显低于多语言混合训练。

针对配对语音文本不足的目标域，该研究把同一基座大模型微调得到的目标域语言模型适配器直接加到语音识别模型参数上，在日语和英语的领域适应中报告了目标域改善，且推理时只跑单个识别模型。

针对域增量下旧音频不可回访且新专家对旧样本缺特征的问题，该文用冻结追加专家加无数据回放与跨域特征补全，在 DCASE 2026 任务 7 上报告 78.4% 微平均与 78.9% 宏平均，代价是专家数与拼接维度随域数线性增长。

针对开放泰语识别被离线模型主导而真流式时崩溃的问题，论文用缓存感知编码器恢复流式能力并在解码时做浅融合来引导词汇，在 1 秒前视下把字符错误率降低约 4.5 倍并把关键词召回从 16.6% 提升到 20.7%，额外开销不足 3%。

该研究只用语音音频区分阿尔茨海默病与健康对照，用 Librosa 手工声学均值特征与冻结 YAMNet 的 1024 维嵌入拼接后训练分类器，在 160 条合并数据上以 70% 训练 30% 测试取得 89% 测试准确率，代价是小样本、无人口学控制且未报告延迟与误判细节。

针对未见伪造攻击泛化难的问题，CRAF 以 SSL 为主、ALLM 为高层引导做残差感知融合，在 ASVspoof 5 上 Kimi-Audio 配置报告评估 EER 为 5.96% 与 minDCF 为 0.1192，但攻击间差异与门控依赖仍是代价。

该研究用不改 Whisper 结构的二次重排与浅融合接入 Mistral 7B，在 Common Voice 朗读上把词错误率从 15,28% 降到 14,18% 与 14,68%，而在 ATCO2 管制通话上最好只与 18,78% 基线统计等价，代价是权重过大时性能明显退化。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读