模型融合

针对自然语音中多情感共存却被多数投票抹掉的问题，该工作把 MSP-Podcast V2.0 的众包投票转为确定性多热标签并控制长尾，再用 MFCC 与 log-mel 双分支 Mamba 融合建模，在 Test1 与 Test2 上微平均 F1 约 0.50 的同时把参数量控制在约 3M 量级，代价是尾部情感在固定阈值下依然难以检出。

针对远场多说话人音频让口语大模型直接做带说话人归属的转写和问答会遗忘推理能力的问题，论文选择冻结大模型解码器、只在声学编码器侧用 diarization 条件做目标说话人抽取，Dixtral 在四套转写集上宏平均 cpWER 为 15.4%，代价是每个说话人需独立编码解码一次且问答微调会损伤逐字转写精度。

该文要解决词级强制对齐在多语下的可扩展问题，选择融合 MMS 与无监督音素边界表示再用可学习动态规划定边界，最强证据是在 TIMIT 和 Buckeye 上超过 MFA 与 MMS 基线，代价是编码器与解码器不能联合优化且在荷兰语等未见语言上优势只在部分容差下成立。

针对未见关键词与未见说话人双重零样本问题，ZP-KWS 用音素监督的关键词分支与 GE2E 预训练的紧凑声纹分支做乘法晚融合，在 LibriPhrase Easy 目标专属模式下把 FRR@1% 从 PK-MTL 的 72.79% 降到 29.47%，代价是保留约 1.55M 参数与阈值调节依赖。

针对级联丢失韵律而端到端难控情感与知识的问题，PRISM 把感知、管理、回应、发声拆成四智能体并用韵律转语言稳定推理，在 AvaMERG 上以自动、人工和大模型评测同时占优，代价是只微调回应器且依赖外部识别与合成模块。

针对韩语短句中文字相同但情感不同的语用歧义问题，论文在冻结的 Whisper-large-v3-turbo 编码器之后拼接插值对齐的基频与能量并联合建模，用同一骨干上子集准确率从 12.46 到 26.39、语用歧义消解从 21.00 到 32.60 的提升证明表示层缺韵律是主因，代价是只验证了特定分类头与数据集且未报告延迟与开源可用性。

针对语音伪造检测中自监督特征平滑掉细粒度伪影的问题，该文冻结语音编码器、只用约 4.4% 附加参数学习量化器层级加权，在 2019 年评测上相对基线降低 46.2% 等错误率，在第 5 代评测上降低 13.9%，代价是增益随编解码器家族变化且静态权重不能自适应样本。

针对说话人识别训练压制同一人差异而损害语音生成表现力的问题，该文提出每人学多个子中心的判别训练，并在零样本声音转换上显示高方差配置提升可懂度和自然度，同时保持验证性能，但低方差配置在说话人相似度上更有优势。

论文研究噪声混响和重叠说话下的零前视流式识别，采用在线语音分离前端加只用干净语音训练的流式识别后端的解耦框架，最强证据是在 LibriSpeech 模拟噪声、CHiME-4 和 LibriCSS 上用 oTF-CrossNet 加干净后端超过同等数据量的多条件训练基线，代价是系统好坏高度依赖分离前端的强度。

该文研究在语音大模型中并行融合多语大编码器与单语专用编码器以做自动语音识别，通过可学习的门控与 Transformer 融合在荷兰语、英语、多语和带说话人标签任务上超过简单拼接，但绝对词错率仍受低秩微调与量化资源限制。

针对同时有语音和文本时如何低成本得到实际读音的问题，该文用词典与工具生成受限候选再以冻结语音转读音模型做整句负对数似然贪心选择，在日语三语料上把字符错误率降到 0.04 到 0.17%，代价是仍依赖候选覆盖与按语言校准的阈值。

针对 ASR 与语音情感识别目标冲突的问题，论文用冻结 WavLM-Large 加逐层可学习系数合并同域 ASR 与 SER 任务向量，在 MSP-Podcast 上报告双向量 UAR 为 38.94% 与 Macro-F1 为 35.20%，代价是仍需先分别微调得到任务向量且依赖域内转写。

针对防伪造说话人验证同时依赖说话人相似度和伪造检测分数的问题，AGENT 用分数最大化加方向选择性梯度融合做黑盒迁移攻击，在级联结构上报告最高 99.62% 攻击成功率，代价是扰动预算增大时信噪比降至 22 dB 左右。

针对单路残差通道间无交换与无约束多流易失稳的问题，该文用静态可学习混合矩阵加 Sinkhorn 双随机投影构造 mHC，在 VoxCeleb1-O/E/H 与 VoxSRC21-val 上一致降低等错误率，而参数量与计算量几乎不变。

针对带声调标记的音素识别数据稀缺问题，该研究用正字法与基频轨迹多任务训练加词典约束的格融合，在保持听错原样的条件下把核心集平均错误率从 12.3% 降到 7.1%，代价是依赖词典覆盖与文本分支质量。

针对自发话语中语义、句法和叙事逻辑的非线性退化问题，该研究用语义图、依存图和基于健康常模 PMI 的共现图三路图注意力建模并以样本级门控融合，在 ADReSSo 上报告测试集准确率 90.00%，代价是依赖 ASR 转写与 BERT 词嵌入且未引入声学韵律。

针对音频视觉问答中朴素音频描述与视觉不一致且缺问题相关细节的问题，VividAC 用视觉智能体先写问题相关视频描述再约束听觉智能体生成音频描述，在 MUSIC-AVQA 上以 59.91% 超过最强端到端基线 7.0 个百分点，代价是级联依赖视觉描述质量并需关键词过滤来缓解误差传递。

针对句重音依赖跨词上下文而单层表征不完备的问题，WhiSSDapt 在冻结 Whisper-small 上学习编码器与解码器层权重并经额外解码器块分类，在自然与合成数据上报告最高 4.48% 和 6.09% 的相对 F1 增益，代价是只更新融合权重与分类头且未报告延迟与成本。

针对单一音频编码器难以兼顾语音细节与跨域语义的问题，WQ-Fusion 冻结 Whisper 与 Qwen 双编码器并用自适应调制加逐元素门控注意力做动态融合，在 15 个数据集评测上总体分达到 0.836，代价是只训练轻量适配部件且依赖统一生成式评测协议。

该文把说话人匿名与内容匿名放在同一个声学令牌空间里做，用逐帧混合比例 β 融合编码器令牌与音素派生令牌并以命名实体识别触发敏感片段强制替换，在 VoicePrivacy 2024 上以 β=0.7 取得 EER 42.54% 与 WER 3.73%，代价是情感保持 UAR 40.11% 低于同类混合基线。