语音

论文针对边听边说的全双工语音模型，用固定无关语音研究有害请求后的打断能否抬高整轮有害率，以固定延迟与拒答触发两种可执行时机在四个开源模型和 720 条请求上验证，PersonaPlex 系最高上升约 39 个百分点，但效果随模型、措辞和时机剧烈变化且 BayLing 出现下降。

针对构音障碍语音与正常语音特征空间差异大的问题，EA-VAE 只用变分自编码器加嵌入对齐、分布对齐和时长对齐做重构，在 UASpeech 上把平均词错误率降到 62.19% 并取得平均 MOS 4.48，代价是仍需平行语料预训练与波形级时间拉伸来保证帧数条件。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对音频频谱 token 远多于文本导致多模态 MoE 路由崩塌的问题，CoPRIME 用对比学习加 ELBO 路由与熵正则做音频文本对齐，在 MOSEI 和 IEMOCAP 零样本与少样本情绪任务上超过稠密与 LIMoE 式基线，代价是引入对比加 ELBO 加四个辅助损失共六项损失与两个权重的调参负担。

论文把信噪比失准归因于瞬时相位距离不可靠，用全向相位导数重写相关项得到 GOMPSNR，并在声码器与编解码器上验证其与听感指标更相关且导出损失能提升重建质量，但线性幅度等组合在小数据上存在过拟合代价。

针对语音到语音评价只看文字会漏掉语气、直接听音频又贵又不透明的问题，论文用先分内容音质副语言三维标注再把廉价声学信号写成文字蓝图交给大语言模型推理并按确定性规则融合的方法，在两个公开偏好集上提高了与人的一致性并把音频评测成本降到约三分之一。

针对对话语音中固定取前几句会引入无关冗余、取全量历史又成本过高的问题，论文提出多模态检索加精选方法 MARS，只取一条声学或语义最相关的历史来辅助当前句识别，并在 1.5K 小时训练下报告了优于 179K 小时顶级系统的混合错误率，代价是依赖微调 Whisper 建库与两遍解码的额外检索计算。

针对韩英混说识别缺乏公开非合成评测的问题，HiKE 以 1121 句自然录音加词/短语/句子三级与借词标注做细粒度评测，报告 10 个多语模型单语转混说时 MER 扩大 3 到 13 倍，而拼接单语合成的句级数据微调也能带来 6.8% 以上改善，但自然句内数据仍更优。

HPSU 针对真实口语中潜在意图与隐含情绪的理解缺口，用三阶段多模态半自动标注构建 2 万余中英样本与 16 个任务，并以 13 个模型与人类基线对比显示最好模型仅 62.6% 而人类达 87.3%，代价是依赖自动裁判与多模型协同标注带来的可复现性核对负担。

针对文本、参考图像与音频难以协同且三元完备数据稀缺的问题，HuMo 用非完备互补数据加两阶段渐进训练实现统一控制，在主体保持与音画同步子任务上报告了超越专用基线的分数，代价是仍需两阶段 40k 步训练与分段推理引导配置。

针对码切换话语中带矩阵语言口音的英语检出接近零的问题，论文用 80 条口音匹配英语做 LoRA 微调 MMS-LID 并引入 LangRank 排序评估，在印地-英语等四对语言上提升英语检出同时保持单语性能，代价是仍与 Oracle 有差距且依赖已知矩阵语言选口音。

IndexTTS2 针对自回归零样本语音合成难以精确控时长与情感易混入音色的问题，用语义标记数约束、风格与音色双提示解耦与 GPT 隐状态增强做级联合成，在多数据集上报告了词错误率、说话人相似度和情感相似度的领先结果，但强情感下清晰度与极端变速仍有代价。

针对扩散音频超分一次采样方差大、关键属性易丢失的问题，论文用冻结 AudioSR 加验证器打分与随机/零阶搜索选优，在 4 kHz 到 24 kHz 语音上报告最高约 9.70% 美学、15.20% 词错误率与 46.98% 频谱距离改善，代价是 120 路候选的成倍推理开销与单验证器过拟合风险。

针对目标语言只有健康人语音时分类器把目标语言当成健康信号的问题，论文用健康人拟合的岭回归残差去除语言可预测成分，在 5 个骨干、3 个任务、3 个目标语言上把平均 F1 从 0.52 提升到 0.87，但语言信息并未完全消除且评估仍限于印欧语系。

针对直接从外部行为回归真实人格偏向观察者印象的问题，该文用 10 秒音视频生成密钥修正通用面部反应生成器得到个性化认知权重，再编码为矩阵图用二维图网络回归自陈大五特质，在 NoXI 与 UDIVA 上报告了误差与相关提升，代价是仍需扩散预训练与双损失联合训练且细粒度言语未建模。

针对大音频语言模型时间定位不准、长音频难以端到端理解的问题，TimeAudio 用时间标记加绝对时间编码加分段令牌合并，并在 FTAR 时间任务数据上微调，在密集描述、定位与时间线摘要上报告了定位精度的提升，但密集描述的文本多样性仍有代价与边界。

针对长序列视频叙事中辅助能力弱、视觉质量差和表达单调的问题，MAViS 用分阶段多智能体与 3E 迭代和剧本写作约束组织生成，最强证据是用户研究约 69.44% 平均投票份额与关键帧 CLIP 34.22，主要代价是双 H100 上平均 13.63 小时的生成耗时。

针对音频与文本同质、视觉与二者异质的问题，MDF 只对音频做文本剥离得到声音分量，再用正交约束强化异质并用标签导出的贡献监督权重生成器，在 CMU-MOSI 上取得 MAE 0.692 等最好或次好结果，但视觉增益与权重估计仍受单模态预测误差限制。

针对语音内容音色情感纠缠与控制粗糙问题，MF-Speech 用三流编码器提纯离散因子再用动态融合与分层风格归一化组合生成，在多因子组合任务上报告 WER 为 4.67% 与 SECS 为 0.5685，但重建自然度与部分解耦指标仍有代价与边界。

针对闭集说话人识别的投毒后门问题，论文用时域上的频率调制与幅度调制构造全局平滑触发，在中毒率 0.05 等条件下报告数字与物理场景的高攻击成功率，同时保持良性准确率下降有限，但干净标签等更难设置的性能明显走弱。