数据集

针对医疗语音数据稀缺与问诊能力缺失问题，论文用 405k 文本注入知识再用 198k 合成语音做模态重对齐，在多轮问诊与单轮问答上报告最优分数，代价是仍以普通话合成为主且只验证文本语音两种模态。

该研究在德语到巴伐利亚语意图分类和德语到瑞士德语话题分类上对照文本直用、语音直用与先转写后分类，报告标准语上文本最好而方言上语音最好且级联分化严重，代价是方言语音为单说话人朗读且结论限于亲缘变体。

论文研究主用户与第三方同处一室时的打断处理，用可定制的应答策略加声学优先训练解决语义走捷径问题，最强证据是合成与真实录音上策略跟随与有用性同步提升，而代价是需要大量合成双说话人数据与难负样本约束。

针对粗粒度标注刻画不了语速情感韵律时变的问题，论文用直接听音频写细粒度描述的 FCaps 数据与分两阶段做全局加细粒度对比学习的 CLSP 模型，在检索与人评一致性上报告更强证据，代价是仅英文与大规模算力依赖。

针对自动音频描述缺少细节与上下文的问题，该工作用专家模型抽取语音、音乐、通用声音和视频线索再由大语言模型融合成纯音频描述，并用 120 万条描述与 600 万问答对证明检索与理解收益，代价是融合带来细节提升的同时幻觉风险上升且需离线专家与过滤成本。

针对语音生成评价依赖主观平均意见分且单指标奖励不透明的问题，UniSRM 用四任务统一数据加两阶段推理评价与推理一致奖励，在 UniSRM-Bench 上提升多任务准确率，但多轮对话与跨域泛化仍受数据覆盖和计算开销限制。

VoxMind 针对端到端语音智能体规划弱与工具多时延迟高的问题，采用先显式推理再说话与并行动动态工具管理，并在 AgentChat 上训练，主评测总体 74.57 分超越基线，但推理轨迹带来固定开销且合成数据与真实口语仍有差距。

针对吴语语音数据极少、无公开基准和可用模型的问题，论文用约 8000 小时多维自动标注语料加人工基准与分阶段模型验证，在识别与理解任务上大幅降低误差并提升翻译与属性判断，但数据分布不均与自动标注噪声仍限制泛化。

针对非言语事件只知有无、不知在词何处的问题，论文以 21 类离散与连续事件的词级转写为目标，用位置感知的评测解耦词错与事件错，并以 1700+ 小时弱标注训练得到强基线，在保持词错误率基本稳定的代价下把宏平均 F1 做到 38.0%。

针对跨文化理解所需的野外视频多语转写问题，论文用易复用的 Whisper 与 WhisperX 流水线加字幕挖掘与重切分，报告七语平均约 30% 错误经数十至二百小时微调降至约 21.7%，代价是幻觉插入与字幕参考不完美及发布受限。

针对双人自发对话需要同时保证可懂度与正确分声道轮转的问题，ZipVoice-Dialog 在单人流匹配基础上引入单人预训练到对话微调的课程与说话轮次嵌入，最强证据是 6.8k 小时 OpenDialog 与对比基线上的可懂度和轮转精度提升，代价是仍集中于双人单声道且表达力受小模型限制。

该研究把文化敏感提问译成 10 种语言再合成 1315 小时语音来考 12 个大音频语言模型，报告 MERaLiON 相关性最高也未过 0.5，而 LTU 等模型的零有害只是因为答非所问。

针对教师情感的表演性与教学情境依赖问题，该研究构造 14,938 条四模态 T-MED 数据集并提出以音频为中心的非对称注意力模型 AAM-TSA，在 T-MED 上报告加权准确率 86.84% 与加权 F1 值 86.37%，代价是依赖视频转文本描述与教学信息输入且未公开可验证代码数据链接。

针对混合声中只定位目标声源的问题，该研究用跨实例图像做语义提示，先做语义对齐再做多频带空间对齐，在 VGGSound-SSL 上报告平均绝对误差 16.59 度、准确率 71.29%，代价是依赖合成空间音频与人工核验的提示池。

该文把埃及阿拉伯语 CHILDES 的国际音标转写为全带符 CODA 正字法并加上引理与核心词性，得到约 2.6 万词例的语料，并在形态消歧与语音识别上给出基线，代价是语料规模小且 GPT-4o 初转写准确率低、需大量人工校对。

该研究用 10982 词、84932 条语义维度标注检验多模态大模型能否从发音形式推断意义，发现模型在多数维度上超过 0.50 基线并在深层更关注标志性音素，但与人类的维度分布仍有明显差距。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

EgoEMS 针对院前急救中多成员协同与强流程性难以建模的问题，用 233 次模拟试验同步采集第一视角视频、音频、手表惯性与按压真值并标注 67 类关键步骤，基准显示监督变换器在分类达 62.3% 而零样本大模型仍明显落后，代价是模拟与真实出警之间仍有分布差距。

针对全局视觉条件丢失局部发声细节的问题，SS2A 用检测与跨模态翻译感知多模态声源，经单声源对比流形解歧义再用注意力混合生成，论文报告其在图像到音频的相关性与多源配比上占优，代价是依赖检测质量与预训练生成器且需单源数据训练。

论文研究给定旋律灵感与段落标签生成结构化乐段的问题，用结构三元组数据与双实例对比优化让小模型在结构契合上大幅超过直接提示与常规微调，但代价是依赖 POP909 流行乐标注与多轮构造流程且未建模整曲跨段发展。