数据集

针对阿拉伯语语音指令数据稀缺与评测缺失问题，Nuha-Speech 用约 150 万条统一问答式语料对 Qwen-Omni 系列做两阶段 LoRA 微调，并在七任务评测中报告语义与副语言能力的全面提升，但合成数据占比与评测合成偏置仍是主要代价与限制。

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

论文把无指令下的主动帮助定义为视觉加音频加角色文本到动作序列的映射，用 19963 条 122 场景数据和四指标评测显示只有同时理解两模态才能给出正确帮助，而缺任一模态或替换任一模态都会使总体得分大幅下降。

论文针对需综合多个独立音频才能作答的多音频推理问题，选择在 Audio Flamingo 3 上做交错多音频指令微调，最强证据是 PolyAudio-Bench 上从 32.9% 提升到 73.5%，代价是依赖合成管线构造数据并把组合范围限制在最多 5 段。

针对中文多轮语音任务对话缺乏真实口语评测的问题，RealTalk-CN 用 5400 段真人录音与不流利标注和跨模态切换任务，测出槽填充比意图分类更怕口语化，而流水线与端到端各有胜负且老年与方言口音存在可测差距。

该文以聚合 10.7M 字幕的 CaptionStew 为试验床，在冻结编码器条件下比较对比学习与字幕生成两种目标，发现在判别任务上对比更数据高效而生成式随规模追赶更快，但有监督初始化的增益随规模衰减且声音事件检测出现反向扩展。

针对实时通信中未知增强与编解码耦合失真问题，论文用真机穿越七个主流平台构建约 600 小时配对数据并提出音素引导一致性学习，在离线与在线混合评估上把平均等错率降到 5.81%，代价是对极端噪声与激进非线性失真仍有差距。

针对语音到语音对话既要评语义又要评声学而级联评测会丢声学信息的问题，论文用大规模合成偏好数据加带解释理由的两阶段监督微调构建端到端语音裁判 SageLM，以 82.79% 的人类一致率超过级联与语音理解基线，代价是依赖合成语音分布与有限声学数据。

针对文本评测看不见韵律情感与书面腔问题，该工作用真实对合成与书面對口语两类多轮偏好对训练端到端奖励模型，在分层基准上以 96.61% 模态微平均等证据显示可运行优势，代价是绝对分值仍随域偏移需谨慎用于优化。

论文用文本化多模态线索统一笑声检测、类型分类与原因解释，并以笑声自指令扩充与混合笑声专家提升泛化，主证据是文本大模型在三任务上优于音视频大模型，代价是依赖外部抽取器与伪标签校对。

针对语音对话中停顿与轮次结束难以区分的问题，论文构建含合成与真实对话的 OpenETD 数据集并提出 SpeculativeETD 两级协作推理，用端侧轻量模型逐块判有声无声、只在静音段触发服务端大模型判暂停还是结束，在混合训练下真实集上取得更好分割效果，代价是服务端调用与传输延迟仍需计入部署预算。

该文针对合成语音评测只有分数、跨任务跨语言泛化弱的问题，构建覆盖四任务四语言的 SpeechEval 并用指令微调加奖励优化训练 SQ-LLM，最强证据是在评估与对比维度相关性上超过专家基线，代价是约 43 个 A100 小时训练与对特定伪造来源泛化仍不稳定。

针对医疗语音数据稀缺与问诊能力缺失问题，论文用 405k 文本注入知识再用 198k 合成语音做模态重对齐，在多轮问诊与单轮问答上报告最优分数，代价是仍以普通话合成为主且只验证文本语音两种模态。

该研究在德语到巴伐利亚语意图分类和德语到瑞士德语话题分类上对照文本直用、语音直用与先转写后分类，报告标准语上文本最好而方言上语音最好且级联分化严重，代价是方言语音为单说话人朗读且结论限于亲缘变体。

论文研究主用户与第三方同处一室时的打断处理，用可定制的应答策略加声学优先训练解决语义走捷径问题，最强证据是合成与真实录音上策略跟随与有用性同步提升，而代价是需要大量合成双说话人数据与难负样本约束。

针对粗粒度标注刻画不了语速情感韵律时变的问题，论文用直接听音频写细粒度描述的 FCaps 数据与分两阶段做全局加细粒度对比学习的 CLSP 模型，在检索与人评一致性上报告更强证据，代价是仅英文与大规模算力依赖。

针对自动音频描述缺少细节与上下文的问题，该工作用专家模型抽取语音、音乐、通用声音和视频线索再由大语言模型融合成纯音频描述，并用 120 万条描述与 600 万问答对证明检索与理解收益，代价是融合带来细节提升的同时幻觉风险上升且需离线专家与过滤成本。

针对语音生成评价依赖主观平均意见分且单指标奖励不透明的问题，UniSRM 用四任务统一数据加两阶段推理评价与推理一致奖励，在 UniSRM-Bench 上提升多任务准确率，但多轮对话与跨域泛化仍受数据覆盖和计算开销限制。

VoxMind 针对端到端语音智能体规划弱与工具多时延迟高的问题，采用先显式推理再说话与并行动动态工具管理，并在 AgentChat 上训练，主评测总体 74.57 分超越基线，但推理轨迹带来固定开销且合成数据与真实口语仍有差距。

针对吴语语音数据极少、无公开基准和可用模型的问题，论文用约 8000 小时多维自动标注语料加人工基准与分阶段模型验证，在识别与理解任务上大幅降低误差并提升翻译与属性判断，但数据分布不均与自动标注噪声仍限制泛化。