数据集构建

MCGA 用 119 小时真人朗读与六项语音任务检验多模态大模型理解古典文学的能力，最强模型在情感描述上仍不足 60 分，但用该语料微调可带来大幅提升，代价是曲类样本偏少且暂缺图文声三对齐图像。

针对语音分类中整句之间与句子内部同时冗余的问题，MelTrim 先用声学特征聚类做整句粗筛，再用冻结判别模型梯度范数做帧级细剪，在极小子集上取得明显精度优势，但选择本身带来一次性开销且当前只验证单一声学模态。

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

论文研究主用户与第三方同处一室时的打断处理，用可定制的应答策略加声学优先训练解决语义走捷径问题，最强证据是合成与真实录音上策略跟随与有用性同步提升，而代价是需要大量合成双说话人数据与难负样本约束。

针对吴语语音数据极少、无公开基准和可用模型的问题，论文用约 8000 小时多维自动标注语料加人工基准与分阶段模型验证，在识别与理解任务上大幅降低误差并提升翻译与属性判断，但数据分布不均与自动标注噪声仍限制泛化。

针对播报式基准低估真实对话难度的问题，该工作把 1656 段双人视频会议转成 713.5 hours 训练加 60.1 hours 测试的视听识别基准，报告显示纯音频错误率从 LRS3 的 0.74–1.95% 升至 16.83–24.32%，而混合训练可把对话测试集视听错误率压到 9.83% 与干净条件下 8.48%，代价是必须自备原数据许可并复刻多步清洗 …

该文把埃及阿拉伯语 CHILDES 的国际音标转写为全带符 CODA 正字法并加上引理与核心词性，得到约 2.6 万词例的语料，并在形态消歧与语音识别上给出基线，代价是语料规模小且 GPT-4o 初转写准确率低、需大量人工校对。

针对希腊语干净单说话人数据稀缺导致音色漂移的问题，论文用 WhisperX 清洗与切分搭建希腊语适配数据，再对 880M 参数 Parler-TTS 做多说话人全量微调加 3.5 小时单说话人 LoRA，并以确定性提示词替代大模型生成提示词，最优配置报告 WER 10.7%、MOS-I 4.00、MOS-C 4.24，但频谱保真与目标说话人相似度仍有限。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

EgoEMS 针对院前急救中多成员协同与强流程性难以建模的问题，用 233 次模拟试验同步采集第一视角视频、音频、手表惯性与按压真值并标注 67 类关键步骤，基准显示监督变换器在分类达 62.3% 而零样本大模型仍明显落后，代价是模拟与真实出警之间仍有分布差距。

该工作针对校园咨询资源不足与高风险漏检问题，用主动倾听对话流程加提示驱动的四级风险分类与双语语音链路组织系统，并以 400 小时语音与 40 例模拟加 15 人实测日志支撑分析，代价是未报告检测精度、延迟与误报成本。

针对中英双语带标签转写任务，论文用词汇重映射让 Whisper-medium 统一生成词与 16 类非言语声标签，并用公开语料增强过滤加影视挖掘把最终分从 33.32 提到 53.61，代价是英文纯文本词错率上升且细粒度类别仍偏弱。

针对音频语言模型只靠粗粒度标题难以刻画力度、 timing 与声部进行的问题，该研究用对齐后的谱面加演奏 MIDI 构造文本表示 MuNo-SP 并自动生成长时间听觉分析与问答，在 MuSP-Bench 联合理解与人工偏好上报告了高于 ABC 与 MIDI 文本基线的准确率，代价是表示更长且仍限于古典钢琴与 MIDI 可表达的属性。

论文用 169 人临床确诊的多任务多模态数据比较任务与模态的判别力，并测试大模型精神科推理，报告音频与视频最有效、图片描述最能诱发标记、知识引导可提升约 10 个百分点 Macro-F1，但文本大模型仍落后于监督判别模型。

该文针对越南语开源语音文本对质量杂、格式不一、缺词级时间戳的问题，提出七步聚合清洗与对齐流水线，用约 502.67 小时高质量数据把微调后模型正字法词错误率降到 12.46%，代价是严格过滤丢掉约 38% 采样数据且仍偏向北部口音。

针对视频语言数据只写画面而把音乐当弱关联的问题，VMChill 以预告片为源做场景切分与视听分路标注，并在视频理解、视频生成与音乐生成上报告可复述的对照结果，其代价是自动合并标注仍需人工修正且分布偏向影视娱乐类预告片。

针对粤语标注少且口语现象复杂的问题，该工作用多系统投票与质量标注流水线构建 21800 小时语料，并在多测试集上验证微调后的识别与合成模型达到可比最优水平，但强标签与高音质子集的选择本身带来覆盖偏差代价。

针对全双工对话需要保留轮转、重叠与反馈时序但真实录音纠缠不清的问题，ConversationalVoice 用质量校验的分离、词面固定的重建与上下文约束的扩展三阶段产出共享格式的双轨数据，并在自动评估中保持 0.983 至 0.991 的同说话人相似度与正向区分度，同时以重建提升预测音质而扩展维持相近交互密度。

论文把全双工中的打断恢复问题定义为锚定中断，提出把已播放的模型语音回灌到语音输入通路的三通道自监听架构，并在同源构造的 AnchorSpeech 上用播放边界判定正确性，报告三通道模型达到 73.0% 锚定准确率且停止与响应延迟基本不变，同时在通用全双工指标上出现轮次管理与锚定的权衡。

该研究把 Whisper 用于含英语、粤语、台山话与毛利语的口述史转写，以人工转写的 9 分 33 秒片段为参照比较不同尺寸与语言指定条件，最好的语言未指定 LARGE-V3 词错误率为 12.10，但代价是对非英语片段的转写与区分能力不足，而全库 12 小时 42 分钟机转仅用 5 小时，约为估计人工时间的 1%。