语义手势补上文本加音频的缺口:多方对话保持与让渡预测
该研究把多方桌游对话切成保持或让渡的 2 分类问题,用文本加音频加语义手势的混合专家模型求解,最强证据是 3 模态融合在语义监督下取得更高的宏平均 F1,代价是标注一致性中等且领域局限于游戏对话。
该研究把多方桌游对话切成保持或让渡的 2 分类问题,用文本加音频加语义手势的混合专家模型求解,最强证据是 3 模态融合在语义监督下取得更高的宏平均 F1,代价是标注一致性中等且领域局限于游戏对话。
针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题,MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合,在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA,代价是路由与负载均衡等额外机制和调参成本。
UniStream 针对 48 kHz 因果流式语音、音乐与环境声共用一套残差码本容量不足的问题,用多专家残差向量量化扩大每层量化容量并靠已解码状态确定性复现路由,用训练期最优传输条件流匹配正则化量化隐空间,在 12 kbps Top-1 和 22.5 kbps Top-2 两档下以 ViSQOL、Mel 失真和消融证明多专家是主要增益来源,而流正则只带来语 …
针对方言、动态实体、口语不流利和长上下文的生产转写问题,该报告用混合专家大语言模型解码器统一控制语言、热词、历史与润色,并在中英文与多语基准及工业集上给出可核对的误差率与延迟对照,其代价是依赖大规模数据管线与指令组合训练。
SwanWeave 针对 FOA 四通道声场的指令编辑任务,用可控房间仿真构造 125K/类单操作与 250K 复合操作的源-目标配对监督,以潜空间流匹配为生成器,配合双层路由的 SE-MoE 与面向错编负样本的 SPO 偏好对齐及分阶段课程,实现一阶段复合编辑,并在客观与人评上一致优于现有通用与立体声编辑基线,代价是依赖仿真数据与约 10 秒短场景。
语音识别 | 7.5/10
音乐理解 | 7.5/10
语音生物标志物 | 6.0/10
语音识别 | 7.0/10
语音情感识别 | 8.5/10
音频分类 | 7.5/10
这篇论文旨在解决语音到语音翻译(S2ST)系统普遍缺失非语言声音(如笑声、哭泣)和情感韵律的问题,这严重限制了跨语言交流的自然度和语用准确性。作者提出了三大贡献:1) 一个**可扩展的表达性数据合成管道**,能自动生成高质量、带情感标注的S2ST训练对,克服了数据稀缺瓶颈;2) **MoVE(混合声