M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models
📄 M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models 标签:#语音交互 #模型评估 #音频理解 #Transformer 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.1/10 | 前50% | 文档类型:数据集与基准 | 评分置信度:中 | #语音交互 | #Transformer | #模型评估 #音频理解 | arxiv 👥 作者与机构 第一作者:Ryo Fukuda(NTT Corporation) 通讯作者:未说明 作者列表:Ryo Fukuda(NTT Corporation)、Atsushi Ando(NTT Corporation)、Hiroki Kanagawa(NTT Corporation)、Takatomo Kano(NTT Corporation)、Marc Delcroix(NTT Corporation)、Naohiro Tawara(NTT Corporation)、Yuya Chiba(NTT Corporation) 💡 毒舌点评 这篇论文做了一件踏实但不够惊艳的工作:为全双工对话系统搭了一个多语言多领域的评估擂台。Teacher-forced inference的多轮评估思路解决了上下文不一致的老大难问题,实验也揭示了日语模型在内容理解上与英语模型的明显鸿沟。可惜的是,这张擂台的门票只发给Moshi架构的模型,通用性严重受限。内容评估全押宝在GPT-5 nano单一裁判身上,数据的可靠性和结论的稳固性让人捏一把汗。开源仓库不见踪影,让这个擂台的“公平公开”打了折扣。 ...