语音交互

📄 Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO 标签：#语音交互 #强化学习 #音频理解 #Transformer #模型评估 7.2/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.2/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音交互 | #强化学习 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Xilin Jiang（未说明）；共同第一作者：Riki Shimizu（未说明）、Sukru Samet Dindar（未说明） 通讯作者：Nima Mesgarani（Columbia University, Zuckerman Institute） 作者列表：Xilin Jiang（未说明）、Riki Shimizu（未说明）、Sukru Samet Dindar（未说明）、Junkai Wu（未说明）、Zhongweiyang Xu（未说明）、Nima Mesgarani（Columbia University, Zuckerman Institute） 💡 毒舌点评 这篇工作用一个简单到近乎粗暴的动作令牌设计，把语音助手在鸡尾酒会中“何时该闭嘴”的问题变成了一个可优化的强化学习任务。整套pipeline从数据生成到模型训练形成闭环，工程上是完整且有效的。但问题也恰恰出在这里：系统被完美地适配到了一个高度受控的模拟游戏里——你提供上帝视角的说话人元数据、固定好轮次边界、再用LLM编排对话——然后模型学会了在这个“楚门的世界”里做决策。这种设定距离真实社交环境中那种混乱、交叠、且充满不确定性的语音交互，还有马里亚纳海沟那么深的距离。 ...

📄 Digital Harf: A Clinically Integrated Multimodal AI System for Pervasive Arabic Speech and Language Therapy 标签：#语音交互 #多模态模型 #音频理解 #Transformer #模型评估 5.6/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.6/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 📝 5.6/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音交互 | #多模态模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Asif Azad（Ministry of Defense, Riyadh, Saudi Arabia） 通讯作者：未说明 作者列表：Asif Azad（Ministry of Defense, Riyadh, Saudi Arabia）、Mohammad Sadat Hossain（Ministry of Defense, Riyadh, Saudi Arabia）、MD Sadik Hossain Shanto（Ministry of Defense, Riyadh, Saudi Arabia）、Sabri Boughorbel（Ministry of Defense, Riyadh, Saudi Arabia）、Abdulrhman Aljouie（Ministry of Defense, Riyadh, Saudi Arabia）、Bdour Alwuqaysi（Ministry of Defense, Riyadh, Saudi Arabia）、Yahya Bokhari（Ministry of Defense, Riyadh, Saudi Arabia）、Ayah Othman Sindi（Ability Center, Saudi Arabia）、Ehsan Hoque（Ministry of Defense, Riyadh, Saudi Arabia; University of Rochester, Rochester, New York, USA） 💡 毒舌点评 这项工作把文化适配作为AI治疗系统的基石，对阿拉伯语自闭症儿童是一项有温度、有实际需求的填补。ASDE的闭环设计在工程上很扎实，但方法论上几乎全是提示工程和成熟API的组装。最大的硬伤是：整个系统的“AI”组件没有一个经过技术性能检验，语音评估、语义判断、图像生成全靠黑箱；所有评测都是13位治疗师的主观问卷，儿童的实际语言能力改变完全没有数据支撑。论文声称的“治疗”价值因此悬浮在半空，顶会审稿人对这种声明只会打上“未经验证”的标签。 ...

📄 DuplexGen: Adaptive Synthesis of Human-AI Turn-Taking Dialogues 标签：#语音交互 #参数高效微调 #音频理解 #Transformer #模型评估 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.5/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音交互 | #LoRA | #参数高效微调 #音频理解 | arxiv 👥 作者与机构 第一作者：Takyoung Kim（University of Illinois Urbana-Champaign） 共同一作：Kang-wook Kim（Seoul National University / University of California, Berkeley） 通讯作者：未说明 作者列表：Takyoung Kim（University of Illinois Urbana-Champaign）、Kang-wook Kim（Seoul National University / University of California, Berkeley）、Sang Hoon Woo（Seoul National University / Georgia Institute of Technology）、Julia Hirschberg（Columbia University）、Gunhee Kim（Seoul National University）、Dilek Hakkani-Tür（University of Illinois Urbana-Champaign） 💡 毒舌点评 论文将人类偏好校准引入全双工对话的轮次切换合成中，通过少量标注让模型学到场景自适应的行为，这一思路简洁有效且实验设计全面（涵盖六个场景及人类评估）。然而，核心校准仍然依赖封闭式 API 和单一 LLM 家族，生成的对话在声学层面缺乏真实的韵律、停顿和重叠建模，文本级的软标签能否真正迁移到语音交互尚存疑问。 ...

📄 Joint Text-Audio Alignment for EEG-to-Text Decoding in Chinese Speech Production and Perception 标签：#语音交互 #对比学习 #低资源 #音频理解 #Transformer 7.0/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #语音交互 | #对比学习 | #低资源 #音频理解 | arxiv 👥 作者与机构 第一作者：Tian Zheng（中国科学院大学；中国科学院软件研究所） 通讯作者：未说明 作者列表：Tian Zheng（中国科学院大学，中国科学院软件研究所）、Xurong Xie（中国科学院软件研究所）、Xinxin Zhu（北京语言大学）、Xiaolan Peng（中国科学院软件研究所）、Feng Tian（中国科学院软件研究所） 💡 毒舌点评 本文在中文脑电到文本解码这一艰难赛道上首次将文本语义与音频声学双对齐引入CTC框架，在封闭句集分类上取得了大幅超越基线的数字，思路清晰、消融扎实。然而，完全不开源、不提供任何模型或代码，且仅在小规模单数据集上验证，使得其“首次大词汇连续解码”的声称在当前阶段更像概念验证而非可复现的社区资产。 ...

📄 MyMentorLLM: A psychotherapy GenAI environment with multimodal voice/text patients, trainees and experts for deliberate practice 标签：#语音交互 #大语言模型 #多模态模型 #音频理解 #Transformer 5.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.9/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #语音交互 | #大语言模型 | #多模态模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Rodolfo Rizzi (CogNosco Lab， Department of Psychology and Cognitive Science， University of Trento) 共同通讯作者：Alessandro Grecucci (Department of Education， Psychology and Communication Sciences， University of Bari) 和 Massimo Stella (CogNosco Lab， Department of Psychology and Cognitive Science， University of Trento)。论文标注为“co-last authors”共同通讯。 作者列表：Rodolfo Rizzi、Alessandro Grecucci、Massimo Stella 💡 毒舌点评 这项工作试图用多模态LLM搭建完整的CBT培训沙盒，概念上有其雄心：将语音模态引入心理治疗模拟，并采用认知网络和情感花图进行量化评估。然而，实验设计中的致命混淆让核心结论形同沙上之塔——原生语音条件与其他条件在模型家族、模型规模、督导模型上完全不同，导致“语音保留人类能力水平”的断言无从成立。更讽刺的是，这个号称“训练环境”的系统完全不开源，代码、模型、数据集一概欠奉，目前的状态更像一次性的概念演示，而非可供社区检验和复用的工具。 ...

📄 Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot 标签：#语音交互 #大语言模型 #语音活动检测 #流式处理 #实时处理 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 6.1/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音交互 | #大语言模型 | #语音活动检测 #流式处理 | arxiv 👥 作者与机构 第一作者：Yuki Okafuji（CyberAgent, Tokyo; The University of Osaka） 通讯作者：未说明 作者列表：Yuki Okafuji（CyberAgent, Tokyo; The University of Osaka）、Koji Inoue（Graduate School of Informatics, Kyoto University; The University of Osaka）、Yoshiki Ohira（CyberAgent, Tokyo; The University of Osaka） 💡 毒舌点评 论文将意图就绪检测与语音活动投影结合，构建了一个在真实商场环境中可工作的两级语音交互流水线，时序实验清晰、对比条件明确，在降低主响应间隔上取得了显著数字。然而，主观问卷因样本过小（每条件仅30份）未能检测到差异，本质上是将统计不显著定性为“暂无差异”而非积极验证用户体验改善；同时未公布任何代码、模型或数据，复现门槛极高，极大削弱了一个系统报告的外部价值。 ...

📄 Speech Entrainment in Multi-Party Conversations with a Digital Agent 标签：#语音交互 #自监督学习 #数据集 #模型评估 #音频理解 5.3/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.2/1.5 📝 5.3/10 | 后50% | 文档类型：应用研究 | 评分置信度：中 | #语音交互 | #自监督学习 | #数据集 #模型评估 | arxiv 👥 作者与机构 第一作者：Nicholas Mehlman（南加州大学） 同等贡献：Kaitlin Zareno 与 Kleanthis Avramidis（南加州大学；论文标注 *，equal contribution） 作者列表：Nicholas Mehlman、Kaitlin Zareno*、Kleanthis Avramidis*、Anfeng Xu、Shrikanth Narayanan（全部来自南加州大学） 通讯作者：未单独指定（所有作者均提供邮箱） 💡 毒舌点评 选题组合有巧思——首次在数字代理参与的多方对话中并行考察人类间和人类-代理的语音趋同，并对比成人与家庭（含儿童）群体，洞察方向值得肯定。但样本量（尤其家庭组仅10场）和交互的自然度均偏弱，分析方法仍是“提取特征+混合效应回归”的经典套路，未见方法论突破。整体更像一份细致的探索性行为学报告，对 Interspeech 社区有参考价值，但放在顶会审稿标准下，贡献度有限。 ...

📄 Speech Signals Complement LLMs for Predicting Interpersonal Attraction in Speed Dating 标签：#语音交互 #多模态模型 #音频理解 #Transformer #模型评估 6.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.4/1.5 ✅ 6.9/10 | 前50% | 文档类型：应用研究 | 评分置信度：中 | #语音交互 | #多模态模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Yuriko Kikuchi（Japan Advanced Institute of Science and Technology） 通讯作者：未明确标注，但从机构和贡献推断为 Shogo Okada（Japan Advanced Institute of Science and Technology） 作者列表：Yuriko Kikuchi、Takato Hayashi、Ryusei Kimura、Naoya Inoue（以上均为 Japan Advanced Institute of Science and Technology）、Ryo Ishii（NTT, Inc.）、Shogo Okada（Japan Advanced Institute of Science and Technology） 💡 毒舌点评 本文找到了一个真正的开放问题——语音信号在 LLM 已经看过全部文字后究竟还能提供多少额外信息——并给出了诚实、有条件的答案，而非鼓吹“多模态必胜”的粗浅结论。然而，数据规模极小（仅 147 人）、语种单一（日语）、场景特殊（异性速配），使结论远未形成泛化证据；核心的 per-participant r 增益全部未通过多重比较校正，作者虽然坦率地不为这些不显著的增益背书，但整篇论文的说服力也因此几乎全部押注在 pairwise accuracy 的提升上，而 pairwise accuracy 的提升幅值和模式并不统一。 ...

📄 Kutti AI: A Voice-First, Offline-Capable Learning Companion with Real-Time Struggle Detection for Visually-Impaired Children 标签：#语音交互 #语音大模型 #离线 #教育 #多语言 5.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.2/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.2/1.5 📝 5.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #语音交互 | #语音大模型 | #离线 #教育 | arxiv 👥 作者与机构 第一作者：Kadharmoideen Fadurudeen（独立研究者） 其他作者：无 通讯作者：未明确指定（仅一位作者） 💡 毒舌点评 这份工作有一个善良且有现实需求的出发点——为视障儿童打造一个离线可用的纯语音学习伴侣。设计思路清晰，将本地ASR、多信号困难检测和跨语言容忍评估整合成一个完整闭环，工程架构上算是一个不错的集成。但论文完全是一个“可行性原型”的报告，没有任何定量实验或真实用户数据来支撑任何一个功能的有效性，严格来说不能算作已验证的研究成果。要冲击顶会，至少得拿出真刀真枪的用户实验和基线对比。 ...

📄 Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions? 标签：#语音交互 #音频理解 #Transformer #模型评估 7.2/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.2/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：高 | #语音交互 | #Transformer | #音频理解 #模型评估 | arxiv 👥 作者与机构 第一作者：Yuzhi Tang（Boson AI） 通讯作者：Yuzhi Tang（Boson AI） 作者列表：Yuzhi Tang, Wentao Ma, Xiling Zhao, Ahmad Salimi, Sepehr Harfi Moridani, Dongming Shen, Jixuan Wang, Abdulrahman Abdulrazzag, Murdock Aubry, Yu-Hua Chen, Daniel Lee, Jaewon Lee, Jonah Mackey, Silin Meng, Nicholas Stranges, Chenxu Xiong, Hao Yu, Yi Zhu, Mu Li, Alex Smola （全部来自Boson AI） 💡 毒舌点评 本文敏锐地抓住了全双工对话系统中“可控轮次管理”这一被忽略的关键评估缺口，并构建了一套逻辑自洽、设计巧妙的评估框架，将轮次行为形式化为指令跟随任务，是基准建设工作的良好范例。主要短板在于作为一项旨在成为“标准基准”的工作，其核心产物（代码、数据集）完全未开源，严重限制了社区的复用和后续发展；评估模型数量（6个）和语言覆盖（仅英语）的局限性也影响了其作为广泛适用基准的即时影响力。此外，依赖合成数据和LLM判官的评估范式，其向复杂真实场景的泛化能力仍需进一步验证。 ...