只用语音活动判断和谁在交谈:多人轮替如何变成可计算的对齐分数
针对助听器要在多人同场中判断助听器用户想和谁交谈的问题,论文提出只用每人二值语音活动流的多人贝叶斯最小重叠间隙框架,用会话对齐分数刻画群体轮替,并在真实 2、3、4 人对话上分别报告 97.1%、90.1% 和 90.4% 的平均伙伴识别准确率,代价是需要数十秒到数百秒的积分窗口才能观察到充分轮替。
针对助听器要在多人同场中判断助听器用户想和谁交谈的问题,论文提出只用每人二值语音活动流的多人贝叶斯最小重叠间隙框架,用会话对齐分数刻画群体轮替,并在真实 2、3、4 人对话上分别报告 97.1%、90.1% 和 90.4% 的平均伙伴识别准确率,代价是需要数十秒到数百秒的积分窗口才能观察到充分轮替。
针对多人交互中只建模说话或只建模双人的不足,PolySLGen 用过去全组语音与动作为条件联合生成目标人的文本、语音风格、身体动作和说话状态分,证据是动作与说话状态预测上优于多个基线,代价是推理约 5 帧每秒且说话状态预测仍困难。
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
AV-Dialog 针对多人干扰下跟丢目标说话人与抢话时机错乱问题,用声学码加唇部视觉做流式理解与轮次预测,在干扰下把轮次预测准确率从 54% 提升到 79%,代价是双模型并行与视觉前视带来的额外延迟与显存开销。
针对全双工口语对话模型缺可靠在线奖励的问题,论文提出把语义连贯与轮次时机分开推理再给总分的生成式奖励模型,用三阶段感知加推理加 GRPO 训练,在合成与真实人机对话上报告了更高的准确率,代价是需要合成加真实数据联合调优且尚未验证在线强化学习收益。
F-Actor 用冻结音频编码器加只微调语言模型的单阶段方案,在约 2000 小时数据上实现对音色、话题、打断与应答和起话方的指令跟随,最佳配置以词级文本对齐加 2 步音频延迟取得低困惑度和高起话准确率,但打断等稀有行为仍只能给出方向性控制且语音自然度未达真值。
该文把语音智能体的文化能力重新定义为事件限定的交互能力,用语音事件与交互契约约束韵律时机与参与管理,并以附录的事件卡与最小对诊断补足词错率与平均意见分测不到的得体性,代价是增加人工判断与规范界定负担且不提供新数据集验证。
论文用同一轻量三流分类器穷举声学、韵律、文本七种组合,发现声学加韵律在相同训练下取得最平衡的准确与延迟,而加入文本只增加抢话误报且不能提升性能。
针对附和预测中缺视频、模态时间不对齐和只盯触发点的问题,论文用多层跨模态对齐加两阶段课程学习,在韩语 KC-Dialog 上宏 F1 达到 58.53,代价是视频推理耗时从 18.868 毫秒增至 20.083 毫秒。
针对语音对话中停顿与轮次结束难以区分的问题,论文构建含合成与真实对话的 OpenETD 数据集并提出 SpeculativeETD 两级协作推理,用端侧轻量模型逐块判有声无声、只在静音段触发服务端大模型判暂停还是结束,在混合训练下真实集上取得更好分割效果,代价是服务端调用与传输延迟仍需计入部署预算。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
该研究把多方桌游对话切成保持或让渡的 2 分类问题,用文本加音频加语义手势的混合专家模型求解,最强证据是 3 模态融合在语义监督下取得更高的宏平均 F1,代价是标注一致性中等且领域局限于游戏对话。
针对全双工对话需要保留轮转、重叠与反馈时序但真实录音纠缠不清的问题,ConversationalVoice 用质量校验的分离、词面固定的重建与上下文约束的扩展三阶段产出共享格式的双轨数据,并在自动评估中保持 0.983 至 0.991 的同说话人相似度与正向区分度,同时以重建提升预测音质而扩展维持相近交互密度。
针对泰米尔电话语音在每次停顿判断是否说完的问题,论文用 116 通双通道电话切出 18485 个边界并以音频大模型重标,再把 Smart Turn v3 微调为 8.7 MB 与 21 MB 两个纯音频模型,在 30 通未见来电的 4168 条上把准确率从 70.30% 提到 86.13%,代价是生产端 VAD 与流式切窗再扣约 2.60 点且部分边界根本不 …
TASTE2 把每个文本词元配一个连续音频隐变量使序列长度严格等于文本,用 56.3% 对 57.3% 保留 98.2% 文本问答能力并以 0.060 秒停下响应用户打断,代价是流畅接话需 1.207 秒、部署首音频 2701 毫秒且显式副语言控制不稳定。
llmovoice 把语音交互的上下文拆成语义、副语言与环境三状态,用 VoicePage/VoiceThread 组织记忆并在预算内投影到上下文窗口,再让服务模型联合推理生成运行时指令,在丢包下把误打断率从 46.0% 降至 0.9%、每轮成本最高降低 24.9 倍,代价是编排调用时约 790 ms 的额外决策延迟与摘要压缩带来的细节丢失。
论文把回合结束判断搬进识别器,用语义完整加已观测静音的因果标注训练小 LoRA,在部署一致回放上以 0.97 边界召回、0.39 s 中位延迟、每语音分钟 0.3 次误触发超越全部静音超时,代价是统一多任务后精度回落与离线词错率小幅上升。
TurnFSM 把语义 VAD 与 utterance 级拒绝写成先提交后接受或拒绝的有限状态转移并用一阶依赖实现流式预测,在内部语义 VAD 上报告成功率 82.41% 与成功延迟 80.9 ms,在拒绝上报告 FAR 3.35% 与 FRR 16.04%,代价是仍需两阶段对齐与大模型推理开销。