会议里谁在跟谁说、谁接着说:文本推理能走多远,音视频为何还没接上
该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务,显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型,而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人,代价是对原始音视频利用不足且上下文过长时推理负担上升。
该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务,显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型,而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人,代价是对原始音视频利用不足且上下文过长时推理负担上升。
该研究针对孟加拉语会话缺少轮次结束标注问题,用播客音频加说话人日志加语言模型初标加人工全检构建 35374 条语料,并用 Whisper 编码器加多尺度池化做二分类,在 319 条异源平衡测试集上达到 84.33% 准确率,代价是误报率升至 23.75%。
针对韩语流式倾听中声学停顿会误导应声的问题,该研究用停顿概率软加权把决策收拢到停顿附近,再用部分识别文本过滤问句后不该应声的停顿,评估报告语义误发现率下降 53.8%,代价是召回率从 80.40% 降到 71.74%。
针对全双工对话模型很少显式建模倾听反馈时机的问题,论文在冻结思路下外挂一个从主干隐藏状态预测反馈起始概率并用阈值触发强制解码的两层头,在 7B 与 1B 两个模型上验证了频率可调与人类评分持平,但高频档会抬高抢话率等代价同时代码链接当前不可用。
论文把每次停顿后的说与不说做成二分类预测,用三域 12 万标注点证明八个大模型零样本都不行,再用带推理蒸馏的有监督微调把平衡准确率提高至多 23 个百分点,代价是仍需文本上下文与标注监督且未验证实时多模态部署。
该研究让 55 名典型听力与 57 名听力损失的老年被试仅凭韵律判断陈述疑问句是结束还是延续,发现两组敏感度都高于机会但所依赖的声学维度分离:典型听力组靠目标词时长与强度的边界强度交互,听力损失组靠末端上升的时长与音程,而延续项在两组中都未被四个测量稳定预测。
该文用 32 组 105 人的被试内配对设计采集约 59 小时面对面与视频会议群组对话并做多模态特征与人工标注,报告显示视频会议话轮间隔更长、话语更短且句法更简单而面对面愉悦度更高,代价是任务单一且设备与场景控制仍会引入域差异。
该研究以四个英西语料检验话轮末尾词是否比句中词更长,用同词同人配对与音节定位排除选词假象,最强证据是排除回馈词后 pooled 差 203.1 ms、d=1.22,而代价是未建模语速句法且只覆盖两种语言。
论文针对固定窗口把延迟与重叠一律判错的问题,用六类意图后验与人类轮换偏移分布加权连续打分,在 9728 个回合上显示最强系统综合分 0.47 远低于人类 0.86 且与人评一致性更高,但代价是需要多标注者意图标注与分人群拟合的参考分布。
Voice-Light 研究全双工级联语音交互中的轮次判断与重叠处理,用共享流式识别编码器的因果适配器加可逆混合控制器与私有推测生成,在 1673 个静音候选的锁定测试中学习策略仅获 12.53% 召回而保留混合控制器,在 36 轮真机麦克风案例中取得 758 毫秒中位响应但以 800 毫秒超时兜底。
该研究用同一话题下只换触发句并压缩停顿的配对独白,检验五个模型家族何时抢话,结果显示被直接提问和静音可靠地触发开口,而错误事实与危险行为几乎不触发,且把话轮交出去后纠错与警告比例仍很低。
ECHO 把插入文本固定而重写前文对话来区分打断与非打断重叠,用必须两成员全对的配对指标报告了三系统重度让出偏置与仅 MiniCPM-o 4.5 相对均衡,代价是合成语音与受控声学带来的生态效度损失。
论文把在干净视频会议数据上训练的预测性轮次模型放到高重叠鸡尾酒会数据上检验,发现多模态加权 F1 从干净域掉到新域约三分之一,微调能提升多模态约三成但伴随原域遗忘,而纯音频分支几乎无法适应。
该文在约 400 小时面对面双人对话上把注视、头部、身体手部与面部动作单元接入语音活动投影模型,最优结构以交叉注意力加三帧差分与早期门控把语音活动投影损失从 2.166 降到 2.100,面部动作单元是最强的单一视觉组但全量组合仍最好,代价是需要多模态特征提取与更大的推理开销且划分不是按会话对隔离。
共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读
该研究以自报听力困难的老年听者为对象,用自然、增强末尾重读音节 f0 峰、压低 f0 峰并提前下降三种问句条件做在线按键预测,发现压低条件比增强条件更快更准,而增强峰反而损害预测,同时主观努力与信心因天花板效应未能区分条件。
MP-Bench 用合成四人语音与显式、隐式、消极三类轮次条件测语音智能体,12 个系统的最强证据是带完美说话人标签的文本上限接近满分而实时语音系统在游戏轮次上徘徊于随机水平,代价是完全受控合成、无重叠与单决策点评估。
针对离线轮替标注中暂停打断与重叠打断样本过少导致韵律学不会的问题,论文比较声学扰动、删尾重组及其组合三种增广,用随机森林在阿根廷西班牙语任务对话上把开发集 PI 从 0.36 提到 0.45、I 从 0.41 提到 0.48,代价是平滑转换与重叠转换的 F1 轻微下降且留出集宏平均未提升。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读