会议里谁在跟谁说、谁接着说:文本推理能走多远,音视频为何还没接上
该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务,显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型,而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人,代价是对原始音视频利用不足且上下文过长时推理负担上升。
该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务,显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型,而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人,代价是对原始音视频利用不足且上下文过长时推理负担上升。
针对黄獴幼体 9 类叫声分类与 29 段野外录音检测两个问题,论文用 24 频×16 时的手工谱时特征加随机森林取得 0.684 平均准确率并用置换重要性解释未定类,用无监督 rVAD 取得 0.81 灵敏度但以 0.19 精度为代价并靠合并邻近片段提精度。
针对二语口语语法纠错中是否应先删除不流利成分的问题,论文用犹豫标记注入加犹豫类型嵌入保留三类犹豫信息,在 Speak & Improve Corpus 2025 人工转写对照上以 F0.5 0.4790 超过规则删除基线与人工流利基线,而犹豫附近误差增益更大且需依赖可靠的犹豫标注。
该研究用同一句爱尔兰语合成语音的嗓音源改造加三维人脸动画检验视觉通道的作用,最强证据是不一致视觉把快乐识别率从 94% 拉低到 58%,代价是一致视觉并未显著增强目标情感且放松情感仍易与厌倦混淆。
该研究把痴呆检测做成二分类语音任务,用冻结的基础语音编码器加轻量下游头比较单语与多语训练,最强证据是英语合并集 0.854 F1 与多语合并集 0.761 F1,而代价是小语种与跨语言零样本性能明显下降且依赖切分与时长等实验条件。
该研究针对语音认知障碍筛查中变换器不可解释的问题,选择在 SpeechCARE-AGF 筛查模型上叠加 SHAP 词归因、理论驱动语言特征与四阶段大模型推理,最强证据是测试集 AUC 86.83% 与 F1 72.11% 基础上的 70 例盲评一致率 98% 与可用性 82 分,代价是解释目前只覆盖语言分支而未解释声学分支。
论文用盲扩散去混响处理两库弱混响与强混响录音再经 35 个治疗室脉冲响应卷积,报告连续语音的嗓音排序与电平得到恢复而延持元音恢复有限,代价是第二次去混响对连续语音出现轻微高估且元音等效性不成立。
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。
针对离散采样与网格重采样丢失耳廓细节的问题,GISNO 把三维头型到边界声压学成连续算子再用可微亥姆霍兹积分渲染到任意场点,在 HUTUBS 上把对数谱失真降到 2.92 dB,代价是验证仍局限于较小数据集与仿真零样本条件。
针对多人重叠语音转写中深层说话人特征稀释问题,GLAD 用浅层全局路由加中间层局部路由的逐帧动态融合来指导低秩专家选择,在 LibriSpeechMix 与 CH109 上报告了优于 SOT 基线的错误率,尤其在高重叠下更稳,但三说话人仍是零样本泛化且真实数据需再微调。
针对随机切段与噪声增强导致单步置信抖动的问题,HistoMatch 用瞬时置信加稳态历史一致性做双态筛选,在每说话人 20 条标注时 VoxCeleb1-O/E/H 上报告 0.91%、1.13% 和 2.13% 的等错误率,代价是需要维护跨轮预测队列与双阈值滑动平均。
该研究在 42 种语言的替换错误上直接测量语音、形态、句法和词义相似度,用混合效应贝塔回归证明句子语义保留来自跨维度交互而非单维度叠加,最强证据是形态句法联合保留的增益和系统差异,但代价是对插入删除不建模且依赖现有工具链的标注噪声。
针对双耳混合中目标说话人提取后空间线索易失真的问题,该工作选择直达路径头相关传输函数作为空间先验并在窄带分离骨干上做潜空间调制,在仿真上报告了更高的信失真比改善和更小的耳间线索误差,在头颈模拟器实录上报告了更高的非侵入式质量分,代价是依赖目标方位已知与头相关函数库的角度采样密度。
HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾,采用双流结构加语义蒸馏,在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性,并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速,但声学保真指标略有让步。
针对老年听辨需求,论文用医护专家示范代替老人偏好标注,以专家奖励加发音奖励的复合奖励做 GRPO 微调,并用两阶段在策略奖励学习抑制奖励黑客行为,最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO,代价是专家数据仅 1.5 小时且需多轮奖励模型重训。
针对中英会话语码切换数据稀缺问题,该工作用语音级 CMI 连同可懂度和自然度做多评价偏好学习来优化 CosyVoice2 合成,再把合成语音与真实语音混合微调 Whisper 等识别模型,在 SEAME 上把混合错误率降到 DevMAN 8.9% 与 DevSGE 14.2%,代价是依赖伪帧语言标签与多模型打分流水线。
该文研究多通道语音增强训练数据的房间声学仿真保真度问题,对比几何声学与波加几何混合仿真训练的 SpatialNet 在实测 Eigenmike 数据上的词错误率,最强证据是混合仿真在 OV40 上相对 ISM-U 降低 38.3%,代价是需要高精度几何、频变材料与全波接收建模。
针对直接从语音推断信念状态时整状态重写输出长、易误改未变槽位的问题,该文用 Qwen2.5-Omni-7B 只生成转写加符号化编辑操作并以 GRPO 优化生成级奖励,在 SpokenWOZ 预测模式下达到 49.20 联合目标准确率,代价是依赖上一轮预测状态因而误差会跨轮传播且 GRPO 采样训练成本明显更高。
28 名中国英语学习者以听后跟读方式分别模仿人类女声与 Azure 神经合成女声,结果人类声在归一化嗓音起始时间上诱发更强趋同而合成声在元音时长对比与强度节奏上诱发更强调整,代价是结论只限于女性、无明确模仿指令的句子跟读条件。
针对仅用 ASR 标注训练多语言语音大模型时共享查询投影器出现语言干扰的问题,论文用查询库加门控做语言相关的蒸馏,在冻结编码器和大模型下报告了开放式指令平均 14% 增益和 Audio-MLQA 上 32% 提升,但合成评测与判分器依赖构成主要代价与边界。