长对话为什么会崩:全双工语音模型的长时间崩溃与无重训修复
论文针对全双工语音模型在数十分钟对话中出现重复、长时间沉默和胡言乱语的问题,用受控重放与实时交互两轨基准定位崩溃,并用保留首个缓存表项与抑制近期复读的无重训方法把滑动窗口模型的崩溃大幅降低,同时保持实时运行。
论文针对全双工语音模型在数十分钟对话中出现重复、长时间沉默和胡言乱语的问题,用受控重放与实时交互两轨基准定位崩溃,并用保留首个缓存表项与抑制近期复读的无重训方法把滑动窗口模型的崩溃大幅降低,同时保持实时运行。
MOSAIC 用 923 个跨文本图像视频音频的多会话问题和冻结读者与预算的配对干预,定位证据在表示压缩、检索缺失、打包丢弃和阅读整合哪一段丢失,最强证据是空间结构不可被文本替代,代价是合成历史与视频小样本下的结论仍受限。
论文针对全模态大模型在长时多语多说话人视频中说不清谁何时说了什么的问题,构建 297 条六语种平行音视频基准并评测 9 个模型,发现文字转写尚可但时间定位与说话人区分仍是主要瓶颈且视觉不总是有帮助。
StreamEval 用 300 个定时交互用例考查边生成边响应能力,发现好看和像本人不等于听指令,最高请求执行分也只有 36.90、25.93 和 15.00,而完整编辑还要同时付出保源和保时的代价。
TRIAD 用 327 个查询和 86 个场景组检验只有文本图像音频三者齐备才能唯一确定答案的互相消歧能力,最强模型在单题上接近人类但在整组一致性和开放作答上大幅落后,且缺模态时仍能靠捷径作答。
DIVE 用 525 个带精确时间窗的连续音视频样本,把是否该说、何时说、说得对不对分开测,发现头部实时模型平均延迟已压到 1 秒内,但窗口命中率最高仅 53.77%,且在语音触发干预和说话中改口上最弱。
DuplexLedger 用 1094 个中英持久会话把打断、停顿、旁人说话和附和与 Write、Update、Ignore、Retain 四种记忆操作对齐,发现现有全双工模型都无法兼顾交互边界与最终记忆状态,而 8.92M 参数的 ACT-Mem 外挂模块把最新值准确率从 4.11% 提升到 8.68%,但完整状态重建仍很困难且打断停止变慢。
EvaOmni 针对只看答案无法判断是否真用了音视频证据的问题,构建 392 个视频 1027 道需定位双模态证据的选择题并用覆盖分和瓶颈分同时考核答案与定位,最强模型 Gemini3.7-Flash 总体准确率 79.4% 但精确接地仅 35.1%。
MS-Bench 把多说话人转写按说话人数、重叠、相似度、轮转间隔和声学质量分层取样,用 32.72 小时录音揭示重叠同时损害文字与归属、其他因素各有侧重,并以 MOSS-Pro 最低 WER 22.49% 为最强证据。
SPARC 把播客语音转成文字后构造同一说话人与性别口音标签的成对验证,发现大语言模型在跨播客条件下仍能关联说话人,而缩短待测文本只能部分降低这种关联。
论文针对干净录音训练的阿姆哈拉语识别在真实电信语音上失效的问题,用同一批录音加可控退化构造多条件基准,测出最强基线在窄带加丢包下词错误率从 0.23 升到 0.79,并证明扩大数据加电信感知增强能把极端噪声下错误相对降低 23.6%。
MUB 把 500 首遮去标题身份的录音配上速度、调式、拍号和全曲结构区间来考查多模态模型是否真从音频听出音乐内容,现有证据只有波形启发式与分布常数两类参考基线且验证尚未完成。
论文用情绪稳定与情绪变化语音的对照构造 EmoShift 基准,发现句内情绪变化能让合成语音更像真人并让真实语音更像伪造,七个检测器的漏检与误报随数据集和情绪轨迹而变化,且不能只用静态情绪或拼接痕迹解释。
论文把声学感知压缩为单一声学因素随时间增强还是减弱的二分类,用 21600 条受控语音和人类 94.4% 对比模型约 50% 的结果证明瓶颈在感知与读出,并用线性探测区分了两种失效模式。
论文把几分钟到几十分钟提示条件下不微调即复现韵律作为新任务,用 37 人双语基准和分维度指标检验以 32 个向量压缩长提示的参考系统,发现提示增至约 10 分钟多项韵律指标改善而更长后趋于饱和。
论文用 240 段合成多方对话同时考轮次结束与成功抢话两件事,发现轮次结束可达 92.6% 召回而抢话最高仅 56.2%,且五个全双工智能体进场很准但选择性让话接近随机。
MuseBench 用 361166 首曲目对照人类作曲与 10 种生成器输出,测出频谱图模型在干净条件下接近满分但在跨模型、压缩与变速下分化,并归纳出频谱、和声与演奏层面的可复现伪影线索与代价。
PEDBench 围绕发音错误检测这一细粒度听辨任务,用三档可控程度不同的新数据检验 13 个语音模型,并验证合成错音数据微调语音-语言模型的效果与跨到真实儿童语音时的落差。
论文把只有文字的 SEA-HELM 改造成先合成语音再识别转写的语音评测,用同一大模型和同一规则评分器对比文本直答与语音转写后作答,量化多语言语音链路在选择题和指令遵循上带来的准确率损失及其语言和任务差异。
AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝,用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力,说明更新优势在什么录音与历史条件下出现以及擦除的作用。