会说话不等于会干活:APEX-Voice 测全双工语音智能体能否交出有效工作成品
APEX-Voice 用 120 个带版本化工件、类型化工具、授权约束和冻结语音用户仿真的职业流程,测出最强实时语音智能体单次成功率仅 23.6% 且三轮全过仅 10.8%,代价是中间纠正与授权状态维护仍是主要瓶颈。
APEX-Voice 用 120 个带版本化工件、类型化工具、授权约束和冻结语音用户仿真的职业流程,测出最强实时语音智能体单次成功率仅 23.6% 且三轮全过仅 10.8%,代价是中间纠正与授权状态维护仍是主要瓶颈。
论文把每帧多开一层 RVQ 值不值得花作为可学习的边际效用问题,用与目标码率无关的因果控制器预测效用,再用精确序列化前缀预算做分配,在不超预算下改善三域重建与部分冻结表征任务,但因果在线增益小于离线最优且主观增益仅在语音上显著。
针对声学基础模型分数不可解释为出现概率的问题,论文用全球数据集学到的 Platt 校准参数迁移到新站点,再以贝叶斯融合加入地理先验,在保持排序能力的同时改善校准,其中 NBSP 在两模型两数据集上取得校准与判别的最佳平衡,但物种级参数预测未能稳定泛化。
针对文本链条与音频证据脱节的问题,JELAR 用冻结 WavJEPA 波形表示构造连续潜推理目标替代文本 CoT,在受控对比中 MMAU-mini 从 59.70% 到 62.40%、MMAR 从 43.70% 到 52.80%,代价是训练需非因果专家且推理仍需固定 20 步潜嵌入。
CARDAMOM 用约 40 小时转写的 YouTube 自然语音覆盖 6 国 21 种微方言,最强零样本系统总体词错率为 43.47%,在训练集上适配后降至 35.21%,而 21 分类微方言辨识达到 85.57%。
针对全双工语音模型在实时打断和多轮追问中容易丢失角色身份的问题,CharDuplex 把 GLM-4-Voice 改成双流同步结构并用自动生成加验证的角色语音数据做监督微调,再用 FDGym 在线交互强化学习修正角色一致性,最强证据是 SpeechRole-Eval 平均 0.785 分且通用与交互指标大体稳定,代价是依赖大规模合成语音与在线仿真采样的训练预 …
CoLMbo-SV 用冻结说话人编码器加旁路判定保持验证精度、用文本形式声学测量支撑可核对报告,在 VoxCeleb1-O 上报告 0.99% 等错误率与 0.82 数值接地得分,但决策敏感性分析显示报告内容对当前判定的证据选择性仍很低。
该研究用同一句话的慢中快三速对比找出语速轴,并在中间层把激活沿该轴的投影钳制到目标强度,在三套自回归语音合成系统上实现免重训调速,慢速极端下钳制保持可懂度和音色而相加式转向普遍失效,中等目标下最优规则随模型而异。
CORA 把同一音频固定在五种意图不变改写下做配对检索,用 66100 对实验显示秩降与文本位移弱相关而与目标对齐损失和边界余量退化强相关,但后者仍是诊断性关联且敏感性随模型与数据集变化。
CoSE-E 针对 HR 与 IT 服务台的 1212 条五语对混语语音,用转写字面错、语义错与下游问答错三层评价发现混语多加的是表层错而能翻转任务答案的错集中在关键实体损坏,且数据集当前已公开。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚、只修正元测试梯度的域梯度手术及其逐层变体,在多组跨数据集评估上报告了平均相对等错误率下降,但部分数据集上仍存在未胜出项与方向敏感性代价。
针对免提通话需要因果低延迟联合回声噪声控制的问题,DiffVQE2 用因果卷积加单向 GRU 改造混合扩散框架并辅以有限前视,在 ICASSP 2023 AEC 盲测上以更低算力取得更高的主观 MOS,但客观双讲指标仍有代价。
针对流匹配语音合成多步积分代价高的问题,论文用出发点局部微分恒等式做蒸馏、用一致性代价图做全局步数规划、用四步模型做对齐自蒸馏,最强证据是 Seed-TTS 上一步达到 1.80% 词错率接近 32 步教师的 1.76%,代价是说话人相似度和预测质量仍低于教师。
该文提出以人类高成功对话为参照、比较行为分布距离的对话分布分数,用语速、节奏、轮替共八个可解释特征加语义基线评价系统,在域外目标导向对话上复合分数复现六组听众比较中的五组,但短片段与单一尺度下排序并不稳定。
论文用冻结 HuBERT 加 12 个事后融合模块做对照,问 64 维韵律监督表示是否在参数量相同的零输入融合之外再降词错误率,最强证据是三语料上 Learned 与 Null 差值仅 +0.07、-0.09、+0.00 个百分点且不显著,代价是干预实验显示模型仍依赖该表示。
针对未见攻击类型与声学条件下的语音伪造检测,论文提出域自适应双门控混合专家 DADGMoE,用原始波形与 SSL 表示的双路 Sinc 滤波加可学习域原型计算路由权重,再用轻量批量归一化仿射专家变换特征,在 21DF、ITW、FoR 上相对 XLSR-AASIST 基线取得约 31.2% 至 40.8% 的等错误率相对下降,代价是增加约 0.17M 参数并需 …
针对生成式语音增强在新声学域上微调会遗忘旧域、零样本又适应不足的问题,论文用冻结的 GPT 式主干加域专属 LoRA 逐域增量学习,在四个异构数据集上以平均 SpeechBertScore 保持旧域并适应新域,代价是域不可知时依赖熵选适配器且推理需多路前向。
针对全双工语音每秒输入必须在下一秒前变成一秒语音的截止期问题,DuplexCadence 把时钟速率与保留界声明给运行时,用按需定址的携带缓存与精确形状图回放在合成尾段实现约 2.85 倍加速与约 38.8% 峰值内存下降并保持逐字节一致,代价是一次性捕获预热与自回归阶段仍在无损范围之外。
针对视频配音等场景的时长错位问题,DuraS2ST 用先推理选词控音长再生成语音的两阶段流程,结合 DuraSet-440K 监督与时长容限强化学习,在 CVSS-T 中英双向测试上同时保持翻译质量并把时长误差压到最低,但当前验证仍限于中英离线生成。
该文用跳字模型在贝多芬与披头士和弦序列上学习 24 个大小三和弦嵌入,证明移调增广能恢复五度圈、调中心分离与可转向的调区域,并用和弦到调距离与上下文距离构造张力量,与匹配的音调区间向量量中等对应、与人类紧张度中等对齐,但输入丢掉了转位与织体信息。