三路必须讲同一页:故事续写如何卡住图文语音的一致性
论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。
论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。
PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作,修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考,完整轨迹准确率仅 5.94%,而时长对照更准地命中时机,说明身份与时机必须分开度量。
针对耳机助听器等电池供电设备的语音去噪功耗问题,Zephyr 把 Spiking-FullSubNet 改写为 INT8 硬件友好版本并配以稀疏感知的复用 PE 阵列,在 Intel N-DNS 上报告 14.54 dB 与 52.9nJ 每帧的估算能耗,代价是相对浮点原版约 0.66 dB 下降且能耗为 45nm 估算而非实测。
τ-Multilingual 把英语语音任务框架原样保留、只做本地化调用者与评测本地化后,用 4500 次全双工通话检验五种语音配置,显示西语葡语印地语任务完成接近英语而韩语普通话明显掉队,且任务、交互、生成三类排名互相不一致。
共分析 55 篇语音/AI 论文
针对对齐感知草稿在加长草稿 horizon 后接受长度饱和的问题,论文用递推的声学进度状态给音频交叉注意力加高斯偏置并做变长联合训练,在五个 ASR 测试集上以无损方式报告了 0.6B 目标 1.657×与 1.7B 目标 1.227×的宏平均端到端加速,代价是引入进度预测器与强制对齐监督。
该文把离线音乐分离模型不改权重地按单跳滑窗流式运行,用读出位置控制算法延迟,证明窗口长度处存在质量拐点,并在 23 与 93 毫秒下用 HT-Demucs 与 SCNet 达到专用实时模型相当的分离质量,代价是除 HT-Demucs 外仍高于实时计算量。
针对广播语料高估方言识别能力的问题,Almieyar 按社区选图与五场景诱发新录 13.7 小时语音并零样本评测 12 个系统,总体最优仍有三成以上词错误率,且语系内部分化与字词指标背离说明必须多指标多社区评估。
论文固定文字、只改声音来要求不同工具调用,用只读文字的级联做零假设对照,报告 28 个系统在保护性来电上都偏向按字面执行、23 个可测系统中仅 11 个超越零假设,且写明规则与描述声音各只能挽回部分损失。
针对低码率一阶 Ambisonics 编码问题,论文保留标准 DirAC 分析合成、只重做空间元数据量化,用三维指向向量加跨频带残差向量量化实现恒定码率,在 750bps 元数据下重建接近 48 kbps 参考并保留可用于声事件定位检测的空间线索,代价是仍依赖外部单声道编解码器恢复 W 通道。
APEX-Voice 用 120 个带版本化工件、类型化工具、授权约束和冻结语音用户仿真的职业流程,测出最强实时语音智能体单次成功率仅 23.6% 且三轮全过仅 10.8%,代价是中间纠正与授权状态维护仍是主要瓶颈。
论文把每帧多开一层 RVQ 值不值得花作为可学习的边际效用问题,用与目标码率无关的因果控制器预测效用,再用精确序列化前缀预算做分配,在不超预算下改善三域重建与部分冻结表征任务,但因果在线增益小于离线最优且主观增益仅在语音上显著。
针对声学基础模型分数不可解释为出现概率的问题,论文用全球数据集学到的 Platt 校准参数迁移到新站点,再以贝叶斯融合加入地理先验,在保持排序能力的同时改善校准,其中 NBSP 在两模型两数据集上取得校准与判别的最佳平衡,但物种级参数预测未能稳定泛化。
针对文本链条与音频证据脱节的问题,JELAR 用冻结 WavJEPA 波形表示构造连续潜推理目标替代文本 CoT,在受控对比中 MMAU-mini 从 59.70% 到 62.40%、MMAR 从 43.70% 到 52.80%,代价是训练需非因果专家且推理仍需固定 20 步潜嵌入。
CARDAMOM 用约 40 小时转写的 YouTube 自然语音覆盖 6 国 21 种微方言,最强零样本系统总体词错率为 43.47%,在训练集上适配后降至 35.21%,而 21 分类微方言辨识达到 85.57%。
针对全双工语音模型在实时打断和多轮追问中容易丢失角色身份的问题,CharDuplex 把 GLM-4-Voice 改成双流同步结构并用自动生成加验证的角色语音数据做监督微调,再用 FDGym 在线交互强化学习修正角色一致性,最强证据是 SpeechRole-Eval 平均 0.785 分且通用与交互指标大体稳定,代价是依赖大规模合成语音与在线仿真采样的训练预 …
CoLMbo-SV 用冻结说话人编码器加旁路判定保持验证精度、用文本形式声学测量支撑可核对报告,在 VoxCeleb1-O 上报告 0.99% 等错误率与 0.82 数值接地得分,但决策敏感性分析显示报告内容对当前判定的证据选择性仍很低。
该研究用同一句话的慢中快三速对比找出语速轴,并在中间层把激活沿该轴的投影钳制到目标强度,在三套自回归语音合成系统上实现免重训调速,慢速极端下钳制保持可懂度和音色而相加式转向普遍失效,中等目标下最优规则随模型而异。
CORA 把同一音频固定在五种意图不变改写下做配对检索,用 66100 对实验显示秩降与文本位移弱相关而与目标对齐损失和边界余量退化强相关,但后者仍是诊断性关联且敏感性随模型与数据集变化。
CoSE-E 针对 HR 与 IT 服务台的 1212 条五语对混语语音,用转写字面错、语义错与下游问答错三层评价发现混语多加的是表层错而能翻转任务答案的错集中在关键实体损坏,且数据集当前已公开。