转写错一个词就失败:Talk2Agent 把语音接口从智能体执行中隔离出来称重
针对语音指令经转写后关键实体易被改写而词错率无法反映任务成败的问题,Talk2Agent 用 31.82 小时真人语音与固定下游智能体隔离评测语音接口,并以投影到提示可寻址意图的 Native 与 Shapley 免执行指标逼近真实执行,其代价是长提示口语化改写与工作区偏置仍不稳定。
针对语音指令经转写后关键实体易被改写而词错率无法反映任务成败的问题,Talk2Agent 用 31.82 小时真人语音与固定下游智能体隔离评测语音接口,并以投影到提示可寻址意图的 Native 与 Shapley 免执行指标逼近真实执行,其代价是长提示口语化改写与工作区偏置仍不稳定。
针对能听出副语言线索却不会用它规划回复的感知推理脱节问题,LoopSLM 用权重共享循环块加每轮声学重锚定和两阶段训练实现无文本思维链直接回复,证据是推理精度提升超 20 个点且生成词数减少 64.5%,代价是提示处理与每解码步都要跑 4 轮循环带来的执行深度增加。
针对嵌入聚类时间分辨率与神经 diarization 长录音身份一致性互补但表示不兼容的问题,论文用神经说话人划分调制局部表示构成连续亲和并与多尺度声学亲和相加后做一次全局聚类,在 AMI 与 CALLHOME 上同时超过两个组成系统,而硬用说话人计数则显著变差。
针对流式语音转换中说话人验证嵌入抑制帧级发音差异的问题,VOSSA 冻结内容编码器并从其中间层聚合说话人嵌入,与重建加转换双路径联合训练,在保持可比质量与可懂度的条件下减少约 19% 参数并改善音高与共振峰保持。
针对对齐感知草稿在加长草稿 horizon 后接受长度饱和的问题,论文用递推的声学进度状态给音频交叉注意力加高斯偏置并做变长联合训练,在五个 ASR 测试集上以无损方式报告了 0.6B 目标 1.657×与 1.7B 目标 1.227×的宏平均端到端加速,代价是引入进度预测器与强制对齐监督。
论文固定文字、只改声音来要求不同工具调用,用只读文字的级联做零假设对照,报告 28 个系统在保护性来电上都偏向按字面执行、23 个可测系统中仅 11 个超越零假设,且写明规则与描述声音各只能挽回部分损失。
论文把每帧多开一层 RVQ 值不值得花作为可学习的边际效用问题,用与目标码率无关的因果控制器预测效用,再用精确序列化前缀预算做分配,在不超预算下改善三域重建与部分冻结表征任务,但因果在线增益小于离线最优且主观增益仅在语音上显著。
针对全双工语音模型在实时打断和多轮追问中容易丢失角色身份的问题,CharDuplex 把 GLM-4-Voice 改成双流同步结构并用自动生成加验证的角色语音数据做监督微调,再用 FDGym 在线交互强化学习修正角色一致性,最强证据是 SpeechRole-Eval 平均 0.785 分且通用与交互指标大体稳定,代价是依赖大规模合成语音与在线仿真采样的训练预 …
该研究用同一句话的慢中快三速对比找出语速轴,并在中间层把激活沿该轴的投影钳制到目标强度,在三套自回归语音合成系统上实现免重训调速,慢速极端下钳制保持可懂度和音色而相加式转向普遍失效,中等目标下最优规则随模型而异。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚、只修正元测试梯度的域梯度手术及其逐层变体,在多组跨数据集评估上报告了平均相对等错误率下降,但部分数据集上仍存在未胜出项与方向敏感性代价。
针对流匹配语音合成多步积分代价高的问题,论文用出发点局部微分恒等式做蒸馏、用一致性代价图做全局步数规划、用四步模型做对齐自蒸馏,最强证据是 Seed-TTS 上一步达到 1.80% 词错率接近 32 步教师的 1.76%,代价是说话人相似度和预测质量仍低于教师。
该文提出以人类高成功对话为参照、比较行为分布距离的对话分布分数,用语速、节奏、轮替共八个可解释特征加语义基线评价系统,在域外目标导向对话上复合分数复现六组听众比较中的五组,但短片段与单一尺度下排序并不稳定。
论文用冻结 HuBERT 加 12 个事后融合模块做对照,问 64 维韵律监督表示是否在参数量相同的零输入融合之外再降词错误率,最强证据是三语料上 Learned 与 Null 差值仅 +0.07、-0.09、+0.00 个百分点且不显著,代价是干预实验显示模型仍依赖该表示。
针对未见攻击类型与声学条件下的语音伪造检测,论文提出域自适应双门控混合专家 DADGMoE,用原始波形与 SSL 表示的双路 Sinc 滤波加可学习域原型计算路由权重,再用轻量批量归一化仿射专家变换特征,在 21DF、ITW、FoR 上相对 XLSR-AASIST 基线取得约 31.2% 至 40.8% 的等错误率相对下降,代价是增加约 0.17M 参数并需 …
针对生成式语音增强在新声学域上微调会遗忘旧域、零样本又适应不足的问题,论文用冻结的 GPT 式主干加域专属 LoRA 逐域增量学习,在四个异构数据集上以平均 SpeechBertScore 保持旧域并适应新域,代价是域不可知时依赖熵选适配器且推理需多路前向。
该文把说话人级遗忘定义为逼近去掉遗忘集后重训模型的分布,用五种近似遗忘方法在 E-Branchformer 上比较效用与成员推断隐私,发现梯度上升类在简单攻击下最接近理想权衡,但复杂方法会被知晓遗忘的攻击识别,多人同时或顺序遗忘则同时损伤效用与隐私。
针对自监督检测器偏向全局语义与跨域层重要性漂移问题,GLAD 用语言声学交叉注意加信号卷积的多粒度融合与样本级门控组织证据,在只训练 19LA 条件下报告 21DF 等域上更低的等错误率,但以双自监督加卷积分支的更大推理开销为代价。
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。
HEAR 用 843 名美国被试的 87k 条真人录音同时检验选择问答与开放问答,报告语音条件偏见是随模型而异、可被个性化指令放大的特性,而开放任务中个性化更多降低回答有用性。
该文把每帧无序波达方向估计和说话人嵌入在输入端融合,用时间与声源两维自注意力输出按说话人排序的轨迹,在合成与 LOCATA 上以关联精度提升为主、检测与定位误差同步下降为证据,但只验证至多两说话人同时至多两活跃的短序列条件。