打断要让,附和要留:窗口似然如何替代采样式时机奖励
针对全双工语音模型在用户打断与附和时的让路或保持决策,论文用事件窗口内停止概率的闭式似然替代整段采样的 GRPO 奖励,在六个开源模型上取得最优让路保持 F1 且不增加静音下重开话轮的副作用。
针对全双工语音模型在用户打断与附和时的让路或保持决策,论文用事件窗口内停止概率的闭式似然替代整段采样的 GRPO 奖励,在六个开源模型上取得最优让路保持 F1 且不增加静音下重开话轮的副作用。
针对生成式目标说话人提取训练收敛慢的问题,MG-REPA 在中间层同时做帧级内容对齐与 utterance 级说话人对齐并做时间归一化解耦,在 Libri2Mix 上以 750 轮达到 2000 轮基线的质量并把 OVRL 与 PESQ 的收敛轮数分别缩短到约三分之一与二分之一。
针对只有目标注册语音时缺少干扰方信息的问题,NECTAR 利用混合质心近似等于说话人质心中点的几何关系并用质心空间映射器从单段输入估计质心,再把目标嵌入与估计的干扰质心拼接送入提取器,在 Libri2Mix 上达到 16.18 dB 的 SI-SDRi 提升,代价是增加一个约 1 小时训练的小型映射器。
针对带噪目标训练会留下残留噪声的问题,论文用非成对干净语音的 Sinkhorn 漂移损失在语音质量评估模型隐空间内做分布对齐,在 VoiceBank-DEMAND 上保住波形保真度的同时提升听感指标,并在 CHiME-3 真机录音的域自适应中同样改善听感。
用按音素查平均声学向量并按对齐时长展开的伪语音代替冻结语音合成模型做文本注入,在保持词错误率的同时把训练加速到 1.8 倍,但增益大小随文本音频比和配对音频量变化。
针对随语音生成长时间全身动作时会风格漂移和历史代价增大的问题,PASPA 把远历史压缩为跨块持续状态、把当前块用双向注意力精细建模,并在块式流匹配下用多块监督与混合引导训练推理,在 BEAT2 与 SHOW 上取得最优的生成质量指标,但长尾大位移与超长记忆仍有限制。
针对自由描述覆盖不一致、缺省无法区分缺席与证据不足的问题,SURE-Tagger 用专科模型提供证据再由语言模型整合成显式属性加补充描述的半结构表示,在 Tag-Bench 上标注得分最高,并用条件聚类指导一小时微调使 Qwen3-ASR-1.7B 整体误差相对下降 14.3%,代价是需要多模型流水线和候选池打标与评测开销。
论文为呼叫转写做因果语音隔离,用从通话自身注册的主讲人线索做掩蔽,在长通话和单人通话的权衡中用因果化的 WavLM 改善两端,并蒸馏出单 CPU 线程可跑的小模型。
该文用预先声明唤醒度与效价方向的日英冲突基准,定位规划到合成链路的断点,并证明固定合成器时监督与学习式情感控制接口能部分恢复反字面表达,但效果随语言和声学轴而异。
X-Dubbing 把配音拆成管时间结构的翻译器和看视频说话的合成器,用合成后语音的反馈来挑选译文,在法语到英语演讲视频上同时改善了时长符合度与口唇同步,但结论只在单人独白和给定评测条件下成立。
该研究用同音词对的顺序判断任务检验词时长是否直接提示词身份,发现在噪声掩蔽和只剩噪声时长时被试仍把更短的一段对应更高频词,但效应小且只在单说话人、16 对词、固定时长比下成立。
论文针对多语料混合评估抑郁语音时因各库患病率不同而产生的排序捷径,推导只用语料身份和患病率的语料 AUC 诊断式,并在五库 590 人上验证该通道可被语音表征利用且均衡患病率后差异明显缩小。
论文比较 CTC 与单调 Transducer 在不同剪枝和语言模型下的词错误率与搜索耗时,核心证据是外部语言模型下多数时刻活跃假设很少但困难处出现瞬时高峰,而按分数差距保留假设的动态剪枝能在保持词错误率的同时把搜索耗时降低约一个数量级。
该文解决普通话 TTS 只能做整句风格控制、不能在指定汉字上调时长音高停顿的问题,用大规模自动提取的 Unicode 韵律标记加微调 CosyVoice2 的语言模型实现字级控制,代价是阈值固定、只验证普通话和单一主干且听感评估仅为描述性比较。
论文用位置对齐的探针与等范数干预证明,VoxCPM2 中说话人信息处处可解码,但只有早期参考音频位置的成对对齐改写能稳定地把合成语音推向目标说话人,而这还依赖下游可达的合成通路。
针对资源受限语音增强要在小算力下保留频谱细节的问题,HC-AINet 用三角形 ERB 子带压缩增益预测、用带噪谐波位置图在原始频点上补充谐波分支并做幅度条件相位重建,在 VoiceBank-DEMAND 上 64 带达到 PESQ 3.20 而参数约 0.27M,代价是频带加倍时运算量明显上升。
HeyGen Voice 要解决用一段日常录音为说话视频配音时保留说话人而让语气和房间声跟随画面走的问题,用图像加两段文字描述加参考音频共同控制的自回归声学模型和五阶段跨场景训练实现,并在 331 个跨场景样本、十语种内容保真、245 例五语种听感对比和 43 人自评视频中验证了两种克隆策略在场景贴合与录音保真之间的取舍。
KIRA 针对儿童语音难识别、单词分数缺少诊断信息的问题,用同一录音上的单词识别与音素识别两条通路分别做流利度计分和子词错误定位,在儿童语音子集上把词错误率从 13.88% 降到 8.84%、音素错误率从 41.66% 降到 23.00%,并以网页报告呈现,但音素层尚未与专家标注对齐,也未验证课堂诊断效用。
论文把换说话内容看成音频与嘴部运动的局部配合问题,用 SyncSpeech 控制说话人是否相同来建库,用 C-MIND 做帧级对齐比较,在库内达到 95.813% 场景平均准确率和 0.9943 AUC,但换到未见过的 Video-Retalking 生成器时掉到 82.775%。
论文用同一批句子的真人录音测出评估用识别器自身的漏检率,再用三个识别器家族逐词核验,证明标准往返转写的罕见词错误被高估两到三倍,而单识别器掩码是有偏的修正。