论文解读

打断要让,附和要留:窗口似然如何替代采样式时机奖励

针对全双工语音模型在用户打断与附和时的让路或保持决策,论文用事件窗口内停止概率的闭式似然替代整段采样的 GRPO 奖励,在六个开源模型上取得最优让路保持 F1 且不增加静音下重开话轮的副作用。

 · 更新于 2026-11-04 · 约 20 分钟 · 9932 字 阅读 →
论文解读

同时对齐内容与音色:MG-REPA 如何加速生成式目标说话人提取

针对生成式目标说话人提取训练收敛慢的问题,MG-REPA 在中间层同时做帧级内容对齐与 utterance 级说话人对齐并做时间归一化解耦,在 Libri2Mix 上以 750 轮达到 2000 轮基线的质量并把 OVRL 与 PESQ 的收敛轮数分别缩短到约三分之一与二分之一。

 · 更新于 2026-11-04 · 约 17 分钟 · 8446 字 阅读 →
论文解读

NECTAR:从混合语音中自动估计干扰说话人负线索

针对只有目标注册语音时缺少干扰方信息的问题,NECTAR 利用混合质心近似等于说话人质心中点的几何关系并用质心空间映射器从单段输入估计质心,再把目标嵌入与估计的干扰质心拼接送入提取器,在 Libri2Mix 上达到 16.18 dB 的 SI-SDRi 提升,代价是增加一个约 1 小时训练的小型映射器。

 · 更新于 2026-11-04 · 约 20 分钟 · 9757 字 阅读 →
论文解读

带噪目标训练结合漂移:用不成对干净语音压住残留噪声

针对带噪目标训练会留下残留噪声的问题,论文用非成对干净语音的 Sinkhorn 漂移损失在语音质量评估模型隐空间内做分布对齐,在 VoiceBank-DEMAND 上保住波形保真度的同时提升听感指标,并在 CHiME-3 真机录音的域自适应中同样改善听感。

 · 更新于 2026-11-04 · 约 18 分钟 · 8995 字 阅读 →
论文解读

每个音素一个平均向量:不用神经合成器的文本注入

用按音素查平均声学向量并按对齐时长展开的伪语音代替冻结语音合成模型做文本注入,在保持词错误率的同时把训练加速到 1.8 倍,但增益大小随文本音频比和配对音频量变化。

 · 更新于 2026-11-04 · 约 16 分钟 · 7529 字 阅读 →
论文解读

把过去记成状态、把现在做成注意力:面向长时语音手势的块式流匹配

针对随语音生成长时间全身动作时会风格漂移和历史代价增大的问题,PASPA 把远历史压缩为跨块持续状态、把当前块用双向注意力精细建模,并在块式流匹配下用多块监督与混合引导训练推理,在 BEAT2 与 SHOW 上取得最优的生成质量指标,但长尾大位移与超长记忆仍有限制。

 · 更新于 2026-11-04 · 约 8 分钟 · 3697 字 阅读 →
论文解读

把语音条件写清楚:SURE-Tagger 的结构化标注与组合评测

针对自由描述覆盖不一致、缺省无法区分缺席与证据不足的问题,SURE-Tagger 用专科模型提供证据再由语言模型整合成显式属性加补充描述的半结构表示,在 Tag-Bench 上标注得分最高,并用条件聚类指导一小时微调使 Qwen3-ASR-1.7B 整体误差相对下降 14.3%,代价是需要多模型流水线和候选池打标与评测开销。

 · 更新于 2026-11-04 · 约 19 分钟 · 9437 字 阅读 →
论文解读

电话线上的声音:只留下打电话的人

论文为呼叫转写做因果语音隔离,用从通话自身注册的主讲人线索做掩蔽,在长通话和单人通话的权衡中用因果化的 WavLM 改善两端,并蒸馏出单 CPU 线程可跑的小模型。

 · 更新于 2026-11-04 · 约 17 分钟 · 8169 字 阅读 →
论文解读

当人设与台词冲突时:链式思考语音合成在哪里丢失意图

该文用预先声明唤醒度与效价方向的日英冲突基准,定位规划到合成链路的断点,并证明固定合成器时监督与学习式情感控制接口能部分恢复反字面表达,但效果随语言和声学轴而异。

 · 更新于 2026-11-04 · 约 16 分钟 · 7568 字 阅读 →
论文解读

固定视频不变,译文怎么说才能对上口型和节奏

X-Dubbing 把配音拆成管时间结构的翻译器和看视频说话的合成器,用合成后语音的反馈来挑选译文,在法语到英语演讲视频上同时改善了时长符合度与口唇同步,但结论只在单人独白和给定评测条件下成立。

 · 更新于 2026-11-04 · 约 16 分钟 · 7948 字 阅读 →
论文解读

词长短本身能提示是哪个词吗:普通话同音词的时长线索解读

该研究用同音词对的顺序判断任务检验词时长是否直接提示词身份,发现在噪声掩蔽和只剩噪声时长时被试仍把更短的一段对应更高频词,但效应小且只在单说话人、16 对词、固定时长比下成立。

 · 更新于 2026-11-04 · 约 14 分钟 · 6983 字 阅读 →
论文解读

只用语料身份就能排抑郁风险吗:混合评估中的患病率捷径诊断

论文针对多语料混合评估抑郁语音时因各库患病率不同而产生的排序捷径,推导只用语料身份和患病率的语料 AUC 诊断式,并在五库 590 人上验证该通道可被语音表征利用且均衡患病率后差异明显缩小。

 · 更新于 2026-11-04 · 约 16 分钟 · 7843 字 阅读 →
论文解读

时间同步端到端语音识别还要做多大的搜索空间

论文比较 CTC 与单调 Transducer 在不同剪枝和语言模型下的词错误率与搜索耗时,核心证据是外部语言模型下多数时刻活跃假设很少但困难处出现瞬时高峰,而按分数差距保留假设的动态剪枝能在保持词错误率的同时把搜索耗时降低约一个数量级。

 · 更新于 2026-11-04 · 约 20 分钟 · 9805 字 阅读 →
论文解读

汉字级别韵律控制:不改结构如何让 TTS 听懂标记

该文解决普通话 TTS 只能做整句风格控制、不能在指定汉字上调时长音高停顿的问题,用大规模自动提取的 Unicode 韵律标记加微调 CosyVoice2 的语言模型实现字级控制,代价是阈值固定、只验证普通话和单一主干且听感评估仅为描述性比较。

 · 更新于 2026-11-04 · 约 18 分钟 · 8953 字 阅读 →
论文解读

能解码不等于能控制:连续隐变量语音合成中的局部说话人控制

论文用位置对齐的探针与等范数干预证明,VoxCPM2 中说话人信息处处可解码,但只有早期参考音频位置的成对对齐改写能稳定地把合成语音推向目标说话人,而这还依赖下游可达的合成通路。

 · 更新于 2026-11-04 · 约 17 分钟 · 8409 字 阅读 →
论文解读

HC-AINet:用紧凑听觉子带做增益预测,再在原频点上做谐波补偿

针对资源受限语音增强要在小算力下保留频谱细节的问题,HC-AINet 用三角形 ERB 子带压缩增益预测、用带噪谐波位置图在原始频点上补充谐波分支并做幅度条件相位重建,在 VoiceBank-DEMAND 上 64 带达到 PESQ 3.20 而参数约 0.27M,代价是频带加倍时运算量明显上升。

 · 更新于 2026-11-04 · 约 20 分钟 · 10011 字 阅读 →
论文解读

一张日常录音如何变成贴合画面的说话声:HeyGen Voice 解读

HeyGen Voice 要解决用一段日常录音为说话视频配音时保留说话人而让语气和房间声跟随画面走的问题,用图像加两段文字描述加参考音频共同控制的自回归声学模型和五阶段跨场景训练实现,并在 331 个跨场景样本、十语种内容保真、245 例五语种听感对比和 43 人自评视频中验证了两种克隆策略在场景贴合与录音保真之间的取舍。

 · 更新于 2026-11-04 · 约 21 分钟 · 10463 字 阅读 →
论文解读

KIRA:把单词流利度与音素错误分析装进同一个儿童阅读筛查系统

KIRA 针对儿童语音难识别、单词分数缺少诊断信息的问题,用同一录音上的单词识别与音素识别两条通路分别做流利度计分和子词错误定位,在儿童语音子集上把词错误率从 13.88% 降到 8.84%、音素错误率从 41.66% 降到 23.00%,并以网页报告呈现,但音素层尚未与专家标注对齐,也未验证课堂诊断效用。

 · 更新于 2026-11-04 · 约 16 分钟 · 7851 字 阅读 →
论文解读

只看嘴和声音对得上吗:检测换了说话内容的音视频伪造

论文把换说话内容看成音频与嘴部运动的局部配合问题,用 SyncSpeech 控制说话人是否相同来建库,用 C-MIND 做帧级对齐比较,在库内达到 95.813% 场景平均准确率和 0.9943 AUC,但换到未见过的 Video-Retalking 生成器时掉到 82.775%。

 · 更新于 2026-11-04 · 约 17 分钟 · 8378 字 阅读 →
论文解读

验证器的地板:合成罕见词表观错误里有多少是识别器错误

论文用同一批句子的真人录音测出评估用识别器自身的漏检率,再用三个识别器家族逐词核验,证明标准往返转写的罕见词错误被高估两到三倍,而单识别器掩码是有偏的修正。

 · 更新于 2026-11-04 · 约 17 分钟 · 8375 字 阅读 →