BanglaBox:面向孟加拉语的语音均衡语料与基础模型适配
论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题,用两层均衡语料加三步适配改造英语自回归语音基础模型,并用母语人评测证明自然度和克隆保真度的提升与适用边界。
论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题,用两层均衡语料加三步适配改造英语自回归语音基础模型,并用母语人评测证明自然度和克隆保真度的提升与适用边界。
论文用只在训练加替换、采样只用掩码的 DeMaR 检验零样本语音合成,发现字错率下降在不再改写已定词元时依然保留,而两种解码运行方式不同且原文未报告延迟对比。
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
论文针对逐查询指标和损失不管跨查询相似度是否可比的问题,提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP,用去掉小负相似度的策略控制二次代价,在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。
针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题,论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理,并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善,且不增加网络前向次数。
针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题,该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式,母语人听辨显示口音明显下降,但掩码位置决定了口音抑制与音色保持的折中。
论文用 163 段儿童临床互动录音检验通用大语言模型能否沿 BOSCC 决策树答题复刻两项语音编码,最强零样本平衡准确率超随机 19.3 个百分点,而说话人角色标注是最稳定的增益,音频与示例增益不一致且不足以独立使用。
针对一步零样本语音转换中内容编码器耗时约为主流程十倍的问题,MeanVoiceFlow2 用教师 MeanVoiceFlow 做转换蒸馏并联合训练轻量内容编码器与平均速度网络,再以真实数据重建、扩散判别器混合对抗和教师增强条件扩充提升真实感与解耦,在 VCTK 上自然度高于教师且推理约快 9 倍、说话人相似度基本持平。
针对全双工对话中犹豫停顿与真实说完难以区分的问题,FD-VAD 用冻结语音编码器加轻量适配器和低秩微调语言模型对 2.56 秒因果窗口做继续或停止判断,在 TurnBench 开发集零样本下取得限定误报内最高终点召回,但中位提交延迟高于最快的轮流预测基线。
针对直接图像到语音中图像可多述且与语音单元无单调对应的问题,MGSA 用语义语音单元统一多说话人内容目标、以单调查询对齐器生成位置相关条件再做块级掩码扩散生成,在 Flickr8k-Audio 上达到与单说话人基线可比的字幕指标并支持未见说话人的零样本合成,代价是内容准确性仍是主要局限。
针对离散扩散语音克隆中词正确性与说话人保持未被直接优化的问题,RAWD-TTS 用识别与说话人波形奖励算组内优势并加权前向掩码重建,在 500 条俄语克隆提示上把词错误率从 3.18% 降到 2.42% 并把说话人余弦从 0.733 提到 0.748,代价是单奖励会损伤另一属性且训练奖励上升不等于评测单调变好。
Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题,用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆,跨语言证据显示英文目标相似度 0.789 且词错率 0.10%,代价是中文指标与内容准确率仍低于教师模型。
针对弦乐四声部在同音高与泛音重叠下难以仅凭混合区分的问题,SCISSOR 用乐谱音高加乐器身份构成逐帧查询去竞争共享音频表示,证据显示在少量真实录音参与训练后其在留出真实集平均 SDR 最高,而乐器身份类乐谱错误仍会使其回落到音频对照以下。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
论文把说话人确认改写为音频问答,用零样本评测暴露短板,再以 18M 参数的 LoRA 微调加规则难例采样把性别与语言条件 EER 降到 4.87% 和 2.93%,代价是整体仍落后专用模型且依赖成对构造与打分换算。
针对病理性语音的个性化语音重建,该文用带情景说明的最佳最差排序区分可懂度和整体重建,并用面向高可懂度分布与原始病理分布的双参照分布分数预测听感排序,代价是低可懂度重度组仍只有极少数零样本系统能超过原录音。
该文针对零样本语音合成中连续且随时间变化的情感控制问题,提出把效价唤醒优势三路低秩更新与正交约束注入主干并用 Flow-DGPO 做偏好对齐,在约 50 小时训练数据上提升情感跟随的同时保持可懂度和说话人相似度,但跨语言提示下说话人相似度仍有差距。
针对词级重音与语速控制易破坏全局自然度的问题,CraftTTS 用外部教师构造偏好数据再经 SFT 加 DPO 加 GRPO 渐进对齐,最强证据是完整模型在 NMOS 达 3.87 和 SPMOS 达 3.35 的同时 CER 为 7.01%,代价是 CER 与说话人相似度略低于原始 CosyVoice 2 个基线。
CtrlSpeech 针对整句级控制难以修改局部韵律的问题,在 DiTAR 连续声学建模上叠加全局说话人条件与音素对齐的音高、响度和时长信号,零-shot 可懂度和相似度与复现 DiTAR 相当,而显式控制使音高、响度和时长误差大幅下降,代价是纯文本时局部韵律仍不准且依赖基频提取与强制对齐质量。
该研究用 61 人 769 条德语语音日记同时比较声学与文本模型推断每日唤醒度效价与压力,文本模型在人群层面明显占优但仍偏向特质差异而非日内状态追踪且声学整体接近零效应。