吴语越剧演唱合成的第一套基准:小数据如何做对齐、增广与流匹配基线
针对吴语越剧无专用演唱合成数据的低资源问题,论文用 565 段棚录对齐数据加发音与音高增广与条件流匹配基线 YueOpera-Singer,在 F0 RMSE 0.2133 与 MOS-N 3.92 取得可复现基准,代价是单演唱者单行当与 10 步推理开销。
针对吴语越剧无专用演唱合成数据的低资源问题,论文用 565 段棚录对齐数据加发音与音高增广与条件流匹配基线 YueOpera-Singer,在 F0 RMSE 0.2133 与 MOS-N 3.92 取得可复现基准,代价是单演唱者单行当与 10 步推理开销。
该文针对前景事件变化而场景类别不变时的声场景分类失效问题,用 CochlScene 背景加 FSD50K 前景的受控混合构造 ESAS 基准,并在六个可运行系统上报告背景到未知事件的系统性掉点,代价是合成混叠与真实采集之间仍有差距。
VietPrism 用 993.4 小时真人语音与说话人配对的伪造语音研究方言和越英混说下的检测脆弱性,最强证据是零样本检测器随说话人相似度升高而 EER 明显恶化,代价是小方言样本少且合成系统只有四种。
该文用 32 组 105 人的被试内配对设计采集约 59 小时面对面与视频会议群组对话并做多模态特征与人工标注,报告显示视频会议话轮间隔更长、话语更短且句法更简单而面对面愉悦度更高,代价是任务单一且设备与场景控制仍会引入域差异。
WASIL 针对阿拉伯语级联语音助手的用户差评混杂问题,用 9304 轮野外语音加双路 ASR、金标改写与可回答性标注分离转录与问法因素,并用多法官无参考评分报告金标与 ASR 输入下的性能差距与方言代价。
该文构造只含合成语音的 2732 小时 66 语言语料 LRLspoof,用外部混合基准标定的等错误率阈值做零样本迁移评估,发现同一检测器在固定合成器下跨语言的伪造拒绝率可相差数十个百分点,但该结论只刻画伪造拒绝一侧,未测量目标域真人语音误拒。
YODAS v3 针对开放语料偏向英语单声道窄带的问题,采用分语言关键词与保原始 48 kHz 多声道下载的构造路线,用 22 个语言超 10K 小时与 92.5% 录音有效带宽超 32 kHz 等证据支撑规模与保真判断,代价是弱标注依赖自动字幕与语言标签代理。
YODAS v3 用分语言关键词搜索与去重爬取解决大规模多语料的语言偏斜问题,以 48 kHz 多声道原始 OPUS 保存与带宽声道实测为证据支撑高保真主张,并以 7 语种识别与三采样率编解码基线显示数据可直接使用,代价是弱标注噪声与网络音频域复杂性仍在。
SPADE 针对长语音中局部篡改的检测与定位问题,用大模型改写文本加合成与编辑两类生成器构建 12 语言数据,并在定位模型上报告跨生成器、跨语言、跨声学环境三类泛化证据,主要代价是未见生成器下接近随机猜测且噪声下显著退化。
针对用户语音输入后用英语俳句语音回应的任务,HaikuS2S 采用自动语音识别加大型语言模型加语音合成的级联路线,配合通用诗歌与自录俳句两段微调,最强证据是俳句微调后音高对齐与可懂度改善,而代价是会话自然度评分下降与小规模录音带来的泛化限制。
MoSAT 针对空间音频加文本联合驱动人体动作的新任务,用运动 VAE 压缩加变换器流匹配分层融合条件,在 STAM 联合评测中对齐与分布质量占优,但强噪声与模态错位时仍会退化。
COT-TTS 研究给定历史对话音频、固定目标文本和参考音色时如何先显式推理说话方式再合成语音,最强证据是 0.6B/1.7B 端到端模型在时长一致性和人评上接近 34-39B 级联基线,代价是可编辑推理大幅改动时会降低客观音质并引入推理与语音错位风险。
针对说话数据训练的模型在唱歌时出现节奏漂移和表情受限的问题,论文用三阶段过滤构建 29500 余段野外唱歌头数据,并在 Hallo 等架构上验证了唇同步与节奏对齐的提升,但高强度筛选只保留约 6.9% 原料且依赖人工打分融合。
针对音频大模型能转写却听不懂说话方式与声学环境的问题,论文用 22 维特征定义、120 万音频问答对与先单属性后多属性的两阶段课程训练 ParA-LLM,在 ParA-Bench 总体上报告 43.53% 准确率并在外部语音基准上同步提升,代价是声学单项仍弱于 GPT-4o-Audio 且绝对准确率仍远低于人类。
该文用 1000 组英文转写偏好标注比较词错率、字错率与多配置语义指标,发现词错率与人判断一致度最低而最优语义距离略优但未显著超过字错率,因此主张默认报告字错率并辅以语义指标。
该研究针对可公开复现的大规模音乐与文本配对缺失问题,选择以互联网档案馆中声明为知识共享许可的音频为源、轻量音频语言模型初标加分类标签与档案元数据聚合精修为方法,最强证据是 1500 段抽样下与 JamendoMaxCaps 相当的参考无关分数与正确性完整性约 4.2 分以上的人评,主要代价是长时体裁欠采样与语言流畅性仍落后于人工标注。
该研究把朗读维基百科的语音按小节配上大模型规划加规则渲染的合成幻灯片,在英德荷三语上只用音频测出最佳平均微观词错率 10.23% 与字错率 6.48%,而全量幻灯片文本或图片的零样本提示因大段复制与插入错误而失效。
针对肺功能检查依赖设备与配合的问题,SpiroPhonia 用真实访谈中的自发语音提取抖动、频谱与停顿三类特征,在 201 人被试独立测试上报告 78% 准确率、80% F1 与 87% AUC,代价是小样本下置信区间宽且跨语言跨设备泛化待验证。
BioDCASE 用固定 PerchV2 嵌入和两层分类头比较了 14 种批量主动采样策略,最强方法以四子集平均学习曲线下面积 0.507 超过随机采样的 0.401,但增益在 HSN 高达 67.1% 而在 ATBFL 仅 8.0%,且更小批量带来两倍计算代价。
该工作从社区采样标注中挖掘出 9.2 万条标注并揭示按边随机切分会使 54% 测试音轨泄漏,提出基于连通分量切分并修剪巨型分量得到 11.4 万/0.6 万/1 万音轨的 WhoSampled130k,代价是丢弃 23% 节点并保留有界泄漏风险。