音频加歌词如何共同判断歌曲结构:SCALE 与 SheetSage-MSA 解读
论文针对结构标注少、边界与功能标签需求不同、纯音频忽略歌词的问题,用部分标注的 SheetSage-MSA 补充训练,并用边界、功能、歌词三条通路分别建模,在 SongFormBench-HX 上提高边界召回与标签准确,但仍受标注口径不一致和同功能重复段边界难召回的限制。
论文针对结构标注少、边界与功能标签需求不同、纯音频忽略歌词的问题,用部分标注的 SheetSage-MSA 补充训练,并用边界、功能、歌词三条通路分别建模,在 SongFormBench-HX 上提高边界召回与标签准确,但仍受标注口径不一致和同功能重复段边界难召回的限制。
VoxDub 针对自动视频配音缺嘴型对齐训练数据的问题,用语音为中心的切分加双识别转写核对与音质人脸同步过滤构建 76 万段中英数据,TTS 实验证明相对 LRS3 与 CN-CVS 可懂度与说话人相似度更好,而配音微调仅得到大致相当的主观同步。
论文要解决住宅多房间语音数据难批量构造的问题,用结构化平面图转可编辑声学场景加混合几何声学求解生成多通道房间脉冲响应与混响语音,并用实测校验与分布式定位增强实验验证其覆盖与增益,代价是仍依赖几何声学近似与受控仿真条件。
论文用情绪稳定与情绪变化语音的对照构造 EmoShift 基准,发现句内情绪变化能让合成语音更像真人并让真实语音更像伪造,七个检测器的漏检与误报随数据集和情绪轨迹而变化,且不能只用静态情绪或拼接痕迹解释。
论文研究语音语调与文本语义矛盾时的语音情感识别,提出用对抗合成数据诊断语义偏向并用解耦结构保留声音证据,在对抗与常规场景下以声音准确率为主要证据,同时保留了超参数与适用条件的限制。
论文用 7 次智能音箱对话的视频音频文本做成四维张量,以分层 Transformer 同时建模单次内的疲劳斜率和多次间的漂移,在 35 人数据上以 5 折准确率 0.733 报告优于单次基线,但样本小且方差大。
DuET 针对富有表情的钢琴演奏到乐谱映射,提出音符编码器加帧编码器双路结构并联合学习拍点跟踪,在 Gangqinpu 上把 MUSTER 平均误差从 6.56% 降到 3.64%,在 ASAP 上从 11.30% 降到 11.22%,主要增益在时值与节奏组织但漏音多音误差仍有局限。
ELARSpeech 从濒危语言档案馆整理出 30202 小时、675 种语言的语音,用标注与非标注两部分支撑识别与合成的低资源适配,并用表征评测指出已有大规模多语模型的迁移局限,代价是异构档案噪声与跨语联合训练的干扰。
EVA-Cap 把视听解说拆成带模态、类型、人物和内容的原子事件,用 63K 自建数据的监督微调加两轮 GRPO 优化完整性、人物归属和跨模态同步三类奖励,在事件对齐评测上提升明显,但长输出的幻觉与快速转场仍有限制。
MIDI-REPA 在 122M 参数的流匹配 DiT 上,用自动转谱得到的钢琴卷帘对齐早期中间层并贯穿全轨迹,在相同数据和单卡约 31 小时成本下提升了文本一致性和音频质量。
MuseBench 用 361166 首曲目对照人类作曲与 10 种生成器输出,测出频谱图模型在干净条件下接近满分但在跨模型、压缩与变速下分化,并归纳出频谱、和声与演奏层面的可复现伪影线索与代价。
论文从 20000 小时原始水声存档中整理出 4521 小时带船只轨迹关联的 ONCship 语料,用同一模型的三种预训练来源对比和两类下游任务检验其作用,联合预训练在 DeepShip 上达到 62.45% 准确率而单船身份识别 Top-1 超过 53%。
PEDBench 围绕发音错误检测这一细粒度听辨任务,用三档可控程度不同的新数据检验 13 个语音模型,并验证合成错音数据微调语音-语言模型的效果与跨到真实儿童语音时的落差。
TVPara 针对电视剧中强烈情感与场景背景声共存时大音频语言模型描述不准的问题,用预标注加人工校对构建单句与多句两类描述数据,并在两款开源模型上微调后以四维相似度打分验证了复杂声学下的提升与跨域迁移,同时暴露了适配器容量不足时的拟合偏差代价。
论文以行为文本控制动物叫声生成,用发声锚点把六个物种录音与文献行为知识成组配对,在 TangoFlux 上微调并用事件感知变长掩码聚焦真实事件,主结果支持微调全面改善与变长进一步提升判别力和声学保真度,但结论只限于已见行为的新表述与给定目标时长条件。
E3-System 针对零样本语音合成中文字意图缺乏声学依据、音色与风格纠缠的问题,用 1012 小时多语种 EmoData 构建风格空间、用 Style-RAG 把文字意图映射为语音风格提示、用 Dual-TTS 实现音色与风格解耦合成,在双提示条件下直接语音提示与检索文字控制分别达到不同的可懂度与相似度平衡。
论文用 305 首棚录独唱和 68000 余段音频对齐的装饰音标注解决韩语传统声乐缺乏可计算语料的问题,基线显示音高曲线在分类上超过冻结通用音乐模型,而频谱在线索定位上互补,代价是固定调与速度限制了自然表达。
论文要解决声源运动时左右声道空间线索不跟着画面走的问题,用运动轨迹同时约束视频和立体声音频的 StereoBind 在 StereoWorldBench 上取得更好的空间一致性,同时保持整体视听质量,结论只在该合成监督与评测条件下成立。
针对现有 MOS 预测在韩语上校准不良的问题,KOMOS 用 29 名韩国听众对 1000 条语音的 5000 个打分微调 Whisper-medium 编码器与听众条件预测头,在测试集上取得 SRCC 0.900 与 LCC 0.950,但结论只在该韩语数据划分与 seen-system 条件下成立。
论文把混合音频的取证从整段二分类扩展为语音与背景各自的存在与真假八分类,用分离引导加混合波形与伪影证据联合推理的 TruMix 在 MixedTruth 上达到宏平均 AUC 约 98.51%,代价是约 98.8M 参数的多路 Transformer 与结构化推理流程。