循环配乐不跟随画面时:冻结时空编码器加微调解码器为何在 SNES 上更稳
针对 SNES 游戏视频到音乐生成问题,论文用 217.6 小时视频配 485 小时干净配乐构造数据集,对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器,其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL,代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。
针对 SNES 游戏视频到音乐生成问题,论文用 217.6 小时视频配 485 小时干净配乐构造数据集,对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器,其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL,代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。
针对合成语音能演而公开评测只能判六到九类基本情绪的问题,该工作用 40 情绪专家标注与 57 维说话风格探针构建野外基准并配以 Emolia 大规模训练数据,VoiceCLAP-Large 在 VoiceNet-Emo 上达到 0.702 的按提示校准平衡准确率,代价是阈值需事后校准且 Ext 子集一致性仍在机遇水平。
针对非洲语言在朗读基准上被低估的部署误差问题,AfriVox-v2 用 14 种语言的自发野外对话加 10 个应用领域标注来重测现代模型,最强证据是区域优化的 Sahara-v2 在 AfriVox-v2 平均词错误率 20.49 仍显著低于通用大模型,但数字 20.32% 与命名实体 23.11% 的高误差说明关键信息转写仍不可靠。
针对动漫感没有统一绝对量表的问题,该工作用 15000 对两两偏好构建评价数据,证明手工声学特征只能到 69.3% AUC 而冻结自监督表示加排序模型可达 90.8% AUC,代价是人群偏男性化与数据规模中等。
该文新建 14 口音 128.6 小时角色扮演客服对话只做评测,报告显示手动切分多为最优而固定长窗仅对 Qwen3-ASR 更优,且口音间绝对差距可超 10%,平均词错误率降低并不自动带来口音鲁棒性。
针对音频推理数据少且依赖闭源模型生成的问题,论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking,在 MMAR 上平均准确率达到 71.70% 并提升推理质量,但混合域与强闭源模型的差距与评测单一性仍是代价与限制。
Audio2Tool 用约 30000 条横跨智能车、智能家居和穿戴设备的八层语音查询,把语音工具调用拆成选接口、填参数和多步编排来测,报告显示简单命令准确率高但多意图与强噪声下精确匹配大幅下滑,且端到端语音大模型尚未稳定超过先转写再调大模型的级联路线。
针对语义主导和缺乏认知深度的问题,该研究用同一文本配多种情感的 LIME-440K 迫使模型听声学线索,再以四步 EIPS 显式推理加混合内化与双路由强化学习实现直接共情回复,在冲突语音上把共情分从不足 2.0 提升到 2.91 并把冲突情感准确率从 24.0% 提升到 46.0%,代价是三阶段训练与合成语音和真实微韵律之间仍有差距。
针对神经音频编解码器生成的老年伪造语音检测任务,论文构建英汉老年编解码器伪造数据集并证明旧基准模型跨年龄泛化严重退化,提出以詹森香农散度对齐语言绑定与图像绑定表示的融合框架 BONSAI,以平均等错误率 1.66% 建立新基准,但代价是依赖域内老年训练数据与双基础模型推理成本。
针对轮次切换评测只看说没说的问题,CoDeTT 用 4 动作加 14 意图的分层决策与两阶段漏斗评测揭示动作正确但理由错误的幸运猜测,其代价是合成主导的数据构造与历史过长时的语义过承诺。
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
针对文本到中国传统器乐音乐生成缺少配对数据的问题,论文构建 741 对超 42 小时的 CTMusic 并用独奏到合奏的两阶段 LoRA 微调验证 Stable Audio Open,最强证据是微调后客观与主观指标全面超过预训练基线,而代价是新增 TTT 层带来额外可训练参数与两阶段训练开销。
针对儿童中心长时录音跨库异构、无共享基准、儿童敏感语音难合规使用的问题,论文用 DataLad 加 ChildProject 标准化 27 个语料并给出四任务基准管线与 ELSI 分级治理,最强证据是全量数据重训语音类型分类在关键儿童类达 73.4% 而仅公开数据平均仅 44.4%,代价是 21 个语料仍需授权且人工筛选映射不可省。
针对西班牙语和法语 10 个国家级方言自建 20 小时性别均衡播客语料并评测 7 个模型,发现法语偏向欧洲、西班牙语呈现多米尼加优于半岛而智利最差的非均匀差距,词法与声学分析及编码器冻结微调共同指向解码器语言模型先验是主要故障点,但小规模适配只能部分恢复方言特征。
论文针对俄语缺少工作室级对话表情语料的问题,构建 20.6 小时三人面对面表演的 Dialogs 并做 12 类逐句标注,用人群 MOS 证明录音质量不输读语音基线且表情与对话自然度更高,再以 VITS2 验证可训出对话感语音,代价是每人仅 4.4-9.9 小时且风格极不均衡。
该研究用 10000 条 7 语 34 情绪的三级感知重音标注检验 EmphaClass 与 WhiStress 在单语、跨语、多语、跨唤醒度和跨数据集下的泛化,报告语系内可迁移、跨语系与中文显著下降而多语联合训练可恢复鲁棒性的证据与代价。
为解决语音大模型只用文本指令评测脱离真实开口交互的问题,论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS,并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能,而语音输出任务中口语指令打平或反超,非正式与短指令最难。
针对用户同句不同情绪难处理且情绪对话数据稀缺的问题,Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音,在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优,但细微混合情绪仍偏通用且依赖合成数据过滤条件。
针对紧凑均匀线阵在端射附近小到达时延差扰动被放大成大角度误差的问题,论文在可靠性相位变换框架内分别做加权转向响应功率能量聚合与余弦域加权最小二乘时延融合,并在 1 米与 2 米家用混响实录上用端射误差与退化宽度验证,同时保留不增大孔径与远场单声源等适用边界。
该文针对英译中语音翻译中词汇重音易丢失的问题,用自建中文重音语料训练音节级检出器 Syl-BiLSTM 定义跨语言评测 CETS,并用带重音标签微调 CosyVoice3 搭建级联系统,最强证据是 CETS 句级 58.30% 与人评高度一致,代价是翻译 BLEU 略低于大模型基线且仅两名录音人。