从作曲要素拆开评价:SongBench 如何让歌曲生成测得更细
针对文本生成歌曲评价维度重叠与高分扎堆问题,论文按作曲流程拆出七个原子维度并组织 11717 首专家标注样本,用 MuQ backbone 训练自动打分器,在分布外集上以 utterance 与 system 两级相关和 AB 辨别力验证细粒度区分能力,代价是依赖严格筛选的专家标注与长音频推理成本。
针对文本生成歌曲评价维度重叠与高分扎堆问题,论文按作曲流程拆出七个原子维度并组织 11717 首专家标注样本,用 MuQ backbone 训练自动打分器,在分布外集上以 utterance 与 system 两级相关和 AB 辨别力验证细粒度区分能力,代价是依赖严格筛选的专家标注与长音频推理成本。
SoniSpeech 用声学传感眼镜采集 34 小时、18000 条配对的有声与无声话语和同步视频,以当代对话语料实现开放词汇覆盖,并用 CTC ResNet-34 基线在无声测试上报告 26.3% 词错误率,但跨模式泛化仍存在大幅落差。
该文用 640 段法语新闻短语音、100 名懂法语与 101 名不懂法语评分者的 0 到 100 分标注研究自动人格感知,最强证据是法语组尽责性多模态准确率 67.1 的分类结果,代价是整体精度仍在 50 到 67 之间且多模态不总是优于单模态。
论文用 196 份问卷加 66 份自录语音建成跨男性态度与语音库,证明自我感知的男性度与平均基频只有弱线性关系而满意度关系更顺,并揭示 Praat 与 REAPER 在同一批朗读上存在系统性基频偏差,但众包录音条件与横断面设计限制了因果推断。
针对稀有词和命名实体识别难的问题,该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错,在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。
论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题,最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本,代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。
URGENT-MOS 针对跨数据集标注不一致与绝对质量和偏好割裂的问题,用共享特征加绝对多指标预测与自然度条件偏好模块统一建模,在多域偏好和相关性评价上更稳健,但全量 15 指标联合监督并不总是带来增益。
针对啮齿类超声发声在声谱图上窄带、短时、稀疏难检的问题,USV-DETR 在 RT-DETR 上加入 P2 高分辨率层与 DEIM 稠密监督,在 SqueakOut 上达到 78.7 的 AP,代价是引入 P2 后解码器注意力计算量上升且参数增至 34.5 M。
针对越南语说话人识别数据少且依赖人脸关联身份的问题,该工作用说话人日志分割加元数据驱动的大语言模型身份推理构建了约 902 小时 4715 人的 VieSpeaker,并在跨数据集评测中显示更强的鲁棒性与预训练迁移收益,代价是身份恢复准确率随节目类型变化且仍需声纹聚类与人工核验。
论文把语音后期识别定义为效果存在、预设类别、数量与强度回归的多粒度任务,用固定六效果链加 2520 种组合的可复现渲染器构造数据,并以 AudioMAE 多任务基线证明鲁棒增强能缓解采集与平台退化的跨语料下降,但细粒度预设分类仍困难且存在效果间差异。
针对中文老年语音在自然场景下识别困难的问题,WildElder 从在线视频收集并人工标注 23701 条语音,用从零训练与预训练模型的字错率对比证明野外老年语音仍具挑战,而微调能显著降低误差但高龄与男性语音代价更高。
针对多人语音中重叠与抢话导致的何时开口、是否开口难题,论文提出以角色为条件的流式语音大模型 ModeratorLM 及其思维链变体,在真实会议与合成对话上把轮次精确率与召回率大幅提高,代价是依赖文本转写与动态分块训练。
针对音乐源分离缺少细粒度、大规模、高质量训练数据的问题,该工作用七类单源二分类检测器清洗多语言关键词爬取的独奏音频,最强证据是检测器七类平均准确率 97.14% 与清洗后联合训练带来平均 SDR 提升 1.16 dB,代价是阈值提高会大幅削减保留时长且类别时长仍不均衡。
针对 6 月龄到 8 岁儿童音素识别难、标注少的问题,论文整理 TinyVox 并在儿童日常长录音预训练的 BabyHuBERT 上做带 20 秒上下文的 CTC 微调,验证集降到 43.5% 左右的音素错误率,测试集达 42.1% 且替代错误多留在大类内,代价仍是绝对错误率高且依赖粗粒度聚合才显出发育趋势。
论文以 3000 句人工标注比较 30 多个大模型与传统形态分析器的日语字音转换,证明解析模式加规则后处理的最优假名错误率降到 0.52%,低于最强传统工具的 1.03%,但小模型、数字量词与推理模式仍有明确代价与边界。
针对仿真与真实远场语音分布不一致导致轻量模型失效的问题,该研究用 70 小时真实配对数据训练两阶段框架,先由冻结 GTCRN 粗增强再由轻量映射模块对齐到干净近场隐空间,在仅 0.8 GMAC/s 下取得 P.835 OVRL 2.94 与 P.808 3.35,但代码与权重当前不可用。
论文针对通用词错误率难以反映人名公司产品名可用性的问题,在财报电话短片段上构建带本地与全局定制词表的公开基准,用关键词提示与关键词加权两类共六个系统做可复现评测,报告显示加上下文一致提升关键词 F 值但词错误率变化不一,而全局干扰词主要考验精度。
针对语音对话模型能说清但不够生动且缺客观表现力度量的问题,DeEAR 把表现力拆成情感、韵律、自发性三维分别建模再用 XGBoost 非线性融合,仅用 480 个标注在整体表现力上达到 SRCC 0.85 并以 14K 筛选数据把基座模型表现力从 2.0 提升到 23.4,代价是依赖启发式伪标签与小规模专家评测。
该工作把人到非人声音转换定义为保留源内容并复刻参考设计音色的任务,用 40 见过与 7 未见过预设和见过与未见过音色源构造配对测试,并以代表性模型的余弦相似度从 0.667 降到 0.610 和 MOS 从 3.81 降到 3.49 为代价展示泛化难度。
针对轻度认知障碍老人抑郁与认知衰退声音混杂问题,该研究用每次录音共时的抑郁与认知评分筛选声学特征,发现只有共振峰组在控制认知后仍与抑郁相关,并用 12 个第一二共振峰特征取得 0.760 的非加权平均召回率,但代价是样本仅 89 人且女性特异性偏低。