情感合成的好坏不能只测自然度:一个同时测质量与情感吻合的大规模听感数据集
该研究针对情感合成语音缺乏质量评估数据的问题,收集 13 套系统加自然语音共 18208 条样本的 262 人听评数据,发现中性语音训练的质量预测器与大模型裁判在部分情感上可排序系统但随情感波动明显,代价是跨系统比较条件不完全公平且零样本预测仍有差距。
该研究针对情感合成语音缺乏质量评估数据的问题,收集 13 套系统加自然语音共 18208 条样本的 262 人听评数据,发现中性语音训练的质量预测器与大模型裁判在部分情感上可排序系统但随情感波动明显,代价是跨系统比较条件不完全公平且零样本预测仍有差距。
针对台语语音配繁体中文硬字幕的跨语言错位问题,该工作用光学字符识别与三模态音视语言模型产出双候选、再经字符错误率过滤与视觉语言模型融合的多轮迭代框架,把金标集字幕识别字符错误率从 36.8% 降到 9.3%,并以 860 小时伪标签语料把跨语言转写错误率从 57.8% 降到 37.8%,代价是依赖共识筛选与多轮微调且初始跨域泛化较弱。
该研究用 Pink Trombone 发音合成把英语词典逐词合成为男声与女声两套波形,并按发音指令时刻直接放置地标,以平均短时可懂度 0.75 左右为代价换来无人工标注歧义的确定性基准。
针对俄语重音移动与韵律标注缺失问题,Balalaika 用语义切分加多识别器投票加质量过滤构建约 5078 小时多源语料,并在 25 小时等量预算下验证去噪与语音合成的自然度收益,但严格过滤与单说话人优势等边界仍需注意。
该研究针对孟加拉语会话缺少轮次结束标注问题,用播客音频加说话人日志加语言模型初标加人工全检构建 35374 条语料,并用 Whisper 编码器加多尺度池化做二分类,在 319 条异源平衡测试集上达到 84.33% 准确率,代价是误报率升至 23.75%。
该文把跨语言文本与语音摘要统一为语义向量序列到法语摘要的生成问题,用 BGE-M3 与 SENSE 对齐的嵌入加 140M 可训练的 SBARThez 实现,在 CrossSum 低资源文本和自建 ABT-SpeechSUM 三语语音上超过级联与 mT5-large 基线,但依赖嵌入空间对齐质量且摘要多为合成参考。
针对家具移除与移动后同一声源接收位置的房间脉冲响应更新问题,论文提出以均匀材质仿真代理刻画几何变化的 PG-RIR,在 14 场景留一评估上把 T60 误差降到 0.0316 秒左右,但多步回代会累积平滑且逆渲染基线在大表面数下失效。
GRATS 针对普通话声调对时长扰动敏感而人工变速参考失真的问题,用 25 人×60 句×5 速共 7500 句自然平行录音做基准,报告了极端速率下时长与基频一致性下降而可懂度与感知质量出现分化的证据,代价是仅覆盖台湾朗读语料且暂缺主观听感验证。
针对端到端语音识别在真实无处理语音上是否幻觉的问题,论文用 Earnings 22 加七模型加人工跨度标注构建 HALAS,最强证据是字符与语义代理指标仅 81% ROC-AUC 而先进检测器仅 53.1% F1,代价是数据集为富集幻觉的高难度采样且不能反映真实部署频率。
针对阿联酋阿拉伯语口语与标准语差异大、已有语料多为标准语或埃及黎凡特方言的问题,Hamsa 构建 11 小时人工转写对话语料并用统一超参数微调多语识别模型,最强证据是 Whisper-v2 词错误率从 42.25% 降到 24.46%、字错误率从 71.91% 降到 8.27%,代价是规模仍小、说话人未严格隔离且原始音频暂只提供转写与采集脚本。
该文用 37 把键盘 37440 次敲击构成的 KEYAC 检验冻结语音预训练表示加轻量下游头的按键识别泛化,发现 VoIP 编解码导致显著下降,而单隐层 KAN 适配头在各条件下一致提升并以 WavLM 最强,但仍需标准录音训练且无可验证的公开代码与数据。
针对语音到语音翻译丢失笑声哭声的问题,论文用可扩展表情合成管线加五专家混合 LoRA 与软路由解决,在英中翻译上以 76% 非言语匹配和最高人评自然度情感相似度为证据,代价是合成数据主导与英中范围验证。
针对复调录音中同音色音符互相泄漏的问题,论文用谐波与打击乐双流 NoteGrab 按音高与起止逐个抓取音符,再用自适应集合归属联合重分混合能量,在 SCNS-Eval 上中位 SI-SDR 达 7.39 dB,代价是逐音符推理与完整乐谱依赖。
针对音频大模型能转写却听不懂说话方式与环境的问题,ParA-LLM 用 22 维副语言分类加 120 万音频问答的两阶段课程学习,在 ParA-Bench 上达到 43.53% 整体准确率,代价是仍需仿真声学数据与低秩微调的特定训练流程。
针对日常视频中增益失衡叠加噪声与混响的问题,SSE 用视频加文字引导的流匹配生成做重混与增强,在 DegradedMix 与 MuddyMix 上以分布与对齐指标优于 VisAH,但单真值重建指标上优势收窄且依赖预训练编解码与分离权重。
针对不足 3 秒的自定义短语验证不稳定问题,论文用文本相关与文本无关混合注册加并行交叉注意力帧级重打分,在 VoxPhrase 上用冻结骨干加轻量验证器持续降低等错率,代价是需要同时准备两种注册语音并额外训练验证器。
针对台语老年居家紧急意图识别,论文构建 21 人 3079 条真实数据集并对比两种野外数据挖掘路线,最强证据是戏剧挖掘预训练再经 1600 条域内适配后达 90.21% 准确率,而直接跨域仅约 70% 上下,代价是细粒度紧急类仍易混淆且轻量模型远落后。
针对多轮多音频时间问答中实例漏检会改变计数与总时长的问题,TEMA 用 Route 定音频范围、Span 记全全部实例区间再推理作答,在 Test253 上 Qwen2.5-Omni 基座的问答准确率达到 69.81%,代价是需要三阶段训练与完整逐轮证据监督,且跨音频比较仍有波动。
ArtComp 用发声努力度连续调控下颌开度,同步采集 7 名瑞典语者的电磁发音、声门和音频数据,以 3000 个元音样本支撑补偿性发音研究,代价是基频耦合与传感器干扰仍需使用者自行控制。
针对正式语料与日常口语失配导致波斯语识别与翻译退化的问题,论文构建 36.77 小时口语优先的非正式平行语料 T-PID 并做针对性文本规范,再在该语料上微调 Whisper 与 Wav2Vec2-BERT 和 NLLB-200,在 T-PID 及正式集上同时降低词错误率并提升 BLEU,代价是英文译文主要由机器生成加抽检、附着词等细节未统一且资源当前不可用 …