情感合成的好坏不能只测自然度:一个同时测质量与情感吻合的大规模听感数据集
该研究针对情感合成语音缺乏质量评估数据的问题,收集 13 套系统加自然语音共 18208 条样本的 262 人听评数据,发现中性语音训练的质量预测器与大模型裁判在部分情感上可排序系统但随情感波动明显,代价是跨系统比较条件不完全公平且零样本预测仍有差距。
该研究针对情感合成语音缺乏质量评估数据的问题,收集 13 套系统加自然语音共 18208 条样本的 262 人听评数据,发现中性语音训练的质量预测器与大模型裁判在部分情感上可排序系统但随情感波动明显,代价是跨系统比较条件不完全公平且零样本预测仍有差距。
针对台语语音配繁体中文硬字幕的跨语言错位问题,该工作用光学字符识别与三模态音视语言模型产出双候选、再经字符错误率过滤与视觉语言模型融合的多轮迭代框架,把金标集字幕识别字符错误率从 36.8% 降到 9.3%,并以 860 小时伪标签语料把跨语言转写错误率从 57.8% 降到 37.8%,代价是依赖共识筛选与多轮微调且初始跨域泛化较弱。
针对联邦语音情感识别同时要保数据本地化和抗白盒对抗样本的问题,该文用训练时联邦对抗训练加推理时随机放缩填充的两阶段防御,在 DEMoS 上把 FGSM 和 PGD 下的可用性拉回约 90% 水平,而代价是 DeepFool 仍只能部分恢复且需额外对抗样本生成开销。
该文在 1839 条短语音上用 Conformer 做帧级八分类,以按类高斯软标签处理标注抖动,最强证据是冻结 HuBERT 在 20 毫秒容差下宏观 F1 为 0.77 且软标签比硬标签高 7.0 个百分点,代价是元音与鼻音释放仍难且跨库迁移有限。
针对对比式音频语言模型少样本分类中只调文本侧而音频表示冻结的问题,该文提出在音频编码器早期三处做共享仿射调制的即插即用模块 ASPL,在 11 个数据集 16 样本平均上相对 CoOp、CoCoOp、PALM 带来约 1 个百分点以上增益,而新增参数仅 320 与 704 量级。
该研究用同一说话人相同句子的去噪磁共振语音与干净语音对比声学到发音反演,固定以磁共振轮廓为目标比较 M2M、M2C、C2C 三种可运行组合,最强证据是 C2C 平均误差为 1.56 mm 接近 M2M 的 1.51 mm,代价是未经适配的 M2C 退化到 1.64 mm 且全程依赖逐音素分层对齐。
针对富有表现力语音中音高与能量突变难以建模的问题,该工作在 StyleTTS2 解码器中把固定周期激活换成 x+tanh(αsin2(x)) 的可自适应振荡激活,在 LJSpeech 上主观质量达 86.67、MCD 降至 6.59,并在 ESD 三种情感上保持韵律相似度和可懂度提升,代价是仅验证单说话人与有限情感且未报告延迟与算力开销。
针对日语高低重音与汉语声调等音高敏感语言的口语练习问题,Amadea 选择用语音识别推定意图短语再合成母语参考音并比较归一化基频轮廓的方法,其可核对的证据是 16 kHz 解码与 80-400 Hz 区间 pYIN 估计等具体流水线参数,代价是单参考轨迹对照与识别及对齐失败等未验证环节。
该研究用 Pink Trombone 发音合成把英语词典逐词合成为男声与女声两套波形,并按发音指令时刻直接放置地标,以平均短时可懂度 0.75 左右为代价换来无人工标注歧义的确定性基准。
论文以 100 余种语言的统一评测回答损失、预训练表示与数据规模如何影响通用音素识别,用 XEUS 加自条件 CTC 在 IPAPack++ 上得到多语言 17.7% 与口音英语 10.6% 的 PFER,代价是对时序性发音特征与极低资源语言仍有高误差。
针对听力图难解释真实交流困难的问题,该工作在 Apple Vision Pro 上构建咖啡馆、火车站与客厅三场景的空间语音加噪声演示流程,用 20–30 秒对话加理解问答和 Easy/Medium/Hard 预设呈现难度变化,8 人临床初步演示显示可用但尚未在听损人群验证。
Argmax Pro 针对离线可用的富功能语音识别问题,选择以 Parakeet v2 做转写、Canary v2 CTC 经 CTC-WS 做偏置、Streaming Sortformer v2 微调做说话人切分并全部部署到手机 NPU 上,论文报告自定义词表可扩至 3000 词而不影响运行时延迟,但未给出词错率、延迟与功耗的定量对照。
该研究用可动积木加凸轮的 VTM-UT30-D9 物理声道模型复现 Bob 与 bomb 的鼻化协同和 abra 丛集时延,报告了随 VEL 耦合增大的极零点变化与随步骤递增的识别率单调下降,最强统计证据为趋势检验卡方 42.538 而代价是相邻步骤仅一组显著且依赖手动与凸轮操作条件。
该文在干净与多种噪声及信噪比下比较经典与神经编码的句子级可懂度和听音努力,并检验编码前语音增强的作用,最强证据是低信噪比下经典编码更稳健而增强能显著挽回部分神经编码的可懂度,代价是效果因编码器和噪声类型而异且低信噪比主观评分一致性下降。
针对语音识别中 Mamba 用固定深度卷积做局部聚合而缺乏内容自适应的问题,论文把该位置换成因果卷积加通道内局部注意力来动态生成状态空间参数,在 LibriSpeech 和 TED-LIUM 上以更小参数量取得更低词错误率,代价是引入双向结构和注意力窗口等额外设计与解码依赖。
针对长时复用纠错历史会被大模型上下文窗口卡住且纯文本检索在触发词被误识时失效的问题,该文用音频关键词检出门控只取当前 utterance 相关的纠错记录,在约 70% 提示压缩下保持或提升词错误率与偏置词 F1,代价是过强的 Top-1 过滤会明显掉点且需维护关键词库与检出模块。
针对大音频语言模型音频序列过长导致逐词元解码延迟高的问题,论文用只改监督微调数据的半自回归块并行加模态感知的动态截断,在保持质量的同时报告最高 3.42 倍的每步词元加速,但语音合成任务加速更保守且资源当前不可用。
针对开放式音频问答评价与人类判断不一致的问题,论文构建带多人标注的 AQEval 基准并提出结合大语言模型推理与音频蕴含检查的 AURA 分数,在 AQEval 上与人类评分的相关性显著高于 BLEU 等基线,但音频蕴含项带来的增益较小且依赖较弱的零样本蕴含模型。
该研究用 50 人 TSST 与友好控制的组间语音区分压力情境并预测皮质醇反应与消极情绪变化,最强证据是 XGBoost 分类准确率 0.82 显著高于多数类基线,代价是样本小、协议线索未完全排除且唾液淀粉酶与积极情绪未能预测。
论文用田野 9 人约 4 小时加网络 51 人约 94 分钟拼成 60 人 7.5 小时语料,以 Silero 切分加 Wav2Vec2 转写按韵律短语计算莫拉每秒并人工补岛屿和 50 岁二分年龄,发现仅 Nga Pu Toru 年轻人显著快于年长者而另两岛无年龄差,但人脸年龄估计失败使流程只能半自动。