自动笑声标注还不够准:笑声识别误差如何传导到两种合成器的自然度与笑法还原
论文用十一人新标注数据把未见说话人笑声切分误差降到 23.0 毫秒与 30% 替换错误,再对比人工与自动标注训练的声码器参数合成与音频大语言模型合成,报告显示后者自然度更高而前者笑法还原更高,且自动标注仍落后于人工标注。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文用十一人新标注数据把未见说话人笑声切分误差降到 23.0 毫秒与 30% 替换错误,再对比人工与自动标注训练的声码器参数合成与音频大语言模型合成,报告显示后者自然度更高而前者笑法还原更高,且自动标注仍落后于人工标注。
论文以语音经发音再到语音的闭环为问题,用发音特征加声源与说话人特征以及确定性合成与流匹配生成的对照,显示附加特征与采样步数能提升自然度与说话人相似度,但会削弱发音保真并在噪声与特征替换下暴露依赖。
针对原发性进行性失语临床语音稀缺问题,HASS 用词汇检索损伤层与音素编码损伤层串行仿真 logopenic 变体的内容与语音共现损伤并经语音合成生成严重度可控语料,只用合成数据训练的 Wav2Vec2 低秩分类器在真实跨机构测试上报告更高曲线下面积与更小跨折方差,但离散音素编辑与为流利语音优化的合成器仍是明确代价。
该研究用三维有限元求解弯曲声道在 14 千赫兹以内的传递函数,发现均匀截面弯曲几乎不改变共振,而元音 A 型非均匀截面在 8 千赫兹以上出现随弯曲角移动的反共振和横向声压结构,代价是理想化圆形截面和开口边界假设限制了向真实发音的直接推广。
该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件,显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持,小聚类下语言监督才有附加增益,但大聚类下附加语言条件可能无益甚至轻微损伤。
论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题,发现中等偏大的 N 在更低比特率下仍保持可懂与连贯,而自动指标与人评的相关仍有限且评估方法需改进。
针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题,该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配,在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率,代价是感知质量仍略低于 10 步基线。
论文要解决任务动力学目标值被事先固定、缺少记忆与感知影响机制的问题,选择用耦合动态神经场生成时变声道目标并用临界阻尼振子求解轨迹,在 1 次基线加 10 次影子跟读加 1 次洗脱的简化仿真中报告跟读峰值拉向 1.56 与洗脱残留偏移负 0.29,代价是输入时序仍需手工指定且仅为一维示例。
针对 GAN 声码器域内保真与未见场景泛化不足的问题,论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF,在 LibriTTS 训练并在多未见集验证,最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN,代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。
论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数,在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量,但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。
WavSLM 把 WavLM 第 6 层表示压缩为单码本离散序列,再把 7 至 24 层改造为一次预测 4 个词元的因果语言模型,在仅用语音且无文本预训练条件下取得可比的一致性与生成质量,代价是大词表更难学、大分块损害保真与连贯。
该研究用同一句爱尔兰语合成语音的嗓音源改造加三维人脸动画检验视觉通道的作用,最强证据是不一致视觉把快乐识别率从 94% 拉低到 58%,代价是一致视觉并未显著增强目标情感且放松情感仍易与厌倦混淆。
该研究以三名非二元语音生成设备使用者的两轮开放式问卷为材料,用归纳主题分析得到日常整合、身份表达与横切的权力与能动性三个主题,报告显示可懂度优先于身份的妥协反复出现,而代价是样本极小且未构建或评测任何语音系统。
该研究用 Pink Trombone 发音合成把英语词典逐词合成为男声与女声两套波形,并按发音指令时刻直接放置地标,以平均短时可懂度 0.75 左右为代价换来无人工标注歧义的确定性基准。
该研究用可动积木加凸轮的 VTM-UT30-D9 物理声道模型复现 Bob 与 bomb 的鼻化协同和 abra 丛集时延,报告了随 VEL 耦合增大的极零点变化与随步骤递增的识别率单调下降,最强统计证据为趋势检验卡方 42.538 而代价是相邻步骤仅一组显著且依赖手动与凸轮操作条件。
针对普通话多音字消歧依赖大模型且无法预测训练未见读音的问题,G2PO 用 RoBERTa-tiny 加词典融合与词性辅助,在仅 3.99M 参数下在 CPP 上报告 99.15% 准确率并在未见读音上报告 70.79% 零样本准确率,代价是仍依赖外部词典覆盖与 Jieba 生成的词性标签。
针对无电控条件下复现语音动态的问题,该研究用直线凸轮与旋转凸轮分别驱动六个发音滑块,并以可插拔板片实现凸轮廓形可编程,在“I love you” 一句上得到两种凸轮下大致相似的共振峰轨迹,代价是每句需重新设计和拼装廓形。
该研究把频域声码器 Vocos 改写为脉冲版本,用脉冲 ConvNeXt 加幅度捷径、自结构蒸馏和时间移位解决二值信息瓶颈,4 步模型在感知质量接近基线时仅消耗约 14.7% 能量,但信号级精度指标仍有差距。
针对零样本语音合成模型被微调、剪枝、量化与蒸馏后仍可经黑盒接口验明归属的问题,TTS-Guard 以双空间关键说话人对选择加课程化影子模型优化构造参考音频扰动,并在五个主流系统上报告平均单查询指纹成功率 96.4%、误报率 5.8%,代价是验证需 20 到 40 次查询且蒸馏与强自适应擦除仍会明显拉低成功率。
PACE 针对非平行口音转换,用冻结 WavLM 上的口音预测子空间更新加检索融合实现推理时可调的转换强度,默认点以 16.0% 词错误率和 39.0% 分类器准确率优于复现基线,代价是说话人相似度降到 0.583。