自动笑声标注还不够准:笑声识别误差如何传导到两种合成器的自然度与笑法还原
论文用十一人新标注数据把未见说话人笑声切分误差降到 23.0 毫秒与 30% 替换错误,再对比人工与自动标注训练的声码器参数合成与音频大语言模型合成,报告显示后者自然度更高而前者笑法还原更高,且自动标注仍落后于人工标注。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文用十一人新标注数据把未见说话人笑声切分误差降到 23.0 毫秒与 30% 替换错误,再对比人工与自动标注训练的声码器参数合成与音频大语言模型合成,报告显示后者自然度更高而前者笑法还原更高,且自动标注仍落后于人工标注。
论文以频带为单位用沙普利解释、部分依赖图与单带扰动对照三个质量评估网络与人类评分,报告网络与人都对拉低分数的因素更敏感且网络集中依赖低频带,而 MOSNet 在放大扰动下反向走高是主要代价。
针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题,论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比,主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持,代价是短语音上 BLEU 与 COMET 略低于基线。
针对常规平均意见分模型对日语局部音调核错误不敏感的问题,PASQA 用可控合成构造的重音核错误数据和自监督表示加四项增强学习重音正确度排序,主观评测中以斯皮尔曼 0.828 和肯德尔 0.614 优于常规模型,代价是绝对分数校准存在偏移且资源声明当前不可用。
该研究让 144 名听者判断 32 个合成声音的种族与个性,发现能感知种族但偏向判为白人、男性黑人感知音在多项个性评分更低,并用梯度提升树以 65% 准确率区分黑白感知音,代价是仅用男性音建模且女性黑人音多为模糊。
针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题,PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练,在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先,但生成仅约 8 秒且缺乏大型客观基准仍待验证。
针对日语视障读屏用户在 150–500 WPM 下的理解问题,研究用贝叶斯项目反应理论同时估计题目难度和人的能力,最强证据是 300 WPM 以上可理解性系统下降且个体差异 SD 达 0.91–1.10,代价是 N=11 导致可信区间平均宽 1.29 且无法可靠估计交互作用。
针对业余歌声跑调与节奏不稳且不能丢失歌词和本人音色的问题,SRF-SVB 用整流流做梅尔谱修复式生成并以业余谱作上下文约束,最强证据是中英文集上音高准确率与音色相似度同时领先,但生成重构在英文集上带来略高的字错率代价。
本文解读 Te Taura Whiri 与 Google 围绕毛利语地名发音的新西兰英语 TTS 合作,用谅解备忘录、参与框架、知识产权协议与对齐框架把文化分歧变成可执行步骤,并以 5 人对 5 人的混合评估验证发音质量,但不报告声学模型细节与定量指标。
论文以 CosyVoice 2 与 MaskGCT 为案例研究口音-情感纠缠问题,用口音 SMOS 听辨、GenAID 嵌入的 UMAP 与质心余弦距离证明前者随情感指令大幅漂移而后者稳定,代价是单一声纹相似度指标无法反映口音错误。
针对歌词可懂度主观感知与自动语音识别转写正确率不一致的问题,该工作把手工声学特征与 Whisper 编码器表示融合后用回归模型映射为连续分数,在 Cadenza 2026 人工标注数据五折验证上 CatBoost 取得均方根误差 27.367 与相关系数 0.654,代价是仍依赖参考文本的侵入式条件且未验证端到端与跨场景泛化。
针对音频字幕依赖成对标注且自动指标与人意不一致的问题,该研究用成对偏好训练 CLAP 嵌入上的奖励模型再做自批判强化微调,在挑战样本上获得更高人类胜率,代价是需要额外偏好标注且长句奖励投机需用长度惩罚抑制。
该文把近端聆听增强做成在谱-时间调制域上学习全局掩蔽并保持总能量不变,在多种噪声和客观加主观指标上报告了优于时频基线的平均增益,但低信噪比下个别条件仍被基线反超且主观验证规模很小。
针对老年听辨需求,论文用医护专家示范代替老人偏好标注,以专家奖励加发音奖励的复合奖励做 GRPO 微调,并用两阶段在策略奖励学习抑制奖励黑客行为,最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO,代价是专家数据仅 1.5 小时且需多轮奖励模型重训。
该研究比较电台口语转写与三种书面语域输入的合成语音可听性,发现口语转写显著增加主观努力并降低回忆,而大模型生成文本与维基文本无显著差异,但四条件语义内容并不相同因而不能做因果归因。
该研究以性别延展与非性别延展两组嗓音对比六个零样本语音合成模型,发现人耳相似度上两模型对性别延展组显著更差而三模型反向更好,且说话人相似度和自动平均意见分预测与人耳判断多处不一致,代价是现有自动评测难以替代人工听辨。
针对噪声下自信但错误的强制转写问题,该研究用片段级弃权占位符 PH 与经人偏好校准的可靠性分数 RAS 组织评价与训练,并在 LibriSpeech 与 TALCS 上以两阶段监督加强化学习提升可靠性,同时保留了可用转写内容。
针对 Efik 数据稀缺与声调易错问题,研究用约 3 小时 2632 句单人语料微调 VITS、MMS-TTS、SpeechT5 和 Orpheus-TTS 四种模型,母语者评测显示 MMS-TTS 以 3.80±0.63 居首且长文本更稳,但声调与特殊音素问题仍未解决。
该研究以 459 名日语被试的回放与听觉想象对照量化自我声音厌恶,证实回放比想象更不适且身份相似感不变,顺序与个人特质调节差距,而可复制的声学主效应稀少、特质与声学交互更关键。
针对孟加拉语缺少长篇单人 TTS 数据的问题,作者构建 20 小时有声书语料 BanglaKontho 并配套文本归一器,用同构 MB-iSTFT-VITS 基线显示 WER 9.5% 与 MOS 4.46 优于 IndicTTS-Bn 复训基线的 16.0% 与 3.16,代价是单说话人叙述风格与非商业许可限制。