不用渲染候选声音,如何在参数诱导的音频几何中搜索合成器参数
针对合成器声音匹配中通用音频表示难优化、直接搜索需反复渲染的问题,Synth-JEPA 学习音频与参数互相预测的联合嵌入并以此为免渲染目标做两阶段搜索,域内匹配最优且听感偏好达 85.1%,代价是 53M 模型与随预算增长的测试时计算。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对合成器声音匹配中通用音频表示难优化、直接搜索需反复渲染的问题,Synth-JEPA 学习音频与参数互相预测的联合嵌入并以此为免渲染目标做两阶段搜索,域内匹配最优且听感偏好达 85.1%,代价是 53M 模型与随预算增长的测试时计算。
论文检验参考与生成语音的情绪嵌入余弦相似度作为情绪评价指标的有效性,用受控三元组、对抗干扰和人类偏好对照证明其在说话人与文本干扰下失效,最强证据是语言干扰下准确率跌至个位数且与人类判断基本无关。
该挑战要求把对话中韵律承载的语用意图连同词义一起翻译,证据显示最佳音频系统主观评分 3.46 仍比人类重演 4.59 低 1.2 分,而特征映射基线几乎未被超越。
SGILE 针对原住民语言教学的低资源 TTS 问题,选择用开源 EveryVoice 工具包降低建声门槛并用 BWS 等强制选择评测降低听音人负担,论文以网页 Demo 展示不同数据量声音与 BWS 问卷流程,但正文未报告正式主观得分与统计检验。
共分析 34 篇语音/AI 论文
针对口语翻译评价只用文本上下文而低估人工译文的问题,该文提出以场景视听标签为共同条件的 AV-CXMI,在韩英电影翻译上报告与人工评分显著正相关 r=0.400 而文本版为负相关,代价是依赖云端大模型抽标签且仅在小规模单语对上验证。
针对人工耳蜗用户节奏感知弱的问题,BeatGain 在保留人声并重混打击成分的基线上加入节拍引导的时变增益,客观复杂度估计下降且节奏清晰度偏好显著提升,代价是偏离原混音略增且目前只验证 4/4 拍。
针对语音对话模型能说清但不够生动且缺客观表现力度量的问题,DeEAR 把表现力拆成情感、韵律、自发性三维分别建模再用 XGBoost 非线性融合,仅用 480 个标注在整体表现力上达到 SRCC 0.85 并以 14K 筛选数据把基座模型表现力从 2.0 提升到 23.4,代价是依赖启发式伪标签与小规模专家评测。
该研究把模仿质量判断转化为 20 类名人识别的 Top-1 命中问题,用注意力增强的 ECAPA 嵌入融合韵律与频谱打分,在 MIMICz 上达到 75% Top-1 命中,代价是依赖小规模棚录数据与主观 MOS 定义的最优。
论文用十一人新标注数据把未见说话人笑声切分误差降到 23.0 毫秒与 30% 替换错误,再对比人工与自动标注训练的声码器参数合成与音频大语言模型合成,报告显示后者自然度更高而前者笑法还原更高,且自动标注仍落后于人工标注。
论文以频带为单位用沙普利解释、部分依赖图与单带扰动对照三个质量评估网络与人类评分,报告网络与人都对拉低分数的因素更敏感且网络集中依赖低频带,而 MOSNet 在放大扰动下反向走高是主要代价。
针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题,论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比,主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持,代价是短语音上 BLEU 与 COMET 略低于基线。
针对常规平均意见分模型对日语局部音调核错误不敏感的问题,PASQA 用可控合成构造的重音核错误数据和自监督表示加四项增强学习重音正确度排序,主观评测中以斯皮尔曼 0.828 和肯德尔 0.614 优于常规模型,代价是绝对分数校准存在偏移且资源声明当前不可用。
该研究让 144 名听者判断 32 个合成声音的种族与个性,发现能感知种族但偏向判为白人、男性黑人感知音在多项个性评分更低,并用梯度提升树以 65% 准确率区分黑白感知音,代价是仅用男性音建模且女性黑人音多为模糊。
针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题,PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练,在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先,但生成仅约 8 秒且缺乏大型客观基准仍待验证。
针对日语视障读屏用户在 150–500 WPM 下的理解问题,研究用贝叶斯项目反应理论同时估计题目难度和人的能力,最强证据是 300 WPM 以上可理解性系统下降且个体差异 SD 达 0.91–1.10,代价是 N=11 导致可信区间平均宽 1.29 且无法可靠估计交互作用。
针对业余歌声跑调与节奏不稳且不能丢失歌词和本人音色的问题,SRF-SVB 用整流流做梅尔谱修复式生成并以业余谱作上下文约束,最强证据是中英文集上音高准确率与音色相似度同时领先,但生成重构在英文集上带来略高的字错率代价。
本文解读 Te Taura Whiri 与 Google 围绕毛利语地名发音的新西兰英语 TTS 合作,用谅解备忘录、参与框架、知识产权协议与对齐框架把文化分歧变成可执行步骤,并以 5 人对 5 人的混合评估验证发音质量,但不报告声学模型细节与定量指标。
论文以 CosyVoice 2 与 MaskGCT 为案例研究口音-情感纠缠问题,用口音 SMOS 听辨、GenAID 嵌入的 UMAP 与质心余弦距离证明前者随情感指令大幅漂移而后者稳定,代价是单一声纹相似度指标无法反映口音错误。
针对歌词可懂度主观感知与自动语音识别转写正确率不一致的问题,该工作把手工声学特征与 Whisper 编码器表示融合后用回归模型映射为连续分数,在 Cadenza 2026 人工标注数据五折验证上 CatBoost 取得均方根误差 27.367 与相关系数 0.654,代价是仍依赖参考文本的侵入式条件且未验证端到端与跨场景泛化。