内容表示的容量与目标如何决定说话人解耦:同一合成器下的统一测量
论文用同一无说话人条件的生成器把每种内容表示重新合成为语音,再测内容、说话人和韵律保留了多少,发现有监督表示只有在容量被显式约束时才解耦说话人,而码本大小只在同一机制内微调。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文用同一无说话人条件的生成器把每种内容表示重新合成为语音,再测内容、说话人和韵律保留了多少,发现有监督表示只有在容量被显式约束时才解耦说话人,而码本大小只在同一机制内微调。
本文追问现行人工智能透明度义务为何只盯合成语音输出而漏掉可携带的说话人嵌入模型与多分支合成工作流,并以文本转语音、声音转换、说话人验证与语音识别的趋同证据说明监管语言需要补上模型全生命周期与工作流环节,代价是需要处理助残与身份认同等特殊用途的例外设计。
该研究用同一批被试在学习、导航、闲聊和听故事四种任务中交叉评价四个合成系统,报告应用场景会显著改变系统间差异,而虚拟现实数字孪生在宽松等价带下得到可比评分,但分系统看仍有不确定性且播放设备不同构成代价。
针对刚性槽位式语音合成难以处理自由形式用户请求的问题,Bagpiper-TTS 用同一模型先做文本规划再生成数百词元富标题最后合成语音,在 Seed-TTS-Eval 英文集上报告词错误率为 1.7%,代价是依赖大规模仿真数据过滤与长标题推理链。
EffVOC 用因果卷积加循环加逐级上采样的声码器结构,从幅度谱或梅尔系数直接生成宽带与全带语音波形,在 20 毫秒算法延迟下取得接近真值的 MOS 主观分,但小模型与梅尔输入在部分客观指标上仍有代价。
针对用户同句不同情绪难处理且情绪对话数据稀缺的问题,Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音,在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优,但细微混合情绪仍偏通用且依赖合成数据过滤条件。
针对发音合成中声带碰撞阶段被硬裁剪为零而不够自然的问题,该研究用指数过渡的软接触与软分离加偏斜控制重建声门面积波形,在保持相同合成器与参数网格的听辨中以 58.1% 的偏好率和 3.02 对 2.68 的平均意见分胜出,但优势随预发声开度和相位等条件变化。
该研究用持续音三维磁共振做端点形状、用中矢面实时磁共振轮廓约束大形变微分同胚映射生成连续三维声道,再用有限元求解亥姆霍兹共振验证其共振峰轨迹,代价是系统性偏高与第三共振峰在释放段仍有约 257 赫兹残差。
该研究以三维可压缩流动仿真为基准检验一维模型中 Fant 噪声缩放因子,显示/a/正常闭合时常规值可用,而在气息声不完全闭合与/u/声道收缩下最优值明显偏移,因而一维噪声需按流动构型调整。
NVV-SuperBench 针对笑、叹息、哭泣等非言语发声提出 45 类双语可控生成基准,用客观、人听与大模型多评分者三路评估 15 个系统,报告显示可控性常与语音质量脱钩,而低信噪比口腔音与长时情感发声仍是最难的瓶颈,且加非言语发声会抬高词错误率并改变自然度偏好。
该研究把声带双质量振动与一维声道波动方程写成无监督物理损失,用分支输入声道形状、主干输入时空坐标的深度算子一次学习五个元音的稳态周期解,最强证据是基频误差约 0.1-0.2% 与声门流量和唇端声压波形接近传统求解器,代价是训练约 80 小时且目前只验证已见形状的稳态推理。
论文以连续扩散直接建模对数梅尔谱研究无文本语音语言模型的可扩展性,用音素 JSD 度量语言性并在十档算力上拟合验证损失与下游指标的扩展律,发现最优词元参数比随算力下降且等损失带变宽,但把模型推到 16B 参数与数千万小时对话数据后长程连贯仍是主要代价。
针对梅尔谱到波形重建中频谱细节丢失与相位卷绕监督不准的问题,SCNet 用低频子带条件网络提供频域先验并用幅度加权相位损失强调高能量区,在域内与跨域评测上优于同量级基线,代价是引入双分支与耦合模块的额外计算。
论文用十一人新标注数据把未见说话人笑声切分误差降到 23.0 毫秒与 30% 替换错误,再对比人工与自动标注训练的声码器参数合成与音频大语言模型合成,报告显示后者自然度更高而前者笑法还原更高,且自动标注仍落后于人工标注。
论文以语音经发音再到语音的闭环为问题,用发音特征加声源与说话人特征以及确定性合成与流匹配生成的对照,显示附加特征与采样步数能提升自然度与说话人相似度,但会削弱发音保真并在噪声与特征替换下暴露依赖。
针对原发性进行性失语临床语音稀缺问题,HASS 用词汇检索损伤层与音素编码损伤层串行仿真 logopenic 变体的内容与语音共现损伤并经语音合成生成严重度可控语料,只用合成数据训练的 Wav2Vec2 低秩分类器在真实跨机构测试上报告更高曲线下面积与更小跨折方差,但离散音素编辑与为流利语音优化的合成器仍是明确代价。
该研究用三维有限元求解弯曲声道在 14 千赫兹以内的传递函数,发现均匀截面弯曲几乎不改变共振,而元音 A 型非均匀截面在 8 千赫兹以上出现随弯曲角移动的反共振和横向声压结构,代价是理想化圆形截面和开口边界假设限制了向真实发音的直接推广。
该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件,显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持,小聚类下语言监督才有附加增益,但大聚类下附加语言条件可能无益甚至轻微损伤。
论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题,发现中等偏大的 N 在更低比特率下仍保持可懂与连贯,而自动指标与人评的相关仍有限且评估方法需改进。
针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题,该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配,在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率,代价是感知质量仍略低于 10 步基线。