希腊语缺干净长语音时,用确定性提示词加单人低秩适配锁住说话人
针对现代希腊语干净单人语料稀缺导致的多说话人平均音色漂移问题,论文用 WhisperX 对齐过滤的有声书管线加 Parler-TTS 两阶段适配解决,以确定性提示词加 3.5 小时单人 LoRA 达到词错误率 10.7% 和说话人一致性 4.24 分,代价是频谱保真度和目标说话人相似度仍有限且仅验证单一男性朗读风格。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对现代希腊语干净单人语料稀缺导致的多说话人平均音色漂移问题,论文用 WhisperX 对齐过滤的有声书管线加 Parler-TTS 两阶段适配解决,以确定性提示词加 3.5 小时单人 LoRA 达到词错误率 10.7% 和说话人一致性 4.24 分,代价是频谱保真度和目标说话人相似度仍有限且仅验证单一男性朗读风格。
针对固定帧率均匀分配分辨率的问题,DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE,在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线,代价是每步 1 比特掩码开销与高码率下增益收窄。
该文把文本语音编辑拆为语义空间的内容填充与流匹配声学重建,再用冻结文本转语音模型作一致性评价并辅以可懂度和时长门控做群组相对策略优化,在插入删除替换三类任务上以更低词错率和更高主客观自然度超过自回归与非自回归基线,代价是依赖冻结分词器声码器与多步采样训练成本。
该文用 11 段纯语音与 11 段语音加背景音的 MUSHRA 听测检验 20 余种客观指标,发现 SCOREQ 在纯语音上 Pearson ρ 为 0.937、PESQ 在混合音频上 ρ 为 0.903,而 PEAQ 与多数免参考指标在混合内容上失效,代价是现有指标均不刻画立体声空间失真且样本与听音人数有限。
该文在 10 个系统的语音自然度评价中比较随机、排序式 merge-rank 与信息增益式 ASAP 三种选对策略,发现 ASAP 发现显著差异最多、排序最稳,且相同听音时长下 BWS 优于 AB,但代价是 BWS 单题更长、ASAP 需序贯计算与完整回答库仿真。
针对改大或压住 creak 时音高与性别感知易被连带拖走的问题,论文用两段条件连续归一化流分别处理高层说话人属性与低层嗓音品质并在中间层做对抗去相关,在 LibriTTS-R 与 YourTTS 主干上以更小的音高偏移和更稳的性别与说话人验证指标完成 creak 编辑,代价是强操作仍会损失部分说话人相似度且抑制方向的主观 creak 变化不显著。
针对零样本声音克隆的未授权冒用问题,该工作先解耦内容与说话人表示再在说话人嵌入空间加对抗扰动并用心理声学掩蔽约束不可听性,在 VCTK 上报告 87.2% 防御成功率、MOS 4.18、WER 5.30%,代价是需要两阶段训练且黑盒迁移后防御率明显下降。
针对发音合成中声带碰撞阶段被硬裁剪为零而不够自然的问题,该研究用指数过渡的软接触与软分离加偏斜控制重建声门面积波形,在保持相同合成器与参数网格的听辨中以 58.1% 的偏好率和 3.02 对 2.68 的平均意见分胜出,但优势随预发声开度和相位等条件变化。
针对编解码语音合成后训练中多指标加权融合导致候选区分度弱的问题,论文用识别机器味输出的 ChatScorer 加间隔偏好构造来保留差距明显的样本,实验显示排序偏好优化在稳定性和坏样本率上优于基线,而代价是丢弃较多提示且在线强化在小数据下仍落后。
论文用声学劣化、重音翻转、基频与语速操纵三组可控扰动比较 15 名日语母语听众与 6 个预测模型,显示模型能跟踪杂音却对 1.84 分的重音下跌至多只动 0.1 分,并对平均基频呈现人类没有的强偏置,代价是标量平均意见分丢失了韵律维度。
论文用四系统配对消融与 768 个人评证明神经 MOS 在离散野外 TTS 上相关性塌到零且错罚噪声而漏判语义错误,代价是不能再单独用它做系统排序。
该研究用同一批句子在朗读、助手、演员、动画角色和自发对话五种设定下同时测人类相似度和合适度,发现合适度随场景独立变化,最强的证据是人类相似度与合适度的句级相关从演员域正相关转为助手域负相关,而常用客观指标在表情丰富的域失效。
该研究把固定零向量换成每个条件独立可学习的空嵌入并解耦说话人与文本引导,在相同模型与训练条件下提升说话人相似性与稳定性且在大引导权重下更稳,代价是绝对感知质量分数略降且需在推理时手工权衡相似性与自然度。
针对声音印象数值控制中无公开语料与参考音频导致印象泄露的问题,论文构建 LibriTTS-VI 并提出双话语解耦训练与无参考生成,最强证据是 11 维印象均方误差客观从 0.61 降到 0.41、主观从 1.15 降到 0.92,代价是无参考方法说话人相似度略降且部分维度仍难控。
该研究以 301 名学习者的 pepeha 朗读为样本,用语音学家听辨、流利者按音节接受或拒绝打分、F1 与 F2 声学测量三角验证单双元音的可接受边界,发现单音中高接受的央化与后缩变体在双元音语境下接受度分化,代价是目前仅覆盖部分元音且未做评分者一致性检验。
针对混合音乐中乐器种类与数量未知的问题,论文用 stem 嵌入生成器逐个发现音频查询再驱动查询分离器,在正确检出的干声上达到人工查询相当的分离质量,主要代价是检出召回不完整与自编码器引入的听感瓶颈。
针对说话人识别训练压制同一人差异而损害语音生成表现力的问题,该文提出每人学多个子中心的判别训练,并在零样本声音转换上显示高方差配置提升可懂度和自然度,同时保持验证性能,但低方差配置在说话人相似度上更有优势。
该研究以 ElevenLabs 性感化男女声为对象,用性感文本与彩虹通道文本交叉配对做听辨实验,发现男声更易得积极与支配评价、女声更易得顺从与性感评价,且换成中性文本后女声性感化标签仍显著残留,代价是样本仅限英语商业平台与北美听众。
该研究用有无逗号的歧义句考查合成音的韵律可懂度,发现压缩音高变化的单调处理影响很小,而与韵律线索无直接语音关联的机器化音质只在有逗号句上提高了图片匹配正确率,问卷上情感音仅提高了自然度评分。
针对生成式增强容易幻觉且强混响强噪声下质量不足的问题,StuPASE 用干声微调修正目标分布并把声学模块换成流匹配,在保持低词错率的同时把主观质量做到最高,代价是客观说话人相似度略降且依赖两阶段训练。