带外国口音的合成语音,自然度该怎么评
论文用同一批日式英语做分析再合成以对齐口音强度,对比四种指示语和两类评测者并对照三种自动打分,说明笼统问自然度会把口音当缺陷,而问像人声程度并请熟悉该口音的人来听能更公平地比出系统差异。
论文用同一批日式英语做分析再合成以对齐口音强度,对比四种指示语和两类评测者并对照三种自动打分,说明笼统问自然度会把口音当缺陷,而问像人声程度并请熟悉该口音的人来听能更公平地比出系统差异。
JSIR 用 44 首标准曲的 267 个商用录音和统一拍点网格上的拍点、和弦、段落三层标注,解决流行乐数据训练的模型在爵士上拍点小节线、七和弦与段落边界失效的问题,基线显示外部爵士集下拍 F 值从 87.7% 到 89.2% 而七和弦准确率明显提升,但结论只在按曲目分组、可靠片段评估和阈值调参与否等条件下成立。
针对现有 MOS 预测在韩语上校准不良的问题,KOMOS 用 29 名韩国听众对 1000 条语音的 5000 个打分微调 Whisper-medium 编码器与听众条件预测头,在测试集上取得 SRCC 0.900 与 LCC 0.950,但结论只在该韩语数据划分与 seen-system 条件下成立。
论文针对固定频带划分难以兼顾不同混合内容的问题,提出随混合自适应移动边界的动态频带切分框架,在三个数据集上用固定带数对照验证了划分自适应的增益,并以消融说明了分块预算与重建细化的代价。
该文把空间语义分割拆成先标注后提取的两步,研究用卷积标注器与 SuDoRMRF 分离器替换大基线后在混合准确率与类感知信干比提升上的得失,并给出参数量与计算量的代价。
LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换,并用截断的残差量化延迟同时控制隐私、情感保留和延迟,代价是仍依赖编码器分块带来的数百毫秒算法延迟。
LiveSynth 用流式 MIDI 加 CLAP 音色向量逐帧生成连续音频隐变量再经因果 VAE 解码,在 NSynth 和 Slakh 上取得与离线基线可比的音色相似度和更低的频谱距离,代价是音符准确率和制作质量偏低,且实时性结论只在 M3 MacBook Air 上 10 ms 帧长下成立。
针对一句内中英交替难认准、稀有词和人名易错的问题,该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程,在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%,代价是需要约 2200 小时多数据训练和预先给定热词表。
针对自回归语音识别逐词生成慢的问题,论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证,在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变,代价是需额外训练草稿模块并调草稿长度。
针对鸡尾酒会中从脑电解码注意对象的问题,Merit 用去均值相关打分堵住音频捷径,用分流打乱与 Shapley 值度量每个输入的贡献,在 MAESTRO 上达到四选一 0.82 与未见被试 0.74 的准确率,同时发现加入行为信号流会让脑电的贡献几乎减半。
论文针对全模态大模型中问题相关证据仍在单模态分支可恢复却在联合预测中丢失的模态误路由问题,提出免训练的 CaRe 两阶段冲突检测与残差纠偏,并在 CMM 和 AVHBench 上以额外反事实推理为代价取得一致提升。
论文把混合音频的取证从整段二分类扩展为语音与背景各自的存在与真假八分类,用分离引导加混合波形与伪影证据联合推理的 TruMix 在 MixedTruth 上达到宏平均 AUC 约 98.51%,代价是约 98.8M 参数的多路 Transformer 与结构化推理流程。
该文用振膜弯曲到波导伸长再到马赫-曾德干涉光电流的解析链,评估光学散粒噪声与背腔热机械噪声决定的压力分辨率和以 10% 总谐波失真定义的过载,在 1 mW 紧凑情形给出 78 dB 信噪比与 124 dB 过载、在 100 mW 测量情形主要改善压力分辨率,但均附带有利假设而不构成对常规话筒的全面优势。
针对 MP3 低码率造成的带宽缺失与编码失真,MPASCNet 用幅度和包裹相位共同指导频点到紧凑 token 的自适应压缩与分支重建,在 MedleyDB 非重叠评测上以 6.49 M 参数取得整体 17.65 dB SDR 和 17.27 dB SI-SNR,但增益只在原文的混合训练与三类评测条件下成立。
MSVAE 针对歌词与连续音频隐变量难对齐的问题,把 64 维隐变量切成两个 32 维子空间分别对齐曲谱与语音识别参考,并以冻结音乐自监督特征为后验基底加门控声学修正,在保持重建的同时用无时间标注的音素前缀实现可懂歌声,代价是两阶段大语料训练与多判别器联合优化。
论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码,用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器,通过控制哪些比特可见来切换联合生成与不同条件生成,并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。
针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题,论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法,在两个小规模日语患者数据集上优于纯语音和普通多模态基线,但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。
论文把 WAXAL、BibleTTS 与 Mina 三处埃维语资源去重拼成 174.82 小时固定评测基准,并在其上微调 Whisper 与 AfriHuBERT,最好的 Whisper-medium 在 1443 句固定测试集上词错误率为 37.98%,代价是仍有标点与变音符号带来的虚高误差和专有名词脆弱性。
Oído 把 13M 参数 Conformer-CTC 以整句整块加按帧动态 int8 的方式装进 ESP32-S3 并在 LibriSpeech 上做到 3.70%/8.23%,代价是单核约 2 倍实时、文本要在说话结束后数秒才出现。
论文针对全模态问答中感知到却用不上的问题,用词级对齐诊断定位生成可及性瓶颈,再以自我生成的模态描述补足弱模态,主要证据是跨七个模型的平均提升与弱模态对齐回升,代价是增加描述生成开销。