给难读药名加上音素控制:会话式语音合成的发音改造
本文要解决会话式语音合成读不准罕见药名的问题,用词表扩展加音素增强微调学会读 ARPAbet 音素,再用无需训练的上一轮参考发音稳定输出,在 7,500 条药物评测上把严格正确率从 54.6% 提高到 90.7%,但人工听感优势只在小子集上成立且置信区间重叠。
本文要解决会话式语音合成读不准罕见药名的问题,用词表扩展加音素增强微调学会读 ARPAbet 音素,再用无需训练的上一轮参考发音稳定输出,在 7,500 条药物评测上把严格正确率从 54.6% 提高到 90.7%,但人工听感优势只在小子集上成立且置信区间重叠。
VISAGENT 针对公共热线多业务分散、菜单转接繁琐的问题,用端到端语音交互加两级路由把通用对话和数百个领域智能体接起来,在 114 真实场景和三组对照评测中验证了低延迟与路由可扩展性,但记忆与跨业务能力尚未充分验证。
针对输入截止频率多变且多步采样太慢的问题,论文用截止感知的流桥学习多步轨迹,再蒸馏为一步生成器并做对抗细化,在 VCTK 多带宽上取得最低对数谱距离且只需 1.80M 参数和一次网络评估。
DriftTTS 针对多步声学模型推理慢的问题,把迭代采样搬到训练中用漂移目标学习从文本先验到梅尔谱的直接映射,在 LJSpeech 上一次解码达到接近多步基线的自然度和可懂度,但结论只在单说话人、相同声码器和评测条件下成立。
论文用 ASVspoof 5 研究冻结 WavLM Base 各层区分真假语音的能力,发现中深层最具判别力、5 层组合优于 13 层全用,而深层更敏感于抖动等嗓音质量线索,但对抗攻击在所有层都难以检测。
针对自发含噪语音中填充词和笑声污染词边界的问题,论文保留经典 GMM-HMM 结构并换用 WavLM 特征加噪声配对投影与专用事件单元,在 149 小时自举训练下把 Buckeye 和 FluencyBank 词边界误差降到 20.6 与 76.9 毫秒,代价是朗读语音仍略逊于最强 MFA 配置且重度口吃语音绝对误差依然较高。
论文解决只有一路目标语音时如何从脑电估计注意力强弱起伏,用逐窗包络跟踪相关作证据再以两状态隐马尔可夫模型做前后文整合,在 30 人 75 分钟听课数据上把 1 秒窗平均区分度从 0.547 提升到 0.832,代价是单人转折定位仍有二十多秒误差且需要足够的专注基线。
论文在全部 22 种印度 scheduled 语言的 1164 段录音上零样本比较九个说话人日志系统,用印度电话银标签适配分割网络得到时长加权 16.78% 的错误率,并证明话语内停顿是否切分这一标注口径能带来 1.9 到 4.1 个百分点的系统性差异。
论文把向后兼容写成对旧嵌入器链的高检出与对链外嵌入器的高拒绝,用加权采样保链内检出、用角度多样性损失保版本边界,八个版本上把链外拒绝从约一成恢复到近百分之百且听感质量不变。
论文针对语音大模型从声音推断性别并产生刻板关联的问题,先用对抗训练去掉编码器中的性别信号,再用蒸馏保留性别感知但压低无关场景的偏差,第一步能把显式检测压到接近随机而第二步只在部分模型上轻微改善且受数据集与回答风格制约。
针对真实混响噪声加多人交叠下视觉也可能不可靠的问题,该文用双视觉流粗分离保留目标混响与底噪、再用混合加粗估计做目标提纯并做线性融合,在挑战赛两条赛道上以 12.31% 和 14.79% 的字错率取得最低,同时付出提纯后部分客观分离指标下降再由融合找回的代价。
CochlearMark 把水印藏在听神经锁相特征经密钥投影后的得分里,用很小的波形扰动把得分推过阈值,在语音音乐环境音上保持可听性与常规编辑鲁棒性,但在神经编解码低码率与改内容变换下会失效。
论文把听故事时的 fMRI 解码做成片段检索,用七帧时间卷积解码器 NOEMA 对齐文本加音频加语音三路目标,在两个数据集约 2000 候选中 Top-10 准确率超过 42%,代价是约 2.5 亿参数与被试内训练。
该文把口吃预测做成每 100 毫秒只用过去语音估计未来起始风险的时间到事件预报,用冻结 Whisper 加 3.67M 因果 Conformer 在 36 人 2872 个事件上达到 300 毫秒视界 AUROC 0.63,代价是平均精度仍低且误报频繁。
论文用一个全双工对话主干同时驱动语音合成与手势表情合成,并用语义调用加模板库补足稀疏的语义手势,在保持语音问答与轮流准确率的同时提升了对话手势与表情指标,但结论只在所建 138 段人工验证集与所用参考型评测条件下成立。
论文把频率初值偏差看成待逼近的指数项,指出准谐波模型只做了一阶近似,提出高阶正弦模型并用 LM 算法逐帧估计振幅与偏差,在仿真和语音上得到更准的参数与重构,但代价是迭代计算量高于一次最小二乘。
论文用 240 段合成多方对话同时考轮次结束与成功抢话两件事,发现轮次结束可达 92.6% 召回而抢话最高仅 56.2%,且五个全双工智能体进场很准但选择性让话接近随机。
论文针对随机组批可能让单批梯度只看到狭窄干净语音区间的问题,提出按干净语音特征分位数均衡组批的采样策略,在英语、西班牙语和帕金森病理语音上用回归与生成两类模型验证了多指标改善,但增益大小随特征、模型和数据集组合而变化,且几乎不增加训练改动。
论文把只有文字的 SEA-HELM 改造成先合成语音再识别转写的语音评测,用同一大模型和同一规则评分器对比文本直答与语音转写后作答,量化多语言语音链路在选择题和指令遵循上带来的准确率损失及其语言和任务差异。
论文用文本音频视频四个视角下五个情感选项的分布加熵与分布差异组成 28 维向量训练 CatBoost 回归器,在 CH-SIMS-v2 和 MOSI 上优于只学联合视角分布的对照,代价是每个片段需四次冻结模型查询。