总体词错误率饱和之后:用财报电话中的人名公司名检验定制词识别
论文针对通用词错误率难以反映人名公司产品名可用性的问题,在财报电话短片段上构建带本地与全局定制词表的公开基准,用关键词提示与关键词加权两类共六个系统做可复现评测,报告显示加上下文一致提升关键词 F 值但词错误率变化不一,而全局干扰词主要考验精度。
论文针对通用词错误率难以反映人名公司产品名可用性的问题,在财报电话短片段上构建带本地与全局定制词表的公开基准,用关键词提示与关键词加权两类共六个系统做可复现评测,报告显示加上下文一致提升关键词 F 值但词错误率变化不一,而全局干扰词主要考验精度。
该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成,用条件 WGAN-QC 和分类器引导扩散实现性别控制,在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上,但男性引导尺度增大时会出现 WER 明显上升的代价。
针对 AD 语音数据稀缺,CoSTA 用认知状态条件化的 CosyVoice2 与 F5-TTS 合成 AD 样和健康对照样语音,并对比人工转写与 36 种 ASR 转写驱动,在 ADReSS 纯音频测试集上达到 85.83%,但合成伪影使增强超过约 2.5 倍后性能回落。
针对中英混语唇语数据稀缺问题,论文用单语视频拼接构造伪语码切换样本并以共享适配器微调多语模型,在 CSLR 上把混合错误率降到 16.48,代价是纯单语中文识别仍明显弱于原始多语基线。
针对病理性语音标注稀缺问题,论文提出跨语言检索增强分类 CRAC,用有监督对比对齐做跨语言检索再做交叉注意力融合,在韩国脑卒中和意大利 ALS 两套数据上受试者级平衡准确率达到 87.3% 和 86.7%,代价是需要维护异语言向量库并调检索数 k。
该研究以词中相对词首的塞音弱化为问题,用跨语言统一的强度轮廓函数主成分分析加贝叶斯混合效应模型来度量弱化,最强证据是浊塞音在九种语言中几乎一致地更短且强度凹陷更浅,而鼻音和清塞音的实现方式因语言而异,代价是词重音混杂与强制对齐误差仍需补充检验。
针对气导易受噪、骨导带宽受限而融合模型又难上穿戴设备的问题,CCAP 用双路零掩蔽相对多模态响应的保持度给卷积通道打分并剪掉低分通道,在 TAPS 上多架构保持 PESQ 与 STOI 的同时把 50% 剪枝 LAU-Net 在 Cortex-M7 上的延迟降到 87 ms,但高剪枝率与单次剪枝加微调仍是主要代价与边界。
针对非母语屈折变化导致端到端语音翻译显著掉点的问题,论文用对齐的语义空间把对抗文本嵌入直接注入语音流形做鲁棒微调,在四组翻译方向上平均提升约 3.4 个 BLEU 点而干净集仅下降约 0.6 个 BLEU 点,代价是仍需词级强制对齐和两阶段训练。
针对双流式文本到语音需要准确对齐与低延迟序列组织的问题,论文用基于 CTC 的音素对齐替代 MFA 并提出双词交织,在单说话人流式与多说话人零样本任务上报告了更低词错误率,代价是长度拼接变体首包延迟更高而特征堆叠变体质量略低。
针对静态 RawBoost 在环境声上破坏高频纹理且采样与决策边界无关的问题,DAR-Boost 用可微噪声层加形状与强度解耦加自适应路由做对抗增强,在 EnvSDD 上把 ATA 降到 0.90% 而代价是引入梯度反转与多样性权重的联合调参。
针对语音对话模型能说清但不够生动且缺客观表现力度量的问题,DeEAR 把表现力拆成情感、韵律、自发性三维分别建模再用 XGBoost 非线性融合,仅用 480 个标注在整体表现力上达到 SRCC 0.85 并以 14K 筛选数据把基座模型表现力从 2.0 提升到 23.4,代价是依赖启发式伪标签与小规模专家评测。
针对语言模型语音合成中束搜索易时间坍缩且延迟高的问题,论文用轻量学生做块级束扩展、原教师模型做树形评估与选择,并加硬重复约束,报告在保持基线实时率的同时相对传统束搜索最高加速 5.1 倍、相对采样解码最高降低词错误率 50%,代价是仍需蒸馏训练与多超参数配合。
DECRA 针对流式匿名会泄漏情感且离线情感转换无法逐帧调控的问题,用 TVTSyn 骨干加情感解耦与因果 SER 预测的连续效价唤醒轨迹做合成条件,在 ESD 中性化与转换上唤醒一致性达到 0.81 与 0.74 而流式延迟为 76.1 ms,代价是效价控制弱且主观音质低于离线基线。
论文用统一纯 Python 工具 DeepFense 复现已有系统并做 96 系统交叉评测,报告显示自监督前端主导性能方差而 CodecFake 训练泛化最好,但高平均性能伴随质量性别语言上的公平性代价。
针对在线说话人日志随说话人数增多而误注册增多的问题,论文用延迟承诺缓冲加自适应阈值的质心跟踪,在系统语音活动检测和 0.5s 延迟下于 VoxConverse 和 VoxSRC-23 取得 9.53% 和 9.12% 的日志错误率,代价是仍无重叠处理且单缓冲假设未覆盖强重叠场景。
针对临床录音需外传处理带来的延迟与信息技术障碍,该演示把韵律分析全流程搬到 NVIDIA Jetson AGX Orin 上本地运行,用麦克风采集、显示器呈现交互仪表盘,并以快于音频时长的本地处理支撑床旁复核与重算,但原文未报告可比精度与延迟数字。
该工作把人到非人声音转换定义为保留源内容并复刻参考设计音色的任务,用 40 见过与 7 未见过预设和见过与未见过音色源构造配对测试,并以代表性模型的余弦相似度从 0.667 降到 0.610 和 MOS 从 3.81 降到 3.49 为代价展示泛化难度。
DiffRhythm 2 用块内并行、块间自回归的分块流匹配解决长歌曲词声对齐难题,以 5 Hz 音乐变分自编码器支撑 210 秒建模,并用随机块表示对齐与跨对偏好优化提升结构与综合偏好,最强证据是 Mulan-T 0.40 与 PER 0.13,代价是低帧率压缩限制重建上限与人声精细度仍弱于商业系统。
针对跨语言语音情感识别中编码器过拟合语料特异线索的问题,该文用类原型锚定的条件扩散学习样本-原型双向变换,在英日互测中欠拟合侧分别提升 6.42 和 4.00 个百分点,代价是需联合训练去噪器与分类器并调节成对与循环约束权重。
该文在 LibriSpeech 上用 CTC 声学模型加扩散语言模型做重打分与逐词元联合解码,最强可运行证据是 MDLM 重打分把 dev-other 从 5.08% 降到 4.47%,而单步 CTC-USDM 联合解码以接近 CTC 的实时率做到 4.66%,代价是扩散重打分需要大量蒙特卡洛采样且仍弱于自回归语言模型。