只给文字也能适配语音识别:用多视角去噪留住语音与文本的对齐
针对纯文本适配会冲掉语音投影对齐的问题,该文把适配重写为去噪任务并用四路混合批次保持对齐,在 DefinedAI 与 SlideSpeech 上报告最高 25.4% 相对词错误率下降,代价是仍需保留源域音频与调目标比例。
针对纯文本适配会冲掉语音投影对齐的问题,该文把适配重写为去噪任务并用四路混合批次保持对齐,在 DefinedAI 与 SlideSpeech 上报告最高 25.4% 相对词错误率下降,代价是仍需保留源域音频与调目标比例。
针对儿童中心长录音中说话人类别难分的问题,论文用 13164 小时有效语音的 40 余种语言儿童中心数据做两轮 HuBERT 预训练再微调做声音类型分类,在留出集上平均 F1 达到 66.9% 接近第二标注者的 69.8%,代价是 32 块 H100 各 30 小时预训练与对其他儿童类的剩余差距。
针对俄语重音移动与韵律标注缺失问题,Balalaika 用语义切分加多识别器投票加质量过滤构建约 5078 小时多源语料,并在 25 小时等量预算下验证去噪与语音合成的自然度收益,但严格过滤与单说话人优势等边界仍需注意。
针对语音与噪声频谱重叠时增强模型顾此失彼的问题,论文把语音衰减惩罚与残留噪声惩罚拆成两项并用 λ 加权组合,在四种架构上报告 λ 与语音质量正相关、与噪声抑制负相关,最强证据是 13 个 λ 下相关系数 0.95 与 -0.96,代价是两端极值会出现过抑制或噪声泄漏。
针对极角估计中声源谱与头相关传输函数纠缠的病态问题,论文用相关性贝叶斯观察者联合评估生态声源先验与五种空间先验,最强证据是所有变体复现了谱分辨率提高时极角误差与象限错误率单调下降而非对称先验整体更贴合,但生态声源先验增益有限且组水平无一致最优先验。
针对说话人数未知时的联合多说话人识别与说话人归属加时间戳问题,论文采用先带思维链监督微调再用多维约束奖励做分组相对策略优化的两阶段路线,在 Libri3Mix 与 Dynamic-Mix 上报告 14.52%/9.24% 的 cpWER 和 1.95%/1.12% 的 WDER,代价是需要精细结构化输出与多采样强化探索。
论文以 32 名三代平顶山话发音人的声学与喉头仪同步生产实验,显示老年组主要靠音高区分 T2 与 T4,而青年组在音高轮廓差缩小后显著加重了嘎裂声发声与时长权重,随机森林平均 AUC 超过 0.97,但结论目前仅来自生产端而无感知验证。
针对两阶段扩散语音合成中固定对齐导致平均化韵律与单阶段对齐不稳的矛盾,该文用离散插入跳变管时长结构、用连续扩散修频谱内容,最强证据是单发变体在相同总时长下以 3.37% 词错率优于 Grad-TTS 的 4.38%,代价是需要冻结的编码器与扩散主干并增加位置与内容两个预测器及变长迭代开销。
该研究用西班牙语主导的西英双语者在线词语影子任务检验对真人与合成语音的语音趋同,发现元音时长和嗓音起始时间总体发生趋同但受语言与社会因素调节,而英语嗓音起始时间的负距离差需用抽象音位目标解释。
该文先用英语量化把训练单元从 12.03 秒缩到 0.35 秒的代价,再用短语音训练的单音子模型去强制对齐长语音得到句子级语料,并在 5 种濒危语言上证明 CPU 可训练的 HMM 系统域外性能优于大模型,但 Jejueo 和 Mohawk 仍极难且 Hawaiian 只保留 23.20% 时长。
该文把跨语言文本与语音摘要统一为语义向量序列到法语摘要的生成问题,用 BGE-M3 与 SENSE 对齐的嵌入加 140M 可训练的 SBARThez 实现,在 CrossSum 低资源文本和自建 ABT-SpeechSUM 三语语音上超过级联与 mT5-large 基线,但依赖嵌入空间对齐质量且摘要多为合成参考。
针对自然语言提示与语音风格之间的跨模态差距和一对多映射问题,OTAFlow 先用最优传输加对比学习加多任务监督构造统一风格空间,再用条件流匹配为同一提示采样多样声学风格向量,在 TextrolSpeech 上把文本到音频检索 R@10 做到 0.875 并把合成风格 sMOS 做到 3.88,代价是下游仍用轻量 DiT 骨干且自然度提升有限。
针对语音语言模型偏向语言先验而忽视声学证据的问题,CAAD 用元数据锚定的伪真值同步生成教师双路径对比分布并蒸馏给单路径学生,在 Dynamic-SUPERB 上相对标准蒸馏提升约 8% 并在 MCR-BENCH 上把 Shift 降到 79.03,代价是仍需调对比权重 α 并受限于小模型自身能力。
论文用 Qwen3-Omni-30B-Instruct 在 1848 条印尼中学生朗读上检验口音度与可理解度自动评分,显示少样本下中等相关并能检出前后测进步,但线索排序在口音度上与人差异更大且整体打分偏低。
该文把静音替换作为破坏基线,用干净隐藏状态回填来测量恢复率,在四个听觉属性上追踪五个模型,发现融合深度分化与末 token 瓶颈,但未给出可部署精度的数值增益与开销测量。
针对语音大模型能识别情绪却回不对情绪方向的问题,CE-CoT 把一次回答拆成情绪识别、中性回答与情绪对齐改写三步做隐式对照训练,在四个数据集上把情绪一致性最高提升 19.1 个百分点相对普通对齐与 35.2 个百分点相对预训练基线,代价是仍只验证单轮与自动裁判打分。
针对大模型语音识别只用文本适配会出现语音文本失配的问题,论文用混合批次把少量配对语音文本和大量文本放在一起训练,在银行、农业和乐器三个目标域上用不到 4 小时语音就达到接近全量语音微调的字错率,同时更好地保留了源域性能。
针对标注老年语音稀缺且直接解码伪标签不可靠的问题,该工作用置信度排序做课程式增量伪标签并结合说话人提示自适应,在 Pitt 与 JCCOCC MoCA 上相对半监督基线取得 1.45% 与 2.27% 绝对误差下降,但低置信度段仍保留较高误差且依赖说话人标识已知。
针对韩语流式倾听中声学停顿会误导应声的问题,该研究用停顿概率软加权把决策收拢到停顿附近,再用部分识别文本过滤问句后不该应声的停顿,评估报告语义误发现率下降 53.8%,代价是召回率从 80.40% 降到 71.74%。
针对预训练模型双分支特征尺度不一致与均值教师固定更新不稳定问题,该文用时间自相似一致约束同步双分支演化轨迹、用基于参考损失的自适应更新稳定教师,并在 DCASE 2024 任务 4 上以 0.541 PSDS1、0.768 mpAUC、1.309 Score 取得最优,但第二阶段同时使用两项改进时 PSDS1 出现小幅回落需靠跨阶段融合弥补。