不改大模型参数,如何让热词只在听到时才生效:AFG-Bias 的检索加门控
针对大模型语音识别中罕见实体难识别且提示词注入易幻觉的问题,AFG-Bias 用声学检索先定位再用门控注入偏置,在金融和医疗集上报告最高 74.1% 相对字错率下降,代价是需额外训练轻量增强模块并依赖检索质量。
针对大模型语音识别中罕见实体难识别且提示词注入易幻觉的问题,AFG-Bias 用声学检索先定位再用门控注入偏置,在金融和医疗集上报告最高 74.1% 相对字错率下降,代价是需额外训练轻量增强模块并依赖检索质量。
针对语音 AD 检测数据稀缺且通用增强丢失认知特征的问题,该研究用检索增强大模型生成认知受约束文本再用属性引导语音合成补齐声学一致样本,在 ADReSSo 等多模型对照中提升检测性能,代价是需要精细标注、微调与控制增强比例。
针对客服多轮对话中实体易错问题,论文在冻结 SLAM-ASR 主干上只训练上下文投影器并搭配关键词提示,报告平均相对带来整体约 2.5% 与偏置词约 7.2% 的改善,但纯关键词会抬高整体词错误率而长原始上下文会直接恶化识别。
针对生成器持续演化导致判别边界失效的问题,DASM 只用真实音乐学习记忆库流形再用原始与偏差双分支判别,在 SONICS 上报告 0.13% EER、99.89% 准确率、99.98% AUC,代价是跨域到 FakeMusicCaps 时 EER 仍升至 25.59% 且需两阶段训练与 MERT 提示调优。
针对复杂音频问答中模型只看显著片段、推理链不可核查的问题,EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程,在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分,代价是依赖外部工具粒度和多步调用。
针对冻结流匹配语音合成持续读错多语专有名词的问题,FlowEdit 冻结 DiT 只优化文本嵌入扰动并存入 Modern Hopfield 记忆,在 312 词基准上把目标词音素错误率降到 3.1% 且通用语音保持 4.1%,单次纠错约 15 秒但声调语言残留误差更高。
针对非平行语料无法直接做有监督变声的问题,该文用 WavLM 特征上的 K 近邻离线合成伪源再学回真实目标,并以波形级说话人验证损失约束身份,在仅英文训练下报告了英文身份指标优势与多语言可懂度优势,但感知质量与长参考稳定性仍有限且短参考鲁棒性依赖后训练声码器。
针对自动抑郁检测中微调成本高且易过拟合的问题,Moot-Court 用冻结大模型做文本化声学融合与控辩对抗图推理加可进化经验库,在 DAIC-WOZ 上报告 F1 为 0.8856 且召回达 0.9394,但全文存在 0.8750 与 0.8856 的数字冲突与小样本泛化边界。
针对端到端语音识别中专有名词易被替换为高频近音词的问题,该文提出只读转写文本的多视角检索 grounding 框架,用 G2P 细粒度发音、Soundex 粗粒度编码与上下文语义嵌入做归一化融合排序,在 69542 个对齐药物实体上把 Whisper-large-v3 的 Recall@1 从 38.27% 提升到 74.67%,代价是依赖预定义闭集词典与实 …
针对级联丢失韵律而端到端难控情感与知识的问题,PRISM 把感知、管理、回应、发声拆成四智能体并用韵律转语言稳定推理,在 AvaMERG 上以自动、人工和大模型评测同时占优,代价是只微调回应器且依赖外部识别与合成模块。
针对稀疏测量下个性化头相关传输函数难以估计的问题,论文用数据库检索先验与双耳声音感知线索做双分支协同预测,在 SONICOM 上以对数谱失真为指标在各测量点数下取得最低误差,但语音等窄带声音与定位偏差仍需专门处理。
针对声音到人脸一对多映射导致口型不一致的问题,该文把可见发音拆成张开、展圆、前突三个方向,先用语音发音记忆检索方向运动再用网格拓扑组合成表面一致的顶点运动,在保持整体重建的同时改善了唇部距离与速度误差,代价是两阶段训练且不建模上半脸随机动态与口内结构。
针对大词典直接偏置会引入无关词的问题,该文用同一预训练语音大模型一次生成初识结果并标出疑似领域词错误片段,只用这些片段做音似检索再做第二遍重识别,在医疗、空管、金融三域上把每句查询从十余次降到约 1 次并降低了领域词错误率,但低频词增益在领域词占比低时变小且仍依赖提示与检索排序质量。
针对文本查询同时检索语音库和文本库时分数不可比的问题,论文用 Z 分数归一加基础音频语言模型标注构造跨模态排序数据,再用 LoRA 微调音频语言模型做重排器,最强证据是混合域下重排显著超过 Z 分数基线,代价是对目标函数和音频切窗策略敏感且依赖合成语音数据。
针对综艺节目非写实、强喜剧与强同步音效需求,ARCHES 用规划-生成-检查-分派精修的多智能体循环结合检索增强与经验记忆,在 VSSE-Bench 上把 LSD 降到 0.77 dB、起音误差降到 0.048 秒,代价是依赖大模型判断与多轮迭代开销。
针对病理性语音标注稀缺问题,论文提出跨语言检索增强分类 CRAC,用有监督对比对齐做跨语言检索再做交叉注意力融合,在韩国脑卒中和意大利 ALS 两套数据上受试者级平衡准确率达到 87.3% 和 86.7%,代价是需要维护异语言向量库并调检索数 k。
针对音频大模型在噪声与细粒度混淆下的感知幻觉,RAISE 用免训练的三阶段路由加两种外部声学证据在 MMAR 与 MMAU 上带来最高 12.4 个百分点的提升,代价是被路由到的少数困难样本需承担 20 秒以上的工具与推理耗时。
针对语音增强语言模型受上下文窗口限制、难以从大规模偏置名单中识别多目标罕见词的问题,COALA 用判别投影做偏置打分并提出 MPD 与 DPD 损失,在 LibriSpeech 上把过滤后识别的偏置词错误率明显压低,代价是仍需两阶段训练与 Top-K 截断。
针对音频描述中声学证据不足却被语言先验补足的幻觉问题,论文用检索到的宽带噪声保守描述做上下文校准,在 Clotho-1K 上把 Qwen2.5-Omni-7B 的幻觉率从 26.53% 降到 16.98%,代价是依赖人工修订基准与检索编码器且未验证延迟与开放场景覆盖。
针对普通话热词识别中过度偏置与同音误报的矛盾,UGPCB 在冻结的 Dolphin 模型上用解码时熵门控决定何时加偏置、用字形与拼音双通道交叉验证决定如何奖惩,在 SeACo 测试集上报告召回率从 68.15% 提升到 84.19%、F1 达到 90.81%,代价是背景错误率小幅上升与干扰词增多时误报增加。