交接不丢结构:OneVoice 用显式会话记录守住说话人、转写与时间
针对多智能体语音流水线中转写、说话人、时间与标注在工具格式间易丢失的问题,OneVoice 用稳定标识、分层转写与显式来源的 JSON 会话记录加校验器组织交接,在 15 组儿童语音事件聚合与 40 组 TIMIT 时序链接上以三模型验证了计数与时序保持的改善,但校验修复收益与模型相关且未验证延迟成本。
针对多智能体语音流水线中转写、说话人、时间与标注在工具格式间易丢失的问题,OneVoice 用稳定标识、分层转写与显式来源的 JSON 会话记录加校验器组织交接,在 15 组儿童语音事件聚合与 40 组 TIMIT 时序链接上以三模型验证了计数与时序保持的改善,但校验修复收益与模型相关且未验证延迟成本。
针对唤醒词对未见过相似负例泛化差的问题,ADALA 用强化学习优化大模型持续生成高混淆难负例,再与真实数据半监督融合,在 xiao fei xiao fei 上报告平均唤醒率 90.43% 与相似词误唤醒率 3.19%,代价是两阶段大模型与语音合成训练约 90 小时八卡 A800 开销。
针对文本大模型做语音持续预训练时会严重遗忘文本能力的问题,该文选择冻结原模型、只训练新插入的四分之一层,用 48k 小时英语识别数据证明交错插入在识别上接近全量微调而文本退化小一个数量级,代价是推理时多 25% 层开销且纯文本使用需丢弃新层。
针对大模型语音识别中罕见实体难识别且提示词注入易幻觉的问题,AFG-Bias 用声学检索先定位再用门控注入偏置,在金融和医疗集上报告最高 74.1% 相对字错率下降,代价是需额外训练轻量增强模块并依赖检索质量。
该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标,用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟,但语音端质量仍依赖更大合成与翻译模型补强。
针对有限真实会议数据下的多人语音识别,论文用语义与说话人双编码器加时间交错输入、按段长度加权的话者损失和按样本损失分布掩蔽重叠高损失词,在约 0.7B 参数下降低重复幻觉并改善说话人归属,代价是交错使输入变长且依赖多阶段训练与强制对齐预处理。
针对多语种语音识别中共享解码器互相干扰的问题,BELLA 把语音编码器加冻结大语言模型解码器的桥接对齐放在下层、把路由器加混合专家低秩适配的识别放在上层,在五个 CoVoST 2 语种上用词错误率验证收益,同时保留了小语种与高资源语种表现不一致等代价。
针对音频深度推理中单模型听觉视角单一与对称投票被弱智能体拖累的问题,提出按能力分配角色与反馈的非对称多智能体框架 AsymAudio,在 MMAR 平均 74.80% 与 MMAU-mini 平均 79.10% 上报告最优,代价是最多三轮的多模型重复调用与大语言模型主持开销。
针对固定降采样忽略语速与内容变化的问题,该工作用连续积分触发机制按转写词元数动态压缩声学帧,在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度,代价是依赖转写长度监督与分词器选择。
针对客服多轮对话中实体易错问题,论文在冻结 SLAM-ASR 主干上只训练上下文投影器并搭配关键词提示,报告平均相对带来整体约 2.5% 与偏置词约 7.2% 的改善,但纯关键词会抬高整体词错误率而长原始上下文会直接恶化识别。
针对端到端语音角色扮演泛化差且损伤推理的问题,DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预,在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线,代价是 TTFA 增至 577 ms 且 WER 为 2.63%。
针对工具描述不规范叠加语音识别错误导致的检索失配,论文用离线大模型合成用户式查询做嵌入转向,在三数据集四检索器上一致提升,而噪声查询下绝对分数仍低且需离线生成成本。
针对多房间墙体遮挡导致单点听不清的问题,该研究用分布式麦克风加拓扑图融合提取时空特征,再用语义三元组加冻结大语言模型补全符合房型连通性的叙述,在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%,代价是全过程仅在仿真中验证且依赖已知几何。
该研究在 24753 对罗马尼亚语口语-书面语数据上比较规则文法、微调模型与大模型提示,显示少样本大模型提示域内平均词错率 1.21% 与域外 2.57% 最接近人类 2.45%,而规则系统以约 60 句每秒的中央处理器吞吐保持低成本可用。
针对端到端语音对话状态跟踪缺目标域语音的问题,论文用共享连接器与 LoRA 的语音加文本联合训练把文本域知识迁到语音管线,在 SpokenWOZ 与 MultiWOZ 互为源目标时缩小与域内语音训练的差距,但文本权重与大模型规模决定保留源域与提升目标域的折中。
针对串联语音对话缺少训练时中间引导的问题,该研究用目标回答加随机采样回答构造引导流,在合成对话上达到与大模型模拟相当的回答质量,并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度,代价是打断处理仍弱且真实数据模型回答分略低于合成基线。
针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题,该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略,在英法和英韩 Fleurs 上用更低延迟保持质量,并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。
针对同一句话存在多个合理韵律断句而单参考评测会误拒有效变体的问题,论文提出用大模型从少量示例生成可复用的多参考查找表做评测,在 1356 条韩语标注上更接近人类判断,但多参考构建仍需推理开销与去噪过滤。
该研究把转录加停顿标记、话语话题簇、流利度统计和音素序列统一写进结构化提示并用 LoRA 微调大模型做话语级二分类,在 ADReSSo 上最好达到说话人级 F1-score 为 90.14%,代价是话语标注依赖外部商用模型且仅在英语图片描述任务上验证。
针对自动抑郁检测中微调成本高且易过拟合的问题,Moot-Court 用冻结大模型做文本化声学融合与控辩对抗图推理加可进化经验库,在 DAIC-WOZ 上报告 F1 为 0.8856 且召回达 0.9394,但全文存在 0.8750 与 0.8856 的数字冲突与小样本泛化边界。