论文速递

论文要解决已训练好的文本图像模型如何新增语音输入并保留推理与工具能力，采用两阶段适配与按数据源区分的交叉熵和前向 KL 监督，在语音推理、对话体验与完整任务上验证效果，代价是本地在线教师与大规模语音暴露量的训练开销。

ARPEGE 用 6 个空房间的 248 个球形阵列房间脉冲响应和几何标注来支撑镜像声源定位与语音盲估计房间参数两类任务，实测显示近距离一阶镜像声源召回率达 97.3% 但高阶迅速下降，而语音估计的表面积与体积误差在多位置融合与指向性声源训练下可降至 35 平方米和 30 立方米，房间 1 的几何大误差则标定了方法的适用边界。

针对藏在图像音频视频中的间接注入，ERASE 用抹掉注入区域后的视图做教师进行在轨自蒸馏，在评测基准上把攻击成功压到接近零，同时把被攻击输入的任务准确率拉回到接近无防御干净输入的水平，但结论只在非自适应注入和区域可分离的条件下成立。

论文针对连续脉冲关键词识别中输入界面密集搬运相关语音帧的问题，提出只在声学输入处做预测与符号二进编码，在 720 条整数评测上达到 90.00% 准确率并降低约三成访存与周期，单条布线芯片实测降低约 39.49% 增量推理能量，但结论依赖特定网络、权重与单片段能量条件。

论文把语音识别从恢复唯一逐字稿改为在语音依据约束下按指令生成四级改写文本，并用 GSR-Bench 证明字面准确与可读改写之间存在权衡且弱语音下易出现无依据生成。

针对流式语音识别不知道未来语音内容和时机的困难，论文用一段拼在输入边界、可复用的短音频统一实现语义引导、指定文本劫持和整体降质三类操控，在数字域平均成功率 97.6% 和 93.4%、无目标词错误率 1.18，空中播放后仍保持 91.5% 和 89.5%，代价是需要白盒梯度离线优化且隐蔽性只靠模板约束和主观听感代理指标。

针对长音频中与问题相关的证据分散且全量输入代价过高的问题，AudioHelix 为每段录音离线构建文本与声学双通道三层图并做跨块相关性传播，在三个长音频基准上用少量音频片段提升问答效果，但离线建图仍需数百秒。

论文把文本和语音映射到同一情感空间并用混合模型算出不一致概率，在三种语料上证明有音频输入时不一致会稳定增加音频大模型的误判风险，而同样的特征却能帮助有监督分类器。

针对医患对话音频生成 SOAP 病历时信息冗长易幻觉的问题，该工作用 96 个按小节分工的可学习查询先压缩语音再结合原始语音通路生成病历，在官方测试集上 Concept F1 达到 0.5005 并表现出更稳定的幻觉指标，但人类口语子集上仍有明显下滑且样本很少。

针对长时高采样音频序列过长导致自注意力平方复杂度与整段一次性生成难以流式扩展的问题，MFlowAudio 用时间与通道双路 Mamba 建模潜在表示并用有状态流匹配实现分块训练生成，在 AudioCaps 等条件下保持与基线可比的生成质量并将首块延迟固定在 1.8 秒左右，但动态切换语义与边界自然度之间仍需权衡。

针对不同任务对视频、音频、文本依赖不均而融合模型被迫共用同一表示的问题，MOSAIC 用模态分区的注意力与前馈加受控交叉注意力保持单模态结构，并按任务权重与模态相关度把梯度路由到对应分区，在日常日语会话语料四任务上以更少主干参数取得更高平均宏 F1，但结论目前只在该数据集与配置下成立。

针对成人睡前叙述音频证据混杂且最强对照试验为阴性的问题，论文把确定性规划、四阶段注意力渐弱、结构词表声学三层门限与隔离机制组成多语言生成管线，五故事试点显示响度达标但法语日语印地语实际时长分别偏短约 13%、24%、38%，且不声称任何临床疗效。

论文比较冻结、完全微调、LoRA 与 QLoRA 在九个音频图像符号编码器上的单模态判别力与可训练参数量，再用冻结与适配交叉原始与投影的对照检验单模态增益能否转化为多模态分类与作品级检索，结论是参数高效方法常能替代完全微调但单模态变好不等于多模态变好。

本文以 Qwen2-Audio-7B-Instruct 为对象，先证明零样本提示无法可靠预测 MOS，再用 SOMOS 数据诊断其语速与表现力感知盲区，最后用 4 比特量化下单卡 LoRA 微调把 Pearson 相关从接近 0 提升到 0.6506 并超过 UTMOSv2，代价是结论只在英语合成语音的域内测试上成立。

本文用一个声源的一次房间脉冲响应得到两组镜像声源点云，再用以真实声源为锚点的 ARCTIC 配准求相对位姿，在 36 个真实房间脉冲响应上达到平均角度误差 5 度以内和距离误差 10 厘米以内，代价是依赖早期反射可见重叠和紧凑阵列假设。

该文用槽注意力把 AST 片段嵌入拆成 4 个槽并以重构为目标自监督预训练，再冻结主干只训练轻量任务头，在三声源合成场景上同时支撑分类、检测与分离，并在未见类上做零样本分离，但结论依赖合成混合与固定任务头的评测条件。

TAPE 用识别 68 个插件的编码器得到处理嵌入，再用一次前向的可微 DSP 链解码为可编辑参数，在 60 对跨内容迁移上谱误差低于已发布模型与逐例搜索，但实时与泛化仍受链结构与评测条件限制。

论文要解决在只有小写无标点文本时判断土耳其语话轮是否结束，做法是在土耳其语 GPT-2 上加结束标记做微调，最有力的结果是熟悉说话人下平均精度 0.148 并稳定超过多语检测器，代价是实用召回下误报仍然很多且一遇到停顿文本几乎失效。

VoxLock 要解决背景人声被识别器转写的问题，做法是从本次通话截取 3 秒 caller 声音去提示因果分离模型，在 Krisp 真实录音上把词错误率从 23.21% 降到 4.95%，代价是干净电话场景会轻微变差且依赖 caller 最早最响的假设。

共分析 21 篇语音/AI 论文