LoRA

针对多语联合微调中的负迁移与低资源一致性学习中的确认偏误，论文用共享-私有融合 LoRA 解耦容量竞争、用置信门控平均教师提供稳定目标，在 Kathbath 五语上把宏平均 WER 降到 19.85%，代价是引入双分支与两阶段调度等额外复杂度。

针对中英混语唇语数据稀缺问题，论文用单语视频拼接构造伪语码切换样本并以共享适配器微调多语模型，在 CSLR 上把混合错误率降到 16.48，代价是纯单语中文识别仍明显弱于原始多语基线。

针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题，该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器，在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线，代价是仍需联合训练轻量头与低秩适配且晚注入会退化。

针对推理时缺少说话人坐标导致地理条件适配无法启用的问题，论文用冻结编码器上的轻量坐标回归头先预测经纬度再做两遍解码，在荷兰方言上用 10 秒语音达到约 25 公里、30 秒约 16 公里定位误差，使无坐标的 CRH+GLoRIA 比同秩 LoRA 平均好 3.05% 词错误率且距真坐标上限仅 0.58%，代价是多一次编码器前向、延迟增加不到 3% 且外推区域 …

针对无回放的连续说话人自适应中统一正交隔离会阻断相似说话人迁移的问题，SCOLoRA 用说话人嵌入余弦相似度生成带符号系数来在对齐与正交之间切换，在 TEDLIUM3 上取得测试平均 4.11% 与遗忘 0.05，代价是每步需保留历史 LoRA 基并多训练一个轻量映射器。

该工作把二分类 deepfake 检测与开集来源归属统一为层次度量学习加小样本原型注册，用 WavLM-Large 加 LoRA 在 MLAAD v9 时间划分上训练并在 ASVspoof 5 Track 1 开放条件上报告 0.49% 等错误率与 99.0%/97.0% 归属精度，代价是余弦分数校准偏差与对原型覆盖度的依赖。

针对语音增强语言模型受上下文窗口限制、难以从大规模偏置名单中识别多目标罕见词的问题，COALA 用判别投影做偏置打分并提出 MPD 与 DPD 损失，在 LibriSpeech 上把过滤后识别的偏置词错误率明显压低，代价是仍需两阶段训练与 Top-K 截断。

针对家庭间域偏移与多说话人重叠的婴儿中心家庭录音，该工作用 LoRA 微调的 Whisper 编码器加目标说话人提取与分层分类器做帧级多层标注，报告平均 74.88 Macro-F1 与 68.14 κ，最强证据来自消融与跨层比较，代价是测试家庭偏移未显式建模且测试时自适应增益有限。

论文以音频脏标签投毒追踪后门如何穿过编码器、连接器与语言模型，证明全管线攻击在四类任务上均有效，而单个组件的暴露或冻结决定后门存留，且多任务嵌入让中毒样本不再直接可分，代价是防御常用的二分聚类假设失效。

论文追问音频越狱成功是认不出有害意图还是认出后未触发拒绝，用逐层探测定位到后者并提出中层风险门控加后层安全适配的先检测后干预方法，在六个大音频语言模型和三类异构音频越狱上把平均不安全率从 17.9% 降到 0.4%，代价是良性过拒绝平均上升 6.3 个百分点。

针对纯文本适配会冲掉语音投影对齐的问题，该文把适配重写为去噪任务并用四路混合批次保持对齐，在 DefinedAI 与 SlideSpeech 上报告最高 25.4% 相对词错误率下降，代价是仍需保留源域音频与调目标比例。

针对统一目标难以适应动作中心与环境中心等不同场景的问题，该研究用策略侧与奖励侧对称的混合专家加组相对优化做上下文自适应音频描述，在 Clotho 上报告了 CIDEr 0.4137 与 FENSE 0.4642 等提升，但 AudioCaps 上 CIDEr 仍不及纯 CIDEr 优化基线且人工评测样本仅 20 条音频。

针对全双工对话模型很少显式建模倾听反馈时机的问题，论文在冻结思路下外挂一个从主干隐藏状态预测反馈起始概率并用阈值触发强制解码的两层头，在 7B 与 1B 两个模型上验证了频率可调与人类评分持平，但高频档会抬高抢话率等代价同时代码链接当前不可用。

论文在英语与意大利语双语识别上只联邦更新投影器与 LoRA 而冻结编码器与大模型主体，用 100 轮、每轮 30% 按说话人划分的客户端对照集中式训练，最强证据是单语联邦与集中式差距仅 0.3 至 2.6 个百分点，而双语随机选择下英语差距扩大到约 10 个百分点，需用样本聚类与早期语言偏置把英语差距压回约 3 个百分点。

该研究把同一段音频固定、只改提示词中的口音国家语言描述来分离身份先验，用最佳与最差身份条件之间的 F1 差距和音频区间的显著性重分布来量化漂移，并用只调语言模型的轻量 LoRA 把敏感度降到接近随机置换水平，代价是需要额外微调且未覆盖组合身份。

针对带口音英语识别中音素实现系统性偏移的问题，该工作把适配轴从口音身份换成发音方式，用六个低秩语音专家加帧级混合路由做 Conformer 适配，在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%，代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。

该文用英语预训练的视频 Conformer 在 OLKAVS 协议上把已见句式误差降到约 10% 上下，但人口普查显示个体误差从 1% 到 52% 不等，数分钟正面视频的低秩适配器能为高误差者挽回约 2 到 3 个点且可迁移到各视角，而嘴平面以上相机带来约 6 个点的固定加性损失。

论文把欺骗检测改写为固定指令下比较 bonafide 与 spoof 标签序列似然的生成式任务，报告冻结大语言模型层会削弱声学可分性，而用 DoRA 轻量适配后的 Spooftral 在 ASVspoof5 评估集上报告等错误率为 4.25%，代价是仍需任务训练且特定攻击明显更难。

针对多人轮替与重叠会议转写，STAM-ASR 在冻结 Qwen2.5-Omni-7B 编码器上加内部说话人日志、残差 FiLM 调制与说话人/会话双记忆，在参考与预测说话人活动对比中显示时间证据与记忆互补，但预测跟踪误差仍是主要瓶颈。

共分析 75 篇语音/AI 论文