单语很强、混着说就错:HiKE 用三级切换与借词标注拆解韩英代码切换识别
针对韩英混说识别缺乏公开非合成评测的问题,HiKE 以 1121 句自然录音加词/短语/句子三级与借词标注做细粒度评测,报告 10 个多语模型单语转混说时 MER 扩大 3 到 13 倍,而拼接单语合成的句级数据微调也能带来 6.8% 以上改善,但自然句内数据仍更优。
针对韩英混说识别缺乏公开非合成评测的问题,HiKE 以 1121 句自然录音加词/短语/句子三级与借词标注做细粒度评测,报告 10 个多语模型单语转混说时 MER 扩大 3 到 13 倍,而拼接单语合成的句级数据微调也能带来 6.8% 以上改善,但自然句内数据仍更优。
针对码切换话语中带矩阵语言口音的英语检出接近零的问题,论文用 80 条口音匹配英语做 LoRA 微调 MMS-LID 并引入 LangRank 排序评估,在印地-英语等四对语言上提升英语检出同时保持单语性能,代价是仍与 Oracle 有差距且依赖已知矩阵语言选口音。
该文研究冻结语音编码器加冻结大语言模型、只训练轻量连接器的多语言识别中按单语言还是按语系组织训练数据的问题,在近四十种语言上报告家族级连接器多数更低更稳但在内部差异大的语系会失效,并以通用连接器对照说明增益来自亲缘性而非单纯数据量。
针对长序列视频叙事中辅助能力弱、视觉质量差和表达单调的问题,MAViS 用分阶段多智能体与 3E 迭代和剧本写作约束组织生成,最强证据是用户研究约 69.44% 平均投票份额与关键帧 CLIP 34.22,主要代价是双 H100 上平均 13.63 小时的生成耗时。
该研究把多方桌游对话切成保持或让渡的 2 分类问题,用文本加音频加语义手势的混合专家模型求解,最强证据是 3 模态融合在语义监督下取得更高的宏平均 F1,代价是标注一致性中等且领域局限于游戏对话。
M2M 只用英文文本训练 2 个线性层完成多语言到多模态的映射,在 XTD 上英文达到 94.9% 的 Recall@10 而 11 个语言平均为 89.5%,代价是生成保真度和超大检索库上的差距仍然存在。
针对俄语尚无多模态基准的问题,论文用统一技能分类、块式提示、双指标评分与防泄漏机制构建 18 任务基准,最强证据是全覆盖全模态模型的 Total Score 达到 0.5 且提示 формулировка显著改变分数,代价是专家题人类基线仍低且音频视频能力明显弱于图像。
论文把同一恶意叙事分别用文本、中性语音和五种心理风格语音送入端到端音频大模型,用三数据集攻击成功率证明讲法改变服从性,在 Gemini 上达到 98.26% 而代价是小模型解码不稳定与手工风格难优化。
论文把印地语后纠错做成高重叠文本编辑,对比微调的 mT5、ByT5 与提示或微调的大模型,发现小模型纠错后词错误率更低,而零样本大模型呈先升后降的 n 形曲线,代价是跨域仍会退化并需要混合多源假设来缓解。
针对多模态伪造中模态割裂与跨模态语义推理不足的问题,ConLLM 采用预训练模型分模态抽取加对比对齐与类 GPT 变换器精炼的两阶段结构,在音频、视频与音视频六个基准上报告了更低的等错误率与更高的准确率,但其增益依赖预训练权重与训练数据覆盖且推理代价仍需权衡。
SCENEBench 用合成叠加与受控变换构造背景声理解、噪声定位、跨语转写和发声特征四项任务,在五款大音频语言模型上报告自由回答与选择题准确率及本地延迟,发现模型偏向前景文字而系统性漏掉背景与运动线索。
针对语音按时长定速、文本按语义变长造成的分布失配,SEAM 用冻结编码器加可训练交叉注意力解码器做变速率对齐并分三阶段训练加首词引导,在仅用 LibriSpeech960 小时训练时取得 2.6%/5.2% 与跨域 TED-LIUM-v2 上 4.7% 词错率,代价是两段自回归带来的推理延迟。
针对音频问答中少样本演示不稳定且每次推理都要重复传入演示音频的问题,论文提出每个任务只归纳一次纯文字指令的 Audio-Induct,并在 9 个大音频语言模型与两个基准上验证其准确率与推理开销,代价是小模型自行归纳仍不稳定且对策略思维链仅边缘显著。
论文用 8 个大语言模型读文本情感与 2 个音频模型听语音情感,在播客、有声书和 TED 演讲三类数据上按效价、唤醒度、优势度算皮尔逊相关,最强证据是效价相关可达 0.6 以上而唤醒度和优势度普遍偏低,且加上下文也不能稳定提升,代价是后两类数据集只能用音频模型预测代替人工标注。
论文研究朗读式聊天发音训练,用 L2-Arctic-plus 提供词级错误解释与可操作建议,通过两阶段指令微调音频语言模型,在误读检测与建议生成上超过级联 ASR 加 LLM 和现有开源模型,代价是依赖合成标注与朗读场景。
该文针对越南语开源语音文本对质量杂、格式不一、缺词级时间戳的问题,提出七步聚合清洗与对齐流水线,用约 502.67 小时高质量数据把微调后模型正字法词错误率降到 12.46%,代价是严格过滤丢掉约 38% 采样数据且仍偏向北部口音。
论文以 7 语种 668.8 小时配对语料构造说话人、生成方法和真实源三重隔离的跨域评测,报告同域准确率常达 100% 而跨域大幅跌落甚至近随机,最强的 wav2vec 2.0 与 Whisper+MLP 也只在部分语言保持可用,代价是生成方法随语言不同且需持续更新。