用带扰动音频的偏好优化让音频大模型更听声音
针对音频大模型偏向文本先验而幻觉的问题,该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio,在 DCASE 问答与 AH 存在性验证上提升准确率,但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。
针对音频大模型偏向文本先验而幻觉的问题,该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio,在 DCASE 问答与 AH 存在性验证上提升准确率,但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。
论文用 Sethares 粗糙度模型算出四音和弦的不协和度体,把 12、31、53 平均律的 192 种七和弦放进同一坐标系做可听导航,再用调式互换作曲并以 31 人听辨检验感知是否与模型一致,代价是只适用于谐波音色且样本与锚定条件限制结论外推。
HelixWorld 用连续 6-DoF 相机轨迹加离散动作同时驱动视频与双声道立体声音频,先训双向教师再蒸馏为因果学生,在单卡上实现 24 帧每秒的同步交互,并在 HelixBench 上显示出更强的随视角变化的声场对齐能力,但结论只在原文的数据筛选、评测子集与硬件条件下成立。
针对级联助手必须等说完话再调工具的问题,论文在流式识别期间用规则预测器提前发起只读搜索并缓存注入大模型,在商用手机实测把中位首音频延迟从 5.79 秒降到 4.60 秒,代价是部分投机调用被浪费。
针对无预先切分的多语双人对话说话人归属转写问题,比较了先做说话人日志再做分段识别并做文本纠错的级联路线与直接生成说话人标签时间戳和文本的统一路线,开发集上级联平均误差更低但统一路线在部分语言上占优,代价是统一模型在本研究中只能在约 60 秒块上微调而无法做全会话微调。
HiPLEX 把全双工语音的文本策略拆为何时发射的控制因子和说什么的条件内容因子,再用事件因果掩码分送信令与语义反馈,在 Moshi 上改善了暂停与 backchannel 克制和打断后延迟,但结论只在相同评测协议与奖励配比下成立且伴随学习率敏感性。
论文用固定流程在不同最大上下文上分别训练小型因果 Transformer,发现民谣记谱中长上下文增益主要来自对展开的重复段落的原样拷贝,而演奏录音上增益小且早早放缓,代价是更长的注意力跨度和更不稳定的拷贝习得过程。
该文把刷分定义为扰动带来的加分并以编解码往返输出为基准,用五个攻击者取最坏情况做测量,发现四个常用预测器可攻击率差一个数量级以上,而闭环打补丁只在自家攻击空间内有效且随机扰动基线就能持平,还伴随域外一致性下降。
论文把冻结的分类、对齐与重建类音频嵌入接到同一个预训练扩散解码器上做配对音乐重建,用声学距离、生成空间相似度、配对检索与标签重合度量保留了多少源信息,并发现接口越细恢复越好但压缩嵌入仍保留可测的源特异性与高层音乐内容,代价是每种接口约 36 小时的微调与重建失败不能等同于信息不存在。
针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题,HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互,并用防止核心能量集中的协同正则保留高阶容量,在受控合成任务和多模态基准上做线性探测评估,代价是训练每步要多算张量构造与分解的时间。
论文用 423 道母语撰写的多语言多模态难题考验网页浏览智能体如何发现并串联开放网络证据,最强原生检索配置准确率为 31.68% 而 57.68% 题目无任何模型答对,人力单题中位耗时 54.6 分钟说明检索代价很高。
论文把逆向撞击声渲染做成从参考录音直接回归仿真器可用的连续材质参数,用单材质加混合材质合成数据训练集合聚合模型,在合成测试上误差和单查询耗时低于可比基线,并能把真实录音转成新网格的重渲染声音。
论文要解决英文 CLAP 无法理解印度语言描述的问题,只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间,最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。
论文用从消声到 12 阶镜像声源加扩散混响和阵列仿真的 20 种几何仿真训练同一多声源定位模型,在三个实测数据集上发现中等复杂度已能强泛化而更高阶与镜像源随机扰动只带来小幅提升,但阵列精细仿真代价很高。
针对同一融合通路难以适应不同输入证据组合的问题,InstMoE 用五个单模态与跨模态专家加实例路由和对比语义对齐,在 CMU-MOSEI 与 CH-SIMS v2 上以 3.49M 至 3.53M 参数取得有竞争力的情感预测结果,但结论只在固定预提取特征与官方划分条件下成立。
针对多人口属性交叉说话人识别偏弱的问题,论文先在冻结语音编码器和大语言模型下为 18 个人口子组分别微调连接器再合并为全局模型,然后对跨轴交叉对估计修正向量并加回全局模型,在 Fair-Speech 上把总体词错误率从 7.38% 降到 5.13%,但平均提升并不总能缩小同轴内最大最小差距。
InterView-C 用 27 场德语 VR 化身问卷访谈把双人眼动头部脸部手部追踪与逐词转写问卷时间窗对齐到同一时钟,并用人工校对转写和 1422 句否定标注证明短回答数字词易被语音识别丢掉而域内训练更适合转写对话的否定检测。
论文问文本表示能否保留有序规范内容,用信息分解与构造性反例说明视图一致和各向同性高斯几何不足以保证可恢复,再以 CANOPE 对照实验显示规范 token 监督在可恢复与自然损坏下实现近完美恢复而隐一致失败,并延伸到冻结语音读出仍有巨大词错误率差距,但端到端语音基线更强且语义泛化有限。
论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务,证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效,并给出全部统计检验与八个失败方向。
Jarvis 针对共享文档的多人讨论,用小型模型的检测加规则门限决定是否纠正遗漏或说错的事实,并用等候空档与举手加屏幕引证来进入对话,在合成与真实会议中验证了时机与正确性,但结论只在文档可查证的范围内成立。