先定好什么算重要,再生成声音:CARES 如何检验模型是否听懂说话人反应
CARES 先把声音显著性定义为说话人是否可听地做出反应,再用受控流程生成 10000 个双人场景,证明六个音频语言模型能认出声音和地点,却在判断反应类型上不超越只看文字的对照系统,且总结时很少提及未被说出的声音。
CARES 先把声音显著性定义为说话人是否可听地做出反应,再用受控流程生成 10000 个双人场景,证明六个音频语言模型能认出声音和地点,却在判断反应类型上不超越只看文字的对照系统,且总结时很少提及未被说出的声音。
论文用三名被试每人约三十小时听法语播客的全脑功能磁共振数据,把解码做成在未见会话中用脑活动检索对应音频片段的任务,基线解码器随被试内训练量持续变好但只在三人单站点法语叙事条件下成立。
论文把同一角色换演员和同一演员演多角两种混淆拆成可评分的验证条件,用 85 个经人审核的配音角色建成 KyaraBench,并用跨演员正样本加同演员难负样本训练 KyaraEmbed,在角色相关条件下取得表中最好成绩,但结论只限于日本动画及英配范围。
EchoChat 针对语音共情中细粒度感知不足与多步推理误传问题,用声学锚定注意力做有监督微调,再用级联门控与分步信用分配做结构化强化学习,在 EchoEval 的多场景感知推理回应评测中取得领先,但结论依赖合成训练数据与模型打分评测条件。
针对第一视角视频音频流中何时说话与说什么的联合问题,论文用分离与重合成清洗指导录像,再经监督微调学听或说、经偏好优化调时机,在 170 段基准上以起始 F1 与内容相似度为最强证据,代价是召回仍低且内容略有回落。
论文比较声学导向与内容导向两类攻击者在六种语言匿名语音上的再识别能力,发现攻击效果随匿名语音的语言可用性下降而下降,而大规模多语语音转换数据微调只能部分缩小跨语言差距。
论文揭示合法神经编解码压缩会让现有音频伪造检测大幅退化且基于编解码重合成训练的模型更脆弱,并用成对一致性微调在保持编解码生成检测的同时把压缩下的平均等错误率从 28.67% 降到 12.77%,代价是需多编解码增强训练与推理前只用单次前向。
论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链,用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估,在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率,但结论只在给定数据分布和评测流程下成立。
HelixWorld 用连续 6-DoF 相机轨迹加离散动作同时驱动视频与双声道立体声音频,先训双向教师再蒸馏为因果学生,在单卡上实现 24 帧每秒的同步交互,并在 HelixBench 上显示出更强的随视角变化的声场对齐能力,但结论只在原文的数据筛选、评测子集与硬件条件下成立。
论文把逆向撞击声渲染做成从参考录音直接回归仿真器可用的连续材质参数,用单材质加混合材质合成数据训练集合聚合模型,在合成测试上误差和单查询耗时低于可比基线,并能把真实录音转成新网格的重渲染声音。
InterView-C 用 27 场德语 VR 化身问卷访谈把双人眼动头部脸部手部追踪与逐词转写问卷时间窗对齐到同一时钟,并用人工校对转写和 1422 句否定标注证明短回答数字词易被语音识别丢掉而域内训练更适合转写对话的否定检测。
MOV-AAD 用 50 人、64 通道脑电加眼动和外周生理同步记录移动双人对话下的注意选择,验证了包络重建和注意分类的可行性,但轨迹解码只在 Alpha 频段有限成立。
论文针对单模态可解的音视频评测无法检验联合推理的问题,用 OmniQA 构造带时间戳证据链的问答与 112K 加 19K 训练数据,并用 MFSD 做线索条件下的 token 级信用分配,在 OmniVideoBench 达 50.0% 且在自建基准达 42.5%,代价是多路线索打分与验证流水线开销。
论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理,获胜方案多为多模型智能体管线而单一通用模型仍落后,代价是大量工具调用与计算开销。
针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音,论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造,在三种实时场景下把字符错误率大幅降低,但绝对误差仍高且高度依赖说话人自身数据与设备适配。
该工作用 100 小时人工核验对话做可靠评测、用 2000 小时自动标注对话做大规模训练,两路都保留同步的分人音轨和多维标注,并在分离、识别与轮次检测上验证了互补价值,但跨域远场与合成等待样本仍有限制。
STEMMA 针对多段音乐比较问题,先声明歌曲-段落-分轨出处关系再检索满足与违反该关系的元组来生成问答,并用 19 万条指令微调使结构关系判断大幅提升而单音频理解保持,属性细粒度比较仍接近随机水平且代价是依赖全曲目录与人工校验。
论文用 10000 次多指抓取数据研究抓起前三秒观察预测抓起后是否掉落的问题,对比模态与时序建模并以上线重抓门控验证,触觉尤其是高分辨率动态触觉带来可测提升但以更多传感与计算为代价。
该文发布为录制 42 小时约鲁巴语语音而准备的 24905 句带声调符号文本,讲清来源改写与 Unicode 清洗过程,其复用价值只在标准约鲁巴语朗读新闻语域内成立。
论文用同一批 96 千次每秒录音比较全频带、低通和只留超声三种输入,发现 22.05 千赫兹以上的超声带能把孤立乐器识别和复音检测提高约 4 到 6 个百分点,但代价是需要 2.18 倍存储和宽带采集链路,且结论只在录音室隔离分轨和留出完整录音的划分下成立。