DIVE:在连续音视频流中测全双工视觉参与式交互
DIVE 用 525 个带精确时间窗的连续音视频样本,把是否该说、何时说、说得对不对分开测,发现头部实时模型平均延迟已压到 1 秒内,但窗口命中率最高仅 53.77%,且在语音触发干预和说话中改口上最弱。
DIVE 用 525 个带精确时间窗的连续音视频样本,把是否该说、何时说、说得对不对分开测,发现头部实时模型平均延迟已压到 1 秒内,但窗口命中率最高仅 53.77%,且在语音触发干预和说话中改口上最弱。
EvaOmni 针对只看答案无法判断是否真用了音视频证据的问题,构建 392 个视频 1027 道需定位双模态证据的选择题并用覆盖分和瓶颈分同时考核答案与定位,最强模型 Gemini3.7-Flash 总体准确率 79.4% 但精确接地仅 35.1%。
RealComm 用同一句话的数字源与真实手机通话录音配对,揭示现有检测器过电话后明显变差,并用分阶段波形增强加真实通话训练把 Teffic-Audio 的通话域等错误率从 37.94% 降到 22.37%,代价是需要覆盖多种注入路径和设备的采集与训练。
MS-Bench 把多说话人转写按说话人数、重叠、相似度、轮转间隔和声学质量分层取样,用 32.72 小时录音揭示重叠同时损害文字与归属、其他因素各有侧重,并以 MOSS-Pro 最低 WER 22.49% 为最强证据。
SPARC 把播客语音转成文字后构造同一说话人与性别口音标签的成对验证,发现大语言模型在跨播客条件下仍能关联说话人,而缩短待测文本只能部分降低这种关联。
论文针对干净录音训练的阿姆哈拉语识别在真实电信语音上失效的问题,用同一批录音加可控退化构造多条件基准,测出最强基线在窄带加丢包下词错误率从 0.23 升到 0.79,并证明扩大数据加电信感知增强能把极端噪声下错误相对降低 23.6%。
论文解决自然语言混音请求缺少具体操作参数的问题,用可执行 Lua 代码连接语言模型与 REAPER 工程,并以 110 组人工审核参考编辑证明越具体的指令执行越准、越抽象的听感描述偏差越大,而多轮检查修订与强制音频测量带来不同代价。
VoxDub 针对自动视频配音缺嘴型对齐训练数据的问题,用语音为中心的切分加双识别转写核对与音质人脸同步过滤构建 76 万段中英数据,TTS 实验证明相对 LRS3 与 CN-CVS 可懂度与说话人相似度更好,而配音微调仅得到大致相当的主观同步。
论文要解决住宅多房间语音数据难批量构造的问题,用结构化平面图转可编辑声学场景加混合几何声学求解生成多通道房间脉冲响应与混响语音,并用实测校验与分布式定位增强实验验证其覆盖与增益,代价是仍依赖几何声学近似与受控仿真条件。
MUB 把 500 首遮去标题身份的录音配上速度、调式、拍号和全曲结构区间来考查多模态模型是否真从音频听出音乐内容,现有证据只有波形启发式与分布常数两类参考基线且验证尚未完成。
论文用情绪稳定与情绪变化语音的对照构造 EmoShift 基准,发现句内情绪变化能让合成语音更像真人并让真实语音更像伪造,七个检测器的漏检与误报随数据集和情绪轨迹而变化,且不能只用静态情绪或拼接痕迹解释。
论文把声学感知压缩为单一声学因素随时间增强还是减弱的二分类,用 21600 条受控语音和人类 94.4% 对比模型约 50% 的结果证明瓶颈在感知与读出,并用线性探测区分了两种失效模式。
论文研究语音语调与文本语义矛盾时的语音情感识别,提出用对抗合成数据诊断语义偏向并用解耦结构保留声音证据,在对抗与常规场景下以声音准确率为主要证据,同时保留了超参数与适用条件的限制。
论文要解决印度 22 种 scheduled 语言加印度英语在短、噪声、窄带和混码语音下的首步语种判断问题,用 115.6M 参数的专用 Conformer 在 54643 小时上训练,在 37 个同 clip 条件下平均 macro-F1 达 0.914,代价是需要大规模多语训练和多轴评测设计。
论文把吠叫事件与可见犬只轨迹关联到持续存在的犬只档案,视觉分支做检测跟踪与吠叫打分、音频分支做注册式声纹比对、融合层维护档案,在 46 个视频 213 个事件上可见定位 61.83% 而遮挡与画外音仍是主要代价。
论文针对联合生成中多事件、多层音频与非对称跨模态关系的一致性评价难题,提出从粗到细的三层事件级指标并做成可训练的奖励模型 AVC-Reward,在 706 样本的 AVC-Benchmark 上与人类判断最接近,并能作为在线强化学习信号提升联合生成的一致性,但提升幅度依赖评测分布与文本对齐等权衡条件。
论文用普通视场图像加双耳音频构造听见定位推理三层问答,并给强视听大模型外加一条空间音频支路加三阶段课程训练,在仿真基准上提升定位与关系推理并在真实录音上做迁移验证,但结论只在该仿真划分与离散评价条件下成立。
论文把几分钟到几十分钟提示条件下不微调即复现韵律作为新任务,用 37 人双语基准和分维度指标检验以 32 个向量压缩长提示的参考系统,发现提示增至约 10 分钟多项韵律指标改善而更长后趋于饱和。
论文用 240 段合成多方对话同时考轮次结束与成功抢话两件事,发现轮次结束可达 92.6% 召回而抢话最高仅 56.2%,且五个全双工智能体进场很准但选择性让话接近随机。
MuseBench 用 361166 首曲目对照人类作曲与 10 种生成器输出,测出频谱图模型在干净条件下接近满分但在跨模型、压缩与变速下分化,并归纳出频谱、和声与演奏层面的可复现伪影线索与代价。