给视频选输入:多模态大模型做视频标注时表示为何重要
论文固定模型与提示只改变视频输入方式,发现没有一种输入在六个模型与三批视频上都最好,分类更准也不保证回归系数与样本占比更接近人工标注。
论文固定模型与提示只改变视频输入方式,发现没有一种输入在六个模型与三批视频上都最好,分类更准也不保证回归系数与样本占比更接近人工标注。
针对合成平板混响脉冲响应中未知数量的模态频率、衰减和增益三元组估计问题,论文用计数密度网络同时预测总数与频率分布并解码为整数个模态,在 100 条独立合成脉冲响应的对比中总体误差低于所评估的经典基线,但增益误差仍是主要误差来源,且结论只在相同合成器与频段条件下成立。
论文在 16 个配对数据集和 144 个数据集-标注预算组合上比较三种可运行的组装策略,发现三者各胜约三分之一,预算、任务形式与单模态可分性决定偏好,而两步路由能提前选出较优范式,但智能体推理代价高出数百倍。
论文把 Freesound 上的下载量和平均评分转成下载三分类与评分四分类,用元数据、平台声学描述子、eGeMAPS 和 MERT 四类特征比较随机森林、XGBoost 和 MLP,发现下载量靠元数据预测最好而音乐评分靠平台声学描述子最好,但 eGeMAPS 和 MERT 在短音效上基本失效。
该文把审美评价做成同艺人组内两两比较再汇总排序,用音频语言模型评歌曲、用视觉语言模型只看画面评 MV,发现视觉排序的模型间一致性明显高于音频,而音频与视觉共识几乎不对齐,与早期 YouTube 播放量的正相关也因艺人组而异。
论文用 500 人德语 RVG1 语料对比十种语音表示在朗读与自发两种风格下的地区分类与连续地理定位,发现 Whisper 同条件最强但跨风格下降最大,而跨风格说话人可检索性越好则地区信息保持越好。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对语音理解中后处理不一致与训练条件不可比导致的选型困难,SURE 用统一评估流水线加场景压力套件加智能体辅助的匹配训练转换组织三条轨道实验,最强证据是级联系统在会议与干净感知任务上仍具竞争力而情感等任务普遍困难,代价是受限开放数据预算下的从零训练结论只具初步探索性质。
该研究用 61 人 769 条德语语音日记同时比较声学与文本模型推断每日唤醒度效价与压力,文本模型在人群层面明显占优但仍偏向特质差异而非日内状态追踪且声学整体接近零效应。
该研究用 UniARC 框架在语音、声音、音乐三域对照连续特征与离散口令,发现语义约束而非离散与否决定理解性能,增大语言基座不能补偿前端信息损失,而离散表示收敛更快但高保真重建类编码器在语义任务上明显落后。
论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。
论文用视觉世界眼动时间线做基准,对比因果与非因果端到端语音识别模型的词激活轨迹,发现因果循环模型能复现先队列后押韵的竞争顺序而非因果与大预训练模型不能,但识别准确率更高者反而偏离人类,代价是小词表孤立词和受控语义目标的生态效度有限。
论文把唤醒词片段直接当注册语音研究无预注册的目标语音抽取,在五个真实噪声场景比较四个判别与生成模型并用大模型语音合成增强注册,发现合成注册能提升听感但语音识别错误率仍高于原始混合,存在可听度与可懂度脱节的代价。
该文在 10 个系统的语音自然度评价中比较随机、排序式 merge-rank 与信息增益式 ASAP 三种选对策略,发现 ASAP 发现显著差异最多、排序最稳,且相同听音时长下 BWS 优于 AB,但代价是 BWS 单题更长、ASAP 需序贯计算与完整回答库仿真。
论文用三数据集、四系统、十一档性别配比共 132 次训练检验微调能否揭示构成与偏差关系,最强证据是 Kaldi 从头训练下 DDS 随女性占比单调翻转超 80 个百分点而三预训练模型始终在约±12 内无序波动,代价是平衡微调数据不足以修复预训练带来的偏差。
该文用与任务无关的逐层熵、曲率、不变性加跨层生成兼容矩阵来刻画 Wav2Vec2、HuBERT、WavLM 等模型的层级分工,最强证据是中层音素核稳定而深层出现熵塌缩与身份剪枝,代价是需要为每层另训生成解码器与线性探针才能把拓扑与任务接起来。
该研究在 24753 对罗马尼亚语口语-书面语数据上比较规则文法、微调模型与大模型提示,显示少样本大模型提示域内平均词错率 1.21% 与域外 2.57% 最接近人类 2.45%,而规则系统以约 60 句每秒的中央处理器吞吐保持低成本可用。
该研究以三维可压缩流动仿真为基准检验一维模型中 Fant 噪声缩放因子,显示/a/正常闭合时常规值可用,而在气息声不完全闭合与/u/声道收缩下最优值明显偏移,因而一维噪声需按流动构型调整。
论文以同一对开源流式 ASR 与流式说话人日志模型为起点,比较级联、掩码输入、词级 SOT 与日志条件四种架构,报告显示日志条件的 SSA 在多说话人 cpWER 平均最低而词级 SOT 在单说话人上退化明显,代价是需要微调与多实例内存。