赢球和输球听得出来吗:用赛后采访捕捉自发情感的语音数据集
该工作把网球赛后发布会视频加工成带说话人角色、转写和词级对齐的自发情感语音语料,并用预训练声学与文本模型做维度回归、离散分类和文本情感三组基准,显示胜者效价与优势感更高、败者悲伤主导更集中,但两组文本多呈积极且 arousal 差异小。
该工作把网球赛后发布会视频加工成带说话人角色、转写和词级对齐的自发情感语音语料,并用预训练声学与文本模型做维度回归、离散分类和文本情感三组基准,显示胜者效价与优势感更高、败者悲伤主导更集中,但两组文本多呈积极且 arousal 差异小。
针对捷克语、爱沙尼亚语和希腊语自动语音识别性能落后问题,论文用统一预处理加三阶段混合转写构建每语 1500 小时转写语料,以独立 5 小时测试集上标准化词错误率降至 3.38%-5.54% 为证据,代价是高度依赖母语者校验与语言归一化且未公开可下载资源。
共收录 160 篇 nime-2026 会议论文的 Reader 深度解读
该研究以呼吸组为单位比较纯语言模型与加入呼吸的模型,报告吸气深度显著预测短语划分与基频变化且成人效应更强,支持交际需求驱动呼吸而非肺容量约束决定韵律,代价是音高重置几乎无呼吸效应且儿童数据剔除比例更高。
论文以 129 万条英语 VoxTube 语音为共同源集,用嵌入变换、隐空间转换与负引导合成三族七种方法生成内容对齐的匿名语料,并以每版独立训练说话人验证模型与会话级链接实验,报告了强抑制压缩说话人空间而高效用版本残留可链接线索的权衡。
论文以 NIME 2009-2025 论文库的链接普查与一个历史羽管键琴增强界面的版本化归档为证据,说明分享意愿上升但寻址与长期保存仍脆弱,并提出够用型开放方法与统一项目链接字段,代价是文档仍不完整且模块化归档需手工维护。
该文用转角域重采样加阶次跟踪从实录提取随转速和扭矩变化的谐波指纹,再驱动谐波加噪声合成器生成带四通道嵌入标注的音频,证据是 8 个子集上阶次结构随工况对应且基线网络可收敛,代价是高阶细节为参数化改动而非逐频复刻。
AVI-Edit 以 Wan2.2 为视频骨干,用精度因子引导的掩膜精修器管空间边界、用分离生成混音返工的音频智能体管时间对齐,在 AVISET 与 AvED-Bench 上报告了质量与同步优势,代价是多实例只能串行逐个处理。
该文把去噪目标改为随声场景变化的界内与界外事件,用先做声场景分类再做条件掩蔽去噪的两阶段网络,在六类场景配对数据上以可运行的 UNet 为基线对比,学习到的上下文取得最高 SI-SDR 但合成混合的统计失配仍是主要代价。
论文以 6 至 32 个月婴儿视角的纵向音视频为唯一感官来源,构建视频话语、图像话语与多轮交错三种预训练数据并从零训练紧凑视觉语言模型,再以新发布临床工具为依据建成十任务基准,证据显示小模型可在部分认知任务上接近大模型但域外泛化与未见任务仍明显受限。
BioVITA 针对图像与分类文本已对齐但音频缺位的问题,用 130 万音频与 230 万图像的两阶段对比学习把音频接入 BioCLIP 2,并在六方向检索上报告平均 Top-1 为 71.7% 的结果,代价是科层级检索与哺乳类音频仍明显更难且项目页链接当前不可用。
论文在 Qwen2-Audio 上对照显式、隐式、课程式思维链与无序槽填充,报告槽填充在语音理解上 UAR 最高而从左到右课程学习在描述上相似度最高,且显式链随推理变长因误差累积明显下降。
该研究以 2001 至 2025 年 104 篇 NIME 论文为语料做归纳主题综述,发现创新集中于按键连续触感而布局仍被西方十二平均律钢琴形主导,并以跨文化多稳态与非西方乐理键盘为出路,但代价是分类依赖文本自述且未触及实物手感验证。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读
针对弓弦乐器源-滤波器分离含混问题,DDSP-Violin 用亮度、弓位与残差约束谐波源,在合成数据上把体共振重建误差做小,而多尺度频谱重建质量基本不下降,代价是仍有局部共振细节误差与相位不定问题。
针对视频文本到音频中视觉压倒文本且缺少事件级可控定义的问题,论文提出事件中心分层控制任务、EchoFoley-6k 基准与免训练智能体 EchoVidia,最强证据是时间 0.72、音色 0.78、音量 0.75 可控性与人评指令遵循 3.80 同时领先基线,代价是依赖外部视频大模型与生成模块且需两速推理。
针对视觉听觉情绪线索稀疏且时间不同步导致隐式融合稀释与纠缠的问题,EmoThinker 用结构化 token 选择提纯面部与声音证据并用 CoET 数据集做分步推理,在 DFEW 等基准上报告了最高分,但背景丢弃与长尾类别仍带来代价与不稳定。
针对视频问答中被动看帧、忽视音频的问题,该工作用跨模态未来与过去摘要预测做监督微调,再用对比式强化学习约束双模态联合推理,在 16 帧与 64 帧条件下以 7B 与 8B 规模在四个音视频基准上达到与大闭源模型可比的水平,代价是两阶段推理延迟高于单阶段模型。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读