📄 空间失真怎么做可控:ODAQ 新增立体声质量数据集解读

英文题目:ODAQ-Collection: Expanding the Open Dataset of Audio Quality with a Focus on Spatial Distortions

评分:6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Chih-Wei Wu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Matteo Torcoli:机构信息未能在本次解析中与作者逐人可靠绑定
  • Mhd Modar Halimeh:机构信息未能在本次解析中与作者逐人可靠绑定
  • Pablo M. Delgado:机构信息未能在本次解析中与作者逐人可靠绑定
  • Sascha Dick:机构信息未能在本次解析中与作者逐人可靠绑定
  • Christoph Thompson:机构信息未能在本次解析中与作者逐人可靠绑定
  • Phillip A. Williams:机构信息未能在本次解析中与作者逐人可靠绑定
  • Emanuël A. P. Habets:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

读者需要理解的是立体声音乐与语音经编解码或增强后空间印象的变化,以往开放数据多关注音色退化,缺少可控声像位置与宽度退化及对应的人耳评分。新子集先在音乐厅录制多样声像的源信号,再送入改造的双耳线索编码器分别引入耳间强度差与耳间互相关失真、并经对话增强链路引入掩码量化与分离误差,前步输出的已处理信号直接作为后步听音与合并的输入。两项实验室多刺激隐藏参考和锚点(Multiple Stimuli with Hidden Reference and Anchor,MUSHRA)测试收集训练有素听音者的评分后,与既有子集按统一脚本合并为开放资源,关键差异是把失真参数与心理声学可觉差联系并覆盖移动、硬偏置与中央宽声场声像。在同一实验室耳机MUSHRA评测中,以条目平均基本音频质量为指标,对话增强条件的均值覆盖差到优量表范围,而双耳线索失真平均后多集中在良范围,单声道锚点落在一般范围,说明纯空间退化能拉动的总体质量下限有限。在同一实验室MUSHRA评测中,以平均基本音频质量为指标,全集合条目中最低均值条目为20分、最高均值条目为90分呈相对均匀分布,新增强的148对信号使总数达到688对、覆盖17类处理方法与18984个原始评分。该结论适用于受控听音室与训练有素听音者条件,新增录音主要来自单一音乐厅、对话增强仅十余名听音者且地域与人群集中,尚未验证多厅堂与更大更多样人群的泛化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么音频质量需要公开可复用的主观数据

音频质量评价要回答的是处理后的声音在人听来变差了多少。这个判断在音频编码、声源分离、音乐生成等任务中都要用到,因为只看波形误差或信噪比并不能代表听感。最直接的办法是请人听并打分,但组织实验室听音费时费力,原始音乐语音还常受版权限制不能分发,所以很多数据是私有的或只给出一小部分。

已有做法有两条路线。一是针对某个应用做一次小规模测试,例如只测编码器或只测分离系统,条件少、复用性差。二是用众包快速扩大规模,但听音环境不可控、标注噪声大,需要复杂筛选。本文所属的开放音频质量数据集 ODAQ 走的是第三条路线:在受控实验室用高质量信号和 MUSHRA 方法收集分数,并把信号与分数一起公开,后续不断追加新的处理类型。本文的新增部分就是要补上此前缺失的多样空间失真。

ODAQ 此前有哪些子集,还缺什么

按原文梳理,ODAQ 最初发布了高质量信号加实验室 MUSHRA 分数,随后有人用相同材料和流程重复测试验证了可重复性,并做了客观指标的初步基准。再后来的子集加入了简单的立体声处理,即中侧和左右声道条件,以及相应的预处理与呈现方式比较,还有配套的指标基准。社区最近又加入了由神经音频编解码器处理初始版本衍生信号的子集,但其评分来自众包 MUSHRA 加事后筛选,听音人为自称专家。

这样累积下来,此前内容主要覆盖音色类失真,空间处理只停留在基础的中侧和左右条件,缺少受控的、连续可调的空间退化。同时子集越积越多、存放分散,使用者不容易看清整体分布和空白。本文一方面提供新的空间失真子集,另一方面把全部子集整理成统一的 ODAQ-Collection 并提供汇总脚本,属于数据集整理型贡献,不是提出新的评价模型。

本文要解决的具体问题与输入输出

本文要解决的是空间失真缺乏公开、可控、可比较的主观数据的问题。输入是高质量立体声原始录音,涵盖对白、带背景音乐的对白、独奏乐器、弦乐四重奏片段和流行乐片段,声像特意做得多样本来测试不同空间退化的可闻性,包括人工摆动的移动声源、硬摆到左或右的声源、居中但带有录音厅自然混响扩散场的声源。

输出是两类东西。第一类是处理后的立体声信号对,即每个原始信号对应多个失真版本,加上低通锚点和单声道锚点,共 148 对信号,平均时长 11.8 s。第二类是训练有素的听音人在实验室用耳机给出的基本音频质量分数。必须保留的信息是失真只来自有意的声道间线索篡改或对话增强估计误差,而不是录音本身的差别。为此双耳线索实验的参考不用原始录音,而用未篡改边信息重建的版本,所有条件统一做响度归一化到 -23 LUFS。

三类处理与两场听音如何分工

新增数据用 3 类方法制造不同档位。第一类只破坏耳间强度差,第二类只破坏耳间互相关,两类都基于同一个双耳线索编码器实现,目的是把定位和宽度退化隔离开。第 3 类是对话增强,用理想掩蔽的不同量化精度和两个真实深度网络来覆盖从差到好的质量范围,同时引入真实分离系统在复杂空间场景下的失真。

听音分成两场独立的 MUSHRA 测试。一场测耳间强度差和耳间互相关,另一场测对话增强。两场都包含隐藏参考、3.5 kHz 低通锚点和单声道锚点,只是待评档位数不同。这种分工让空间失真的可闻上限能被单声道锚点标定,让对话增强的音色加空间混合失真能被低通锚点和参考标定。最终的统一资源再把新旧 5 个子集合并,提供跨子集的分数分布和指标基准入口。

录音材料是怎样准备的

除一首流行乐外,所有源都在同一音乐厅录制,平均混响时间约 2.5 s。准备阶段先做校准录音来确定主话筒阵列合适的直达声与混响声比,声源距离选在 1.5 m 到 2 m。录制格式为 96 kHz、24 比特,混成立体声后以 48 kHz、24 比特导出。语音强调情绪化、有表现力的演绎,模仿高质量影视对白并给分离系统制造难度,其中两段是男女对白。

这一比较关注新增材料的规模与格式能否支撑按条目分析空间失真差异,语音与音乐多种声像在中等规模下得到覆盖,而录制场地单一构成后续局限。

项目数值
独立源数量18 个
处理加锚点信号对总数148 对
平均时长11.8 s
录制格式96 kHz,24 比特
发布格式48 kHz 立体声,24 比特

新增部分以中等规模覆盖语音与音乐多种声像,表中数字来自原文对源数量、信号对数量、时长和采样格式的直接报告,代价是录制场地单一,后文局限性会回到这一点。

双耳线索编码器如何只改空间不改音色

理解本节需要先看编码器的信号路径。下图是论文给出的改造后双耳线索编码器框图,读图任务是找到下混信号与边信息在哪里分开、在哪里被篡改。

看图路径: 1. 先从左侧空间场景经左右声道进入编码器的两条支路看起;2. 再看分析得到的边信息与下混总信号如何分别进入解码器;3. 最后看失真控制作用在边信息处理的位置

原论文 Figure 1:Generation of spatial distortions using a modified Binaural Cue Codec \\[13\\] following \\[5\\].

论文图 1。原论文 Figure 1::“Generation of spatial distortions using a modified Binaural Cue Codec [13] following [5].”。

图中左侧空间场景产生左右声道后同时送入分析和下混。分析估计每频带的声道间参数作为边信息,下混把立体声合成一路总信号。解码端用总信号加边信息重建左右声道,本文的失真控制只作用在边信息处理环节,总信号通路不动。这意味着音色主体由总信号保留,声像由被篡改的边信息决定,从而实现较纯净的空间失真。

双耳线索编码 × 耳间强度差 × 耳间互相关: 双耳线索编码是把立体声拆成一路求和信号加描述声像的参数边信息来传输的编码思路,耳间强度差描述左右声级差决定的左右定位,耳间互相关描述左右相似程度决定的声源宽度与包围感;本文用同一编码器分别只篡改其中一路参数,就能把定位偏移和宽度收缩两种空间退化分开制造和比较,组合起来则覆盖了立体声像的主要变化维度。

编码器用 21 ms 分析窗、10.7 ms 重叠,在 48 kHz 下按等效矩形带宽频带逐帧产生参数。实验假设耳机呈现,因此声道间线索的改动可近似看作耳间线索的改动。这一假设只在耳机条件下成立,是复用该数据时必须保持的呈现条件。

耳间强度差的四个档位做了什么

耳间强度差失真通过量化每频带的声道间级差实现。高质量档 Q4 把正负 24 dB 范围均匀量化为 100 级,步长 0.48 dB,低于 0.5 dB 的恰可察觉差,目的是基本保持原声像。Q3 和 Q2 分别减到 7 级和 5 级,量化台阶变大,听感上是声源位置的横向跳动。最低档 Q1 把所有频带的级差固定为 0 dB,相当于抹掉由强度差撑开的声场宽度,所有声源都挤到中间,而互相关重建通路保持不动。

这种设计的代价是只动强度差,不动互相关,因此 Q1 的塌缩与后文互相关塌缩的听感并不相同。听音时参考是未篡改边信息的重建信号,保证评分差异只来自级差量化,而不是编码器本身的音色损伤。

耳间互相关如何按恰可察觉差定量控制

耳间互相关失真先要把数值差换成感知距离。论文采用的心理物理模型用频率相关的函数 k(f) 和 g(f) 把参考互相关与失真互相关的差映射为感知距离 d,|d|等于 1 对应一个恰可察觉差,函数在 600 Hz 到 700 Hz 附近变化最陡,强调人耳对低频互相关变化更敏感。

\[d=e^{k(f)\cdot\text{ICC}_{\text{dist}}+g(f)}-e^{k(f)\cdot\text{ICC}_{\text{ref}}+g(f)},\]

上式要计算的是给定两个互相关值时的感知距离,其中指数部分把互相关经频率加权后做非线性压缩再相减。基于该式,论文反解出为达到目标 d 所需的生成互相关值,对每个中心频率为 fm 的频带逐带应用。

\[\text{ICC}_{\text{gen}}(m)=\frac{\log\!\left(e^{k(f_{m})\cdot\text{ICC}_{\text{ref}}(m)+g(f_{m})}+d\right)-g(f_{m})}{k(f_{m})}.\]

上式输入是编码器测得的原始互相关和目标 d,输出是该频带应合成的互相关。高档 Q4 取 d 等于 0,即不失真。Q3 取 d 等于 0.99,约一个恰可察觉差,理论上刚可稳定检出,实际专家听感是宽度明显缩小加声像稳定性轻微受损。Q2 把所有频带互相关强制为 1,声像塌缩,只可能残留强度差撑开的一点宽度。Q1 取超出心理物理函数有效范围的负 d 值,迫使编解码器进入溢出状态,所有频带最大去相关、宽度最宽,实际听感是时间不稳定和空间不连贯,反而比单纯收窄更差。

表观声源宽度 × 感知距离 d: 表观声源宽度是听起来声源有多宽多散的主观属性,感知距离 d 是把互相关数值差换算成以恰可察觉差为单位的心理物理距离;d 把不同频率下数值相同但可闻性不同的互相关改变量统一到同一感知标尺上,因此能按 0、约 1 个恰可察觉差、强制为 1、溢出等档位定量控制宽度失真强度。

对话增强的信号模型与质量档位

对话增强先把立体声混合的每个声道写作前景加背景,再把增强后的每个声道写作估计前景加衰减后的估计背景,衰减量本文取 16 dB。

\[y_{\textrm{DE},i}(n)=\hat{s}_{i}(n)+\alpha\;\hat{v}_{i}(n);\quad i\in\{1,2\},\]

上式中 y 是混合,s 上加帽是估计的前景,v 上加帽是混合减去估计前景得到的估计背景,alpha 是背景衰减系数。估计越准,残留背景和前景失真越小;左右声道分别估计时,两路误差不一致还会带来附加空间失真。

前景 × 背景 × 对话增强: 前景指对白语音,背景指音乐与效果等其他成分,对话增强指先估计出前景再把估计的背景衰减后重新混合以突出对白;本文把混合信号写作前景加背景,把增强信号写作估计前景加衰减后的估计背景,因此掩蔽估计的误差会同时漏进前景失真和残留背景中,并通过左右声道不一致进一步带来空间退化。

质量档位从高到低包括:左右声道分别用 3 比特均匀量化理想比例掩蔽的 qPSM;中声道和侧声道分别用不同比特量化并加均匀噪声扰动的三档 qmsPSM,具体为侧 4 比特中 2 比特、侧 3 比特中 3 比特、侧 3 比特中 5 比特,比特越少、扰动相对越大,频谱和空间退化越重;以及分别在中侧声道上运行的预训练网络 DeepFilterNet 和 Bandit-v2,代表真实系统。

理想比例掩蔽 × 中侧掩蔽量化: 理想比例掩蔽是利用真实干净信号在时频域算出的理想时频增益,中侧掩蔽量化是把该增益分别在中声道和侧声道上用不同比特数量化并加入扰动;前者提供可控的上限参考,后者通过中路与侧路的不同精度分开控制音色损伤与空间损伤,组合起来就能模拟真实分离系统由差到好的连续质量档位。

这种高低搭配让主观分数能铺满从差到优的 MUSHRA 量程,既检验受控掩蔽退化,又检验真实系统在空间复杂场景下的表现。

本研究没有训练模型,实际执行了哪些计算与流程

本文没有训练新的质量评价模型,也没有微调分离网络,训练一节需要说清实际的构造与评估流程。计算部分包括:用改造的双耳线索编码器按上述档位生成强度差与互相关失真信号;用真实信号算理想掩蔽并按档位量化加噪生成对话增强信号;调用作者提供的预训练 DeepFilterNet 和 Bandit-v2 分别处理中侧声道;全部条件做 -23 LUFS 响度归一化。

听音流程包括:两次独立 MUSHRA 测试前各做 6 次训练,用与正式材料不重叠但能暴露失真的关键素材让被试熟悉失真;正式测试在声学处理过的房间用 Beyerdynamic DT770 Pro 250 欧姆封闭耳机经专业声卡播放,被试先调到舒适声级后不再调整;被试为音乐媒体制作专业本科生,受过技术听音训练并通过听力检查。这种无训练、重构造加受控主观实验的设计,决定了结论只在相同呈现与人群条件下可比,不能直接推广到音箱回放或普通众包人群。

两场听音的人数、题量与锚点如何设置

两场测试的人数和题量不同,比较问题是在统计精度和被试负担之间如何取舍。双耳线索实验有 23 名被试,平均年龄 21.0 岁,平均专业音频经验 2.7 年,共 14 个试次,每试次 7 个条件。对话增强实验有 12 名被试,平均年龄 21.3 岁,平均专业音频经验 3.3 年,共 8 个试次,每试次 9 个条件。两场都含 3.5 kHz 低通锚点、单声道锚点和隐藏参考。

实验被试数平均年龄试次数每试次条件数
双耳线索失真23 人21.0 岁14 个7 个

这一比较衡量被试越多、试次越多则均值估计越稳但负担越大的权衡,双耳线索场用更多人测较窄的质量范围,对话增强场用较少人测从差到优的宽范围,因此后者高低档差异显著但中档估计误差相对更大,且 12 人的对话增强样本是后文明确列出的局限之一。

基本音频质量 × MUSHRA: MUSHRA 是同时呈现隐藏参考、低通锚点、单声道锚点和多个待评条件并让听音人打分的多刺激测试方法,基本音频质量是该方法要求综合所有可闻差异给出的总体分数;本文用该流程把空间失真放在与音色失真、锚点同一标尺上比较,因此能看出纯空间退化在总体质量中只占有限分量。

测试软件与既有 ODAQ 子集使用同一听音测试应用,保证操作界面一致。分数为基本音频质量,越高越好,锚点用于固定量程下限,隐藏参考用于检验被试可靠性。

平均分显示了什么,单条目分布又显示了什么

先看跨条目平均的均值与 95% 置信区间,读图任务是比较 3 类处理随档位变化的斜率与绝对位置。

看图路径: 1. 先看横轴质量档位从低通锚点到参考的排列;2. 再比较同一档位下三类处理均值点的相对高低;3. 最后看各点上下误差棒的长度差异

原论文 Figure 2:Mean BAQ (in MUSHRA points) with 95% confidence intervals across quality levels, reference, and…

论文图 2。原论文 Figure 2::“Mean BAQ (in MUSHRA points) with 95% confidence intervals across quality levels, reference, and anchor conditions. Scores are averaged over all items.”。

该图可见对话增强从差到优铺满量程,耳间强度差与耳间互相关平均后主要挤在好这一档,单声道锚点对应声像完全丢失却只落在一般档。这支持论文的判断:纯空间退化对总体质量的拖累有限,因为总体分还包含音色等因素。置信区间显示对话增强低档区分度大,高档与参考接近;空间失真各档在平均后差距较小,容易误以为失真很弱。

再看按单个条目平均分的直方图,读图任务是把新增条块从灰色整体中分离出来。

看图路径: 1. 先看灰色全部子集在 20 到 90 分范围的整体分布;2. 再看深色新增对话增强条块在低分段的占比;3. 最后看新增耳间线索条块在中高分段的集中位置

原论文 Figure 3:Histogram of mean BAQ scores for individual items in all subsets (excluding references and…

论文图 3。原论文 Figure 3::“Histogram of mean BAQ scores for individual items in all subsets (excluding references and anchors), with the proposed addition highlighted.”。

该图可见全部集合在 20 分到 90 分分布较均匀,在 50 分和 80 分附近略集中;新增对话增强条块向低分延伸,新增耳间线索条块集中在中高分。具体到条目,互相关单条目从差到优都有,强度差单条目从一般到优都有,说明平均数掩盖了条目依赖性。在描述空间失真可闻性时需要同时给出平均结果与按条目结果,否则会夸大或低估实际听感差异。

从全集规模与分数覆盖看,新增部分是否改变整体分布空白可以这样比较。

范围信号对数量主观评分条数分数覆盖
合并全集688 对18984 条原始评分20 分到 90 分较均匀
方法类别17 类5 个子集含 3 类新增

新增 148 对与近 19,000 条评分把纯空间失真补进全集,但全集仍以实验室青年音乐专业人群为主;表中总量数字来自原文对 688 对、17 类方法和 18984 条评分的直接报告,分数覆盖来自原文对分布范围的描述。

不同档位与锚点的对照说明了什么机制

把档位拆开看,强度差从 100 级到 5 级再到固定 0 dB,听感从透明变为位置跳动再变为挤到中间;互相关从无失真到约一个恰可察觉差再到强制为 1,听感从透明变为宽度缩小再变为塌缩,而溢出档因时间不稳定反而更差。这种非单调现象说明宽度越大不等于质量越好,稳定性同样重要。

对话增强的对照显示,理想掩蔽量化比特越高、侧路精度越高则分数越高,真实网络介于中间档位,说明受控扰动能模拟真实估计误差的方向,但不能完全代替真实系统,因为真实系统的误差结构更复杂。单声道锚点在两场中都只到一般档,与既有 ODAQ 单声道锚点结果一致,进一步支持空间分量在总体质量中占比有限的解释。

未胜出或反例也应指出:溢出档的最宽声场没有带来更高分;互相关 Q3 理论上刚可检出,实际专家仍听出明显变化,说明恰可察觉差阈值不能直接当作质量档位间隔。这些都限制了只用参数 d 大小预测分数的做法。

结论在什么条件下才成立,还有哪些缺口

论文明确列出的局限包括:录音主要来自同一音乐厅,声学多样性不足;对话增强听音只有 12 人,样本小;听音地点集中,被试主要是同一学校青年音乐专业学生,年龄与经验范围窄。这些决定了分数分布和空间失真占比的结论只在耳机、受控房间、训练有素青年听音人群条件下成立,换成音箱、众包或更大年龄范围人群时不可直接套用。

方法上的缺口是空间质量客观指标如 BINAQUAL 留待未来工作,本文只提供数据与统一资源的基准入口,没有验证哪种指标最适合空间失真。此外双耳线索实验假设耳机呈现下声道间线索等同于耳间线索,音箱串音存在时该对应不再成立。复用时若改变呈现设备、响度归一化或参考定义,档位含义也会变化。

要复现与扩展,第一步做什么,需要什么资源

复现第一步是按统一资源的结构拿到信号、分数与汇总脚本,确认 5 个子集的划分、锚点定义与聚合方式,再用相同耳机与声级条件重放新增 148 对中的代表性条目,检查能否复现对话增强铺满量程而空间失真平均后偏好的格局。关键参数要保留:编码器 21 ms 窗与 10.7 ms 重叠、48 kHz 处理、强度差正负 24 dB 范围与档位级数、互相关目标 d 取值、掩蔽量化比特与扰动范围、背景衰减 16 dB、响度 -23 LUFS、3.5 kHz 低通与单声道锚点。

资源方面,论文给出数据与代码的在线地址,但本次来源校验只确认部分第三方链接当前可达,Zenodo 数据链接本次未能确认可达,听音软件为第三方链接,不能直接写成作者资源已公开。代码开源、权重可下载、系统可运行是三件事:本文提供的是数据集与汇总脚本,不是可运行的评价系统;所用分离网络是调用作者提供的预训练模型,不等于本文训练了模型。扩展时建议补充新厅堂录音、更大更多样的人群,并在同一 MUSHRA 框架下加入新的空间处理类型。

什么时候值得用这个数据集,还需补哪项验证

当研究目标是检验客观指标对纯空间退化的敏感性,或比较对话增强中音色与空间退化的相对贡献时,这个数据集值得尝试,因为它把强度差与互相关分开控制,并用同一量程标定了单声道与低通锚点。当目标是预测普通听众在客厅音箱上的体验时,则不应直接套用,需要补做呈现设备与人群的泛化验证。

还需要补的验证至少有两项。一是在同一材料上测试空间专用指标与通用指标的相关性差异,论文已预留基准入口但未给出深入结论。二是扩大对话增强被试量并引入多场地录音,检验当前按条目从差到优的分布是否稳定。总之,该工作的价值在于补齐可控空间失真的公开数据并理顺全集结构,其分数结论的适用边界应与数据规模一起复述,不宜夸大为一般空间音频质量规律。

📎 论文与评分元数据

排名:前50% | 文档类型:数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-10-30 语音/音乐/音频论文速递