不测听阈、只让人亲身听难：用空间音频把诊室变成咖啡馆的咨询演示系统

英文题目：An Immersive VR System for Experiencing Spatial Speech-in-Noise Challenges in Clinical Audiology

会议身份：conference:interspeech:2026:conference-paper-id:chongwhite26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#医疗音频 #用户研究 #音频问答 #空间音频渲染

评分：4.8/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 0.3/1.5 | 清晰度 0.8/1 | 影响力 0.6/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：后50% | 文档类型：系统技术报告

👥 作者与机构

• Nicky Chong-White：机构信息未能从会议 PDF 纯文本可靠映射
• Thomas Ho：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本系统面向临床咨询中纯音阈值与言语分数难以传达真实聆听困难的问题，输入为临床医生选定的虚拟环境与难度预设，输出为患者在头动锚定的空间声场中对目标对话的聆听体验与可讨论的漏听实例。方法链先由RealityKit空间音频框架将目标语音、竞争说话人与环境声固定于360°视觉场景的不同方位并随头动保持世界坐标锁定，输出空间一致的视听场景进入聆听环节。再播放20-30秒目标对话并从其他方位分层叠加掩蔽以复现注意分配压力，接着经Apple Speech语音作答或注视与捏合手势采集回答并转入医生引导的复盘咨询。与侧重测验可行性、康复或助听器微调的既有虚拟现实听觉工作不同，该文明确将自身定位为便携式非诊断性演示工具，强调在普通诊室无需声处理室、扬声器阵列或实验室条件下开展共情式沟通。与已有方法相比的关键机制差异在于用增减竞争源数量并移动其方位与距离、利用距离衰减间接改变有效信噪比，替代固定信噪比录音，使抽象掩蔽变为可感知的方位与距离变化。原文未提供可核对的关键定量结果。结论仅适用于设备佩戴前的体验式宣教，未在听损人群验证难度区分度与咨询效果，外推至评估或康复训练尚无依据，该适用边界尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么听力图讲不清咖啡馆里的困难？

这篇论文的输入是临床听力咨询中长期存在的解释断层，目标读者是刚进入语音、音乐与音频方向的研究生。需要先保留的关键信息是：系统不是诊断仪器，不输出听阈，不做助听器验配算法；它是在 Apple Vision Pro 上运行的沉浸式聆听演示应用，供临床医生引导使用，放在普通诊室即可，不需要隔声室、扬声器阵列或实验室搭建。输出是 1 次可复述的方法流程：医生选环境与难度，患者进入 3 维视听场景听一段短对话并回答理解问题，再回到咨询讨论。

论文开篇指出，有效的听力康复不仅依赖准确诊断，还依赖患者与家属理解为什么日常交流困难、助听设备与交流策略能帮什么。标准听力学评估提供必需的诊断信息，但听阈与言语感知分数并不总能传达为什么在嘈杂咖啡馆跟不上对话、为什么难以从几个说话人中分离出一个、为什么在噪声中难以维持注意。如果没有这种共同理解，咨询效果会打折，患者期望可能不切实际，甚至脱离康复。

作为教学例子，可以想象 1 位家属看到报告上轻度损失却不理解患者为何总要求重复，这正是论文要解决的沟通问题，而不是要发明新的言语增强算法。 因此学习依赖的第一步是区分两种任务：诊断任务追求可比分数，演示任务追求可共享的体验。本文只做后者。理解这一点，后面关于不校准、不计分、只做理解问答以支撑讨论的设计才不会被误读为实验不严谨，而是刻意的方法选择。

已有虚拟现实听觉工作走了哪几条路？本文站在哪里？

按同输入、同目标、同运行阶段来对照，论文引用了 3 条路线。第一条是综述路线，塞拉芬等人回顾了虚拟现实在听力研究中的应用，指出在评估、康复与训练方面潜力在增长，但临床听力学应用仍处早期。这说明用虚拟现实做听觉实验已有积累，但落到日常门诊可用工具的很少。第二条是可行性测试路线，索尔等人在正常听力、听力损失含助听器用户中演示了基于虚拟现实的噪声下言语测试的可行性。

这条路线与本文输入相近，都用头戴设备呈现噪声下言语，但目标不同，对方偏向测试可行性，本文偏向咨询演示。第 3 条是临床导向路线，亨德里克塞等人的虚拟现实助听适配方法用虚拟日常场景支持助听设备微调。这与本文最接近，都强调日常场景与临床可用性，但对方落点是设备微调，本文落点是让困难本身被体验和讨论。

把三者放在同一张对照里看，本文的差异不是渲染技术更强，而是运行阶段与监督来源不同：不需要实验室校准分数，不依赖标准化言语材料计分，而是用可配置的对话加问答支撑谈话。这也决定了后文实验只能报告可用性与参与感，不能报告言语识别率提升。初学者容易把类别差异当成同条件胜负，例如认为演示系统不如测试系统精确，这是不恰当的比较，因为二者目标函数根本不同。

本文到底要解决什么任务？不解决什么？

本文研究的任务可以复述为：在普通临床房间内，用便携头戴设备呈现空间性噪声下言语困难，使患者、家属与临床医生获得共同的体验参照，进而讨论哪些日常交流情境困难、可用什么策略与设备功能应对。任务的输入是医生选择的场景与难度预设，输出是患者的聆听体验加问答表现加后续讨论，不是诊断结论。约束条件很明确：无需隔声室与扬声器阵列，支持临床医生引导，适合对虚拟现实手势不熟悉或精细动作不便的老年用户。 明确不做的是三件事。

第一，不做诊断性评估，论文反复强调系统被设计为便携临床演示工具，而非诊断评估。第二，不承诺助听效果，系统设计为通常在讨论设备选项之前、不戴助听设备使用，目的是连接临床概念与具体感受。第三，不提供校准过的言语感知测量，理解问题只用于聚焦注意并为任务后讨论提供结构化依据。作为例子，若患者在困难预设下答错，正确动作不是记录分数判定听力等级，而是回放讨论是被哪类掩蔽声干扰、距离与方位起了什么作用。

沉浸式演示 × 诊断性评估： 沉浸式演示的目标是提供可共享、可讨论的亲身体验，不输出校准分数；诊断性评估的目标是输出可比、可重复的听阈或言语识别率，用于诊断与验配依据。二者搭配的理由是前者补后者解释力的缺口，组合意义在于论文明确把本系统定位为咨询工具而非替代评估，避免把理解问答误当成标准化测听。

系统全景：从医生配置到临床讨论的一次走通

沿一个样本走完全程有助于建立整体依赖。假设医生选择咖啡馆环境加中等难度。系统加载 360 度 3 维咖啡馆模型，目标说话人被固定在前方某个定义位置，竞争说话人与环境声被布放在其他空间位置。患者戴上头显后听到目标对话，同时听到来自不同方向的掩蔽声，转头时声源保持锚定在虚拟世界中。听完 20–30 秒对话后，系统呈现一道或多道关于对话内容的选择题，患者用语音回答，必要时可用注视选择或捏合手势替代。

医生可调整并重复更难或更易的配置，最后基于听到了什么、漏掉了什么展开咨询。 下段是图前导读，说明为何要先看流程图再读组件细节。流程图把上述链条压缩为 4 个层级与一个回路，左右分支揭示了视觉与音频如何合成沉浸场景，右侧回线揭示了演示与咨询的迭代关系，读懂它才能理解难度预设、空间渲染与交互为何缺一不可。

看图路径： 1. 从顶部临床医生配置框向下追踪主链：配置进入沉浸场景，再进入听与理解，最后进入临床讨论；2. 确认中间虚线框内左右两个灰块是视觉环境加空间音频渲染，下方三个小块是头追踪、声源定位与空间分离；3. 找到右侧从临床讨论返回顶部的细线，确认标注为调整与重复的循环路径

论文图 1。原论文 Figure 1：“System workflow from clinician configuration through immersive listening task to clinical discussion”。

流程图自上而下分为临床医生配置、沉浸式聆听场景、聆听与理解、临床讨论。顶部灰块标注环境与难度预设，表明一切体验从医生操作开始。中间虚线框是沉浸式聆听场景，左侧是 3 维视觉环境，标注咖啡馆、火车站与家庭，右侧是空间音频渲染，标注目标加掩蔽加环境，下方并列头部追踪、声源定位与空间分离 3 个小块，表明空间关系由这三者共同维持。下方是聆听与理解，标注语音、注视或手势应答，再下方是临床讨论，标注回顾、反思与建议。

右侧有一条从底部返回顶部的细线，标注调整与重复，说明可在 1 次会话内从简单条件走向复杂配置。像素上各块为圆角灰底矩形，箭头为竖向主干加右侧回路，结构清晰，没有声学曲线或坐标轴，不需解读数值趋势。

组件一：三场景与空间音频如何摆出真实困难？

3 维环境组件选择了 3 种日常聆听环境：咖啡馆、火车站与客厅。论文说明选择理由是它们代表听损人群常报告为困难的情境。每个环境由 360 度 3 维模型构建，包含一个目标声源与一个或多个位于定义位置的竞争声源。实现技术栈为运行于 visionOS 的 SwiftUI、RealityKit、AVFoundation 与 Apple Speech 框架。视觉上目标与竞争说话人或发声物体以可见角色或物体呈现，强化视听一致，帮助用户像在真实情境中那样定位竞争源。

空间音频组件使用 RealityKit 的空间音频框架，把目标言语、竞争说话人与环境声挂接到场景中指定位置的 3 维实体上，使每个声源被感知为来自相对听者的不同方向。Apple Vision Pro 的头部追踪保证用户移动时声源保持锚定在虚拟环境中，维持听者与声源之间的空间关系。论文强调这种渲染复现了真实聆听的核心挑战：在竞争言语与噪声从不同方向到达时注意目标说话人。

空间音频渲染 × 头部追踪： 空间音频渲染负责把目标说话人、竞争说话人和环境声固定在虚拟场景的不同方位和距离上，让双耳听到方向差异；头部追踪负责在用户转头时实时更新听者朝向，使声源锚定在世界坐标中而不随头动。二者搭配的理由是只有声源位置随头动而稳定反算，空间分离才成立，组合后新增的作用是复现真实中从不同方向来声时注意目标又被掩蔽的核心困难。

信噪比 × 空间分离： 信噪比描述目标对话相对背景竞争声的能量优势，决定可懂度的物理基础；空间分离描述目标与掩蔽声在方位和距离上的分开程度，决定听觉系统能否利用双耳差异去掩蔽。二者搭配的理由是临床上只说分贝数患者无感，而把掩蔽声放近、放散就是可感知的信噪比操作，组合后系统用拉近竞争声距离来等效降低信噪比，形成可演示的难度阶梯。

下表提出比较问题：在相同任务结构下，3 个环境的声音构成与视觉锚定有何异同，指标方向是能否让用户感知到方向性掩蔽而非单纯响度变化。公平条件是目标对话时长与问答形式保持可比，差异只来自场景布置与掩蔽类型。

表后解释需要结合原文限定来读。

3 个环境共享同一套目标加掩蔽加环境的空间合成逻辑与同一时长量级的对话任务，主要收益是覆盖不同日常困难原型，便于医生按患者主诉选择切入点。代价是论文未报告各环境声压校准或掩蔽谱细节，也未比较环境间的难度排序，因此不能断言火车站一定难于客厅。未胜出项在这里体现为环境选择本身不带来可部署的识别率收益，它只是演示支架，真正的难度杠杆在下一节的预设里。

组件二：对话任务与交互为何这样设计？

言语材料组件包括在真实环境中采集的音频与预录的人声或音效片段，按空间位置摆放在场景中。目标对话时长为 20–30 秒，从定义好的说话人位置呈现，竞争音频从其他空间位置叠层加入。听后用户回答一道或多道关于对话内容的选择题。对话与问题数量可配置，系统可扩展为多说话人对话或更多样任务序列。关键方法是理解问题被设计为聚焦聆听注意、为任务后讨论提供结构化依据，而非作为校准过的言语感知测量。

这是初学者最易误解的点：答题正确率在此不具备跨被试可比性。 交互组件支持经由 Apple Speech 框架的语音应答，允许用户无需学习虚拟现实手势、无需依赖精细动作控制或眼动校准即可作答。论文指出这对临床中老年用户或不熟悉虚拟现实的用户尤其相关。注视选择与捏合手势作为替代方式保留。这种设计的搭配理由在概念桥中已述：降低操作负荷才能让注意资源留在听本身。

视听一致性 × 言语理解任务： 视听一致性指在场景中用可见人物或物体标示发声位置，使看到谁在说与听到哪里来声一致；言语理解任务指听完 20–30 秒对话后回答选择题，把注意锚定在内容上。二者搭配的理由是只听声难确认空间关系，只看景又不检验听漏，组合后新增的作用是为咨询提供结构化抓手：答对答错都可以回放讨论哪里被掩蔽了。

从可复述角度看，1 次最小可运行单元是：加载一个环境，固定目标方位，叠加至少一个竞争源，播放一段 20–30 秒对话，提一个选择题，用语音回收答案，再由医生追问漏听片段。任何复现都应保留这个顺序，不可把问答改成复述计分，否则就滑向了论文明确不做的标准化评估。

有神经网络训练吗？真实的构造与计算过程是什么？

本研究没有训练阶段，没有神经网络权重更新，没有优化器、损失函数、梯度路径、冻结与解冻、早停或数据划分可报告。这不是缺项遗漏，而是方法类型决定的：系统是基于现成平台能力的演示应用搭建，真实计算是场景构造、空间音频图挂接与语音识别调用，而非模型训练。必须明确说没有训练，才能避免从模型名称推定实现。 实际构造过程按原文可复述为 4 步。

第一步用 SwiftUI 构建临床操作与问答界面，用 RealityKit 构建 360 度 3 维场景与 3 维实体，用 AVFoundation 组织音频播放，用 Apple Speech 框架做语音应答识别。第二步把目标言语、竞争说话人与环境声挂接到指定位置的 3 维实体，利用 RealityKit 空间音频随距离衰减的特性形成掩蔽。第三步接入头显头部追踪，使声源锚定于世界坐标。第 4 步由操作员在每次任务前选择环境与难度预设，触发不同数量、位置与距离的竞争源组合。监督来源不是标注标签，而是医生对患者反应的观察与讨论。

重置时机是每次任务前的预设选择，而非训练轮次。

难度预设 × 临床咨询： 难度预设是操作员在任务前选择的 Easy、Medium 或 Hard 配置，控制竞争声数量、位置与距离；临床咨询是听后回顾、反思与建议环节，把体验翻译为策略和助听期望。二者搭配的理由是难度必须在 1 次会话内可调可重复，才能层层展示噪声、竞争言语与空间复杂度如何叠加，组合后形成配置加体验加讨论的闭环，而不是单次播放演示。

需要补的验证缺项是：论文未报告空间渲染参数、距离衰减曲线、声源具体坐标与响度校准方法，也未报告语音识别在老年声与口音下的误识率。因此复现时只能复现流程与相对难度方向，不能声称复现了相同的绝对信噪比。

实验条件：测了什么、在什么房间、和谁比？

实验条件部分必须按问题组织。论文报告的不是对照实验，而是 1 次小规模可行性演示：原型已向 8 人临床医生与行业专业人士群体演示，参与者走完跨环境的完整流程。测试地点是标准临床房间，刻意不要求隔声室，这本身就是运行条件的一部分。比较基线不是其他系统，而是同一系统内由易到难的预设递进，观察用户是否感到聆听难度随预设变难而增加。指标是定性观察与初步可用性、参与感反馈，没有言语识别率、反应时、统计检验或聚合口径可核对。

数据、划分、采样、硬件预算按原文交代：无听损用户数据，无训练集与测试集划分，无采样策略，硬件为 Apple Vision Pro 单一平台。论文明确指出尚未在听损用户中评估，难度预设间的感知差异尚未正式评估，感知临床价值尚未正式开展。这意味着任何关于疗效或诊断效度的外推都属于未验证推测，只能用可能或待验证来表达。 下表提出比较问题：在仅有难度预设作为自变量、仅有 8 人专业观察的条件下，能否支撑便携演示可行的判断，公平条件是同一流程、同一设备、无助听设备介入。

表后解释要同时看到支持与限制。支持的是用户注意到随预设变难而难度增加，初步反馈在可用性与参与感上积极，说明在普通诊室走通流程是可能的。

代价与反例是样本仅 8 人且为临床与行业人士而非听损患者，没有盲测、没有对照设备、没有量化分数，因此不能把积极反馈读成临床有效性证据。未评测边界包括不同听力剖面的相关性、长时间佩戴舒适度与语音交互误识，这些都留待未来工作。

主结果与反证：报告了什么、没报告什么？

论文直接报告的结果只有两句可核对：用户注意到随预设等级变高聆听难度增加，初步反馈在可用性与参与感方面积极。必须用报告或显示来表达，不能升级为证明有效。有限解释是作者认为这支持方法的可行性。未验证推测是未来可能有助于咨询与期望管理，但原文明确说感知的临床价值尚未正式评估。 反证与限制同样是结果的一部分。

论文主动报告了 3 个未完成项：尚未在听损用户中评估，预设间感知差异未正式评估，临床价值未正式评估。这不是技术错误，而是证据边界。初学者应学会把缺失证据与负结果分开：前者是还没测，后者是测了但不好。本文属于前者，因此结论只能是可行性演示成立，不能是演示改善了康复依从性或助听选配。 从复现视角看，核心可运行策略就是难度递进本身：通过把竞争源放近、放多、放散来有效降低信噪比。

论文给出的机制是空间音频渲染随距离衰减，因此放近即增加掩蔽。这是一个可复述的因果链，但缺少分贝数与距离数的定量映射，所以只能复现方向，不能复现曲线。

如果拿掉某个部件会怎样？原文给了哪些对照？

严格意义上本文没有消融实验，没有逐部件移除对照，也没有失败条件分析。按证据只能说明这一点，不从直觉补写拿掉头部追踪必然怎样。但可以依据原文明确的实现理由做有限的方法推理，并标注为待验证。 可讨论的 3 个依赖关系是：若去掉头部追踪，声源将不能稳定锚定，空间分离的体验基础会被削弱；若去掉视觉人物锚定，用户将更难确认竞争源方位，视听一致的帮助将消失。

若把理解问答换成被动聆听，医生将失去结构化讨论抓手，体验将难以转化为咨询语言。这些都是基于原文设计理由的推断，不是已验证对照，复现时若要验证，需要固定其他条件、只改一处，并用听损用户的主观难度与问答表现为指标。 另一类论文特有细节是难度操作的 3 维度：数量、位置与距离。原文未分离三者的独立贡献，也未报告哪 1 维主导难度感知。因此不能断言增加数量一定比拉近距离更难。

未来若做消融，应分别固定 2 维、只变 1 维，并在同一环境与同一对话难度下比较，这是原文未做但方法结构允许的扩展。

边界在哪里？哪些承诺不能做？

边界需要分 4 层讲清。第一是人群边界：演示对象是 8 名临床医生与行业人士，不是听损用户，更不是不同年龄与听力剖面的分层样本，因此关于老年用户易用性的结论仅来自设计考虑与专业人士反馈，未在目标人群验证。第二是测量边界：没有标准化言语材料与校准计分，没有统计方法与聚合对象，答题表现不能跨会话比较。第三是平台边界：仅在 Apple Vision Pro 与 visionOS 技术栈实现，提到未来可适配 Meta Quest 等其他平台，但当前未验证跨平台一致性。

第四是资源边界：原文声明正文开源依据不可用，不得声称代码、模型或数据已公开；致谢提到的学生贡献表明原型由团队搭建，但未提供可下载系统。 基于上述边界，不能承诺的三件事是：不能承诺提升言语识别或加快咨询，不能承诺降低误判率、延迟或成本，因为这些量根本未测量；不能承诺总体趋势等于每组都成立，因为连分组数据都没有；不能把冻结参数或无训练等同于确定性输出，因为语音识别与头动都会引入变异。

正确的表达是：报告显示便携演示可行，可能有助于让困难可见、可讨论，但临床效用待验证。

复现先做什么？需要保留哪些信息条件？

复现的第一步不是调参，而是重建信息条件。按原文保留的关键超参数与条件是：三环境名称为咖啡馆、火车站与客厅，目标对话时长 20–30 秒，难度三档为 Easy、Medium 与 Hard，竞争源操作维度为数量、位置与距离，交互主通道为语音、备用为注视与捏合，运行环境为普通临床房间、无需隔声室与扬声器阵列，技术栈为 SwiftUI、RealityKit、AVFoundation 与 Apple Speech 框架，使用时通常不戴助听设备、在讨论设备选项之前。

可执行的复现顺序是：先在一台头显上搭建一个环境，把目标固定于前方定义位置，挂接至少一个竞争源并验证转头时方位稳定；再接入一段 20–30 秒对话与一道选择题，验证语音回答可回收；再实现三档预设，通过增减数量与拉近距离形成可感知的难度递进；最后邀请临床医生走通配置加体验加讨论闭环，记录定性反馈而非分数。若要向评估延伸，需另行引入标准化言语材料与校准计分，并经听损用户验证，这是原文指明的长期方向，不属于当前复现必须项。

还需补的验证包括：不同听力剖面的相关性、临床医生评定的有用性、感知真实感、可用性量表、语音交互在噪声与口音下的鲁棒性，以及跨平台一致性。资源状态方面，本次未能确认代码与数据可达，因此复现应按独立实现规划，不等待官方下载。

何时值得尝试？一句话收束与误解澄清

何时值得尝试的判断应基于任务匹配而非设备新颖。当门诊痛点是患者与家属不理解为什么轻度损失却在咖啡馆跟不上、为什么多说话人难分离，且诊室不具备隔声室与扬声器阵列时，这种便携演示思路值得尝试，因为它用空间距离操作替代了分贝讲解，用共同体验替代了分数转述。当目标是输出诊断分数、比较助听算法或证明康复效果时，则不应选用本文方法，而应选用标准化评估或对照试验。 需要澄清的特有误解有三。

其一，把理解问答正确率当成听力好坏，这是对演示与评估混淆，原文已明确问答只为支撑讨论。其二，把 8 人积极反馈当成临床有效，这混淆了可行性与有效性，原文已声明临床价值未正式评估。其三，把无训练当成系统输出确定，这混淆了无权重更新与运行确定性，头动、语音识别与环境布置都会带来变异。

收束起来说，本文的贡献不是更准的测量，而是一条可复述的咨询演示链：医生配置环境与难度，患者在空间声中听一段 20–30 秒对话并作答，再把听到与漏掉转化为策略讨论，8 人演示显示这条链在普通诊室可以走通，但听损人群的真实价值仍待补足。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总