在移动对话中解码注意：MOV-AAD 如何把脑电与身体信号同步起来

英文题目：MOV-AAD: A Large-Scale Multimodal Dataset for Auditory Attention Decoding During Moving Conversations

会议身份：conference:interspeech:2026:conference-paper-id:he26g_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #数据集构建 #生理信号 #脑信号 #言语神经解码

评分：8.2/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：数据集与基准

👥 作者与机构

• Xiaomin He：机构信息未能从会议 PDF 纯文本可靠映射
• Vishal Choudhari：机构信息未能从会议 PDF 纯文本可靠映射
• Tristan J. Spratt：机构信息未能从会议 PDF 纯文本可靠映射
• Aarya Raghavan：机构信息未能从会议 PDF 纯文本可靠映射
• Richard T. Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Nima Mesgarani：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

听觉注意解码（Auditory Attention Decoding，AAD）的输入是多说话人竞争场景下的脑电与生理记录，输出是受试者注意的语音包络或声源轨迹，难点在于声源持续移动、对话轮替与背景噪声叠加时神经追踪信号微弱且易受运动伪迹污染。该工作先用头相关传输函数（Head-Related Transfer Function，HRTF）渲染在正负90度额半平面内连续移动的单对话与双对话刺激并叠加行人声或babble噪声，再同步采集64导脑电、眼动瞳径注视、呼吸气流与胸带努力、皮电、光电容积脉搏、心率血氧皮温加速度等多模态信号并对齐音频，最后用后向时域响应函数重建包络与轨迹并以判别模型完成注意分类。与静态双说话人数据集相比，关键机制差异是用一阶马尔可夫链生成的平滑移动轨迹与有话者切换的自然对话替代固定方位朗读，从而同时考验包络追踪与空间轨迹追踪。在多对话任务中受试流重复词F1显著高于非受试流，双尾Wilcoxon检验p小于0.0001且秩效应量r为0.87，包络重建的受试与非受试相关分离随窗长稳定存在。该结论仅适用于耳机渲染、非个体化声学条件下的正常听力人群，向真实房间混响、助听器佩戴者与老年群体的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://github.com/naplab/MOV-AAD — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：这篇论文要解决的聆听场景是什么？

本文的输入是作者公开的一套多模态记录与实验说明，目标是让刚入门的研究生能复述其任务、采集与验证流程。必须保留的关键信息是被试规模与听力要求、单对话与双对话的试次数与时长、空间移动范围与噪声条件、同步记录的信号种类与采样率，以及用于验证的 3 个分析：行为表现、刺激重建与注意解码、被试间相关。输出是 1 篇按学习依赖展开的技术解读，不评价助听产品效果，不补充原文之外的参数。论文研究的任务是听觉注意解码。

白话说，就是在有多个人同时说话时，仅从记录到的生理信号判断听者正在注意哪一路。英文为 auditory attention decoding，后文简称注意解码。传统做法多用静态摆放在固定方位的两路朗读语音，声源不动、内容多为朗读句、缺少身体信号。本文要逼近的现实是会话在动：说话人带着对话内容在前方半圆内连续移动，还会中途换说话人，同时伴随街道或人声 babble 噪声。研究者因此需要同时记录大脑与自主神经、行为眼动的信号，才能讨论注意与聆听努力在动态场景下如何协同。

已有数据集把哪些条件固定死了？

要理解本文的取舍，先看同类非侵入数据集的常见路线。第一类以高密度脑电加双说话人朗读为代表，空间固定在正负 90 度或正负 60 度，不记录外周生理，语音多为连续朗读的叠加。第二类加入少量生理，例如只带光电容积脉搏波与皮肤电，但任务是单人加噪声而非竞争性双人注意。第 3 类扩大被试量或方位采样，例如 85 人或 14 个方位随机左右配对，但仍是静态声源或单人加噪声。

按同输入、同目标、同监督来对照：输入都是耳机播放的空间化语音，目标都是判断注意对象，但监督与运行阶段不同，静态朗读只要求区分内容包络，本文还要求处理位置连续变化、说话人切换与先后 onset 带来的注意引导。因此不能把类别差异直接当胜负：静态集在信噪比控制上更干净，本文在生态效度与多模态覆盖上更宽。

论文用一张对比表把年份、人数、导联数、其他模态、语音类型、背景噪声与空间设置并列，结论是已有资源缺少自然对话加移动加同步自主神经的组合，这正是本文要补的位置。

问题如何定义：动起来之后难在哪里？

形式化一下本文的问题。设每次试验呈现一路或两路对话波形，每路有随时间变化的方位角轨迹，范围限制在负 90 度到正 90 度的前方水平面，感知距离保持恒定，双路时做均方根功率匹配。背景噪声以双耳同相方式叠加，强度比每路对话低 9 或 12 分贝。被试的任务是在注意流中检测嵌入的重复词，2 秒内按键算命中，否则记虚报。算法的任务是在双对话条件下，利用同步记录的脑电与生理信号判断哪路是被注意流。

难点有三。一是空间非平稳：方位连续变化使双耳时间差与强度差线索随时间漂移，非个体化头相关传输函数在两侧大角度本就存在定位模糊。二是内容自然化：对话带轮流发言与重复词，重复词间隔平均 7.0 秒、标准差 1.0 秒，事件稀疏且不跨流重叠，行为监督稀疏。三是多模态异质：脑电是毫秒级多通道电位，眼动是瞳孔直径与注视坐标，呼吸、皮肤电、心率、血氧、体温、加速度时间常数各不相同，需要各自的滤波与聚合尺度才能比较。

举一个教学例子：这只是例子，不代表原文数据。假设某试次被注意流从左侧 60 度移向右侧 20 度，未被注意流晚 3 秒从右侧进入，解码器若只看瞬时能量会失效，必须同时利用内容包络与位置轨迹的时间累积才能稳定判断。

方法全景：一个试次的数据走完哪些环节？

先沿一个双对话试次走完全程。输入是两路已做均方根匹配的对话波形与各自的方位轨迹真值，加上双耳同相的街道或 babble 噪声。呈现时先起播被注意对话，未被注意对话延迟约 3 秒加入；被注意对话在约全程一半处发生 1 次说话人切换，未被注意对话在约 1/4 与四分之三处各切换 1 次。表示层是同步采集的多路时间序列：64 导脑电、鼻气流与胸带努力、皮肤电、光电容积脉搏波及其派生的心率、血氧、皮肤温度、三轴加速度、双眼瞳孔直径与水平垂直注视坐标。

组件层做三件事：行为计分统计重复词命中与虚报，神经解码做包络与轨迹的后向重建再做注意分类，跨被试分析计算被试间相关。目标层输出 3 类指标：定位准确率与平均绝对误差、重复词命中率精确率与 F1、重建相关与解码准确率及跨被试相似度。最终输出是公开发布的数据与基线结论：包络携带主要注意信息，阿尔法带轨迹提供有限补充，慢生理信号需更长时间聚合。

下图是理解该流程最直接的总览，左侧为佩戴与信号示例，右侧为 4 个子任务的推进顺序与刺激示意。

看图路径： 1. 先看左侧人物图标上标注的传感器位置与下方多通道示例曲线的对应关系；2. 再按右侧 1 到 4 的编号顺序读出每个子任务的时长与刺激示意；3. 对比单对话与双对话面板中波形数量与轨迹曲线数量的差异；4. 注意双对话中两条轨迹的起始时间错开与说话人切换标记的位置

论文图 1。原论文 Figure 1：“Overview of the MOV-AAD dataset and experimental paradigm.”。

该图左侧上方用卡通人物标出 64 导脑电、眼动与瞳孔、心率血氧与光电容积脉搏波、皮肤电、体温、呼吸气流与努力、加速度的佩戴位置，下方给出约十余秒的同步示例曲线，可以直观看到脑电为多通道快速波动，而皮肤电、体温、心率变化缓慢，眼动与瞳孔带有瞬态跳变。右侧按 1 到 4 纵向排列重复句任务、定位任务、单对话与双对话任务，每行左侧标注耗时，中间画出声源方位示意，右侧给出波形与轨迹示例。

关键是读出双对话与单对话的区别：双对话同时有两套波形与两条轨迹，且未被注意流晚启动，说话人切换次数与时刻不同，这决定了后续行为计分要分流统计、解码要分别重建被注意与未被注意相关。

刺激与任务组件：语音、空间与行为如何构造？

刺激由母语为美式英语的说话人录制的自然对话构成，每段对话是时间连续的语音段，内嵌用于注意监测的重复词。所有语音流用头相关传输函数经耳机呈现。白话说，头相关传输函数就是描述声音从不同方位到达左右耳差异的滤波器，英文为 head-related transfer functions，后文简称 HRTF。移动条件下对话在前方水平面内连续移动，方位角从负 90 度到正 90 度，感知距离跨试次保持恒定。

轨迹生成时先用 1 阶马尔可夫链以 1 度分辨率产生序列，再平滑并上采样到 10 赫兹做 HRTF 渲染，最终插值到 100 赫兹以匹配神经采样率。任务分四块。重复句任务用 6 个短句、3 男 3 女朗读、无背景噪声、每句重复 20 次且顺序打乱，用于检验同一被试内重复语音的神经可靠性。定位任务用 54 个短句、无噪声、在 9 个等间隔方位呈现，被试用鼠标点击报告感知方向，用于熟悉空间线索并评估空间感知。单移动说话人对话做 40 个试次，单流在半圆内移动，被试做 1-back 重复词检测。

双移动说话人对话做 56 个试次，2 流空间分离且同范围移动，被试只注意先开始的对话并按键报告其中重复词。

听觉注意解码 × 语音包络跟踪： 听觉注意解码负责判断每一时刻听的是哪一路对话，语音包络跟踪负责提供判断依据：大脑低频活动会跟随被注意语音的幅度起伏。两者搭配的理由是包络是连续、可从波形直接提取的参考信号，解码器只需比较重建包络与两路真实包络的相关大小；组合后新增的作用是把抽象的注意选择转化为可计算的相关差值与分类准确率。

空间轨迹重建 × 头相关传输函数： 头相关传输函数负责把单声道对话渲染成不同方位角的双耳信号，空间轨迹重建负责从脑电反推声源方位随时间的变化。前者分工是制造可控的移动空间线索，后者分工是检验大脑是否编码了位置动态；搭配理由是只有轨迹真值已知才能评价重建相关，组合意义是除内容包络外开辟位置维度的注意解码。

重复词检测 × 注意投入： 重复词检测是行为任务，要求被试在注意流中按空格键报告重复出现的词，注意投入是想验证的心理状态。前者分工是输出命中率、精确率与 F1 的可观测指标，后者是不可直接观测的持续聆听程度；搭配理由是已有工作显示该任务表现与投入和难度相关，组合后可以用行为分数筛选有效试次并佐证神经解码不是空转。

被试间相关 × 刺激锁定： 刺激锁定指信号的时间变化由同一刺激驱动，被试间相关负责量化不同人信号在同一刺激下有多相似。前者是假设，后者是检验工具，通过空间滤波最大化被试间协方差并与相位随机化的零分布比较；组合意义是即使不看解码准确率，也能判断脑电、眼动、呼吸等通道是否含有可复现的刺激相关结构。

紧张性皮肤电导水平 × 相位性非特异性皮肤电导反应： 紧张性皮肤电导水平反映缓慢变化的基线唤醒，相位性非特异性皮肤电导反应反映每分钟自发波峰的次数。前者分工是看整体出汗基线，后者分工是看瞬态交感爆发；搭配理由是同一段皮肤电导原始信号包含快慢两种成分需分开计算，组合后才能同时检查记录质量与不同时间尺度的自主神经活动。

上述 5 个组合是复述方法时最易混淆的概念桥，放在此处是为了在进入采集与计算细节前固定分工：包络管内容、轨迹管位置、重复词管行为监督、被试间相关管可复现性、快慢皮肤电管不同时间尺度。

采集与同步组件：多路信号如何对齐？

采集使用 g.tec 传感器与 g.HIamp 放大器，采样率 1200 赫兹并做 60 赫兹陷波。外周包括皮肤电、三轴加速度、鼻气流、胸带呼吸努力、血氧、光电容积脉搏波、心率与皮肤温度。眼动用 Tobii Pro Nano 记录瞳孔直径与水平垂直注视坐标。所有神经、生理与眼动经 Simulink 同步记录。行为按键经定制 MATLAB 界面采集并与生理记录同步。

音频播放同时被录音，通过与原始刺激波形互相关做时间对齐。发布内容包括重复句约每人 12 分钟、单对话约每人 30 分钟、双对话约每人 45 分钟的脑电与外周信号，以及定位与对话任务的行为报告。单双对话试次提供 1200 赫兹脑电与外周信号、对齐后的刺激音频、被试与试次级的重复词检测指标，每个试次含 3 秒 onset 前基线。脑电中方差异常通道经球面插值替换。外周模态以最小处理形式发布，仅保留 1200 赫兹采集与硬件陷波，不做额外模态专用预处理。

研究方案经作者大学伦理委员会批准，2022 年 10 月至 2025 年 6 月招募 50 名自报听力正常、无神经或注意障碍史的被试，签署知情同意并获得报酬。

没有训练阶段时：本研究实际计算了什么？

本论文是数据集论文，没有训练深度神经网络的阶段，因此不存在梯度路径、参数冻结与更新、优化器重置等需要交代的事项。若按训练节的要求，需要明确说明未训练哪些模型，再讲实际执行的计算。未训练的是任何端到端的注意分类网络或语音增强网络。实际执行的计算是 3 类基线分析的参数拟合与统计检验。第一类是后向包络与轨迹重建用的岭回归解码器，在留一试次交叉验证下选择正则系数，不跨被试共享权重，每个被试独立拟合。

第二类是双对话试次的线性判别分析注意分类器，输入是单试次的重建相关对，训练时同时加入真序与交换序样本以构造平衡二分类，测试时只用真序样本。第 3 类是被试间相关的空间滤波，用广义特征分解最大化被试间协方差相对被试内协方差，被试内协方差做收缩正则化，脑电保留 3 个成分、单通道模态保留 1 个成分。上述计算都不更新刺激生成参数，HRTF 与轨迹在刺激设计阶段已固定。

原文未报告深度模型训练耗时与硬件预算，复现时缺的是计算资源项，不是方法错误。

实验条件：划分、指标与统计如何保证可比？

数据划分按任务与被试内试次组织，不做跨被试训练。重复句 120 句、定位 54 句带行为报告、单对话 40 试次、双对话 56 试次，每人共计 4800 个注意聆听试次中的一部分，单双对话试次时长约 40 秒、重复句约 5.2 秒。采样与聚合按模态区分：包络重建先重采样到 100 赫兹、归一化并用 5 tanh(x/5) 压缩离群，再做 1 到 8 赫兹零相位有限冲激响应滤波；轨迹重建重采样到 100 赫兹并做稳健归一化，德尔塔带用 0.05 到 2 赫兹零相位巴特沃斯滤波，阿尔法带用 8 到 12 赫兹滤波后取希尔伯特解析幅度。

指标方向要记牢：定位准确率越高越好，平均绝对误差越小越好；重复词命中率、精确率、F1 越高越好；重建相关用注意与未注意相关的差值越大越好，解码准确率以 0.5 为机会水平。统计方法包括双尾 Wilcoxon 符号秩检验比较 F1，效应量用 r 等于 Z 除以非零配对数平方根；重建显著性用跨试次 Fisher z 变换后单尾检验并做 Benjamini-Hochberg 错误发现率校正。

被试间相关用相位随机化构造零分布，被试级 100 次置换、组级用配对右尾检验并用二项检验看显著人数是否超过假阳性率。下表把任务规模与采集条件放在一起，便于复现时核对人数、试次、时长与采样率是否一致。

比较问题是不同任务的试次量与时长是否足以支撑各自的验证目标，公平条件是同一批被试完成全部任务且空间与噪声设置按任务说明固定，指标方向是规模越大、时长越长通常估计越稳但被试负担越重。

上表主要收益是把人数、试次、时长与采样率集中核对，避免把不同任务的数字混用；代价是定位任务的单句时长在原文表格中未单独给出，复现时只能按 54 句行为报告与整体流程估算，不能自行编造。未胜出项是慢生理信号在短试次内时间变异有限，后文需用 28 试次为一块的聚合才能稳定估计被试间相关，这说明统一用试次级聚合并不适用于所有模态。

行为与生理验证：被试真的在听吗？信号正常吗？

先看定位感知。极坐标显示感知角度大体与真实半侧对齐，但在两侧大角度辨别力下降，高准确组与低准确组都保留了整体角度结构。被试级表现差异较大，但多数人准确率（%）高于 9 选 1 的机会水平，平均绝对误差明显低于随机猜测的约 66.7 度。原文把这种两侧变异解释为人类空间听觉在极端方位因双耳时间差与强度差线索饱和而精度下降，非个体化 HRTF 会进一步放大，但空间线索仍足以支撑组级的移动跟踪。

定位结果的导读是先确认机会水平与误差方向，再看个体差异是否淹没组级结构，后续解释需结合误差条的排序趋势。

看图路径： 1. 先看上方极坐标中灰色空心圆与彩色点的偏离方向，尤其两侧大角度处；2. 再对比高准确组与低准确组在两侧区域的发散程度；3. 最后看下方按准确率排序的灰色准确率条与红色平均绝对误差条的变化趋势

论文图 3。原论文 Figure 2：“Localization Perception. Top: Localization patterns visualized in polar coordinates.”。

该图上方三幅极坐标分别给出总体、高准确前三分之一与低准确后三分之一的平均感知位置，灰色空心圆为真实刺激角，彩色点为跨被试平均感知角，可以看到两侧 90 度附近的连线更长更发散。下方条形图按准确率排序，灰色为准确率、红色为平均绝对误差，黑色与红色虚线分别标出约 11.11% 与约 66.7 度的机会水平，多数被试灰条高于黑线、红条低于红线，支持空间辨别可靠但个体差异大的判断。

再看重复词检测。单对话与双对话被注意流都聚集在高精确率高召回区，双对话未被注意流明显更低。统计上双对话被注意显著高于未被注意，双对话被注意与单对话相比略低，说明干扰使检测轻微下降。下表把行为指标的定义与关键比较放在一起，强调机会水平与效应量同时核对。

比较问题是在相同计分规则下注意流与未注意流能否分开，公平条件是 2 秒窗口、命中与虚报定义跨条件一致，指标方向是 F1 越高表示持续注意越好。

上表主要收益是确认行为上注意分离成功，且单对话略优于双对话被注意；代价是重复词本身稀疏，不能反映每 1 秒的注意波动。未胜出项是未被注意流的低分是任务设计使然，不能解读为被试完全听不到未注意内容。生理 sanity 检查提取了双对话期间的心率、体温、皮肤电导水平与自发反应率、呼吸频率、加速度幅值、血氧、心率变异性与瞳孔直径，分布大体落在文献与设备期望范围内，少数离群可能来自自然变异或轻微记录伪迹，加速度以 1 g 为基线、偏离反映运动或姿态变化。

神经验证：包络与轨迹谁携带注意信息？

刺激跟踪用后向正则回归加留一试次交叉验证。包络提取用希尔伯特解析信号幅度加 8 赫兹 4 阶巴特沃斯低通，聚焦慢幅度调制；解码时滞 0 到 400 毫秒，正则系数在 10 的负 2 次方到 10 的 4 次方对数间隔中选择，性能用重建与真实包络的 Pearson 相关衡量。轨迹真值以 1 度分辨率生成并最终插值到 100 赫兹，解码时滞 0 到 250 毫秒，正则选择方式相同，性能用重建与真实轨迹的相关衡量。

滑动窗分析在试次内以 0.5 秒步长滑动，左图看被注意与未被注意相关随窗长变化，右图看以注意相关大于未注意相关为正确的窗级准确率。结果是包络的被注意相关稳定高于未被注意相关，未被注意接近机会水平；阿尔法轨迹的被注意略高于德尔塔且随窗长轻微拉开差距，德尔塔轨迹基本在机会水平。被试级显示包络多为显著正重建且对应较高解码准确率，轨迹仅在部分被试显现。

全试次线性判别分析进一步显示包络准确率最高，阿尔法轨迹显著高于机会但有限，德尔塔轨迹不显著；包络加轨迹显著优于仅轨迹，但未显著超过仅包络。采集与解码参数的对照表有助于复现时不混淆两套滤波与时滞。

比较问题是不同特征在相同留一试次流程下谁更能支撑可部署的注意判断，公平条件是同一批试次、同一交叉验证划分，指标方向是相关差与准确率越高越好。

上表主要收益是固定了复现必须一致的滤波与时滞，避免把包络与轨迹的参数混用；代价是轨迹增益有限，若只看总体趋势会高估位置信息的实用价值。被试间相关方面，脑电、注视位置、瞳孔、光电容积脉搏波显示一致的跨被试时间对齐，心率与血氧组级显著但被试级普及率有限，体温在试次级几乎无共享结构。原文报告显示体温组级不显著，其余多模态在组级与普及率上多为显著，这支持多通道含有可复现的刺激锁定结构，但总体趋势不等于每人每段都成立。

跨模态相似性的导读是先看纵轴量级差异，再看蓝灰连线的比例，最后单独审视慢信号面板，后续解释需区分组级显著与个体普及率。

看图路径： 1. 先按行列找到脑电、眼动、皮肤电等每个小面板的纵轴量级；2. 再看每个被试从实际值连到机会水平的线段颜色，蓝色为显著而灰色为不显著；3. 对比体温面板与其他面板在显著线数量上的差别

论文图 7。原论文 Figure 8：“Intersubject correlation across modalities.”。

该图每格为一个模态，左侧为实际被试间相关、右侧为机会水平，蓝色连线为被试级显著、灰色为不显著，顶部标注组级检验与星号，底部标注普及率检验。可以看到脑电与眼动、皮肤电等多格蓝色占优，而体温一格基本全灰且标注不显著，心率与血氧虽组级显著但灰线较多，说明慢信号异质性大，需更长聚合才能稳定。

窗口与特征对照：多长才够判？少了谁会掉？

把窗口长度当作可变的计算条件，可以看到不同特征的代价曲线完全不同。包络在短窗下已明显超过 0.5 的机会水平，随窗长增加继续爬升；阿尔法轨迹始终高于德尔塔但爬升平缓；德尔塔轨迹在各窗长贴近机会水平，几乎无改善。这说明若部署时要求短延迟，包络是唯一实际可运行的选择，轨迹需要更长累积且仍不稳定。

特征组合的对照进一步显示包络加轨迹相对仅轨迹有提升，但相对仅包络无显著超越，这与既往包络主导的结论一致。复现时应保留原文实际可运行的策略：滑动窗内比较被注意与未被注意重建相关、全试次线性判别分析用真序测试、置换零分布估计机会水平并做多重比较校正。不得用事后最优窗或 oracle 流标签代替可部署收益。

窗口对照的导读是先确认横轴为窗口秒数、纵轴左为相关右为准确率，再比较三色曲线的高度与斜率，后续解释需点出短窗可用性与长窗代价。

看图路径： 1. 先看左图实线与虚线的含义，确认被注意与未被注意相关随窗口的变化；2. 再看右图三条准确率曲线随窗口增大时的斜率差异；3. 注意包络曲线与其他两条轨迹曲线在纵轴高度上的分离

论文图 5。原论文 Figure 5：“Stimulus reconstruction correlation and AAD accu- racy across window sizes. Sliding-window reconstruction was performed within each trial (hop size = 0.5 s).”。

该图左面板红色包络实线稳定在约 0.09 附近、虚线贴近零线，蓝色阿尔法实线随窗口从零附近缓慢升至约 0.02，黄色德尔塔始终在零线附近波动；右面板红色包络准确率随窗口从约 0.55 爬升至约 0.8 以上，蓝色阿尔法缓慢升至约 0.55，黄色德尔塔贴着 0.5 虚线。像素可辨的是曲线相对位置与趋势，具体数值不宜硬读到小数点后 2 位，原文补充说明以组均加 95% 置信区间呈现。未胜出项非常明确：德尔塔轨迹在窗长与被试两个维度都未胜出；未评测边界是更短于 1 秒的窗与跨被试泛化，原文未给出结论，复现时需补验证才能谈实时性。

限制在哪里：哪些结论不能推广？

首先是空间泛化的限制。定位在两侧大角度变异更大，非个体化 HRTF 与耳机呈现不能等同于自由场聆听，组级结构保留不代表每人在移动中都能精确定位。其次是行为监督的稀疏性。重复词平均 7 秒 1 次且 2 秒窗口计分，只能证明持续投入的大趋势，不能推断每 1 秒的注意切换时刻，也未测量误判率随时间的动态。第三是生理异质性。

体温、心率、血氧等慢信号在试次级时间变异有限，被试间相关需按 28 试次聚合才稳定，说明短窗建模不适用于所有模态。第四是解码不对称。包络主导、阿尔法轨迹有限、德尔塔轨迹在机会水平，组合未超包络，因此不能承诺位置信息带来部署增益。第五是缺项。原文未报告训练资源、推理开销、输出帧率与实际延迟，也未测量助听闭环下的可懂度改善，相关性不等于因果，分布落在期望范围不等于设备误差已校准。

上述缺失是证据边界，不是技术错误，复现时应如实标注。

复现先做什么：按什么顺序核对数据与代码？

第一步核对资源可达性。官方仓库链接当前可用，状态码 200，地址为 github 上 naplab 下的 MOV-AAD，可下载重复句、单双对话的脑电与外周信号及行为报告。第二步核对被试与任务规模是否与表 1 一致：50 人、重复句 120 句、定位 54 句、单对话 40 试次、双对话 56 试次、采样率 1200 赫兹。第三步重放同步与预处理：检查 60 赫兹陷波、异常通道球面插值、3 秒基线、音频互相关对齐是否可重跑，外周保持最小处理。

第四步重跑行为基线：按 2 秒规则计算命中率（%）、精确率与 F1，复现双对话被注意显著高于未被注意、单对话略高于双对话被注意的模式，并核对定位准确率与平均绝对误差的机会水平。第五步重跑神经基线：按包络 1 到 8 赫兹、时滞 0 到 400 毫秒，轨迹德尔塔 0.05 到 2 赫兹与阿尔法 8 到 12 赫兹加希尔伯特幅度、时滞 0 到 250 毫秒的设置做留一试次重建，再做滑动窗与全试次线性判别分析。第六步重跑被试间相关：按模态专用滤波、脑电 3 成分单通道 1 成分、相位随机化零分布的流程检验组级与普及率。

关键超参数与信息条件是正则系数对数间隔、窗步长 0.5 秒、轨迹分辨率 1 度与方位范围，这些必须与原文一致才能比较。区分代码开源、权重下载与系统可运行：本文是数据公开加方法描述公开，不提供可直接部署的助听权重，复现的是分析流程而非产品系统。

何时值得尝试：这套数据适合做什么、不适合做什么？

当研究目标是动态空间下的注意解码、聆听努力的多模态建模或跨被试神经响应的可复现性时，这套数据值得尝试，因为它同时提供了移动对话、说话人切换、先后 onset 引导注意、同步眼动与自主神经的条件，这是静态朗读集无法提供的。当目标是验证短延迟实时解码或自由场助听增益时，需要谨慎：包络虽在短窗已超机会水平，但轨迹增益有限，慢生理需长聚合，且原文未验证延迟与误判代价，贸然推广会高估可用性。论文特有的误解有三，需用自然段澄清。

其一，移动不等于自由走动，被试静坐、声源经 HRTF 在耳机内移动，体动信号主要反映微小运动与姿态变化。其二，多模态同步不等于多模态融合有效，同步只保证时间对齐，被试间相关显示各模态可复现性差异很大，融合需另做建模。其三，行为高分不等于每秒注意已知，重复词稀疏监督只能支撑试次级与组级结论。

收束一句话：先用包络建立可运行基线，再以阿尔法轨迹与眼动生理做有限补充，并用被试间相关检查信号是否真的锁定刺激，这才是对该数据集最稳妥的使用顺序。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总