旁人插话时只认佩戴者：波束、鼻麦与旁人声检测的三路差分识别

英文题目：Multi-Channel Differential ASR for Robust Wearer Speech Recognition on Smart Glasses

会议身份：conference:interspeech:2026:conference-paper-id:yang26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#波束成形 #鲁棒性 #麦克风阵列 #流式处理 #语音识别

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yufeng Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Yiteng Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Yong Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Li Wan：机构信息未能从会议 PDF 纯文本可靠映射
• Suwon Shon：机构信息未能从会议 PDF 纯文本可靠映射
• Yang Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Yifeng Fan：机构信息未能从会议 PDF 纯文本可靠映射
• Zhaojun Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Olivier Siohan：机构信息未能从会议 PDF 纯文本可靠映射
• Yue Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Ming Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Florian Metze：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

智能眼镜上的穿戴者语音识别（wearer speech recognition，WSR）需从5通道开放场麦克风中只转写穿戴者，输出为流式文本，难点是旁观者侧向说话（side-talk）与目标在频谱和空间上高度混叠。方法链分三步：麦克风选择（microphone selection）固定选取鼻梁通道以保留高信噪比直达声，最小方差无失真响应（minimum variance distortionless response，MVDR）波束成形器（beamformer）聚焦嘴部方向生成增强通道，流式侧向说话检测（side-talk detection，STD）输出逐采样点穿戴者与旁观者对数几率并经卷积降采样为嵌入。三路特征经对数梅尔（log-Mel）提取与拼接后送入循环神经网络换能器（recurrent neural network transducer，RNN-T）编码器、预测网络和联合网络进行转写。与仅用波束成形器的传统前端相比，该设计不建模说话人身份而提供互补与对比性空间线索，具有隐私友好和低延迟意义。在真实录制多通道LibriSpeech侧向说话集上，最优三前端系统相对噪声训练的单波束成形基线最高获得18.0%的相对词错误率下降。在仿真集上最优增益为5.1%。结论限于英语朗读语音模拟与头模回放场景，未验证多旁观者、强混响和自然对话外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

智能眼镜为什么只转写佩戴者这么难？

输入是戴在脸上的麦克风阵列长期拾取的开放场声音，目标是只输出佩戴者的文字，不输出旁人的话。本文的研究对象就是佩戴者语音识别，也就是英文缩写 WSR。它与近场手机语音不同，麦克风离嘴有距离，且眼镜为了随时响应助手需要长时间连续工作，佩戴者说话时旁边很可能有人同时说话。

必须保留的关键信息是：旁人声在原文中称为 side-talk，它会直接污染识别结果，并向下游自然语言处理累积误差。初学者容易误以为把声音增强一下就能解决，但原文指出传统语音增强、说话人无关的说话人分离虽然能提升可懂度，即使做成因果模型，接入后的附加延迟在真实应用中仍不实用。说话人日志与目标说话人抽取同样有延迟问题，而在眼镜上为区分说话人而建模身份还会引发隐私顾虑。

因此输出不是一个通用降噪器加识别器的简单拼接，而是一个低延迟、流式、不建模身份、只认佩戴者的系统。论文的判断标准是词错率，也就是英文缩写 WER，数值越低越好。后续所有对照都要回到这个任务定义：干净时不能变差，有旁人声时要明显更好，且不能靠不可部署的大延迟换取提升。

已有路线在眼镜上卡在哪里？

同输入、同目标的直接前任是多通道波束形成加识别。原文回顾了非线性约束最小方差波束形成器 NLCMV，它把多通道输入投影到预定方向，在眼镜对话识别的一系列后续研究中被采用。但原文明确报告，对于只识别佩戴者的任务，NLCMV 给出的多个方向信号并不能提升识别准确率，更合适的是把波束直接指向佩戴者嘴部的最小方差无失真响应波束形成器 MVDR。内部测试也显示 MVDR 在佩戴者任务上词错率更低。

同运行阶段的另一条路线是前端增强或分离后接识别。原文把语音增强、说话人分离归为一类，把说话人日志、目标说话人抽取归为另一类，共同问题是延迟。即使模型本身因果，串接带来的延迟仍让眼镜上的连续转写难以接受。这不是说这些方法无效，而是在眼镜的低延迟约束下不适用。

同监督但不同目标的参照是旁人声抑制的 Whisper 工作。它引入了旁人声检测任务 STD，用以区分佩戴者与旁人而不建模说话人身份，从而保护隐私。本文继承了该任务定义，但把它做成流式、样本级、轻量的时序卷积网络模块，并作为差分输入的一路，而不是做成离线大模型。理解这 3 条线的分工，就能明白本文不是再做一个更强的波束，而是保留波束的同时补上它压不住旁人声时缺失的信息。

要解决的到底是哪一种失败？

举一个教学例子帮助定位，但例子中的数值仅为示意，不代表论文测量。假设佩戴者说今天天气怎么样，旁人同时说放点音乐，波束已经指向嘴部，但旁人声仍漏进来，识别器可能把两句话混成一句。这就是本文要解决的失败：在有旁人声重叠时，单靠波束的识别器无法完全压制退化。

问题的输入条件包括佩戴者角度固定在嘴部方向，旁人可能出现在周围不同角度、不同距离、不同高度，且 2 人说话可能部分重叠或完全不重叠，说话先后顺序也可能交换。输出要求是在流式、低延迟下只给佩戴者文本。评价时要同时看佩戴者独白的干净条件和佩戴者加旁人声的噪声条件，还要区分重叠率为 0% 与 50% 的情况。

一个常见误解是把 0% 重叠等同于干净。原文的 0% 重叠噪声集仍包含同一测试话语内的旁人声段落，只是时间上不重叠，而干净集完全没有旁人声。因此 0% 重叠的词错率有时反而低于干净集，这源于训练测试条件匹配，不能直接理解为旁人声有帮助。后文读结果时需要带着这个条件意识。

差分识别的全景：三路前端如何汇入一个识别器？

沿一个样本走完全程有助于建立整体感。假设 5 通道眼镜音频进入系统，第一路是麦克风选择，直接取鼻麦作为 ch-0；第二路是内部改进 MVDR 波束形成器，融合全部 5 通道得到单通道增强音频 ch-x；第 3 路是旁人声检测 STD，在音频样本级输出佩戴者、旁人、非语音的对数值，再经嵌入生成模块变成低维嵌入 embed。接着特征提取模块对 ch-0 与 ch-x 分别求 80 维对数梅尔特征并拼接，embed 经卷积降采样到相同帧率后与之再拼接，一起送入基于 Emformer 的 RNN-T，输出佩戴者文本。

这里的差分不是做减法，而是指不同前端提供互补或对照信息。白话说，波束告诉识别器增强后听起来像什么，鼻麦告诉它没增强时原始差异是什么，检测嵌入告诉它当前时刻更可能是谁在说话。三者帧率不同，原文通过精心设计的卷积步长把它们对齐。所有前端在识别器训练时冻结，可训练增量不到 1M 参数，识别器主体约 70M 参数，延迟为 120 毫秒。

差分自动语音识别 × 循环神经网络 transducer： 差分自动语音识别负责把来自不同前端的互补信号并行送入识别器，利用它们之间的差异抑制旁人声；循环神经网络 transducer 负责做低延迟流式转写，由声学编码器、预测网络和联合网络组成。搭配原因是传统做法只用波束单通道而丢失通道间差异，而 RNN-T 需要连续低延迟输入；组合意义是把 ch-x、ch-0 的对数梅尔特征与检测嵌入在帧率对齐后拼接，让 Emformer 编码器直接学到何时跟随增强通道、何时参考原始通道与语音活动线索。

要读懂 3 路汇合关系，最可靠的是先看系统框图的主路径再看分支如何汇入识别器，这样才能避免把检测嵌入误当成声纹向量。

下面这张官方原图展示了从左右两路语音到单一佩戴者文本输出的完整数据流向，请按从左到右的顺序依次确认输入分支与汇合节点。

看图路径： 1. 先从左侧蓝色佩戴者波形与灰色旁人波形出发，沿麦克风阵列箭头看到三个并行前端分支；2. 确认中间虚线 Frozen 框内包含麦克风选择、波束形成器与旁人声检测三个并列模块；3. 再看右侧特征提取与嵌入生成如何汇合后送入 RNN-T，并只输出蓝色佩戴者文本

论文图 1。原论文 Figure 1：“Diagram of the proposed multi-channel differential ASR system for robust WSR on smart glasses.”。

从像素可见，左侧蓝色为佩戴者波形与文本，灰色为旁人波形与文本，中间 5 个麦克风图标汇入粗箭头后分成 3 路，分别标注麦克风选择、波束形成器、旁人声检测，外围虚线框标注 Frozen。右侧特征提取承接前两路，嵌入生成承接检测路，两路再汇入 RNN-T 并输出蓝色佩戴者文本。这支持一个判断：识别器看到的不是单一增强信号，而是增强、原始与活动线索的三元组。

三路前端各自算什么？帧率如何对齐？

波束形成是空间滤波技术，白话就是给不同麦克风加权，让阵列对目标方向更灵敏、对其他方向更迟钝，英文为 beamforming。本文不用 NLCMV 的多方向投影，而用指向嘴部的 MVDR，因为任务只需要佩戴者。实现上它吃 5 通道、吐单通道 ch-x。

麦克风选择是直接选信噪比最高通道的做法，英文为 microphone selection。本文按物理位置固定选择，不做动态估计：鼻麦离嘴最近，因此选鼻麦为 ch-0。这样做几乎不增加延迟，保留了原始通道的电平差，可与波束输出形成对照。

波束形成 × 佩戴者语音识别： 波束形成负责用 5 麦克风阵列做空间滤波，把敏感方向指向佩戴者嘴部以增强目标并压制其他方向；佩戴者语音识别负责只转写佩戴者而不转写旁人。两者搭配的原因是开放场下单通道无法区分声源方向，而只指向嘴部的最小方差无失真响应波束比多方向投影更适合该目标；组合意义是为识别器提供已增强佩戴者的单通道 ch-x，作为后续差分比较的基准信号。

麦克风选择 × 波束形成： 麦克风选择负责按物理位置固定选取离嘴最近的鼻麦作为 ch-0，不做多通道加权；波束形成负责融合全部 5 通道得到加权后的 ch-x。搭配原因是 ch-0 保留了原始通道间电平与信噪比差异，而 ch-x 经加权抹掉了部分差异，两者形成对照；组合意义是让识别器同时看到增强版与未增强版，学会在旁人声存在时信任哪一路时频细节，且选择动作本身几乎不引入额外延迟。

旁人声检测是判断当前是佩戴者、旁人还是非语音的任务，英文为 side-talk detection，缩写 STD。它不建模说话人身份，从而保护隐私。模型基于时序卷积网络 TCN，约 2M 参数，在真实非用户数据上训练，在样本级输出佩戴者对数值。嵌入生成模块用两层 2 维卷积把该对数值序列降采样到与特征提取输出相同的帧率，中间通道数为 3，最终嵌入维度为 5。

旁人声检测 × 说话人身份建模： 旁人声检测负责在音频样本级输出佩戴者、旁人、非语音的活动对数值，只判断当前是谁在说话；说话人身份建模则需记住声纹特征，会带来隐私顾虑。搭配原因是眼镜要求长时间在线，不能为区分旁人而存储身份；组合意义是用轻量时序卷积网络的检测嵌入替代身份向量，既给识别器提供说话人切换线索，又避免建模身份信息。

特征提取的细节决定了对齐方式。只用 ch-x 时直接求 80 维对数梅尔特征；同时用 ch-x 与 ch-0 时，分别求对数梅尔特征后用两层流式 2 维卷积拼接，每通道维度减半再拼接，卷积核为 2 乘 5，步长为 1 乘 2，激活为门控线性单元，其后接 2 维批归一化。嵌入分支卷积核为 20 乘 1 与 16 乘 1，步长分别为 10 乘 1 与 16 乘 1，恰好把样本级对数值压到相同帧率。三者拼接后送入 RNN-T。RNN-T 本身包含声学编码器、预测网络与联合网络，编码器先把输入帧降采样 6 倍，再经 20 层 Emformer 处理。

麦克风位置是理解 ch-0 选择的物理依据，下面这张眼镜实物图标注了各麦克风的空间布局，需要回到该图确认鼻麦与镜腿麦克风的相对关系。

看图路径： 1. 先找到鼻托处蓝色标注的鼻麦位置，确认它是离嘴最近因而被选为 ch-0 的通道；2. 再对比紫色前镜腿麦克风与橙色中镜腿麦克风在镜腿前后位置上的分布差异；3. 注意各标注旁朝向文字，理解不同麦克风拾取佩戴者与旁人声的物理来源

论文图 2。原论文 Figure 2：“Microphone location on a pair of smart glasses.”。

从像素可见，白色眼镜上有 3 组标注：蓝色鼻麦在鼻托处，紫色前镜腿麦克风在镜框两侧并标注向外向下，橙色中镜腿麦克风在镜腿中部并标注向下。每侧实际有两个麦克风，共 5 通道。这解释了为何鼻麦离嘴最近而被固定选为 ch-0，也解释了不同通道对佩戴者与旁人的拾取差异从何而来。

哪些参数训练、哪些冻结？用什么目标优化？

训练分两段，监督来源不同。第一段是前端：波束形成器为内部 MVDR，旁人声检测 TCN 在真实非用户数据上预先训练，麦克风选择无参数。在差分识别器训练阶段，所有前端冻结，只有特征提取与嵌入生成中的卷积、以及 RNN-T 本身可训练，新增可训练量不到 1M，主体约 70M。这意味着梯度只更新识别器侧，不回传到波束与检测模型，原文未报告联合微调，因此不能把前端改善归因于本轮训练。

第二段是识别器训练。优化目标为 RNN-T 损失，最终检查点按验证集词错率选择，验证集仅为干净数据。优化器为 Adam，参数为 0.9 与 0.98，epsilon 为 1e-8，权重衰减为 1e-6。学习率采用 3 阶段调度，峰值 0.0005，热身 20,000 步。训练在 32 张英伟达 H100 上进行，批量为 3600。

输出单元为 4096 个句子片段，用字节对编码与 SentencePiece 切分。预测网络先把词元映射为 256 维嵌入，经两层 256 隐节点的长短期记忆网络，再投影到 768 维；编码器输出维度 768，Emformer 输入维度 320，头数 4，前馈 2048，历史上下文 10 帧，段长 2。

需要指出的缺项是：原文未给出 STD 训练的学习率与轮数，未报告差分训练的总步数与验证频率，也未说明是否对不同重叠率做课程学习。复现时只能先按上述已报告的优化配置搭建，再通过验证集词错率选点，不能从模型名称推定未写明的实现。

数据如何仿真与实采？条件是否可比？

实验要回答两个问题：仿真上是否有效，真实环境中对不同旁人位置是否稳定。为此作者准备了两类数据。仿真基于 LibriSpeech，用在 Ray-Ban Meta 眼镜上实测的房间脉冲响应合成多通道数据。干净训练与噪声训练各有大量话语，佩戴者与旁人声均来自全部训练集，旁人声随机抽取且不同于佩戴者话语，按随机重叠率混合，佩戴者相对旁人的信噪比覆盖一定范围。验证只用干净数据，测试覆盖 test-clean 与 test-other 的干净与噪声版本，噪声测试用 0% 与 50% 两种重叠率。

仿真多通道数据 × 真实录制数据： 仿真多通道数据负责用实测房间脉冲响应把 LibriSpeech 合成为 5 通道训练与测试集，可大规模控制信噪比与重叠率；真实录制数据负责用头躯干模拟器与扬声器在真实房间采集，覆盖 72 个旁人位置。搭配原因是仿真量大但与旁人声检测训练条件不完全匹配，真实量小但更可信；组合意义是先用仿真验证方法有效，再用真实数据检验角度、距离、高度与说话顺序带来的泛化差异。

真实数据用头躯干模拟器 HATS 采集。眼镜戴在 HATS 上，佩戴者声由嘴部模拟器播放，旁人声由周围扬声器播放。旁人扬声器覆盖 8 个角度、3 个相对高度、3 个距离，共 72 个位置。佩戴者与旁人声分别录制、后期按与仿真相同的流程混合，并区分佩戴者先说与旁人先说两种顺序。每种说话顺序与重叠率组合下，每个评估集在 72 个位置上共有大量话语。

下图展示了真实采集的几何布置，是理解后续角度分析的前提，需要先建立距离、高度与角度 3 维坐标的整体印象。

看图路径： 1. 先看中央戴眼镜的头躯干模拟器与左下嘴部模拟器小图的位置对应关系；2. 再沿三个半透明同心圆柱确认 0.5 米、1 米与 2 米三档距离刻度线的标注方式；3. 最后观察右侧红色虚线圈出的旁人扬声器与上下各 0.5 米高度及角度刻度

论文图 3。原论文 Figure 3：“Recording setup for data collection with HATS.”。

从像素可见，中央为戴眼镜的 HATS 人体模型，左下小图示意嘴部模拟器，周围 3 个半透明圆柱分别标注 0.5 米、1 米、2 米半径，右侧红色虚线圈出旁人扬声器，纵向标注上下各 0.5 米高度，水平虚线圆圈与黄色箭头标出 0 度、45 度、90 度、135 度、180 度、225 度、270 度、315 度等角度。这说明真实评估不是单点录音，而是系统性遍历空间位置。

下表把仿真与真实的数据规模与混合条件放在一起核对，阅读时注意话语数量、信噪比与重叠率三者是独立维度。

表后需要强调公平性。5 个对比系统共享同一 RNN-T 主体与 120 毫秒延迟量级，基线为只用波束 ch-x 的传统做法，分干净训练与噪声训练两个版本；差分系统为 ch-x 加嵌入、ch-x 加 ch-0、ch-x 加 ch-0 加嵌入 3 种组合，均在噪声数据上训练，因为主要目标是抗旁人声。指标均为词错率，越低越好，真实噪声结果为 72 个位置上的平均。这种设计使得差分带来的增益不能被解释为模型变大或延迟放宽。

主结果：差分输入在仿真与真实上带来多少改善？

比较的问题是：在训练条件一致时，多看一路原始通道或活动线索，能否超越只看波束的强基线。公平条件是差分系统与噪声训练的 ch-x 基线用同样的噪声训练数据，指标方向为词错率越低越好。先看仿真，干净训练的 ch-x 在干净集上最好，因为训练测试匹配；一旦有旁人声，其性能大幅退化。噪声训练的 ch-x 相对干净训练版本平均降低 82.8%，说明数据增强本身极为关键。在此强基线之上，差分系统进一步提升，最优的 ch-x 加嵌入带来 5.1% 的相对降低。

再看真实。干净训练的 ch-x 在佩戴者独白上为 6.30%，本应最好，但噪声训练的差分最优系统达到可比的 6.29%，说明即使在噪声数据上训练，差分系统在干净条件下也没有明显代价。噪声平均上，噪声训练的 ch-x 相对干净训练版本降低 73.1%，而差分最优系统相对噪声训练基线平均再降 14.4%，最高达 18.0%。原文指出真实上的提升大于仿真，因为真实数据与旁人声检测模型的训练条件更匹配。

下表用原文连续句中实际出现的数字汇总关键对照，避免把无法逐字溯源的裸值当作证据，阅读时重点比较增强增益与差分增益的两层叠加。

表后解释收益与代价。主要收益来自两层叠加：先用噪声增强把旁人声见过，再用差分输入学到何时不跟随被污染的增强通道。代价是系统仍依赖噪声训练，若只用干净训练，旁人声下会严重退化；且差分在干净集上只是持平而非大胜，不能理解为无条件提升。未胜出项也要点名：在仿真上 3 路全加并非最优，最优是 ch-x 加嵌入，而在真实上 3 路全加才最优，说明最优组合与数据域有关，不能跨域照搬结论。

拿掉一路会怎样？角度揭示了什么短板？

消融要回答每路是否互补。证据显示，在真实噪声上，ch-x 加 ch-0 加嵌入优于 ch-x 加 ch-0，ch-x 加 ch-0 优于 ch-x 加嵌入，ch-x 加嵌入又优于单用 ch-x。这支持嵌入与 ch-x 互补、ch-0 与 ch-x 也互补，且 ch-0 与嵌入彼此之间也有对照信息。进一步，ch-x 加 ch-0 相对 ch-x 加嵌入有 6.3% 的相对优势，说明原始鼻麦通道提供的差分信息多于检测嵌入。但在仿真上排序不同，3 路全加的平均略逊于 ch-x 加嵌入，提示嵌入与原始通道的互补程度受域影响。

另一个维度的反证是角度。原文把真实噪声按旁人角度平均了距离与高度后画成雷达图，比较 4 个系统在 8 个角度上的词错率，范围在 6.0% 到 8.0% 之间。0% 重叠时各角度相对平稳；50% 重叠时佩戴者先说条件下 270 度、315 度与 0 度更高，旁人先说条件下 225 度也具挑战性。这说明即使最优差分系统仍有角度短板，波束在某些方向压制不足。

下图是角度分析的直接证据，读图时不要把某一步的内外圈差距推广为全程，也不要用颜色深浅代替图例表示的系统配置。

看图路径： 1. 先对照右侧图例确认蓝色、红色、橙色、绿色四条曲线的系统配置对应关系；2. 再比较子图 A 与子图 C 在 0% 重叠时各角度曲线是否接近同心圆形分布；3. 最后看子图 B 与子图 D 在 50% 重叠时哪些角度向外凸出表示该方向词错率升高

论文图 4。原论文 Figure 4：“WER comparison on real data for different bystander angles on:”。

从像素可见，4 张子图分别为佩戴者先说 0%、佩戴者先说 50%、旁人先说 0%、旁人先说 50%，每张为极坐标雷达，角度标注 0 度到 315 度，径向标注约 6.0% 到 8.0%。蓝色单用 ch-x 最靠外，红色加嵌入向内收，橙色加 ch-0 与绿色 3 路全加最靠内。在 50% 重叠的子图中，部分角度明显外凸，与原文点名的困难角度一致。这支持差分在各角度普遍向内收缩，但未完全抹平角度差异，为后续波束设计指出了新方向。

哪些结论还不能下？边界在哪里？

论文直接报告的是词错率改善，未测量误判率、端到端延迟的细项分解与功耗成本，因此不能承诺这些量同步改善。虽然差分新增参数不到 1M 且麦克风选择本身延迟极小，但整体仍为约 70M、120 毫秒的系统，部署到眼镜的真实功耗与算力占用待验证，原文未来工作也明确提到部署上机。

适用条件有限。仿真旁人声仅为单旁人、信噪比 10 到 25 dB、重叠率受控混合；真实评估虽覆盖 72 个位置与两种说话顺序，但仍是单扬声器播放的受控录制，非真实多人自由交谈。原文未来工作指出需提升检测模型对噪声与多旁人的鲁棒性，这意味着当前结论可能不直接推广到多人同时说话。

还有三处未评测边界：验证集仅为干净数据，选点是否偏向干净条件未做分析；检测模型在真实非用户数据上训练，其与 LibriSpeech 仿真域失配的影响只在结果中有限解释，未做系统性消融；困难角度的成因未做声学归因，不能直接断定是波束旁瓣还是头遮挡导致。把相关性当因果、把平均改善当每组必胜，都是需要避免的误读。

若要复现，先做什么、用什么条件？

复现的第一步是搭数据。先用 LibriSpeech 全部训练集准备佩戴者与旁人话语对，旁人随机抽取且不同于佩戴者，按 0% 到 100% 随机重叠与 10 到 25 dB 信噪比合成为 500554 条的干净与噪声训练集；验证用全部验证集的 6747 条干净话语；测试用 test-clean 的 3558 条与 test-other 的 3502 条分别做干净与 0%、50% 重叠的噪声版。房间脉冲响应需用同一款眼镜实测的版本，若没有该脉冲响应，至少要记录替代脉冲响应的采集设备与阵列几何，否则角度结论不可比。

第二步是搭前端。5 通道输入，鼻麦固定为 ch-0，内部 MVDR 波束指向嘴部输出 ch-x，TCN 检测模型输出样本级佩戴者对数值。特征为 80 维对数梅尔，单通道与双通道分支按原文卷积核与步长实现，嵌入分支用 20 乘 1 与 16 乘 1 卷积对齐帧率。RNN-T 按 Emformer 配置搭建，输出 4096 句子片段，优化器与学习率按训练节所列设置，以验证集词错率选点。

第三步是跑对照。必须同时训练干净 ch-x 与噪声 ch-x 两个基线，再训练 3 种差分组合，且差分训练用噪声数据。只跑差分而不跑噪声基线，会把数据增强的 82.8% 与 73.1% 量级增益误算到差分头上。真实验证若无法复刻 HATS 与 72 位置采集，至少要报告替代采集的角度、距离、高度与说话顺序，否则不能声称复现了最高 18.0% 的条件。资源状态方面，本次未发现来源绑定且完成验证的开源代码、模型或数据，不得声称它们已公开。

何时值得尝试差分输入？记住哪条经验？

当任务是只认佩戴者、且旁人声无法靠单波束压住时，值得尝试本文的差分思路：保留指向嘴部的波束作为基准，补一条最靠近嘴的原始麦克风以保留通道差异，再补一个不记身份的旁人声活动嵌入以提示切换。三者在帧率对齐后拼接送入流式识别器，前端冻结，识别器在噪声增强数据上训练。真实平均 14.4%、最高 18.0% 的相对降低是该组合在受控 72 位置评估上的报告值，不是任意场景的承诺。

需要记住的经验有两条。第一，数据增强是第一增益，差分是第二增益，复现与选型时顺序不能颠倒；仿真最优组合不等于真实最优组合，选路要按目标域重做。第二，0% 重叠噪声有时好于干净、平均改善不等于每个角度都好，汇报时应同时给出干净条件是否持平、困难角度是否仍凸出。若要在自己设备上落地，应先验证鼻麦选择是否仍为最高信噪比通道，再补做多旁人、自由交谈与端侧延迟功耗的验证，才能把论文的受控结论转化为可用系统。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总