智能眼镜双人对话的带时间戳说话人转写:直接解码与前端辅助的比较
论文针对智能眼镜四通道双人日常对话的重叠与远场转写问题,比较直接微调 SoulX-Transcriber 与 GSS 和多通道 DPRNN 前端辅助两路解码的差异,验证集上前端在高重叠时更优但最终以更稳定的直接微调系统提交并在测试集取得 tcpCER 6.22,代价是前端失真与零填充带来的幻觉和分段解码处理。
论文针对智能眼镜四通道双人日常对话的重叠与远场转写问题,比较直接微调 SoulX-Transcriber 与 GSS 和多通道 DPRNN 前端辅助两路解码的差异,验证集上前端在高重叠时更优但最终以更稳定的直接微调系统提交并在测试集取得 tcpCER 6.22,代价是前端失真与零填充带来的幻觉和分段解码处理。
论文把多通道复数掩码估计问题交给全连接脉冲网络,用直接编码与率编码两种脉冲序列实现多麦克风空间信息的利用,并在固定仿真条件下刻画了模型宽度与脉冲长度带来的增强质量与计算代价权衡。
本文针对带混响和噪声的球形阵列录音,用基于相对谐波系数的多输出波束形成同时提取目标声场并约束残留干扰的空间分布,仿真显示目标声场相似度保持在 0.99 而干扰相似度优于现有方法,但结论只在给定仿真房间和先验条件下成立。
针对稀疏麦克风阵列延迟求和图像旁瓣高、两侧变宽且发射器指向性难标定的问题,该文用里程计驱动的声流预测同时学习去卷积网络与物理结构点扩散函数,在仿真中把全视场分辨率稳定到 5 到 6 度,代价是依赖运动、里程计和仿真验证。
针对定位误差导致分离质量下降的问题,该工作把单点质量优化改为同一音频窗内多位置波束形成加质量加权平均,在真实办公室与商场录音上用更大初始误差验证了更快更稳的纠正过程,代价是质量估计智能体单次响应时间随测试点数增加。
针对助听级单片机算力与功耗约束,论文用卷积网络估计最小方差无失真响应权重加轻量变换器逐帧修正,并以交错执行与混合精度在 GAP9 上实现 15 毫秒帧延迟,部署后报告 STOI 97.65%、SI-SNR 20.26 dB、宽带 PESQ 3.676、平均功耗 45.9 毫瓦,语音占空比下可超 16 小时续航,代价是权重刷新周期拉长到 564 毫秒且依赖语音 …
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对远场多说话人加噪声下目标说话人提取,论文采用第一阶段视听引导波束形成得到目标与干扰波束、第二阶段双分支跨波束注意力做互斥抑制,在自采真实录制集平均词错误率从 28.40% 降到 20.38%,代价是两阶段级联与双分支结构更复杂。
该研究用脑磁图在 5 名健康成人朗读 5 个真实短语时检验运动后贝塔反弹是否存在并受构音复杂度调制,最强证据是高复杂度短语组在左侧口部运动皮层的反弹更强,主要代价是样本小且未做统计检验、基线可能受残留调制污染。
针对紧凑均匀线阵在端射附近小到达时延差扰动被放大成大角度误差的问题,论文在可靠性相位变换框架内分别做加权转向响应功率能量聚合与余弦域加权最小二乘时延融合,并在 1 米与 2 米家用混响实录上用端射误差与退化宽度验证,同时保留不增大孔径与远场单声源等适用边界。
针对单侧聋用户听不清聋侧正侧方语音的问题,该工作用眼镜侧挂的偶极加全向混合阵列做侧向最小方差无失真波束形成,在 90 度侧向仿真中以 2 偶极加 1 全向组合相对 3 全向提升 0.78 dB 信号失真比和 0.04 扩展短期客观可懂度,但前方和后方优势有限且依赖理想噪声协方差。
针对多说话人重叠会议中仅靠频谱线索区分说话人困难的问题,论文先在系统层引入空间特征与波束形成得到多通道级联,再用空间聚类生成自适应数据并以知识蒸馏微调说话人日志模型,在相同识别后端下把时间受限词错率降到 17.86%,代价是更长的窗与额外的自适应流程。
针对智能眼镜佩戴者语音易被旁人声污染的问题,该工作保留指向嘴部的波束通道并补入鼻麦原始通道与旁人声检测嵌入送入流式 RNN-T,在真实录制集上相对噪声训练强基线平均降低 14.4% 词错率、最高达 18.0%,代价是仍依赖噪声增强训练且在特定旁人角度上残留短板。
针对流式多说话人下感兴趣区语音提取,Sweep-RSE 用目标中心相位对准加窗内显式扫描锁定目标并用差异特征抑制窗外干扰,报告在 Realistic 集 Q=1 取得 12.88 dB 并在空区实现 96 dB 以上衰减,代价是因果流式相对非因果仍有约 0.84 dB 下降。
针对参量阵列扬声器非线性解调导致传统声区控制失效的问题,论文把超声载波从固定背景变为与边带交替优化的控制量,在相同功率约束下用声对比度控制验证,实验报告宽带声对比度提升 11.2 dB 且亮区声压级提升 7.0 dB,代价是每阶段都要重测传递函数且载波优化只在 1 kHz 单频上完成。
针对悬停无人机自噪声在极低信噪比下同时破坏方位估计、噪声协方差估计和残留噪声抑制的问题,该研究用相位一致性选时频格、交叉频率混合掩蔽做最小方差无失真响应波束形成、再加零陷参考后滤波,在无混响负 25 分贝输入下报告方位准确率 98.12% 并提升语音质量,但计算只计乘加操作且只验证悬停状态。
针对智能眼镜佩戴者与对话伙伴的近远场混合语音,论文用波束成形加声源分离再加轻量分类器做流式说话人标记,在三个真实多说话人语言对上把词错误率和说话人归属错误率同时压低,代价是仍依赖方向分区假设和仿真训练数据。
针对受物理约束只能放少量麦克风的问题,论文用生成虚拟麦克风信号与特征去增强多通道语音增强,在受限的仿真条件下接近全阵列性能,但虚拟通道位置与阵列几何绑定且需额外计算。
针对开放式助听器通气孔漏声破坏双耳增强的问题,ABSE-NET 用双耳 MVDR 做粗增强再接轻量网络同时做漏声抵消与失真补偿,在 24 小时仿真数据上取得 PESQ 3.626 与 STOI 0.955 并把参数量压到 0.112M 与 0.184G FLOPs,代价是 SI-SDR 略低于参数量大两个数量级的 ASE-TM。
针对可穿戴设备低算力实时增强能力不足的问题,论文用冻结的大容量云端模型以延迟输出、中间层特征和协方差融合三种方式辅助边缘小模型,在标准集上把 SI-SDR 从 1.97 dB 提升到 5.74 dB,在挑战集上从 -1.16 dB 提升到 2.33 dB,边缘侧仅增加约 1.5% 参数和 2.4% 计算量。