📄 UbiHearo:把声音的场景含义和行动建议送到听障用户的手机上

英文题目:UbiHearo: Bringing Scenario-Aware Sound Guidance to DHH Users with Mobile Agents

评分:6.3/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

  • Fengmin Wu:Northwestern Polytechnical University, China
  • Sicong Liu:Northwestern Polytechnical University, China
  • Zimu Zhou:City University of Hong Kong, China
  • Chenren Xu:Peking University, China
  • Wanbing Zhao:Northwestern Polytechnical University, China
  • Peiwen Sun:Northwestern Polytechnical University, China
  • Zhiwen Yu:Harbin Engineering University, China

📌 核心摘要

听障用户需要的不仅是识别出喇叭声或敲门声,而是结合所处位置、活动状态和声源关系判断危险程度并获得行动建议。现有手机应用多把复杂场景压缩为孤立标签,还常因省电策略漏掉短促、低信噪比或重叠事件。UbiHearo把持续声学与物理上下文信号变成结构化中间表示,再分阶段推理出场景并生成指引,同时用本地反馈做有约束的个性化。先在感知阶段用可感知能量边界做占空比监听,提取短时能量与频带能量比等粗线索并输出可感知事件,仅在触发时送入长时分析以筛查警笛等高优先级声音。再在推理阶段由轻量融合模型推断室内外与静动状态,输出结构化场景槽位并送入压缩后音频语言模型生成指引,最后冻结主干仅更新输出层低秩适配参数并用正则限制偏离。在15dB与25dB信噪比SNR评测设置下,检测器平均精度分别为0.922与0.991,25dB条件高于15dB条件,20dB下为0.954,跨信噪比平均约0.956。用本地AudioSet片段反复触发并保持熄屏测得检测功耗20mW约为YAMNet7836mW的391分之一,内存158KB约为YAMNet57MB的369分之一,按每占空比触发一次测得Pixel9最长续航12.5h,稳态下Pixel8端到端平均延迟1.47s、Pixel9为1.26s。结论适用于日常室内外与车载场景,但在弱卫星与无线信号、强混响与密集语音环境下仍会出现误判,训练超参数与长期偏好漂移尚未充分验证。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么只给声音标签不够用

这篇论文服务的对象是聋人和重听用户,缩写为 DHH。手机已经有麦克风和算力,可以在助听设备不方便或不在身边时补位,但已有的手机声音提醒多半只输出一个标签,例如汽车喇叭。对听障用户来说,标签不是答案:同样一声喇叭,在室内可能是窗外远处的背景声,在过马路时则可能是需要立刻停下观察的危险信号。论文先用 100 名 15 到 60 岁 DHH 参与者的问卷把这个直觉固定下来。

问卷显示,可接受度很高,但漏报很普遍:在家、在学校或工作、移动中、户外 4 个场景下,分别有 71%、65%、68% 和 71% 的人表示每天不止一次错过关心的声音。原因指向短促、低信噪比和重叠的声音,例如交通噪声下的喊叫、通勤拥挤中的点名、混着电视声的报警。期待也不止于标签:85% 的人期待收到提醒后还有处境指导,其中 79% 即 67/85 认为只看标签不足以判断紧急程度或该做什么,81% 即 69/85 认为处境指导能提高安全。

问卷还直接对比了不分场景的通用指导。喇叭、喊叫、广播、流水声、雷声这 5 类声音在不同场景下如果给同一句话,被认为有麻烦或危险的比例分别是 78%、65%、92%、78% 和 95%。偏好也随场景变化:室内静止时 72% 更看重准确率,室外移动时 63% 更看重响应速度;室外更关注交通等安全类环境声的占 73%,室内更关注人声和社交线索的占 61%。这些数字说明,系统必须把声音和人的位置、移动、声源远近、前景背景混合一起看,再决定是否打扰以及怎么说。

论文要解决的三个具体矛盾

论文把需求整理成感知、推理、行动的闭环,并点出 3 个挑战。第一是常开感知中的召回与能耗矛盾:一直录一直算召回高但耗电大,激进的占空比省电却可能跳过短促的关键声。关键是何时采、采什么,而不是固定时间表。

第二是场景接地与提示负担的矛盾:大语言模型要想讲得对,需要信息丰富的提示,但在移动、时间紧、注意力有限的情况下,DHH 用户很难自己写出细粒度的上下文。系统要做到无提示的场景理解,也就是自动把物理上下文变成结构化提示。

第三是个性化与漂移的矛盾:不同人对声音优先级和打断容忍度不同,还会随时间变化,但端侧反馈稀疏且场景偏斜,直接全量微调容易过拟合一次纠错,偏离群体常识,甚至把安全类指导改坏。已有的 DHH 个性化多停留在声音类别定制,没有做到按场景调整偏好。论文的 3 个设计目标正好对应这三点:低功耗常开传感、场景感知的传感推理行动一体化、端侧人在回路的个性化。

整体流程:一个样本如何走完三段

可以沿着一次喇叭声走完全程。手机麦克风先做占空比的短时试听,大部分时间只是低开销地判断能量是否值得注意;一旦发现超过感知阈值的非静音,才打开长时细听抓更完整的声音,同时触发一次物理上下文采集,例如步频、Wi-Fi 密度与名称语义、卫星可见性与信噪比。声音分支输出声学中间表示,上下文分支输出上下文中间表示,两者都是结构化的符号状态。

随后进入 2 阶段推理。第一阶段用一个 1.5B 参数的 Qwen2.5-Instruct 模态融合模型把传感器线索变成室内外、静止移动等标签,搭好场景脚手架;第二阶段用一个压缩到 1.8B 参数的 Qwen2-Audio 模型,在声学标签加场景标签加长时音频的共同约束下生成通知和行动建议。安全类声音另有确定性旁路,验证通过后不经过大模型直接报警。最后是个性化:用户对某次回答点不喜欢并给出纠正,系统只更新一个轻量输出层适配器,主干冻结。

下图是论文给出的总览,读图时先看主路径,再看反馈回路。

声学中间表示 × 上下文中间表示: 声学中间表示是对声音证据的符号化小结,说明检测到什么类型、置信度和是否涉及安全;上下文中间表示是对身体所处物理状态的小结,说明室内外与静止移动等。两者分工是把连续的音频流和传感器流先变成结构化的槽位,再一起作为提示交给推理模型,组合后模型不用再从原始波形和原始传感器里同时猜场景,减少了歧义。

读这张总览图的任务是确认 3 个模块的输入输出和汇合点,不要把中间表示误认为最终答案。

看图路径: 1. 先从左到右看三栏:左栏是常开传感,中栏是分阶段推理与偏好对齐,右栏是人在回路适配到手机通知;2. 注意中栏上下的两条路:上面是上下文标签加声学标签进音频语言模型,下面是偏好数据做对齐;3. 看右栏用户反馈箭头如何回到输出层适配器,而不是回到整个大模型

原论文 Figure 3.:Workflow of UbiHearo.

论文图 3。原论文 Figure 3.:“Workflow of UbiHearo.”。

这张图确实可见四块:左侧用户需求与偏好,中间偏左的低功耗常开传感,中间偏右的分阶段推理与偏好对齐,右侧的端侧适配到手机通知。中间用声学中间表示和上下文中间表示衔接,右侧用不正确指导回到适配器的虚线表示纠错。它帮助理解为什么论文强调神经符号:神经部分负责从连续信号提证据,符号部分负责把证据变成可控的场景槽位,再约束生成。

传感如何省电又不漏掉短声

传感的出发点是人类感知本身有能量边界。论文引用人耳刚可感知的能量阈值 Emin 约 10 的负 6 次方焦耳,认为低于此的事件本来就听不见,不必一直处理。累积能量的写法是对带宽和时间积分,这为跳过某些采样间隔提供了感知依据,而不是拍脑袋定占空比。具体实现上,采样率取 32 kHz 以保留主要可听频段,帧长取 20 毫秒作为能量积分窗,兼顾短时能量稳定性和检测延迟。占空比是在 10 秒周期内的 0、2.5、5、7.5 秒采样,未能累积足够能量的间隔就跳过。短时试听时长随电量自适应:电量高于 50% 时为 0.02 到 1.60 秒,否则为 0.02 到 1.00 秒。

下图把这种节奏画得很直观,读图时重点看检测点与 3 种状态的切换。

看图路径: 1. 看上半波形三段标注:无声段、能量超过阈值的事件段、事件结束段;2. 看下半箭头三种填充:浅色短时传感、斜线休眠、深色长时传感,以及两个闪电形检测点;3. 对照右侧虚线:只有事件段的声学数据被送往手机端进一步处理

原论文 Figure 4.:Illustration of the duty-cycled microphone sampling mechanism.

论文图 4。原论文 Figure 4.:“Illustration of the duty-cycled microphone sampling mechanism.”。

这张图上半是随时间变化的波形,左侧标注无声,中间标注能量超过 Emin 的事件段,右侧标注事件结束;下半箭头用不同填充区分短时传感、休眠和长时传感,两个闪电符号是检测点,右侧虚线表示只有事件段的声学数据被送去进一步处理。它说明省电不是均匀降采样,而是在无声时休眠、有疑似事件时才延长采集。

短时试听 × 长时细听 × 休眠: 短时试听是低开销的发现过程,只判断有没有超过感知阈值的非静音;长时细听是在发现事件后才打开的较完整采集,用于提取声学证据;休眠是无事件时的低功耗等待。三者搭配的意义是把常开的感知需求变成按需的计算,只在可能有意义的时刻花能量。

粗粒度检测器不做昂贵的语义分类,只提供可靠的声学证据。做法是把每帧分成 7 个非均匀子带,低频更细,因为人声能量多集中在 0 到 4 kHz,而环境声铺得更宽到 0 到 16 kHz。每个子带先算能量再取对数,公式含义是先在频带内对短时谱求能量,再加一个小量取对数保证数值稳定。

\[E_{t,i}=\int_{B_{i}}|X_{t}(f)|^{2}df,\quad x_{t,i}=\log(E_{t,i}+\epsilon),\]

对数能量再用高斯混合模型建模,论文还给出由对数域均值方差还原物理期望能量的式子。在线时先看总能量是否超过由 Emin 导出的阈值,再用各子带似然估计语音一致性:高能量但语音一致性低的帧保守地判为环境声,减少把噪声误判成人声。检测器输出事件类型、置信度和安全相关性,构成声学中间表示。安全类再加一层确定性校验,看频带能量比和时间一致性,例如警笛和报警的重复峰模式,通过的直接触发,不确定则保守通知。物理上下文也是事件驱动的,平时不一直开,只在声学触发后采步频、Wi-Fi 和卫星线索,映射成结构标签,形成上下文中间表示。

两阶段推理如何把场景变成提示

直接把原始音频加原始传感器塞给一个大模型,在论文看来有 3 个问题:大模型难部署、感知和推理纠缠易幻觉、通用数据不懂 DHH 的场景优先级。解决办法是先把物理状态想清楚,再解读声音。第一阶段的模态融合模型只做低维判断,例如室内外、静止移动;第二阶段的音频语言模型才在这些标签加声学标签加原始长时音频的约束下生成建议。提示不是用户写的,而是系统自动组装的结构化提示,按室内静止、室内移动、室外静止、室外移动等路线组织,引导模型在不同路线下用不同的声音优先级和详略。

论文对比了 3 种方案:单模型直接吃全部模态;7B 大模型吃声学标签加传感器加长音频但不做显式结构化;UbiHearo 用两个小模型,先结构化再推理。结构化中间表示在这里的作用是把连续多模态观察变成低熵的显式场景状态,既是感知与推理之间的接口,也是自动提示。

物理上下文推断 × 场景推理与指导生成: 物理上下文推断负责把加速度、Wi-Fi 和卫星等轻量线索映射成室内外、静止移动等结构标签;场景推理与指导生成负责在这些标签约束下解读声音并写出建议。前者是低维状态搭建,后者是语义判断,两阶段分开后小模型各自学习更简单的映射,也让提示自动结构化,不需要用户在匆忙中手写场景描述。

一个例子能说明路线的作用:远处喇叭加室内静止,期望的回答是远处喇叭在室外、室内静止无需立即行动;同样喇叭加室外移动,期望的回答是附近喇叭、放慢并观察周围车辆再走。论文的偏好表示例还包括室内移动中的附近人声应放慢确认是否被点名,室外静止中的连续鸣笛应保持警惕先看路况。被拒绝的回答往往是忽略场景、过度惊慌或错误安抚,例如把室外附近喇叭说成可忽略的背景噪声。

个性化为什么只改输出层

群体对齐解决的是大多数人的场景常识,但同一个人声在不同习惯和环境下想要的指导不同。论文把个性化定义为受控的决策纠正,而不是全模型重优化。交互上采用每次回答后都可反馈,而不是只在低置信时才问,因为自信但错的指导最需要纠正。用户可同时纠正事件理解和建议动作,每条纠正在本地存成监督对。

实现上冻结主干,只用低秩方式更新轻量输出层适配器,输出 logits 上加一个用户修正项乘以强度系数,定位在最后决策边界。这样声学和场景推理不受影响,稀疏反馈也不容易把模型带偏。优化目标除了在本地反馈集上的偏好损失,还有与群体模型的散度约束和防止反复重写相似决策的稳定正则,合起来是把个性化变成有界偏移。效率上只更新半精度适配器参数,每次更新后还有稳定窗口减少震荡和自我覆盖。论文举例是高中生把广播音乐纠正为上下课铃并注明希望收到回教室的建议,之后类似场景给出更合适的指导。

群体对齐模型 × 输出层适配器: 群体对齐模型是冻结的主干,保留通用的声音语义和场景推理;输出层适配器是只在最后决策边界上加的小幅修正,学习某个用户对特定声音的特殊处理。搭配后个性化变成有界的纠错,而不是重写整个模型,从而减少稀疏反馈下的过拟合和漂移。

\[\mathcal{L}_{\text{user}}=\mathcal{L}_{\text{DPO}}\!\left(\pi_{\text{final}},\mathcal{D}_{u}\right)+\lambda\cdot\mathrm{KL}\!\left(\pi_{\text{final}}\;\|\;\pi_{\theta}\right)+\eta\cdot\mathcal{R}_{\text{stab}},\]

这个公式要分三项读:第一项是在用户本地数据上的偏好损失,第二项是与冻结群体模型的差异约束,第三项是稳定正则,系数分别控制贴合个人、保留群体和防止抖动。原文没有报告这些系数的具体取值和重置时机,这是复现时的缺口,读者需要按已披露的适配位置自行补做网格搜索,并先验证群体模型在目标场景已稳定,再开个性化,避免把群体未学好的错误固化为个人偏好。

训练分两步:先立接口,再按场景对齐偏好

训练先做分阶段监督微调,目标是让每个模型输出稳定可解析。上下文模型输入采样到的传感器线索,输出室内外、静止移动等结构状态;场景推理模型输入推断出的上下文标签、粗声学标签和原始音频,输出场景通知和行动指导。损失是标准的自回归负对数似然,对输出序列逐词求和。这一步学到的是群体层面的推理模式,还没有解决不同场景下紧急度与打断的权衡。

第二步是场景条件直接偏好优化。每个样本先被映射到一个场景槽位,再在该槽位内学习声音优先级和准确率延迟权衡。偏好对来自用户调研和场景指导原则,喜欢的回答简洁、场景相关、面向行动,不喜欢的回答违反其中一项,例如忽略物理上下文、误判紧急度、漏掉应给的动作或推了不合适的声音。模糊样本不进训练,安全类走确定性旁路。方法上用直接偏好优化而不用强化学习加奖励建模,避免显式奖励和在线采样开销。公式含义是从监督后的模型出发,拉大喜欢回答与不喜欢回答的对数概率差距,同时用系数控制偏离参考模型的程度。

分阶段监督微调 × 场景条件直接偏好优化: 分阶段监督微调是先让上下文模型和指导模型分别学会输出合乎格式的标签和通知,建立阶段接口;场景条件直接偏好优化是在此之后按室内静止、室内移动、室外静止、室外移动等路线,把更简洁、场景相关、面向行动的回答调高,把忽略场景或误判紧急度的回答调低。两者搭配是先立住功能,再按听障用户的场景偏好对齐。

\[\mathcal{L}_{\mathrm{DPO}}\left(\pi_{\theta};\pi_{\mathrm{ref}}\right)=-\mathbb{E}\left[\log\sigma\left(\beta\log\frac{\pi_{\theta}(y_{w}\mid x)}{\pi_{\mathrm{SFT}}(y_{w}\mid x)}-\beta\log\frac{\pi_{\theta}(y_{l}\mid x)}{\pi_{\mathrm{SFT}}(y_{l}\mid x)}\right)\right]\]

这一步的输入条件要讲清:训练在服务器上做,离线部分用 NVIDIA RTX 3090 加 256 GB 内存,推理部署在 Pixel 手机上用 2 比特权重量化。上下文数据是自采的 Pixel 8 物理上下文传感集,7 天 1000 多段,含 18000 多条加速度、3500 条 Wi-Fi 接入点计数、2800 条名称条目、4200 条卫星计数与信噪比;声学训练与大规模评测用 AudioSet。理解这些才能判断结论的适用边界:偏好对齐的效果依赖于这 4 个场景槽位和这 2 维偏好的划分,没有覆盖的场景不能默认同样有效。

用什么数据、和谁比、怎么算分

评测分两类任务。粗检测任务记为 T1,比较轻量神经检测基线:面向端侧的语音活动检测 Silero 和在更大音频数据上预训练的卷积模型 YAMNet,看准确率、延迟与能耗的权衡。场景指导任务记为 T2,比较非大模型的 SoundWatch 加规则版本,以及 3 个音频语言模型:7B 的 Qwen-Audio2、8B 的 Audio-Flamingo、8B 的 MiDashengLM,每个都有原始版和加提示版。SoundWatch 本身只输出标签,论文把它转成固定通知,例如检测到某标签请按需查看来源,另加一个安全映射版本,把报警警笛喇叭映射为查看周围、门铃敲门映射为查看门口等。

数据上,推理评测用 AudioSet 衍生的 4 个子集各 2000 段:室内静止孤立声、室外移动孤立声、室内静止人声加环境重叠、室外移动人声加环境重叠。检测评测用 50 段 AudioSet 的人声与环境声切成 14800 帧,测 15、20、25 分贝 3 种信噪比。端到端在 Pixel 8 和 Pixel 9 上跑,屏幕除展示指导外关闭,用本地存的 AudioSet 片段反复触发,避免网络影响;触发频率取每个占空比一次和两次,都比日常更频繁,属于保守压力测试。

指标分 3 维:检测质量用不同信噪比下的准确率召回率曲线;系统效率用端侧延迟与能耗;指导质量用盲法成对偏好胜率,主要自动裁判是 30B 的 Qwen3-Omni,输出顺序随机。21 天实地研究和 100 人快速测试另请真人评价有用性、可理解性和可行动性,不作为大规模成对榜单的裁判。部署时两个推理模块都做 2 比特权重量化,1.5B 融合模型约 0.38 GB,1.8B 音频语言模型约 0.45 GB,合计约 0.83 GB;7 到 8B 基线同样做 2 比特以求公平,但论文只报告 UbiHearo 的完整端侧部署,因为大基线还需要额外的内核与内存优化。

指导质量:在难场景下小模型为何能赢大模型

先看只给相同输入和提示时 1.8B 指导模型本身的表现。在 4 个子集上它对所有基线的胜率都超过 50%。在室内静止和室外移动孤立声上,对最强的提示版 Qwen-Audio2 分别赢 57% 和 61%;在重叠和动态更强的室外移动重叠子集上最高赢到 92%,而 MiDashengLM 只剩 8%。这说明监督加偏好优化让小模型在挑战声学条件下更贴合场景偏好。

再看完整 2 阶段流水线,此时基线吃的是长时音频加声学标签加原始传感器读数,UbiHearo 则先把原始传感器转成结构标签。在室内子集上对最强大语言基线赢 68% 对 32%;在室外子集上胜率 71% 到 95%;对 SoundWatch 风格基线在 4 个子集上分别赢 76%、81%、87% 和 92%,越是重叠和室外移动,标签加规则越难推断紧急度,差距越大。汇总成绝对指导偏好分数后,UbiHearo 为 84.0%,提示版 Qwen-Audio2 为 25.8%,其余更低。

下表整理核心对照,读表时注意胜率的分母是成对比较次数,方向是越高越好,且结论只在所选基线集合和 4 个子集内成立。

条件指标UbiHearo最强基线未胜出项
室内静止孤立声 D1成对偏好胜率68%32%提示版 Qwen-Audio2
四子集汇总绝对指导偏好分数84.0%25.8%提示版 Qwen-Audio2
2 阶段相对单阶段基座成对偏好胜率84.7%基座模型单阶段方案
监督收敛损失训练损失0.18 和 0.360.59 和 1.11方案一和方案二

上表支撑的判断是结构化接地加场景偏好训练带来了指导差距,而不是单纯参数量。限制也很明确:裁判主要是自动模型,人评只在实地和快速测试中评价可行动性;4 个子集不能代表全部现实噪声;汇总分数依赖基线集合,换集合数值会变。读者应拿它和下一节的检测与系统开销对照看,因为指导再好,若漏检或太慢也落不了地。

成对偏好胜率 × 绝对指导偏好分数: 成对偏好胜率是在盲测中判断 A 比 B 更实用可行动的比例,分母是比较次数;绝对指导偏好分数是把多个基线对 UbiHearo 的胜率取补数再平均,得到一个可跨子集平均的汇总值。两者搭配是先保留细粒度的两两对照,再给出便于比较总体差距的汇总,但汇总的含义依赖于所选基线集合。

读绝对分数柱状图的任务是确认小参数组合是否在汇总口径下仍领先,并记住横轴的参数量差异。

看图路径: 1. 先看纵轴是绝对指导偏好分数,数值越高越好,再看最左侧 UbiHearo 柱;2. 比较第二柱提示版 Qwen 与后面各基线柱的高度差距;3. 注意横轴标注的参数量,UbiHearo 是 1.5B 加 1.8B 组合,基线多为 7B

原论文 Figure 12.:Absolute guidance preference score converted from the pairwise win rates in Fig.

论文图 12。原论文 Figure 12.:“Absolute guidance preference score converted from the pairwise win rates in Fig.”。

这张图纵轴是绝对指导偏好分数,最左侧 UbiHearo 柱高达 84.0%,第二柱提示版 Qwen 柱为 25.8%,中间红色箭头标出 58.2% 的差距,后面各柱依次更低。它帮助理解前文胜率表的汇总含义,但不能把它当成准确率,换裁判或换基线集合都会变化。

检测与整机:精度、内存、功耗和续航如何折中

粗检测在 3 种信噪比下的平均精度分别为高到低条件下的 3 个值,20 到 25 分贝时持平或超过两个基线,只在接近阈值的 15 分贝时略低于 YAMNet。内存只有 158 KB,比 57 MB 的 YAMNet 小约 369 倍,适合常驻。功耗在 20 分贝条件下只有 20 mW,比 YAMNet 的 7836 mW 低约 391 倍,而跨信噪比平均精度仍约 0.956。这组数字的测量条件是 Pixel 8 上用 Battery Historian 与 batterystats 在相同常开传感下测得,每次运行前重置统计并关闭无关后台。

下表把检测与功耗放在一起,读表时注意信噪比条件和平均口径不同,不要把单点精度与跨条件平均直接相减。

条件指标UbiHearoYAMNet代价或限制
15/20/25 dB平均精度 AP0.922/0.954/0.99115 dB 时略高低信噪比仍是弱项
20 dB 端侧功耗20 mW7,836 mW约 391 倍差距
跨信噪比平均检测精度 AP约 0.956接近需结合召回看漏检

上表说明 UbiHearo 用极小的内存和功耗换到了可比的粗检测精度,但这只是粗证据提取,不是最终语义判决,安全类仍靠确定性校验兜底。15 分贝的差距提醒读者,在强噪声下不要高估召回。

整机续航与延迟在 Pixel 8 的 4575 毫安时 8 GB 内存和 Pixel 9 的 4700 毫安时 12 GB 内存上测得。每个占空比触发一次时,Pixel 8 续航 11.0 h,Pixel 9 续航 12.5 h;每个占空比触发两次时,分别降到 7.2 h 和 8.6 h。平均端到端延迟在同样触发下为 Pixel 8 上 1.47 s、Pixel 9 上 1.26 s;分场景看室外移动最低,Pixel 8 上 1.2 s、Pixel 9 上 0.9 s,室内静止最高,分别到 3.3 s 和 2.20 s,因为室外移动指导更简洁、室内静止回答更详细。论文明确大音频模型基线太大,无法在同样常开端侧条件下给出可比延迟。

触发设置指标Pixel 8Pixel 9说明
每个占空比一次续航11.0 h12.5 h屏幕除展示外关闭
每个占空比两次续航7.2 h8.6 h高频保守压力
每个占空比一次平均延迟1.47 s1.26 s稳态第 4 到 5 小时测得
室外移动最低场景延迟1.2 s0.9 s指导更简洁
室内静止最高场景延迟3.3 s2.20 s回答更详细

上表支撑的判断是日常频率下可支撑全天候使用,但结论依赖于触发频率、设备能力和回答长度。未来工作也提到延迟会随负载和输出长度变化,需要调度和长度控制。读者若复现,应先固定触发脚本和屏幕策略,再谈续航,否则数字不可比。

哪些参数是折中选出来的

微基准把 10 秒 AudioSet 片段拼成长流并随机插入 2 到 10 秒静音,模拟稀疏常开收听,指标是事件检测召回率即成功检出的真实事件比例。帧长方面,5 毫秒和 10 毫秒因能量方差大,召回只有 75.1% 和 86.3%;20 毫秒到 95.6%,40 毫秒到 97.2% 但延迟翻倍,因此选 20 毫秒。占空比方面,每 10 秒采 2 相和 3 相时召回 80.5% 和 86.2%,4 相到 95.7%,5 相到 97.1% 但开销更高,因此默认 4 相。收听时长方面,1 秒已不错,用于电量不高于 50% 的省电模式,1.6 秒到 95.9%,用于标准模式,自适应切换。

方案消融用同一基座 Qwen2-Audio-7B-Instruct 在相同监督设置下比较。UbiHearo 的 2 个模型在 3 个轮次内收敛,损失到 0.18 和 0.36,低于方案一的 0.59 和方案二的 1.11;指导质量上 2 阶段以 84.7% 的胜率超过基座模型。论文的解释是把上下文结构化和音频接地分开后学习难度下降。

实地部分提供了另一类证据。5 名 DHH 用户用 21 天,触发数千次,按不点踩即算合适统计,合适率分别为 91.2% 即 8058/8834、91.9% 即 8670/9443、92.5% 即 4884/5278、88.7% 即 6043/6811、99.4% 即 3492/3514,延迟主观分 5、4、5、4、5,平均 4.6。4 人开个性化后,对校园铃、电视、微波炉、收银机等通用数据少见的声音,识别从 0/22 到 23/23、0/30 到 25/34、0/3 到 3/3、0/64 到 32/36。100 人快速测试看 4 个场景代表片段,场景正确 358/400 即 89.5%,可行动 349/400 即 87.3%。约 12 小时连续实测剩 41% 电,347 次触发平均 1.5 s,8 个地点合适率 93.9%、95.8%、96.4%、100%、92.8%、100%、100% 和 91.4%。

失败集中在弱卫星 Wi-Fi、提示音误报、哨声风声混淆、视频墙误判人声、开关车门声漏检等可解释情况,餐馆医院等人声主导环境也偏向人声。这些都说明结论依赖于具体环境,不能推广到未测的极端噪声。

结论在什么条件下才成立

首先是指标口径。指导质量的大规模榜单裁判是自动模型,不是真人逐条打分,真人只评价实地有用性和代表片段的可行动性。自动指标不等于人工评价,换裁判或换基线集合,胜率和绝对分数都会变。检测的平均精度和召回、功耗、延迟分开测量,不能互相替代,也不能用总体趋势保证每一类声音都不漏。

其次是条件覆盖。声学结论限定在 15 到 25 分贝、所选 AudioSet 片段和 Pixel 真机;推理结论限定在 4 个场景槽位和声音优先级加准确率延迟 2 维偏好;续航限定在本地触发、无网络、屏幕策略固定的保守压力。论文未报告个性化系数的取值、重置时机和长期漂移曲线,也未给出无代码仓库时的完整复现包。本次未发现来源绑定且完成验证的资源,因此不能说代码模型数据已公开,只能说论文提到的链接不代表作者已开源。

最后是安全边界。警笛报警走确定性旁路,不进大模型,这意味着个性化不应改动安全路径。论文的失败分析也提示,弱定位信号、特殊提示音和开关门等瞬态仍是弱项。在这些条件下,读者应把 UbiHearo 看作减少漏报和误打扰的辅助,而不是替代人工判断的安全保证。

什么时候值得试,第一步做什么,还缺什么验证

当你的任务也是移动端常开声音提醒,且痛点是同样声音在不同地点和移动状态下含义不同、用户没空写提示,又需要按个人习惯微调最后的说法时,这个路线值得试。它的可借鉴点是先用感知阈值和事件驱动把计算变稀疏,再用两个结构化中间表示把场景变成自动提示,最后只在输出层做有界适配。

复现第一步不是直接训大模型,而是把传感与评测架子搭起来:按 32 kHz 采样、20 毫秒帧、10 秒周期四相、1 秒和 1.6 秒自适应收听先跑通短时发现到长时采集;用七子带能量加轻量混合模型输出事件类型、置信度和安全标记;只在触发后采步频、Wi-Fi 和卫星线索生成上下文标签;再用 1.5B 融合模型和 1.8B 音频模型按 2 阶段组装提示,安全类先走频带比加时间一致性旁路。评测时固定信噪比、触发频率、屏幕策略和裁判顺序,分别记录检测曲线、功耗延迟和成对胜率,不要混用不同平均口径。

还缺的验证是三项:换真人裁判重测指导胜率,看自动分数是否稳定;补个性化系数的消融和长期漂移曲线,看有界约束是否足够;在未覆盖的强噪声、特殊提示音和更多机型上重测召回与延迟。只有这些补齐,才能判断它在你的校园、商场、车站和车内是否同样省电及时。

📎 论文与评分元数据

排名:前50% | 文档类型:系统技术报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递