主动降噪如何让助听器里的 AI 语音增强在鼓膜处真正起效
该研究在吵闹真实场景的人体模型录音上验证:AI 语音增强在放大通路内各设备改善相近,但只有压住未经处理的直接声通路后,其信噪比改善才能从高频扩展到低频,宽带加权信噪比因此明显提高,而单独开主动降噪几乎不改善信噪比。
该研究在吵闹真实场景的人体模型录音上验证:AI 语音增强在放大通路内各设备改善相近,但只有压住未经处理的直接声通路后,其信噪比改善才能从高频扩展到低频,宽带加权信噪比因此明显提高,而单独开主动降噪几乎不改善信噪比。
论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题,用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现,在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%,代价是依赖仿真中的特权地图和固定鸣叫信标。
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
AegisVox 把长临床对话的说话人声音转换与标识词替换分开处理,在 390 段公开模拟对话上比较两种整轮重读方案,发现替换实现率提高的同时可能伴随更多模型判定的矛盾和编辑区声音可关联性。
针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。
AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝,用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力,说明更新优势在什么录音与历史条件下出现以及擦除的作用。
AnyEdit 把带噪编辑拆成干净语义编辑与上下文声学渲染两步,用噪声鲁棒韵律与流匹配渲染保持背景,在真实与模拟带噪集上内容与背景连续性更好,但长音频与瞬态声仍受限。
Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型,最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4,代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。
论文针对治疗师缺乏失语症沟通练习对象的问题,用失语症语料微调轻量非自回归语音合成模型并加入停顿口吃处理与向量偏移扩增说话人,在语速停顿和可懂度指标上复现了失语症特征,但结论只在五十句脚本合成与所选临床指标范围内成立。
ASSET 针对语音大模型音频前缀过长的问题,用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token,以转录损失加保留比带惩罚为奖励训练切分,在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率,在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率,代价是依赖字符 …
针对 5 分钟长音频中事件定位与密集描述易幻觉的问题,论文用 EgoSCAPE 评测与 ATTEST 强化学习约束模型只说音频中有证据的时间段,代价是需要多轮采样与注意力统计的训练开销。
针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题,AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验,再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝,在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度,但高压缩下转写任务仍先退化且需一次校准确定交叉层。
AV-FlowEdit 针对已有音视频片段的提示词编辑问题,用冻结联合模型的源-目标流差异同时更新视频和音频,并用事件感知的多尺度低频校正抑制非目标漂移,代价是大幅语义改动会拉低与源视频的视觉相似度。
论文以行为文本控制动物叫声生成,用发声锚点把六个物种录音与文献行为知识成组配对,在 TangoFlux 上微调并用事件感知变长掩码聚焦真实事件,主结果支持微调全面改善与变长进一步提升判别力和声学保真度,但结论只限于已见行为的新表述与给定目标时长条件。
论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题,提出在当前策略采样轨迹上学习的 GRPO 和 OPSD,在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度,但 GRPO 每步耗时远高于 OPSD。
BridgeCodec 要解决冻结的 8 kHz 源编码器与 48 kHz 目标解码器无法直接通信的问题,用 Schrödinger Bridge 在潜在空间做最优传输并以 Mamba 增强的 U-Net 建模长时依赖,在 1 kbps 传输下实现 48 kHz 重建,代价是需要两阶段训练且高频内容带有生成性幻觉。
论文要解决多人同框时把声音归属到正确人脸的在线判断问题,用当前帧跨人脸比较加单人历史因果建模实现零前视,在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一,代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。
论文针对音频条件视觉预测中去掉音频就下结论的问题,提出把解释与干预、留出任务比较和端点对照绑定的 CIViC 四门诊断,并在演员不重叠的人脸光栅、合成特征混合与来源视频不重叠的 SpeakerVid 代理任务上给出通过与失败并存的证据。
该论文把随解码数据在线学习的熵编码代价直接送入感知比特分配,用动态规划在块预算下求最小总噪声掩蔽比,并用严格按块与带储备的对照分离出熵感知与协同适应的增量,代价是动态规划编码端约 20 倍于拉格朗日方法的计算量。
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。