论文解读

主动降噪如何让助听器里的 AI 语音增强在鼓膜处真正起效

该研究在吵闹真实场景的人体模型录音上验证:AI 语音增强在放大通路内各设备改善相近,但只有压住未经处理的直接声通路后,其信噪比改善才能从高频扩展到低频,宽带加权信噪比因此明显提高,而单独开主动降噪几乎不改善信噪比。

 · 约 19 分钟 · 9102 字 阅读 →
论文解读

关灯工厂里只靠声音和深度导航:ADAPT 如何找声源并避障

论文研究无可见光工业场景下只用空间音频找方向、只用深度看路的导航问题,用三阶段训练的 ADAPT 和位置朝向图上的剩余动作数奖励 TARS 实现,在未见过的工厂中 Clean 条件成功率 90.6% 而最难的局部噪声下保持 60.0%,代价是依赖仿真中的特权地图和固定鸣叫信标。

 · 约 22 分钟 · 10610 字 阅读 →
论文解读

随输入换压缩宽度、只扰动高频梅尔带:音频伪造检测的泛化框架

论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。

 · 约 19 分钟 · 9167 字 阅读 →
论文解读

长语音里既换声音又换说法:AegisVox 如何分开处理身份与病情

AegisVox 把长临床对话的说话人声音转换与标识词替换分开处理,在 390 段公开模拟对话上比较两种整轮重读方案,发现替换实现率提高的同时可能伴随更多模型判定的矛盾和编辑区声音可关联性。

 · 约 18 分钟 · 8730 字 阅读 →
论文解读

噪声下语音条件生成为何退化:AlignAudio 的双重对齐思路

针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。

 · 约 18 分钟 · 8758 字 阅读 →
论文解读

长音频流里记住声源并更新属性:AMemOps 如何拆开识别、保留与更新

AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝,用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力,说明更新优势在什么录音与历史条件下出现以及擦除的作用。

 · 约 20 分钟 · 9706 字 阅读 →
论文解读

带环境声一起改:AnyEdit 如何做语音与歌声的局部编辑

AnyEdit 把带噪编辑拆成干净语义编辑与上下文声学渲染两步,用噪声鲁棒韵律与流匹配渲染保持背景,在真实与模拟带噪集上内容与背景连续性更好,但长音频与瞬态声仍受限。

 · 约 21 分钟 · 10293 字 阅读 →
论文解读

在不动结构的前提下给文本模型加上图像和音频理解

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型,最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4,代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

 · 约 24 分钟 · 11836 字 阅读 →
论文解读

为失语症模拟生成带停顿和口吃的慢速语音

论文针对治疗师缺乏失语症沟通练习对象的问题,用失语症语料微调轻量非自回归语音合成模型并加入停顿口吃处理与向量偏移扩增说话人,在语速停顿和可懂度指标上复现了失语症特征,但结论只在五十句脚本合成与所选临床指标范围内成立。

 · 约 15 分钟 · 7353 字 阅读 →
论文解读

ASSET:从任务反馈中学习语音切分以压缩大模型音频前缀

ASSET 针对语音大模型音频前缀过长的问题,用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token,以转录损失加保留比带惩罚为奖励训练切分,在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率,在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率,代价是依赖字符 …

 · 约 18 分钟 · 8665 字 阅读 →
论文解读

长音频时间理解:用证据约束抑制幻觉的强化学习

针对 5 分钟长音频中事件定位与密集描述易幻觉的问题,论文用 EgoSCAPE 评测与 ATTEST 强化学习约束模型只说音频中有证据的时间段,代价是需要多轮采样与注意力统计的训练开销。

 · 约 18 分钟 · 8527 字 阅读 →
论文解读

留下过渡、删掉冗余:AudioTETRIS 如何压缩音频大模型的音频 Token

针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题,AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验,再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝,在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度,但高压缩下转写任务仍先退化且需一次校准确定交叉层。

 · 约 18 分钟 · 8659 字 阅读 →
论文解读

不反演、不训练如何同时改声音和画面:AV-FlowEdit 的联合编辑与保持机制

AV-FlowEdit 针对已有音视频片段的提示词编辑问题,用冻结联合模型的源-目标流差异同时更新视频和音频,并用事件感知的多尺度低频校正抑制非目标漂移,代价是大幅语义改动会拉低与源视频的视觉相似度。

 · 约 21 分钟 · 10098 字 阅读 →
论文解读

行为描述如何生成动物叫声:BeVo 数据与事件感知建模解读

论文以行为文本控制动物叫声生成,用发声锚点把六个物种录音与文献行为知识成组配对,在 TangoFlux 上微调并用事件感知变长掩码聚焦真实事件,主结果支持微调全面改善与变长进一步提升判别力和声学保真度,但结论只限于已见行为的新表述与给定目标时长条件。

 · 约 18 分钟 · 8672 字 阅读 →
论文解读

单条参考语音如何做自回归语音个性化而不产生空白输出

论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题,提出在当前策略采样轨迹上学习的 GRPO 和 OPSD,在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度,但 GRPO 每步耗时远高于 OPSD。

 · 约 17 分钟 · 8369 字 阅读 →
论文解读

BridgeCodec:在冻结编解码器之间做潜在特征搬运的低码率互通框架

BridgeCodec 要解决冻结的 8 kHz 源编码器与 48 kHz 目标解码器无法直接通信的问题,用 Schrödinger Bridge 在潜在空间做最优传输并以 Mamba 增强的 U-Net 建模长时依赖,在 1 kbps 传输下实现 48 kHz 重建,代价是需要两阶段训练且高频内容带有生成性幻觉。

 · 约 20 分钟 · 9744 字 阅读 →
论文解读

同时看全场又不看未来:CAST-ASD 怎么做在线说话人检测

论文要解决多人同框时把声音归属到正确人脸的在线判断问题,用当前帧跨人脸比较加单人历史因果建模实现零前视,在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一,代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。

 · 约 17 分钟 · 8483 字 阅读 →
论文解读

去掉音频输出变了,能说明模型用了音频吗:CIViC 的四个证据门

论文针对音频条件视觉预测中去掉音频就下结论的问题,提出把解释与干预、留出任务比较和端点对照绑定的 CIViC 四门诊断,并在演员不重叠的人脸光栅、合成特征混合与来源视频不重叠的 SpeakerVid 代理任务上给出通过与失败并存的证据。

 · 约 19 分钟 · 9134 字 阅读 →
论文解读

熵模型与比特分配如何同一步调适应:一种感知音频编码的闭环设计

该论文把随解码数据在线学习的熵编码代价直接送入感知比特分配,用动态规划在块预算下求最小总噪声掩蔽比,并用严格按块与带储备的对照分离出熵感知与协同适应的增量,代价是动态规划编码端约 20 倍于拉格朗日方法的计算量。

 · 约 7 分钟 · 3506 字 阅读 →
论文解读

用语音编码器里对语言敏感的维度直接发现语码转换

该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。

 · 约 17 分钟 · 8075 字 阅读 →