Alignment Drift in Single-Model Speculative Decoding for ASR: Mechanism, Correction, and Cost

📄 Alignment Drift in Single-Model Speculative Decoding for ASR: Mechanism, Correction, and Cost 标签:#语音识别 #自回归模型 #高效推理 #多语言 7.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.3/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音识别 | #自回归模型 | #高效推理 #多语言 | arxiv 👥 作者与机构 第一作者:Xinyu Wang(机构未说明;论文给出邮箱 xinyu@boson.ai) 通讯作者:未说明 作者列表:Xinyu Wang、Huapeng Zhou、Ziyu Zhao、Silin Meng、Ke Bai、Dongming Shen、Xiao-Wen Chang、Alex Smola(机构均未明确标注) 💡 毒舌点评 这篇文章的真正贡献不是“投机解码能加速 ASR”,而是把 ASR 单模型投机解码的失败定位到了浅层草稿在无 target 干预期间丢失音频位置。它用 restart/continuation 分解、固定宽度窗口干预、验证注意力读出和 AnchorDraft 训练目标形成了一套机制证据链。短板是证据链部分依赖离线强制对齐 oracle,运行时修正在 clean 上净收益不显著,训练修正数据量小,且没有可访问代码、权重或 demo;因此方法价值大于直接可复现价值。 ...

2026-08-14 · 更新于 2026-08-14 · 6 min · 1103 words

Edge Phoneme Recognition for Children's Speech through Age-Aware Training

📄 Edge Phoneme Recognition for Children’s Speech through Age-Aware Training 标签:#语音识别 #多任务学习 #低资源 #高效推理 #教育 6.3/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | 文档类型:模型报告 | 评分置信度:中 | #语音识别 | #多任务学习 | #低资源 #高效推理 | arxiv 👥 作者与机构 第一作者:Matthew Arboleda(Occidental College) 通讯作者:未说明 作者列表: Matthew Arboleda(Occidental College) Ryan Arboleda(Occidental College) Sophie Haak(Occidental College) Sam Hjelmeset(Occidental College) Andrew Franck(Occidental College) Bingrui Yang(Occidental College) Jose Bustamante Ortiz(Occidental College) Yuanrong Shen(Occidental College) Joel Walsh(Occidental College) 💡 毒舌点评 用小模型加年龄辅助头在儿童音素识别上取得了可观的 CER 收益,并且落地成手机端离线 App,是一个有实际价值的工程洞察;但论文实验深度明显不足,既没有给出盲测集上的精确 CER,也没有边缘设备的时延、内存和功耗实测,“年龄不变表征"的解释基本还是猜想。并且年龄头带来的收益只在 WavLM Base+ 上验证过,8–11 岁年龄段上 age-aware 模型反而明显差于 Large RNN-T,说明所谓的"年龄不变"可能只是在不同年龄段之间做了取舍。若能补上 WavLM Large 上的年龄头消融和真实手机端指标,会比现在更有说服力。 ...

2026-08-12 · 更新于 2026-08-14 · 3 min · 610 words

BAMU: Bitstream-Aware Marginal-Utility Allocation for Frozen Pretrained Neural Speech Codecs

📄 BAMU: Bitstream-Aware Marginal-Utility Allocation for Frozen Pretrained Neural Speech Codecs 标签:#语音编码 #CNN #端到端 #高效推理 7.1/10 | 创新 1.3/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型:方法研究 | 评分置信度:高 | #语音编码 | #CNN | #端到端 #高效推理 | arxiv 👥 作者与机构 第一作者:Mingyu Zhao(未说明) 通讯作者:未说明 作者列表:Mingyu Zhao(未说明)、Zijian Lin(未说明)、Yutang Feng(未说明)、Jiatao Chen(未说明)、Fan Wang(未说明)、Jiehui Luo(未说明)、Yuhao Ding(未说明)、Jinchao Zhang(未说明)、Zhiyong Wu(未说明) 说明:论文文本未提供作者所属机构信息。 💡 毒舌点评 BAMU 最值得肯定的是把“真实序列化容器字节数”而非名义平均码率作为分配约束,并给出了可解码位流的完整闭环;这在神经语音编码的工程落地中是有价值的问题意识。但它本质上仍是“帧级 marginal-utility 预测 + 预算分配”的组合,且没有与 VRVQ 或其他自适应分配方法直接对比,导致“优于固定深度”这一结论的说服力打了折扣。DAC 最低码率退化被如实报告,但作者没能提出有效补救,只归因于 latent-MSE 效用目标的局限。 ...

2026-08-11 · 更新于 2026-08-14 · 4 min · 707 words

Deferred Audio Pruning with Local Audio-Visual Dynamics for Omni-LLMs

📄 Deferred Audio Pruning with Local Audio-Visual Dynamics for Omni-LLMs 标签:#模型剪枝 #多模态模型 #高效推理 #模型压缩 8.4/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | 文档类型:方法研究 | 评分置信度:中 | #模型剪枝 | #多模态模型 | #高效推理 #模型压缩 | arxiv 👥 作者与机构 第一作者:Kyeongyoon Lee(标注机构1,论文未提供机构名称) 通讯作者:未说明 作者列表:Kyeongyoon Lee(机构1)、Hongyeob Kim(机构1)、Youngeun Kim(机构2)、Sungeun Hong(机构1) 说明:所有机构仅以编号形式出现,论文原文未给出机构名称。 💡 毒舌点评 把“何时压缩”和“压缩哪个模态”拆开处理是本文最值得肯定的洞察:音频保留到查询条件化之后再用 query attention 剪枝,确实比所有 pre-LLM 统一压缩更合理。短板也很明显:所有对比都限定在 training-free 方法,缺少与可学习压缩/蒸馏方案的对照;“code will be released upon acceptance”意味着当前无法直接核验实现细节。此外,全部实验只在 Qwen2.5-Omni 单一骨干上进行,跨架构泛化尚未验证。 ...

2026-08-11 · 更新于 2026-08-14 · 5 min · 915 words

omni-macos: On-Device Omni-Modal Search on Apple Silicon

📄 omni-macos: On-Device Omni-Modal Search on Apple Silicon 标签:#音频检索 #多模态模型 #高效推理 #开源工具 #模型压缩 7.2/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.2/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #音频检索 | #多模态模型 | #高效推理 #开源工具 | arxiv 👥 作者与机构 第一作者:Han Xiao(Jina AI by Elastic,来自论文署名行) 通讯作者:未说明(论文未明确标注通讯作者) 作者列表:Han Xiao(Jina AI by Elastic) 💡 毒舌点评 工程完成度确实高,把“隐私、持续索引、交互延迟、统一内存预算”做成一个可运行的原生 macOS 系统,并且每个机制都给了跨五台机器的测量。但论文始终没有与任何既有检索系统做端到端质量对比,检索质量只靠“与自身 bf16 扫描的一致性”来间接说明,更像一份优秀的系统报告而非完整的检索研究。作为审稿人,我愿意接收为系统展示/工程论文,但不会把它当作检索质量或 SOTA 的证据。 ...

2026-08-11 · 更新于 2026-08-14 · 5 min · 948 words

SCoPE: Training-Free Audio-Visual Event Perception via Sparse Cross-Modal Prior Exchange

📄 SCoPE: Training-Free Audio-Visual Event Perception via Sparse Cross-Modal Prior Exchange 标签:#音视频理解 #测试时自适应 #零样本 #高效推理 7.1/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.1/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #音视频理解 | #测试时自适应 | #零样本 #高效推理 | arxiv 👥 作者与机构 第一作者:Jaemo Jeong(KAIST) Junho Yoon(KAIST) Hyunju Kim(KAIST) Dongman Lee(KAIST,通讯作者疑似) 论文提交日期:arXiv 2608.07923v1;全部作者均来自 KAIST 💡 毒舌点评 SCoPE 把“稀疏竞争 + 跨模态代价再分配”做成了一套完全训练-free 的推理框架,在三个基准上普遍带来增益且推理仅 3.16 ms/视频,这是实打实的贡献。但它的核心对比没有做到真正公平:LLP 上对标的是 AV2A 论文里报告的旧数字,测试视频数还差 15 条(1,109 vs 1,124),不是逐视频配对;OV-AVEBench 上自己复现的 AV2A 只有 33.14 Avg,比 OV-AVEL 低近 10 个点,论文却对 AV2A 为何在换基准后崩塌没有给出解释。更值得警惕的是,ASYM(单侧证据)事件提升只有 3.6 个点,Event@evt 甚至比 AV2A 低 0.16 个点(31.04 vs 31.2),说明跨模态先验主要利好双边、长时事件,对真正难的“只闻其声/只现其影”场景帮助有限。此外代码、权重、数据一个链接都没有,关键结果无法独立验证。 ...

2026-08-11 · 更新于 2026-08-14 · 4 min · 839 words

VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference

📄 VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference 标签:#音频理解 #模型压缩 #语音大模型 #长音频处理 #高效推理 7.7/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型:方法研究 | 评分置信度:高 | #音频理解 | #模型压缩 | #语音大模型 #长音频处理 | arxiv 👥 作者与机构 第一作者:Wenxu Jia(浙江大学,并署名美团上海) 通讯作者:未说明 作者列表: Wenxu Jia(浙江大学;美团上海) Dongjie Fu(浙江大学) Xize Cheng(浙江大学) Fangming Feng(浙江大学) Linjun Li(美团上海) Wenshi Chen(美团上海) Yingming Li(浙江大学) Zhou Zhao(浙江大学) Tao Jin(浙江大学) 💡 毒舌点评 VoxZip 用 ASR 文本当语义锚来压缩音频 token,思路直接且有效,能在 5% KV budget 下保住 91% 以上的长音频性能,工程价值突出。但论文对衰减注意力分数在缓存裁剪后的维护方式交代不清,且“直接相加文本与音频 embedding”这种跨模态注入缺少分布分析,更多是经验有效而非原理自洽。 ...

2026-08-11 · 更新于 2026-08-14 · 4 min · 833 words

Cloud-Boosted Low-Compute Multi-Channel Speech Enhancement

📄 Cloud-Boosted Low-Compute Multi-Channel Speech Enhancement 标签:#语音增强 #知识蒸馏 #多通道 #实时处理 #高效推理 6.0/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.0/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音增强 | #知识蒸馏 | #多通道 #实时处理 | arxiv 👥 作者与机构 第一作者:Xulin Fan(University of Illinois Urbana-Champaign, USA) 通讯作者:未说明(论文未标注通讯作者) 作者列表:Xulin Fan(University of Illinois Urbana-Champaign)、Juan Azcarreta(Meta Reality Labs Research)、Ashutosh Pandey(Meta Reality Labs Research)、Jesus Alvarez(Meta Reality Labs Research)、Ke Tan(Meta Reality Labs Research)、Jacob Donley(Meta Reality Labs Research)、Ritwik Giri(Meta Reality Labs Research)、Buye Xu(Meta Reality Labs Research) 💡 毒舌点评 把服务器端 SpatialNet 的延迟增强谱、中间层特征和空间统计量一起“搬”到边缘端,确实让 TinyGRU+MCWF 在合成低 SNR 测试集上获得 3.77 dB 和 3.49 dB 的 SI-SDR 提升,而边缘端参数只增加约 1.5%、计算量只增加约 2.4%,这个端云协作 pipeline 有工程启发。但实验基本局限于同一套 Pyroomacoustics 合成 RIR 与固定延迟仿真:没有与原始 Knowledge Boosting 直接对比,没有真实设备、动态网络延迟、丢包或带宽测试,也没有统计显著性检验。更刺眼的是 PESQ 没有随 SI-SDR 同步上升,完整模型的 PESQ 甚至低于中间消融配置。目前的结论更适合表述为“仿真环境下端云协作增强的可行性验证”,而非成熟的部署级方案。 ...

2026-08-10 · 更新于 2026-08-14 · 4 min · 712 words

PD-GS: Phoneme-Driven 3DGS for Audio-Driven Talking Heads

📄 PD-GS: Phoneme-Driven 3DGS for Audio-Driven Talking Heads 标签:#音视频生成 #多模态模型 #端到端 #高效推理 #可解释性 5.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 📝 5.6/10 | 前50% | 文档类型:方法研究 | 评分置信度:高 | #音视频生成 | #多模态模型 | #端到端 #高效推理 | arxiv 👥 作者与机构 Ao Fu(ORCID: 0009-0006-9933-9240,邮箱:220232248@seu.edu.cn):东南大学计算机科学与工程学院;新一代人工智能技术及其跨学科应用教育部重点实验室,南京,中国。 Yi Zhou(ORCID: 0000-0003-3021-3229,邮箱:yizhou.szcn@gmail.com):东南大学计算机科学与工程学院;新一代人工智能技术及其跨学科应用教育部重点实验室,南京,中国。 论文发表于 Proceedings of the 34th ACM International Conference on Multimedia(MM ‘26),2026年11月10–14日,巴西里约热内卢。DOI: 10.1145/3767308.3835096。 💡 毒舌点评 把音素级离散语言信息和连续音频特征用门控融合注入 3DGS 说话头,确实打中了“漏嘴”(leaky mouth)和嘴部过平滑这一真实痛点;LFM 的可视化也让融合过程有了初步可解释性。但整体仍是对 per-person 说话头框架的组件级改进,而非范式级突破:所谓音素来自离线 ASR+强制对齐,且仅 2 个受试者的消融与跨数据集实验支撑一个高达 40 音素的词汇表,证据链偏单薄;代码权重一概未公开,可复现性近于零。把“phoneme-driven”的普适性说到太满之前,至少应给出多身份、多语言、对 ASR 噪音的鲁棒性分析。 ...

2026-08-07 · 更新于 2026-08-14 · 4 min · 721 words

ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition

📄 ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition 标签:#语音识别 #自回归模型 #高效推理 #长音频处理 #大语言模型 6.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.7/10 | 前50% | 文档类型:系统技术报告 | 评分置信度:高 | #语音识别 | #自回归模型 | #高效推理 #长音频处理 | arxiv 👥 作者与机构 第一作者:Qingjian Lin(StepFun, 上海) 通讯作者:Fei Tian(StepFun, 上海) 作者列表:Qingjian Lin(StepFun)、Yuxin Li(未说明)、Haoyang Zhang(未说明)、Jun Chen(未说明)、Yechang Huang(未说明)、Feng Tian(未说明)、Xie Li(未说明)、Xiangyu Tony Zhang(未说明)、Daijiao Liu(未说明)、Yuxin Zhang(未说明)、Jinglan Gong(未说明)、Bo Zhao(未说明)、Fei Tian(StepFun)、Xuerui Yang(未说明)、Gang Yu(未说明)、Xiangyu Zhang(未说明)、Daxin Jiang(未说明) 💡 毒舌点评 本文将多Token预测(MTP)用于LLM-based ASR,以可验证的并行解码显著降低实时因子,且接受率高达5.0/6,展示了ASR作为确定性转录任务对前瞻性解码的高度适应性。然而,系统未开源任何代码或模型权重,所有对比限于较为有限的LLM-ASR基线和部分公开测试集,无法充分评估其对主流强基线(如Whisper large-v3)的真实优势;训练数据中的大量私有成分也让外部验证几乎不可能。此外,与常规推测解码的性能和效率对比缺失,使得其“MTP是天然加速范式”这一核心立论的证明力度不足。 ...

2026-08-03 · 更新于 2026-08-14 · 3 min · 498 words