论文速递

📄 Speech Enhancement Based on Drifting Models #语音增强 #流匹配 #自监督学习 #单步生成 #无监督训练 ✅ 7.5/10 | 前25% | #语音增强 | #流匹配 | #自监督学习 #单步生成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（根据作者列表顺序，Liang Xu排首位，但论文未明确标注“第一作者”） 通讯作者：未说明（论文未明确标注“通讯作者”） 作者列表：Liang Xu（维多利亚大学惠灵顿分校）、Diego Caviedes-Nozal（GN Audio A/S）、Bastiaan Kleijn（维多利亚大学惠灵顿分校）、Longfei Felix Yan（维多利亚大学惠灵顿分校）、Rasmus Kongsgaard Olsson（GN Audio A/S） 💡 毒舌点评 亮点在于概念创新，将生成式建模重新表述为“漂移-平衡”问题，优雅地实现了无需迭代的一步增强，并证明了其在无配对数据训练上的潜力。短板是论文中部分实验细节（如无监督训练的完整设置）不够透明，且在PESQ等保真度指标上虽具竞争力，但并未全面超越顶尖的单步蒸馏方法，其“SOTA”主张需结合具体指标看待。 📌 核心摘要 问题：现有基于扩散模型的语音增强方法虽然效果好，但推理过程需要多步迭代（10-100步），导致计算延迟高，难以满足实时应用需求。 方法核心：提出DriftSE框架，将语音增强重构为一个分布平衡问题。其核心是学习一个“漂移场”，该场由指向干净语音分布的吸引力和远离当前生成分布的排斥力组成，驱动映射函数的输出分布直接演化至目标分布，从而实现单步推理。 新意：与基于轨迹（如扩散、流匹配）的迭代方法不同，DriftSE通过分布演化求解均衡，原生支持一步生成。论文设计了两种增强范式：直接映射（含噪语音到干净语音）和条件生成（从噪声先验生成）。漂移计算在预训练SSL模型的潜空间多层特征上进行，以捕捉多层级语音结构。 主要实验结果： 在VoiceBank-DEMAND基准测试上，直接映射变体（DistilHuBERT， σ=0）达到PESQ 3.15, SI-SDR 16.1 dB，优于30步的SGMSE+（PESQ 2.90）和单步MeanFlowSE（PESQ 2.81）。条件生成变体（DriftSE*）在无参考指标上表现优异，达到SCOREQ 4.33，DNSMOS 3.64。在DNS Challenge 2020真实录音测试中，DriftSE（DistilHuBERT）取得了领先的WV-MOS 2.65和SCOREQ 2.97。 关键数据对比表（VB-DMD测试集）： ...

📄 Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling #语音合成 #音视频 #自回归模型 #扩散模型 #流匹配 ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #音视频 #扩散模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhen Ye（根据作者列表顺序推断，论文中未明确标注“第一作者”） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, Peiwen Sun, Yiming Li, Chi-Min Chan, Wei Ye, Shikun Zhang, Wei Xue（所有作者所属机构均未在论文正文中明确说明，仅提供了个人姓名。机构信息可能在论文PDF的其他部分或补充材料中，但未在所提供的全文文本中提及。） 💡 毒舌点评 亮点： 论文提出的“解耦”设计哲学很聪明——把高层次的跨模态语义对齐（自回归骨干网络负责）和低层次的信号渲染（独立的扩散头负责）分开，不仅逻辑清晰，而且实验证明在同步性和质量上都优于全流程纠缠的Dual-DiT方案，同时用一个模型统一了三种任务。短板： 视频生成质量的天花板明显受限于所选的LIA-X运动自编码器，论文也坦承了这一点；此外，自回归模型在长序列上误差累积的问题可能导致生成超长语音时质量下降，这在实际应用中是个潜在痛点。 📌 核心摘要 要解决什么问题： 现有联合音视频生成模型（如Dual-DiT）在整个去噪过程中通过密集的跨模态注意力耦合音频和视频，将高层语义和底层信号细节混为一体，导致建模效率低下。同时，这些模型通常输出固定长度，无法适应文本长度和说话节奏的变化。 方法核心是什么： 提出Talker-T2AV，一个两阶段的自回归扩散框架。第一阶段（跨模态建模）：将音频和视频编码为时间对齐的潜在序列（25Hz），通过元素级求和融合后，输入到一个共享的自回归语言模型骨干网络中，以补丁级进行自回归生成，捕捉高层跨模态时序结构。第二阶段（模态特定渲染）：使用两个独立的轻量级扩散Transformer头，分别将共享的隐状态解码为音频和视频的潜在补丁。 与已有方法相比新在哪里： ① 架构解耦： 首次将联合生成解耦为“高层语义对齐”与“底层信号渲染”两个明确阶段，避免了不必要的全过程跨模态纠缠。② 灵活性： 通过元素级求和设计，一个模型无需修改即可支持文本到音视频、音频到视频（说话头生成）、视频到音频（配音）三种任务。③ 可变长度输出： 基于自回归范式和停止预测器，支持生成任意长度的输出。 主要实验结果如何： 联合生成 (T2AV)： 在中英文测试集上，与5个Dual-DiT基线（MoVA, Ovi, LTX-2, UniVerse-1, UniAVGen）相比，本文方法在语音可懂度（CER/WER最低）、视频保真度（FVD最佳）和唇音同步（SyncNet C最高， D最低）上均取得最佳或并列最佳结果。 音频驱动 (A2V)： 在中英文测试集上，与5个专用方法（FLOAT, EchoMimic, Sonic, Ditto, AniPortrait）相比，本文方法在视频质量和同步性上综合表现最优（例如，英文Sync-C为5.85，最高）。 视频配音 (V2A)： 在Chem数据集上，与5个专用配音系统相比，本文方法在情感相似度（EMO-SIM）、语音可懂度（WER）和自然度（UTMOS）三项指标上均达到最佳，时长对齐（DD）接近最佳。 消融实验： 验证了“元素级求和”融合方式在同步性和效率上优于“交错”或“延迟”排列。 （详细结果表格见“详细分析”部分） 实际意义是什么： 该工作推动了更自然、同步且灵活的虚拟人交互技术的发展。统一的框架降低了构建和部署多模态生成系统的复杂度，为实时对话、虚拟主播、多模态翻译等应用提供了新的技术路径。 主要局限性是什么： ① 自回归骨干在连续潜在空间上的预测误差会随序列增长而累积，影响长音频生成质量。② 视频的最终保真度受限于所采用的LIA-X运动自编码器的表达能力。③ 论文未提及训练所使用的具体硬件和时长，硬件消耗未知。 🏗️ 模型架构 论文整体架构如图1所示，采用“自回归扩散”的两阶段解耦设计。 ...

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音合成评估 #指令微调 #推理链 #数据集 ✅ 7.0/10 | 前25% | #语音合成评估 | #指令微调 | #推理链 #数据集 | arxiv 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Xi Wang（清华大学，xi-wang24@mails.tsinghua.edu.cn） 通讯作者：Zhiyong Wu（清华大学，zywu@sz.tsinghua.edu.cn） 作者列表： Xi Wang（清华大学） Jie Wang（论文中未明确所属机构，根据邮箱格式推测可能与Xi Wang同单位或合作单位，但文本未说明） Xingchen Song（论文中未明确所属机构，根据邮箱格式推测可能与Xi Wang同单位或合作单位，但文本未说明） Baijun Song（论文中未明确所属机构，根据邮箱格式推测可能与Xi Wang同单位或合作单位，但文本未说明） Jingran Xie（论文中未明确所属机构，根据邮箱格式推测可能与Xi Wang同单位或合作单位，但文本未说明） Jiahe Shao（论文中未明确所属机构，根据邮箱格式推测可能与Xi Wang同单位或合作单位，但文本未说明） Zijian Lin（论文中未明确所属机构，根据邮箱格式推测可能与Xi Wang同单位或合作单位，但文本未说明） Di Wu（论文中未明确所属机构，根据邮箱格式推测可能与Xi Wang同单位或合作单位，但文本未说明） Meng Meng（东京大学，The University of Tokyo） Jian Luan（小米MiLM Plus，MiLM Plus, Xiaomi Inc.） Zhiyong Wu（清华大学） 💡 毒舌点评 亮点：这是一篇目标明确、框架完整的“工具型”论文，它没有试图去颠覆TTS生成模型本身，而是敏锐地抓住了“如何诊断TTS模型”这个下游关键痛点，并给出了一个相当系统、可操作且带有细粒度评分标准的解决方案，这种务实的研究风格值得肯定。 短板：然而，论文所构建的“诊断标准”本身仍根植于主观感知，虽然通过“明确的容差阈值”试图客观化，但其本质仍是将人类专家的共识固化为标签，这决定了TTS-PRISM的上限无法超越其训练数据中的评估者水平。此外，模型在“发音准确性”这一最基础维度上的短板（预训练偏见导致），恰恰点明了用一个为“理解/容忍误差”而优化的模型去“诊断/识别误差”时存在的根本性矛盾。 ...

语音/音频论文速递 2026-04-28 共分析 24 篇论文 ⚡ 今日概览 📥 抓取 24 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 2篇 ██ #语音伪造检测 2篇 ██ #音视频 1篇 █ #音频大模型 1篇 █ #语音生物标志物 1篇 █ #语音生成 1篇 █ #语音情感识别 1篇 █ #图神经网络 1篇 █ 📊 论文评分排行榜（24 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Hallo-Live: Real-Time Streaming Joint Audio-Video Avata 8.5分 前25% #音视频 🥈 HeadRouter: Dynamic Head-Weight Routing for Task-Adapti 8.0分 前25% #音频大模型 🥉 Comparison of sEMG Encoding Accuracy Across Speech Mode 8.0分 前25% #语音生物标志物 4. Scaling Properties of Continuous Diffusion Spoken Langu 8.0分 前25% #语音生成 5. Psychologically-Grounded Graph Modeling for Interpretab 8.0分 前25% #语音情感识别 6. Latent-Hysteresis Graph ODEs: Modeling Coupled Topology 8.0分 前25% #图神经网络 7. Meta-Ensemble Learning with Diverse Data Splits for Imp 8.0分 前25% #音频分类 8. CineAGI: Character-Consistent Movie Creation through LL 8.0分 前25% #跨模态 9. Listening with Time: Precise Temporal Awareness for Lon 8.0分 前25% #音频场景理解 10. An event-based sequence modeling approach to recognizin 7.5分 前25% #音乐理解 11. Speech Enhancement Based on Drifting Models 7.5分 前25% #语音增强 12. Talker-T2AV: Joint Talking Audio-Video Generation with 7.5分 前25% #语音合成 13. Explainable AI in Speaker Recognition – Making Latent 7.5分 前25% #说话人识别 14. Predictive Directional Selective Fixed-Filter Active No 7.5分 前25% #声源定位 15. RAS: a Reliability Oriented Metric for Automatic Speech 7.5分 前25% #语音识别 16. Robust Audio-Text Retrieval via Cross-Modal Attention a 7.5分 前25% #音频检索 17. RTCFake: Speech Deepfake Detection in Real-Time Communi 7.0分 前25% #语音伪造检测 18. MAGIC-TTS: Fine-Grained Controllable Speech Synthesis w 7.0分 前25% #语音合成 19. TTS-PRISM: A Perceptual Reasoning and Interpretable Spe 7.0分 前25% #语音合成评估 20. All That Glitters Is Not Audio: Rethinking Text Priors 6.5分 前50% #音频问答 21. Opening the Design Space: Two Years of Performance with 6.5分 前50% #音乐生成 22. Spectro-Temporal Modulation Representation Framework fo 6.5分 前50% #语音伪造检测 23. Come Together: Analyzing Popular Songs Through Statisti 6.5分 前50% #音乐信息检索 24. A Functorial Formulation of Neighborhood Aggregating De 6.5分 前25% #理论分析 📋 论文列表 🥇 Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation 🔥 8.5/10 | 前25% | #音视频 | #扩散模型 | #知识蒸馏 #流式处理 | arxiv ...

📄 Advancing automatic speech recognition using feature fusion with self-supervised learning features: A case study on Fearless Steps Apollo corpus #语音识别 #自监督学习 #特征融合 #鲁棒性 ✅ 7.0/10 | 前25% | #语音识别 | #自监督学习 | #特征融合 #鲁棒性 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Szu-Jui Chen (Center for Robust Speech Systems, Erik Jonsson School of Engineering & Computer Science, University of Texas at Dallas) 通讯作者：未明确标注（根据作者顺序和致谢，推测John H. L. Hansen为项目负责人） 作者列表：Szu-Jui Chen (Center for Robust Speech Systems, Erik Jonsson School of Engineering & Computer Science, University of Texas at Dallas)、John H. L. Hansen (Center for Robust Speech Systems, Erik Jonsson School of Engineering & Computer Science, University of Texas at Dallas) 💡 毒舌点评 本文的核心亮点在于提出了一个设计精巧、动机明确的深度交叉注意力（DCA）融合方法，并首次对极具挑战性的FSC Phase-4数据集进行了系统性的ASR分析和基线建立。然而，其短板在于计算复杂度显著高于简单的线性投影方法，但最终带来的绝对性能提升（在FSC Phase-4上为1.1% WER）相对温和，且缺乏开源代码限制了其即时的可复现性和社区影响力。 ...

📄 Audio Effect Estimation with DNN-Based Prediction and Search Algorithm #音乐理解 #音频分类 #深度学习 #黑盒优化 #音频处理 🔥 8.0/10 | 前25% | #音乐理解 | #深度学习 | #音频分类 #黑盒优化 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者：Youichi Okita 通讯作者：未说明 作者列表：Youichi Okita、Haruhiro Katayose（所属机构论文中未明确提供，仅通过arXiv作者页可查到与京都大学的关联，但根据指令禁止基于外部信息猜测，故仅列出姓名）。 💡 毒舌点评 亮点：论文没有陷入单纯“炼丹”堆叠模型，而是聪明地借鉴了人类专家“先猜后试”的思路，构建了“预测+搜索”的混合框架，尤其对干信号的估计为后续搜索奠定了良好基础，这在音频效果估计领域是一个系统且有洞察力的工程设计。 短板：实验验证局限于三种简单的吉他效果器和短链组合，真实音乐制作中效果器种类、参数范围、链式复杂程度和信号非线性可能远超此范围，论文在结论中虽提及此局限，但未能进一步探讨框架在更复杂场景下的普适性，使得其实用价值打了折扣。 📌 核心摘要 要解决什么问题：从已经应用了音频效果（“湿信号”）的音频中，反向推断出所使用的效果器类型、参数配置以及原始音频（“干信号”）。 方法核心是什么：提出了一种两阶段混合方法。第一阶段（预测）：利用深度神经网络（DNN）初步估计干信号以及效果器类型或完整配置。第二阶段（搜索）：以预测的干信号为基础，通过黑盒优化算法（如CMA-ES）调整效果器参数，使得重新合成的湿信号与原始湿信号的相似度最大化，从而修正和优化第一阶段的预测结果。 与已有方法相比新在哪里：整合了传统数据驱动的预测方法和基于重建的搜索方法。预测方法速度快但可能不准，搜索方法精度高但依赖良好的初始值。本文方法通过在预测阶段同时估计干信号，为搜索阶段提供了可靠的起点和评估依据，克服了两类方法单独使用的局限。 主要实验结果如何：在自建的吉他效果链数据集上，该混合方法在湿信号重建质量（SI-SDR）上显著优于纯预测方法（Bypass-Config-Iter）。例如，使用“预测类型组合+搜索顺序和参数”策略时，SI-SDR从基线的18.18 dB提升至23.07 dB。在效果链类型分类任务中，该策略的F1分数（0.958）也优于其他策略。 实际意义是什么：该方法可以辅助音乐制作人和音频工程师从现有作品中学习和复现特定的声音设计技巧，降低专业门槛；也可用于音频分析、版权检测（如识别特征性效果器组合）等场景。 主要局限性：研究局限于少数几种（3种）简单的吉他效果器（合唱、失真、混响）和长度最多3个效果的链，未涵盖更多效果类型（如延迟、均衡器、压缩器）、更长或更复杂的链以及不同乐器信号，现实适用性有待验证。 🏗️ 模型架构 论文的核心是预测-搜索两阶段框架。预测阶段的模型架构主要参考了SunAFXiNet [13]。 整体输入输出流程： 输入：湿信号 𝒙_N （已应用效果链的音频）。 输出：预测的干信号 𝒙̂_0 、效果器类型序列 Ĉ 和参数序列 P̂ 。 流程：湿信号首先送入DNN模型进行初步预测。然后，基于预测的干信号和（部分）效果配置，启动搜索算法，在参数空间中优化，以找到能使重建信号最接近输入湿信号的最终效果配置。 图1展示了完整的两阶段流程。左侧是DNN预测阶段，右侧是基于重建误差的搜索优化阶段。 ...

📄 Audio Video Verbal Analysis (AVVA) for Capturing Classroom Dialogues #音视频 #模型评估 #开源工具 ✅ 6.0/10 | 前50% | #音频问答 | #模型评估 | #音视频 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -1.0 | 置信度 高 👥 作者与机构 第一作者：Vivek Upadhyay（Indian Institute of Science, Bangalore，联系方式为viveku@iisc.ac.in） 通讯作者：Vivek Upadhyay（Indian Institute of Science, Bangalore） 作者列表：Vivek Upadhyay（Indian Institute of Science, Bangalore）、Amaresh Chakrabarti（Indian Institute of Science, Bangalore） 💡 毒舌点评 这篇论文的亮点在于它将社会科学研究方法（Verbal Analysis）与多模态数据分析进行了系统性整合，并创新性地引入了基于Bootstrap的置信区间和“粒度不变性”等稳定性评估标准来处理时间序列数据的聚合问题，方法论上十分扎实。然而，其短板在于“验证”部分仅使用了自家框架对有限数据（23小时）的单次应用，缺乏与现有成熟工具（如NVivo、ATLAS.ti内置分析）或其他量化方法在精度、效率上的直接对比实验，说服力稍显不足，更像一份详尽的“用户手册”而非具有突破性的研究论文。 📌 核心摘要 这篇论文旨在解决课堂话语分析中从丰富的音视频多模态数据提取可量化信息的系统性方法缺失问题。核心是提出“音视频语言分析”框架，这是一个包含数据收集、转录、编码、分析等10个步骤的标准化流程，并将三角互证作为核心设计原则。与传统方法相比，AVVA框架的创新点在于：1）系统性地整合了定性解读与定量建模；2）特别针对时间序列观测数据提出了“时间单元可修改性问题”的解决方案，包括基础率过滤、Bootstrap置信区间以及基于四个标准（符号一致性、置信区间重叠、零排除、幅度稳定性）的稳定性评估。主要实验结果为对23小时印度学校课堂录音的应用分析，展示了框架的可行性（例如，通过图3中的森林图展示了变量对在不同时间粒度下的稳定性特征），并识别出如“粒度不变型”等变量关系模式。该框架的实际意义在于为将丰富的课堂话语转化为可分析数据集提供了可扩展的标准化路径。主要局限性在于实验规模有限且缺乏与外部方法的对比验证，且分析焦点主要落在语言模态，对非语言模态的深度利用不足。 🏗️ 模型架构 本文提出的并非一个传统的机器学习模型架构，而是一个系统性的方法论框架。AVVA框架是一个包含10个步骤的流程，旨在指导研究者从原始音视频数据到最终模式解释的全过程。 ...

📄 Beyond Acoustic Sparsity and Linguistic Bias: A Prompt-Free Paradigm for Mispronunciation Detection and Diagnosis #发音错误检测 #自监督学习 #知识蒸馏 #数据增强 #零样本 🔥 8.5/10 | 前25% | #发音错误检测 | #自监督学习 #知识蒸馏 | #自监督学习 #知识蒸馏 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Haopeng Geng (The University of Tokyo, Graduate School of Engineering) 通讯作者：未说明（论文未明确指定通讯作者） 作者列表：Haopeng Geng (The University of Tokyo, Graduate School of Engineering), Longfei Yang (The University of Tokyo, Graduate School of Engineering), Xi Chen (The University of Tokyo, Graduate School of Engineering), Haitong Sun (The University of Tokyo, Graduate School of Engineering), Daisuke Saito (The University of Tokyo, Graduate School of Engineering), Nobuaki Minematsu (The University of Tokyo, Graduate School of Engineering) 💡 毒舌点评 论文精准地将当前MDD方法的不足归纳为“声学陷阱”和“语言学陷阱”，并给出了一个逻辑自洽且有效的解决方案CROTTC-IF，最终在多个数据集上取得了SOTA或极具竞争力的性能，展现了扎实的工程能力和清晰的学术思考。然而，论文对“声学权重λ”在真实场景中的最佳取值（如非实验环境、自发语音）缺乏讨论，且最终框架对λ的敏感性也暗示了“解耦”的理想与“融合”的现实之间仍存在张力。 ...

📄 DM-ASR: Diarization-aware Multi-speaker ASR with Large Language Models #语音识别 #说话人日志 #大语言模型 #多语言 #结构化预测 🔥 8.0/10 | 前25% | #说话人识别 | #大语言模型 | #语音识别 #说话人日志 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Li Li（武汉大学人工智能学院） 通讯作者：Ming Li（香港中文大学（深圳）） 作者列表：Li Li（武汉大学人工智能学院），Ming Cheng（武汉大学计算机科学学院），Weixin Zhu（腾讯天籁音频实验室），Yannan Wang（腾讯天籁音频实验室），Juan Liu（武汉大学人工智能学院），Ming Li（香港中文大学（深圳），通讯作者） 💡 毒舌点评 亮点： 论文最大的贡献在于提出了一种务实的“半端到端”框架，在当前端到端大模型尚未完全称霸的阶段，巧妙地将“说话人日志”这一成熟技术的输出作为结构化提示（Prompt）注入大语言模型（LLM），实现了用更小的模型、更少的数据达到甚至超越超大模型的效果，这为实际落地提供了一条高性价比路径。 短板： 框架高度依赖外部说话人日志系统的质量。尽管论文通过标签扰动训练提升了一定的鲁棒性，但本质上仍是“管道式”思维的变体，未能完全摆脱对上游模块的依赖。当面临日志系统完全失效的场景时，其性能上限可能会受到制约。 📌 核心摘要 要解决什么问题： 传统多说话人ASR（联合说话人识别、时间定位和文本转录）在级联方案中存在误差传播问题，而纯端到端大模型方案则需要海量数据和算力，训练成本高昂。论文旨在寻找一种更高效、更精确的平衡方案。 方法核心： 提出DM-ASR框架，将多说话人转录重构为多轮对话生成任务。给定音频和来自外部日志系统的分段说话人及时间信息，模型以这些信息为结构化提示（包含说话人ID和时间戳的特殊token），分“轮次”转录每个说话人在对应时段的文本内容。此外，模型可选地进行词级时间戳预测。 与已有方法相比新在哪里： 不同于级联方案： 不将日志结果用于音频分割再送入单说话人ASR，而是保留完整多说话人音频上下文，让LLM直接处理混合语音。 不同于端到端Speech-LLM： 不依赖模型从零学习日志能力，而是显式地将日志作为结构化先验输入，大幅简化任务，使小模型也能获得高性能。 独特能力： 支持词级时间戳生成（如表1所示），这在同类Speech-LLM工作中较为少见。 主要实验结果： 在中英文基准测试上，DM-ASR用0.6B/1.7B参数的模型，性能（cpCER/tcpCER）显著优于多种强基线（包括级联方案和7B级Speech-LLM）。例如，在AliMeeting测试集上，1.7B的DM-ASR (S2SND) 取得了19.15% cpCER 和 19.45% tcpCER，优于VibeVoice-ASR (7B) 的29.33% cpCER。消融实验表明，词级时间戳、更长上下文、更多数据和更大模型均带来稳定提升。 实际意义： 证明了在资源受限（模型、数据）的条件下，将传统语音处理模块（日志系统）的输出作为大模型的结构化提示，是一种非常有效的多模态融合范式。为会议转录等应用提供了一套高性价比、高精度的解决方案。 主要局限性： 框架性能受限于前端日志系统的质量。虽然可通过训练修正不完美日志，但论文显示在完全不依赖日志提示（LLM预测全部）的设置下，性能仍有差距，说明模型本身独立完成全任务的能力有待加强。 🏗️ 模型架构 DM-ASR的整体框架如下图所示，由四个主要组件构成： ...

📄 Earable Platform with Integrated Simultaneous EEG Sensing and Auditory Stimulation #音频事件检测 #信号处理 #多通道 #时频分析 📝 5.5/10 | 后50% | #音频事件检测 | #信号处理 | #多通道 #时频分析 | arxiv 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 -1.0 | 置信度 中 👥 作者与机构 第一作者：Min Suk Lee (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) 通讯作者：Yuchen Xu (yux013@ucsd.edu), Gert Cauwenberghs (gcauwenberghs@ucsd.edu) 作者列表： Min Suk Lee (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Abhinav Uppal (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Ananya Thota (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Chetan Pathrabe (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Rommani Mondal (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering) Akshay Paul (UC San Diego, Institute for Neural Computation) Yuchen Xu (UC San Diego, Institute for Neural Computation) Gert Cauwenberghs (UC San Diego, Shu Chien-Gene Lay Department of Bioengineering; Institute for Neural Computation) 💡 毒舌点评 亮点在于其将定制化耳道模型与Ag/AgCl干电极喷涂技术相结合，显著提升了信号质量和佩戴舒适度，为长期脑电监测提供了实用方案。短板是验证仅限于单个受试者，且其中一个对侧通道表现出显著噪声，这使得“稳健”、“长期”等宣称的普适性大打折扣，更像一个精心调校的原型机演示。 ...