Posts

📄 nGPT as a Scalable Architecture for Speech Recognition and Translation #语音识别 #语音翻译 #nGPT #多语言 #位置编码 ✅ 7.5/10 | 前25% | #语音识别 | #nGPT | #语音翻译 #多语言 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Nune Tadevosyan (NVIDIA, Santa Clara, CA 95051, USA) (论文中注明*贡献相等) 通讯作者：未说明 作者列表：Nune Tadevosyan (NVIDIA), Nithin Rao Koluguri (NVIDIA), Monica Sekoyan* (NVIDIA), Piotr Zelasko (NVIDIA), Nikolay Karpov (NVIDIA), Jagadeesh Balam (NVIDIA), Boris Ginsburg (NVIDIA)。所有作者均隶属于NVIDIA公司。 💡 毒舌点评 亮点：在将Transformer编码器稳定扩展到3B参数上展现了工程实力，nGPT架构在单阶段训练下即在X→EN翻译任务上展现出强泛化能力，这是一个扎实的架构贡献。 短板：论文声称“首次将ALiBi应用于语音”，但核心贡献更像是将NLP领域成熟技术适配到语音任务，创新高度有限；同时，在ASR任务上，费尽心思提出的nGPT-3B在多阶段微调的1B FastConformer面前并未取得全面优势，削弱了其“可扩展性”叙事的部分说服力。 ...

📄 No Verifiable Reward for Prosody: Toward Preference-Guided Prosody Learning in TTS #语音合成 #强化学习 #偏好学习 #数据集 🔥 8.0/10 | 前25% | #语音合成 | #强化学习 | #偏好学习 #数据集 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Seungyoun Shin（Channel Corporation, Seoul, South Korea） 通讯作者：Sungwook Jeon（NAVER Cloud, South Korea）† 作者列表：Seungyoun Shin（Channel Corporation），Dongha Ahn（Kernelspace），Jiwoo Kim（成均馆大学， Sungkyunkwan University），Sungwook Jeon（NAVER Cloud） 💡 毒舌点评 论文精准地“诊断”了现有RL训练TTS的通病——用CER/NLL当奖励，模型就只会当“背稿机器”，丢了人说话的腔调。提出的“每轮用200对人类偏好对打补丁”的迭代DPO方案，确实用最小的数据代价把韵律给“救”回来了，ELO分数吊打一众基线，这是其最大亮点。但短板在于，DPO本身已不是新方法，论文的创新更多是“对症下药”的工程应用和验证，而非方法论上的突破，且每轮都要人工标注，扩展性存疑。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：论文发布了新的评测集KoCC-TTS，并给出了HuggingFace链接：https://huggingface.co/datasets/channelcorp/KoCC-TTS-testset。 Demo：提供了演示页面链接：https://tts.ch.dev。 复现材料：论文提供了训练数据的大致规模（36k小时公开数据，18小时专有数据）、模型架构基础（Llasa-1B）、以及关键实验设置（如DPO的迭代流程、偏好对数量）。��未提供完整的训练超参数、配置文件或模型检查点。 论文中引用的开源项目： 模型：Llasa (https://huggingface.co/HKUSTAudio/Llasa-1B) 工具：pyannote.audio (v3.0), Whisper-large-v3 数据：AIHUB (https://aihub.or.kr/) 📌 核心摘要 要解决什么问题：在神经TTS中，使用基于转录错误率（CER）和负对数似然（NLL）的强化学习（如GRPO）优化模型，虽然提升了语音识别准确性，但会导致生成的语音韵律单调、不自然（“韵律坍塌”）。同时，简单加入说话人相似度奖励会破坏训练稳定性。 ...

📄 Noise-Robust AV-ASR Using Visual Features both in the Whisper Encoder and Decoder #语音识别 #预训练 #音视频 #鲁棒性 🔥 8.0/10 | 前25% | #语音识别 | #预训练 | #音视频 #鲁棒性 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhengyang Li（Technische Universität Braunschweig, Institute for Communications Technology） 通讯作者：未说明 作者列表：Zhengyang Li（Technische Universität Braunschweig, Institute for Communications Technology），Thomas Graave（Technische Universität Braunschweig, Institute for Communications Technology），Björn Möller（Technische Universität Braunschweig, Institute for Communications Technology），Zehang Wu（Technische Universität Braunschweig, Institute for Communications Technology），Matthias Franz（Technische Universität Braunschweig, Institute for Communications Technology），Tim Fingscheidt（Technische Universität Braunschweig, Institute for Communications Technology） 💡 毒舌点评 亮点：在LRS3基准的噪声测试（MUSAN babble, 0dB SNR）中，基于Whisper medium的“双用”方法相比强力的中间融合基线（Flamingo）取得了高达57%的相对错误率降低（4.07% vs. 9.53%），噪声鲁棒性提升非常显著且可复现。短板：方法的性能高度依赖于一个独立的、参数量庞大的预训练视觉编码器（AV-HuBERT large， 325M参数），这使得整个AV-ASR系统的总参数量远大于音频单模态Whisper，为实际部署（尤其是资源受限场景）带来了显著的计算开销。 ...

📄 Noise-Robust Contrastive Learning with an MFCC-Conformer for Coronary Artery Disease Detection #音频分类 #对比学习 #Conformer #鲁棒性 #医疗AI ✅ 7.0/10 | 前50% | #音频分类 | #对比学习 | #Conformer #鲁棒性 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Milan Marocchi, Matthew Fynn（*表示贡献相等） 通讯作者：未说明 作者列表：Milan Marocchi（Curtin University），Matthew Fynn（Curtin University），Yue Rong（Curtin University） 机构：Curtin University, Bentley 6102, WA, Australia（未说明具体学院或实验室） 💡 毒舌点评 论文的亮点在于将相对复杂的Conformer架构成功应用于心音信号，并设计了一个实用的多通道噪声段拒绝流程，在真实噪声数据集上验证了其有效性。短板是，其噪声拒绝核心算法（能量阈值）的创新性较为有限，且消融实验部分缺失，使得我们难以精确评估各个组件（如对比学习、中心损失、噪声拒绝）的具体贡献。 🔗 开源详情 代码：提供了完整的代码仓库链接：https://github.com/MilanMarocchi/noise-robust-cad-conformer。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：数据集来自特定医院的采集，论文中未提及公开该数据集。 Demo：未提供在线演示。 复现材料：论文提供了详细的超参数配置（表1）、训练策略、硬件环境、评估指标定义等，有利于复现。代码仓库的提供是最大的复现支持。 论文中引用的开源项目：提到了使用的开源工具包括PyTorch、Optuna（用于超参优化）、AdamW优化器（参考文献[14]）。 📌 核心摘要 要解决什么问题：在真实临床噪声环境下，提高基于心音图（PCG）信号的冠状动脉疾病（CAD）检测的鲁棒性和准确性。 方法核心是什么：提出一个包含噪声感知预处理和深度学习分类的端到端流程。核心包括：(1) 一种基于能量的多通道噪声段拒绝算法，利用听诊器内置的心声麦克风（HM）和噪声参考麦克风（NM）识别并剔除受非平稳噪声污染严重的信号段；(2) 一个将梅尔频率倒谱系数（MFCC）作为输入的Conformer编码器，并结合监督混合对比学习（包含对比损失、分类损失和中心损失）进行训练。 与已有方法相比新在哪里：首次将Conformer模型应用于心音分类任务；提出了一种联合利用HM和NM能量信息的噪声段拒绝方法；在同一个框架内集成了多通道MFCC特征提取、Conformer建模和混合对比学习，以应对真实世界噪声数据。 主要实验结果如何：在297名受试者的数据集上，所提出的方法（带噪声拒绝）在受试者级别取得了78.4%的准确率和78.2%的平衡准确率（UAR），相比不进行噪声拒绝的基线模型，准确率和UAR分别提升了4.1%和4.3%。与之前基于Wav2Vec 2.0的方法相比，准确率和UAR分别提升了1.3%和3.9%。具体实验数据如下表所示（仅列受试者级别关键指标）： 方法 准确率 (Acc) 平衡准确率 (UAR) 真阳性率 (TPR) 真阴性率 (TNR) MCC 不带噪声拒绝的MFCC-Conformer 74.3±0.09% 73.9±0.10% 80.9±0.11% 66.9±0.30% 0.490±0.019 本文方法（带噪声拒绝的MFCC-Conformer） 78.4±0.29% 78.2±0.32% 81.9±0.49% 74.5±0.97% 0.570±0.058 Noisy Wav2Vec 2.0 [13] 77.1±1.50% 74.3±1.73% 86.5±1.30% 62.0±2.76% 0.510±0.035 实际意义是什么：为在真实世界噪声条件下（如嘈杂的医院环境）进行无创、低成本的CAD预筛查提供了更鲁棒的深度学习解决方案，有助于推动基于可穿戴设备的心脏病早期预警技术。 主要局限性是什么：实验仅在一个来源的特定数据集上进行验证；噪声拒绝算法的阈值（2.5倍中值）是固定的，缺乏自适应性讨论；论文未提供充分的消融实验以区分各技术组件（噪声拒绝、Conformer、对比学习等）的独立贡献。 🏗️ 模型架构 论文提出的模型是一个基于Conformer的编码器，用于处理从多通道PCG信号中提取的MFCC特征序列，以实现二分类（CAD vs. 正常）。 ...

📄 Noise-to-Notes: Diffusion-Based Generation and Refinement for Automatic Drum Transcription #音乐信息检索 #扩散模型 #生成模型 #鲁棒性 🔥 8.0/10 | 前10% | #音乐信息检索 | #扩散模型 | #生成模型 #鲁棒性 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（论文未明确标注） 通讯作者：未说明（论文未明确标注） 作者列表：Michael Yeung（Sony Group Corporation, Tokyo, Japan）、Keisuke Toyama（Sony Group Corporation, Tokyo, Japan）、Toya Teramoto（Sony Group Corporation, Tokyo, Japan）、Shusuke Takahashi（Sony Group Corporation, Tokyo, Japan）、Tamaki Kojima（Sony Group Corporation, Tokyo, Japan） 💡 毒舌点评 亮点：首次将扩散模型作为生成范式应用于自动鼓转录（ADT），不仅在多个基准测试上超越了所有判别模型，还展示了在音频部分缺失情况下的“修复”能力，这在ADT乃至更广的音乐转录领域都是新颖的。 短板：论文的核心卖点是“生成模型超越判别模型”，但作为生成模型的代价是推理速度显著慢于同等性能的判别模型（例如，单步推理0.163s vs. 0.086s），这使得其在实时或低延迟应用场景中的实用性大打折扣。 ...

📄 Non-Line-of-Sight Vehicle Detection via Audio-Visual Fusion #音频分类 #多模态模型 #时频分析 #Conformer #声源定位 🔥 8.0/10 | 前25% | #音频分类 | #多模态模型 | #时频分析 #Conformer 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Huaxuan Wang（北京理工大学机械工程学院） 通讯作者：Huilong Yu（北京理工大学机械工程学院）；Wei Zhou（Cardiff University, School of Computer Science and Informatics） 作者列表：Huaxuan Wang（北京理工大学机械工程学院），Huilong Yu（北京理工大学机械工程学院），Ruizeng Zhang（北京理工大学机械工程学院），Wei Zhou（Cardiff University, School of Computer Science and Informatics），Junqiang Xi（北京理工大学机械工程学院） 💡 毒舌点评 亮点：论文思路清晰，将“看不见的场景结构”（通过BEV图像表示）与“听得见的目标线索”（音频多域特征）显式融合，逻辑上自洽，实验也证明在特定场景下性能提升有效。短板：融合方式相对直接（拼接向量），且BEV生成依赖于已有地图和人工标注，限制了该框架在完全未知环境中的泛用性；验证仅限于公开数据集上的T型路口，现实复杂路况的鲁棒性存疑。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开数据集OVAD和AOVD，但论文未提供额外数据或获取指南。 Demo：未提及。 复现材料：论文给出了一些训练超参数（学习率、batch size、epoch数、优化器），但未提供完整的配置文件、训练脚本或模型检查点。BEV生成的具体算法细节（如特征提取和LoS分析）描述较粗略。 论文中引用的开源项目：未明确提及依赖的具体开源工具/模型库（如PyTorch是框架，未特指某开源实现）。 📌 核心摘要 问题：自动驾驶车辆在交通盲区（如T型路口）无法直接感知突然出现的障碍物，现有感知手段（摄像头、雷达）受限于视距，而传统音频感知方法忽略了场景结构对声波传播的决定性影响。 方法核心：提出一个场景感知的音视频融合网络。核心是引入鸟瞰图（BEV）来显式表征场景空间结构，并从车载麦克风阵列音频中提取时频谱图和DOA能量谱图。网络采用三分支结构处理这些特征，其中音频分支创新性地结合了LSTM、CNN和Conformer模块，以建模音频信号的时序依赖与全局局部特征。 新颖性：相较于之前仅依赖音频或未考虑场景结构的方法，本工作的主要创新在于：a) 显式构建并利用BEV图像融入场景结构先验；b) 在音频特征处理中引入Conformer模块，增强了模型对复杂声学特征的建模能力。 实验结果：在OVAD和AOVD两个真实世界数据集上，该方法的整体准确率分别达到94.1%和97.0%（移除BEV分支），显著优于SVM（88.2%， 90.8%）和pCRNN（92.6%， 95.4%）等基线方法。消融实验验证了BEV分支和Conformer模块的有效性。 实际意义：为智能车辆在交叉路口等视距受限场景提供了新的、更可靠的早期碰撞预警方案，提升了自动驾驶的安全性。 主要局限性：系统性能高度依赖于先验的BEV地图生成（需要卫星图像和手动标注），限制了部署的灵活性；研究聚焦于T型路口这一特定场景，未在更复杂或未知环境中验证其泛化能力。 🏗️ 模型架构 论文提出的整体框架如 图1 (pdf-image-page2-idx0) 所示，是一个用于遮挡车辆分类的音视频融合网络。系统处理流程如下： ...

📄 Obstructive Sleep Apnea Endotype Prediction During Wakefulness Using Voice Biomarkers #语音生物标志物 #多任务学习 #自编码器 #特征选择 #医疗健康 ✅ 6.5/10 | 前50% | #语音生物标志物 | #多任务学习 | #自编码器 #特征选择 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Shiva Akbari（多伦多大学生物医学工程研究所、KITE研究所） 通讯作者：未说明 作者列表：Shiva Akbari（多伦多大学生物医学工程研究所、KITE研究所）、Behrad Taghibeyglou（多伦多大学生物医学工程研究所、KITE研究所）、Atousa Assadi（多伦多大学生物医学工程研究所、KITE研究所）、Dominick Madulid（麦克马斯特大学）、Devin Brown（密歇根大学神经学系）、Daniel Vena（哈佛医学院布莱根妇女医院睡眠与昼夜节律疾病科）、Scott Sands（哈佛医学院布莱根妇女医院睡眠与昼夜节律疾病科）、Azadeh Yadollahi（多伦多大学生物医学工程研究所、KITE研究所） 💡 毒舌点评 亮点：首次尝试从清醒期语音直接预测OSA的核心生理内型（气道塌陷性和肌肉补偿性），这个思路跳出了传统睡眠监测的框架，为低成本个性化诊断开辟了极具想象力的道路。短板：仅靠45人的小样本就得出强相关性结论，且缺乏外部验证集和与更强大基线的对比，这份“可行性”的证据链显得有些脆弱，离临床应用还有很长的路要走。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：未提及是否公开及获取方式。 Demo：未提及。 复现材料：未提供详细的训练配置、超参数搜索过程或检查点。 论文中引用的开源项目：提及使用了Librosa（用于声学特征提取）、Parselmouth（用于语音特征提取）、PUPbeta toolkit（用于从PSG数据提取内型金标准）等开源工具。 总体：论文中未提及开源计划。 📌 核心摘要 这篇论文旨在解决阻塞性睡眠呼吸暂停（OSA）个性化治疗中的一个关键瓶颈：如何非侵入性地确定其潜在病理生理内型（如气道塌陷性、肌肉补偿能力）。现有方法依赖昂贵且侵入性的多导睡眠监测（PSG）或食道压测定。论文提出了一种全新的机器学习框架，在患者清醒状态下，利用其持续元音发声的声学特征来预测这些内型。其核心方法是：首先，利用一个同时优化特征重构和内型预测任务的监督自编码器，将高维声学特征压缩至32维潜在表示；然后，通过互信息最大化进一步筛选出最相关的20个特征；最后，将这些特征输入一个采用Swish激活、批量归一化和Dropout的改进型多层感知机（MLP）进行回归预测。与传统机器学习方法相比，该方法的创新点在于整合了监督表征学习、特征选择和深度回归模型，以应对小样本和高维数据的挑战。主要实验结果表明，该框架在45名参与者的数据集上，预测气道塌陷性（r=0.8）和肌肉补偿性（r=0.83）与金标准测量值表现出高相关性，且MAE较低（见下表）。这证明了语音生物标志物作为非侵入性、可扩展的OSA内型预测工具的潜力。然而，该研究的主要局限性包括：样本量较小（n=45）可能限制泛化能力；仅聚焦于两个与发声结构最相关的内型；未在独立数据集上进行外部验证。 主要实验结果对比（表2）： ...

📄 Off-The-Grid Multi-Pitch Estimation Using Optimal Transport #音乐信息检索 #信号处理 #鲁棒性 #优化算法 #模型比较 ✅ 7.5/10 | 前25% | #音乐信息检索 | #信号处理 | #鲁棒性 #优化算法 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Anton Björkman（阿尔托大学信息与通信工程系） 通讯作者：未说明 作者列表：Anton Björkman（阿尔托大学信息与通信工程系）、Filip Elvander（阿尔托大学信息与通信工程系） 💡 毒舌点评 本文的核心亮点在于用最优传输（OT）的优雅数学框架，系统性地解决了传统多音高估计方法长期受限于“网格”和“完美谐波假设”两大痛点，在理论上更具通用性。然而，其短板也十分明显：方法依赖外部先验估计器的初始化，且实验部分仅限于有限场景下的蒙特卡洛模拟，缺乏真实复杂音频数据的验证，说服力有待加强。 🔗 开源详情 代码：提供了代码仓库链接 https://github.com/anton-bman/OTG-PEOT，论文中注明包含算法实现、命题证明、区间（7）及更新式（8）的推导。 模型权重：未提及。 数据集：未提及公开数据集，实验基于论文内描述的合成数据生成方式。 Demo：未提及。 复现材料：提供了详细的算法描述、关键公式和超参数设置，为复现提供了必要信息。 论文中引用的开源项目：论文未明确提及依赖的其他开源工具或模型。 📌 核心摘要 要解决什么问题：本文旨在解决多音高估计中的两大挑战：一是传统方法依赖于预定义的离散音高网格，限制了估计精度；二是大多数方法假设信号为完美谐波结构，对实际信号中存在的非谐波性（inharmonicity）敏感。 方法核心是什么：提出一种基于最优传输（OT）的框架，将音高估计问题建模为将信号频谱质量（measure）重新分配到基频质量的过程。通过块坐标下降法交替优化两个变量：传输计划（描述频谱能量如何流向基频）和基频估计值本身。 与已有方法相比新在哪里： 去网格化：首次在OT框架下实现了对基频的连续值估计，摆脱了固定网格的限制，理论上可获得更高精度。 适应非谐波：通过设计特定的地面代价函数（ground-cost function），使算法能够适应轻微的非谐波偏差。 优化策略：引入局部二次近似和迭代更新，将高度非凸的OT问题转化为可高效求解的凸问题序列。 主要实验结果如何： 论文通过蒙特卡洛模拟（3音高信号，800采样点）进行评估。图2显示，在完美谐波信号下，所提方法（结合PESCOT-2先验）的粗大误差率（GER）在所有信噪比（SNR）下均为最低，但低噪时的均方根误差（RMSE）略逊于PEBSI-lite。 图3显示，在非谐波信号（SNR=5dB）下，随着非谐波参数σ∆增大，所提方法的RMSE保持稳定且GER持续很低，而PEBSI-lite的性能则急剧恶化。 论文未提供具体的数值表格，关键对比结论均来自对图2、图3的描述。 实际意义是什么：该方法为语音处理、音乐信息检索等领域中，对频率成分复杂、非谐波特性明显的信号（如弦乐器、人声）进行高精度音高分析提供了新的理论框架。 主要局限性是什么： 依赖先验：算法的初始化依赖于另一个先验音高估计器（如PESCOT-2），若先验不准可能影响最终性能。 实验局限：实验仅限于合成信号的仿真，未在真实世界复杂音频（如混合乐器录音、带噪声的语音）上验证。 任务垂直：解决的是一个特定信号处理子问题，潜在应用范围相对狭窄。 🏗️ 模型架构 本文提出的是一个基于优化理论的算法框架，而非神经网络架构。其核心流程如下： ...

📄 OMNI-AVSR: Towards Unified Multimodal Speech Recognition With Large Language Models #语音识别 #多任务学习 #多模态模型 #大语言模型 #音视频 🔥 8.5/10 | 前10% | #语音识别 | #多任务学习 | #多模态模型 #大语言模型 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Umberto Cappellazzo（Imperial College London, UK） 通讯作者：未说明 作者列表：Umberto Cappellazzo（Imperial College London, UK）、Xubo Liu（University of Surrey, UK）、Pingchuan Ma（Imperial College London, UK）、Stavros Petridis（Imperial College London, UK）、Maja Pantic（Imperial College London, UK） 💡 毒舌点评 这篇论文的亮点在于其“统一”和“弹性”的工程设计思想——用一个模型搞定三种语音识别任务，并在推理时按需调整计算量，这比训练一堆专用模型要高明得多，且实验数据扎实。但短板在于，其“统一”建立在对现有LLM（Llama/Qwen）的微调之上，核心创新更多是训练范式和适配策略的巧妙组合，而非提出一个新的基础架构，因此其天花板可能受限于基础LLM的能力。 🔗 开源详情 代码：论文提供了代码仓库链接：https://github.com/umbertocappellazzo/Omni-AVSR。 模型权重：论文中未提及是否公开预训练或微调后的完整模型权重。 数据集：使用公开的LRS2和LRS3数据集，论文中未说明是否提供额外数据。 Demo：论文中未提及在线演示。 复现材料：论文详细说明了模型架构、训练细节（优化器、学习率、轮数、增强策略）、关键超参数（LoRA秩、压缩率、束搜索设置）等，复现信息较为充分。 论文中引用的开源项目：主要依赖预训练模型：Whisper（音频编码器）、AV-HuBERT（视频编码器）、Llama 3.2（LLM骨干）。 📌 核心摘要 问题：现有的基于大语言模型（LLM）的语音识别方法通常为听觉语音识别（ASR）、视觉语音识别（VSR）和音视频语音识别（AVSR）分别训练独立的模型，这导致了高昂的计算和部署成本，且忽略了任务间的潜在协同。此外，它们依赖固定的令牌压缩率，限制了在准确率和效率之间灵活权衡的能力。 方法核心：本文提出Omni-AVSR，一个统一的音视频LLM框架，能在单一模型中支持ASR、VSR和AVSR，并支持弹性推理。其核心技术包括：a) 优化后的“套娃表示学习”训练范式，通过在训练时随机采样音频和视频压缩率，将训练成本从与压缩率组合数成正比降低到仅与任务数成正比；b) 探索了三种基于LoRA的参数高效微调策略（Omni-LoRA-S/T/ST），以平衡共享与任务特异性。 创新点：与先前工作相比，Omni-AVSR首次在单一模型中同时实现了：i) 对ASR、VSR和AVSR三种任务的统一支持；ii) 支持弹性推理的多粒度训练。这使其训练和部署资源需求显著低于需要为每个任务和压缩率组合训练单独模型的方法（如Llama-AVSR）。 实验结果：在LRS2和LRS3数据集上，Omni-AVSR在三种任务和多种压缩率下均达到与或优于独立SOTA模型（如Llama-AVSR, Llama-MTSK）的性能。例如，在LRS3上，Omni-AVSR-T的平均WER达到7.9%。模型在噪声环境下表现出鲁棒性。通过缩放实验发现，1-3B参数的LLM在性能与效率间取得了良好平衡。关键结果如下表所示： 表I：LRS2与LRS3数据集上不同压缩率的ASR/VSR/AVSR结果（WER%） ...

📄 On deepfake voice detection - It’s all in the presentation #音频深度伪造检测 #数据增强 #自监督学习 #预训练 #鲁棒性 🔥 8.0/10 | 前25% | #音频深度伪造检测 | #数据增强 | #自监督学习 #预训练 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（作者列表按字母顺序排列） 通讯作者：未说明 作者列表：Héctor Delgado（Microsoft）、Giorgio Ramondetti（Microsoft）、Emanuele Dalmasso（Microsoft）、Gennady Karvitsky（Microsoft）、Daniele Colibro（Microsoft）、Haydar Talib（Microsoft） 💡 毒舌点评 论文最大的亮点在于它跳出技术细节，直指领域痛点：当前研究普遍在“无菌实验室”里训练模型，却指望它们能解决“菜市场”里真实发生的诈骗，通过精心设计的实验有力地证明了“数据呈现方式”比“模型规模”更能决定实战效果。但短板也十分明显，作为一个强调“现实世界有效性”的工业界工作，却吝于公开核心代码、模型和训练细节，这极大地削弱了其主张的可复现性和社区推动潜力，让人怀疑其方法论推广的诚意。 🔗 开源详情 代码：论文中未提及代码链接。仅提供了一个用于测试协议的GitHub仓库名称，但未给出具体URL。 模型权重：未提及公开任何模型权重。 数据集：部分使用了公开数据集（ASVspoof， MLS， Switchboard等），但本文构建的核心新数据集（Presented类别和Realworld的Fraud Academy数据集）未公开。 Demo：未提供在线演示。 复现材料：论文详细描述了训练策略、超参数和硬件配置，提供了Table 1和Table 2的详细数据。然而，缺失模型权重和代码，使得从零复现变得极其困难。 引用的开源项目：论文在方法和数据部分引用了多个开源项目，包括： TTS引擎：ElevenLabs， play.ht， OpenAI Voice Engine， Mars5， YourTTS 数据集：ASVspoof 2019/5， MLS English， Switchboard， VoxCeleb， Fisher Spanish等（具体见参考文献） 模型/工具：WavLM (预训练模型)， HIFI-GAN/WaveGrad/WaveNet (声码器)， Encodec/Vocos (编解码器)， RawBoost (数据增强) 📌 核心摘要 这篇论文指出，当前深度伪造语音检测领域的研究数据集和方法过于理想化（使用原始纯净音频），导致训练出的模型难以泛化到真实世界通过电话等信道传输的伪造语音。为解决此问题，作者提出了一个完整的“欺骗攻击序列”框架，不仅包含深度伪造语音生成，还关键性地纳入了通过扬声器播放或直接注入电话的“呈现”阶段。基于此，他们构建了包含不同“呈现”方式的新型训练数据集（Presented）和一个完全保留真实场景、未用于训练的“真实世界”测试集（Fraud Academy）。实验表明，在训练中加入“呈现”数据，能显著提升模型在真实场景下的性能：在更稳健的实验室设置中准确率提升39%，在真实世界基准上提升57%。此外，论文证明，优化数据集带来的性能提升，比使用更大、更昂贵的SOTA模型更为重要。主要的局限性是，所提出的轻量级模型在处理扬声器播放场景时性能仍有不足，且整体研究未开源核心代码与权重。 ...