Icassp-2026

📄 Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners #模型评估 #语音增强 #数据增强 #预训练 #鲁棒性 ✅ 7.5/10 | 前25% | #模型评估 | #数据增强 | #语音增强 #预训练 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Boxuan Cao, Linkai Li (共同贡献，论文中标记为“*”) 通讯作者：Haoshuai Zhou, Shan Xiang Wang (论文中标记为“†”) 作者列表： Boxuan Cao (Orka Labs Inc., China) Linkai Li (Orka Labs Inc., China; Stanford University, Electrical Engineering, United States) Hanlin Yu (University of British Columbia, Electrical Engineering, Canada) Changgeng Mo (Orka Labs Inc., China) Haoshuai Zhou (Orka Labs Inc., China) Shan Xiang Wang (Orka Labs Inc., China; Stanford University, Electrical Engineering, United States) 💡 毒舌点评 论文巧妙地将“语音增强”这个预处理步骤变成了可懂度预测模型的一部分，通过“让模型比较增强前后差异”来模拟侵入式方法中“比较干净和嘈杂信号”的过程，这个思路既实用又有点小聪明。然而，论文对跨数据集泛化失败的根本原因（如听者特征差异、录音条件差异）只是简单描述，提出的“2-clips”增强策略虽然有效，但对其为何有效的机制解释略显单薄，更像是一个实用技巧的报告，而非深入的原理探究。 ...

📄 Leveraging prediction entropy for Automatic prompt weighting in Zero-Shot Audio-Language Classification #音频分类 #零样本 #多模态模型 #基准测试 #模型评估 ✅ 7.5/10 | 前25% | #音频分类 | #零样本 | #多模态模型 #基准测试 学术质量 6.2/7 | 选题价值 1.3/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Karim El Khoury† (ICTEAM, UCLouvain, Belgium)， Maxime Zanella† (ICTEAM, UCLouvain, Belgium; ILIA, UMons, Belgium)， Tiffanie Godelaine† (ICTEAM, UCLouvain, Belgium) （论文注明†表示贡献均等） 通讯作者：未说明 作者列表：Karim El Khoury (ICTEAM, UCLouvain, Belgium)， Maxime Zanella (ICTEAM, UCLouvain, Belgium; ILIA, UMons, Belgium)， Tiffanie Godelaine (ICTEAM, UCLouvain, Belgium)， Christophe De Vleeschouwer (ICTEAM, UCLouvain, Belgium)， Benoît Macq (ICTEAM, UCLouvain, Belgium) 💡 毒舌点评 本文提出的“熵最小化”加权策略，是一个将视觉领域思路巧妙迁移到音频-语言模型提示集成的优雅解决方案，其轻量级（可忽略的计算开销）和无需标注数据的特性使其具备即插即用的实用价值。然而，整篇论文的创新和验证都高度绑定在一个较为陈旧的模型（CLAP-2022）上，缺乏在新近、更强大的音频-语言模型（如Audio-MAE， Pengi）上的验证，这极大地限制了其贡献的通用性和时效性。 ...

📄 Leveraging Segment-Level Speech Representations for LLM-Based Speech Recognition #语音识别 #语音大模型 #预训练 #自监督学习 #大语言模型 ✅ 7.0/10 | 前50% | #语音识别 | #语音大模型 | #预训练 #自监督学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Sanlong Jiang（昆明理工大学） 通讯作者：Shengxiang Gao（昆明理工大学，论文中标注为“*”对应作者） 作者列表：Sanlong Jiang（昆明理工大学；云南人工智能重点实验室）、Ling Dong（昆明理工大学；云南人工智能重点实验室）、Wenjun Wang（昆明理工大学；云南人工智能重点实验室）、Shengxiang Gao（昆明理工大学；云南人工智能重点实验室） 💡 毒舌点评 本文的核心亮点在于提出了“段级语音表示”这一结构化压缩思路，巧妙地将K-means聚类与语音边界发现相结合，相比于朴素的帧拼接或下采样，能更“语言学地”压缩语音，从而更好地与文本对齐。然而，短板也同样明显：一是所有验证实验仅在单一的英语有声书数据集（LibriSpeech）上进行，对于其反复强调的“对低资源语言有益”的潜力完全停留在推测层面，缺乏任何跨语言或多语言实验的支撑；二是“音素到词”的预微调阶段依赖外部的CMU发音词典，这在非英语或非标准发音体系的语言中可行性存疑。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开的模型权重。 数据集：使用了公开的LibriSpeech数据集和CMUdict词典，但未提供数据预处理或生成“音素-词”映射数据的具体脚本。 Demo：未提及在线演示。 复现材料：论文中提供了较为详细的模型架构描述、训练超参数（学习率、batch size、优化器等）、实验设置和提示模板（表1），这些信息对复现有一定帮助。但缺少关键的实现细节，如数据预处理流程、K-means聚类的具体实现、LoRA层的具体插入位置等。 论文中引用的开源项目：依赖预训练的语音编码器（Wav2vec 2.0 Large, HuBERT Large）和LLM（TinyLLaMA, Sailor2），这些模型本身是公开的。框架参考了SLAM-LLM。 论文中未提及开源计划。 📌 核心摘要 要解决的问题：在构建基于大语言模型的自动语音识别系统时，如何有效压缩过长的语音序列长度，同时尽可能保留原始语音的结构和时序信息，以克服语音-文本模态间的长度不匹配问题。 方法核心：提出一种基于段级语音表示的LLM-ASR框架。首先，使用预训练的语音编码器提取特征；然后，通过K-means聚类将连续的语音特征帧划分为离散的语音段，每个段内的帧进行平均池化，形成结构化的段级表示，从而实现压缩；最后，通过一个简单的线性投影层将段级表示映射到LLM的嵌入空间，与文本提示一起输入LLM进行解码。 与已有方法的创新点：相比基于CTC、卷积或固定帧拼接的压缩方法，该方法通过聚类和边界检测生成“段级表示”，更符合语音的天然单元结构（如音素），实现了“结构化”压缩，旨在更好地保留细粒度信息和语音-文本对齐关系。此外，还设计了仅基于文本的“音素到词”预微调任务，让LLM提前适应从离散语音单元到文本的转换。 主要实验结果：在LibriSpeech数据集上，所提方法显著优于基线SLAM-LLM。例如，使用Wav2vec 2.0 Large + TinyLLaMA-Chat，仅使用段级表示（无LoRA）在test-clean上的WER为8.37%，优于SLAM-LLM+LoRA的10.21%；结合音素到词预微调和LoRA后，在test-clean和test-other上分别达到6.82%和12.52%的最优WER。消融实验表明，128个聚类中心是性能较优的设置。跨编码器/LLM组合的实验也显示了方法的普适性优势。 实际意义：该方法为解决LLM-ASR中的序列压缩问题提供了一种有效且轻量的（投影层参数少）新思路。其结构化压缩和文本预微调的策略，对于减少标注数据依赖、提升低资源语言语音识别性能具有潜在价值。 主要局限性：研究局限于英语单一数据集和特定组合的预训练模型（Wav2vec 2.0, HuBERT, TinyLLaMA等）；缺乏在更复杂语言（如汉语、阿拉伯语）或实际低资源场景下的验证；“音素到词”任务依赖外部词典，可能限制其在无标准词典语言中的应用；未探讨实时流式识别等更贴近实际部署的场景。 🏗️ 模型架构 图1: pdf-image-page2-idx0] ...

📄 Leveraging Text-to-Speech and Voice Conversion as Data Augmentation for Alzheimer’s Disease Detection from Spontaneous Speech #语音生物标志物 #数据增强 #语音合成 #语音转换 #语音识别 ✅ 7.0/10 | 前50% | #语音生物标志物 | #数据增强 | #语音合成 #语音转换 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Sina Rashidi（哥伦比亚大学欧文医学中心） 通讯作者：未说明 作者列表：Sina Rashidi（哥伦比亚大学欧文医学中心），Yasaman Haghbin（哥伦比亚大学欧文医学中心），Hossein Azadmaleki（哥伦比亚大学欧文医学中心），Ali Zolnour（哥伦比亚大学欧文医学中心），Maryam Zolnoori（哥伦比亚大学欧文医学中心） 💡 毒舌点评 论文的亮点在于直击临床语音数据稀缺的痛点，巧妙地将大语言模型生成诊断特定文本与语音合成/转换相结合，构成了一套针对ADRD检测的端到端增强框架，并在实验中展示了显著的性能提升。然而，其短板在于作为一篇方法论论文，对生成数据可能引入的分布偏移、领域外泛化性，以及临床部署中至关重要的伦理与隐私风险讨论不足，且关键的复现细节（如完整训练脚本、生成样本的定性评估）缺失，使其更多像一个成功的系统集成案例，而非深入的方法学探索。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：使用的是公开���DementiaBank Pitt Corpus和ADReSSo 2021测试集。 Demo：未提供在线演示。 复现材料：论文描述了方法框架和部分参数（如SpecAugment设置、特征选择），但缺乏完整的训练脚本、配置文件和超参数搜索细节。 论文中引用的开源项目：提到了以下开源工具/模型：WhisperX, LLaMA-3.1-405B (用于说话人分离), mGTE, mHuBERT, Whisper, LLaMA-3.1-8B-Instruct, medGemma-27B-it, SparkTTS-0.5B, OpenVoice。 📌 核心摘要 问题：基于语音的阿尔茨海默病及相关痴呆（ADRD）检测受限于高质量患者语音数据的稀缺，这限制了深度学习模型（尤其是Transformer）的性能。 方法核心：提出两种生成式语音数据增强管道：(1) TTS管道：先微调LLM（如LLaMA-3.1-8B、medGemma-27B）生成诊断特定的合成文本，再通过零样本TTS（SparkTTS）生成语音；(2) 语音转换（VC）管道：通过基于声学特征的图论配对，使用OpenVoice在说话人之间转换语音，以增加声学多样性同时保留语言内容。 新在哪里：相比传统的SpecAugment等信号域扰动方法，生成式方法能提供更丰富的、具有临床相关性的语言与声学变异性。TTS管道创新性地引入了LLM生成诊断特定文本来驱动语音合成。 主要实验结果：在DementiaBank Pitt Corpus训练，ADReSSo 2021测试集上评估。TTS管道在纯声学模型（SpeechCARE-Whisper）上取得最佳性能，Micro-F1从80.2%提升至90.1%，F1-ADRD从82.9%提升至90.4%。多模态模型（SpeechCARE-AGF）在TTS+VC组合下取得最佳性能（Micro-F1 84.5%）。关键对比如下表： 模型 方法 Micro-F1 (%) F1-ADRD (%) SpeechCARE-AGF 基线 77.4 75.0 TTS管道 78.8 76.1 VC管道 78.8 76.9 TTS+VC 84.5 84.5 SpeechCARE-Whisper 基线 80.2 82.9 频率掩蔽 85.9 87.1 时间掩蔽 87.3 88.3 时间偏移 85.9 87.1 TTS管道 90.1 90.4 VC管道 90.1 90.1 TTS+VC 90.1 90.1 实际意义：为构建可扩展、非侵入性的ADRD语音筛查工具提供了数据层面的解决方案，有助于缓解临床数据收集的困难。 主要局限性：生成语音的质量和保真度未进行详细评估；方法高度依赖于生成模型（LLM， TTS）的质量和可用性；未探讨模型在不同口音、语言及更多样化人群上的泛化能力；伦理考量（如使用合成医疗数据）讨论有限。 🏗️ 模型架构 论文主要描述了两个用于ADRD检测的下游分类模型架构，以及用于数据增强的生成管道。 ...

📄 Leveraging Whisper Embeddings For Audio-Based Lyrics Matching #音频检索 #音乐信息检索 #对比学习 #Whisper #多语言 ✅ 7.0/10 | 前50% | #音乐信息检索 | #对比学习 | #音频检索 #Whisper 学术质量 5.0/7 | 选题价值 1.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Eleonora Mancini（博洛尼亚大学，DISI） 通讯作者：未说明 作者列表：Eleonora Mancini（博洛尼亚大学，DISI）、Joan Serrà（Sony AI）、Paolo Torroni（博洛尼亚大学，DISI）、Yuki Mitsufuji（Sony AI， Sony Group Corporation） 💡 毒舌点评 亮点在于将“可复现性”作为核心卖点并切实执行，在音乐信息检索领域提供了第一个透明的歌词匹配端到端管线，这对建立公平的学术比较至关重要。短板则是其核心技术创新略显不足，本质上是将现有的优秀组件（Whisper、Transformer、对比学习）进行有效组装，缺少对歌词语义表征学习本身更深入的建模或理论分析。 🔗 开源详情 代码：提供。论文明确给出了代码仓库链接：https://github.com/helemanc/audio-based-lyrics-matching。 模型权重：论文中提到了“models’ checkpoints”，但未明确说明是否公开下载。未提供。 数据集：论文使用了三个公开数据集（DVI， SHS， LYC），并说明了数据收集和处理方式。未提供自己的新数据集。 Demo：论文中未提及在线演示。 复现材料：提供了充分的训练细节（优化器、学习率、调度、批量大小、早停条件等）、超参数设置和评估协议，可复现性高。 论文中引用的开源项目： Whisper [1]（预训练ASR模型） Sentence-BERT (SBERT) [18]（用于基线） 可能引用的其他基线实现（如CLEWS [6]， ByteCover [7,8]）。 📌 核心摘要 解决的问题：现有的基于音频的歌词匹配方法面临可复现性差、基线不一致、依赖文本转录或复杂流程等问题，阻碍了公平比较和领域发展。 方法核心：提出WEALY（Whisper Embeddings for Audio-based LYrics matching），一个端到端的、可复现的管线。其核心是直接从原始音频中提取Whisper解码器的隐状态（歌词感知嵌入），然后通过一个轻量级Transformer编码器和广义均值（GeM）池化，将其映射为紧凑的向量表示，并使用对比学习（NT-Xent损失）在音乐版本识别（MVI）任务上训练。 与已有方法相比新在哪里：主要创新不在于提出全新的模型架构，而在于：a) 完全摒弃了文本转录步骤，直接从音频特征中学习歌词表征；b) 提供了从代码到模型检查点的完全透明、可复现的实现；c) 在多个数据集上建立了标准化的歌词匹配基线；d) 通过消融研究系统分析了损失函数、池化策略、多语言能力等关键设计选择。 主要实验结果：WEALY在三个数据集（DVI, SHS, LYC）上均显著优于基于转录文本（TF-IDF, ASR-SBERT）和简单平均嵌入的基线。例如，在SHS数据集上，WEALY的MAP为0.640，而最强的文本基线ASR-SBERT-Cosine仅为0.508。消融研究表明，NT-Xent损失优于三元组损失和CLEWS损失；GeM池化优于简单平均；保留Whisper的多语言能力比强制英语解码性能更高（0.640 vs 0.578）。初步的多模态融合实验（WEALY+CLEWS）在SHS上达到了0.912 MAP，超越了单一模态的最佳性能。 实际意义：为音乐信息检索、版权检测、音乐发现等应用提供了一个可靠、开源的歌词匹配工具和研究基准，推动了该领域的可复现研究。 主要局限性：a) 核心方法组合创新性有限；b) 作为代理任务的MVI与纯粹的歌词匹配任务可能存在差距；c) 尽管多模态融合效果好，但歌词匹配本身的性能仍低于纯音频内容模型（如CLEWS的0.876 MAP）。 🏗️ 模型架构 WEALY采用一个两阶段的管线架构，如图1所示： ...

📄 Lightweight and Generalizable Acoustic Scene Representations Via Contrastive Fine-Tuning and Distillation #音频场景理解 #对比学习 #知识蒸馏 #少样本学习 #模型压缩 🔥 8.0/10 | 前25% | #音频场景理解 | #对比学习 | #知识蒸馏 #少样本学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kuang Yuan（卡内基梅隆大学，实习期间于Meta Reality Labs完成） 通讯作者：未说明 作者列表：Kuang Yuan（卡内基梅隆大学，Meta Reality Labs）、Yang Gao（Meta Reality Labs）、Xilin Li（Meta Reality Labs）、Xinhao Mei（Meta Reality Labs）、Syavosh Zadissa（Meta Reality Labs）、Tarun Pruthi（Meta Reality Labs）、Saeed Bagheri Sereshki（Meta Reality Labs） 💡 毒舌点评 亮点：精准地抓住了传统声学场景分类（ASC）模型“类别固定、无法迁移”的痛点，并将对比学习与表征蒸馏巧妙结合，从理论（结构化嵌入空间）到实验（开放集少样本适应）都给出了令人信服的解决方案。短板：论文自称为“轻量级”，但最轻的CP-Mobile学生模型也有6K参数，而用于对比的教师模型BEATs本身并非轻量级模型，这使得“轻量级”的对比语境稍显模糊；另外，实验仅在一个主要数据集（TAU22）上进行全量训练和蒸馏，开放集评估虽跨了两个数据集，但规模有限，泛化性的论证还可以更强。 ...

📄 Lightweight and Perceptually-Guided Voice Conversion for Electro-Laryngeal Speech #语音转换 #语音增强 #自监督学习 #低资源 #领域适应 ✅ 7.5/10 | 前25% | #语音转换 | #自监督学习 | #语音增强 #低资源 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Benedikt Mayrhofer（格拉茨理工大学 信号处理与语音通信实验室；维也纳医科大学 综合人工智能医学中心） 通讯作者：未说明（论文提供了多位作者的邮箱，未明确指定通讯作者） 作者列表：Benedikt Mayrhofer（格拉茨理工大学 信号处理与语音通信实验室；维也纳医科大学 综合人工智能医学中心）、Franz Pernkopf（格拉茨理工大学 信号处理与语音通信实验室）、Philipp Aichinger（维也纳医科大学 耳鼻喉科，语音学与语言治疗科；维也纳医科大学 综合人工智能医学中心）、Martin Hagmüller（格拉茨理工大学 信号处理与语音通信实验室；维也纳医科大学 综合人工智能医学中心） 💡 毒舌点评 这篇论文的亮点在于精准的“临床需求驱动工程适配”，它没有空谈大模型，而是针对电子喉语音的具体缺陷（无F0、机械噪声），对现有流式架构StreamVC进行了务实而有效的“减法”改造（移除音高/能量模块）和“加法”增强（感知引导损失），实验设计严谨且消融分析充分。短板在于创新更多是“组合”与“调优”，缺乏一个能引发范式思考的核心算法突破，且模型在韵律生成和极端噪声下的可懂度方面仍有明显差距。 🔗 开源详情 代码：论文中提供了项目主页链接 https://spsc-tugraz.github.io/lw-elvc-icassp26/，其中可能包含代码。论文正文提到模型代码基于一个非官方StreamVC实现2（https://github.com/yuval-reshef/StreamVC），但未明确说明本文所有组件的代码是否完全开源。 模型权重：未提及是否公开预训练或微调后的模型权重。 数据集：使用了公开的德语语料（Common Voice, HUI, MLS）和公开的EL-HE平行数据库[20]。论文未提及自建新数据集。 Demo：未提及在线演示。 复现材料：论文给出了详细的超参数设置（学习率、批大小、训练步数、优化器参数、模型大小等）、数据预处理流程（对齐、增强）和损失函数组合，复现信息较为充分。 论文中引用的开源项目：StreamVC非官方实现、mHuBERT-147、Whisper、FCPE音高估计器、FastSpeech2（未直接使用，但在相关工作提及）。 📌 核心摘要 这篇论文针对喉切除患者使用的电子喉（EL）语音存在音高单调、韵律缺失和机械噪声的问题，提出了一种轻量级且感知引导的语音转换（VC）方法。其核心方法是在现有的流式Voice Conversion架构StreamVC基础上进行针对性适配：1）移除了不适用于EL语音的音高（F0）和能量估计模块以简化模型；2）设计了一种利用Whisper编码器特征和DTW对EL-HE（健康语音）平行数据进行时间对齐的预处理流程；3）在训练中引入了包括WavLM感知损失、人类反馈（HF）损失、可懂度损失等多种感知引导损失函数。与已有方法相比，本文的新意在于为EL语音转换这一特殊场景提供了端到端的轻量级流式解决方案，并系统评估了不同感知损失组合的影响。实验结果表明，最佳模型配置（+WavLM+HF）将EL语音的字符错误率（CER）从88.2%大幅降低至41.9%，将自然度评分（nMOS）从1.1提升至3.3，显著缩小了与健康语音的差距。其实际意义在于为语音康复提供了一种低延迟、轻量化的潜在工具。主要局限性是韵律生成和极端条件下的可懂度仍是瓶颈。 ...

📄 Lightweight Implicit Neural Network for Binaural Audio Synthesis #空间音频 #隐式神经网络 #轻量模型 #端到端 #信号处理 ✅ 7.0/10 | 前25% | #空间音频 | #隐式神经网络 | #轻量模型 #端到端 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xikun Lu（华东师范大学 上海市人工智能教育重点实验室，华东师范大学 计算机科学与技术学院） 通讯作者：Jinqiu Sang（华东师范大学 计算机科学与技术学院，邮箱：jqsang@mail.ecnu.edu.cn） 作者列表：Xikun Lu（华东师范大学 上海市人工智能教育重点实验室，华东师范大学 计算机科学与技术学院）、Fang Liu（未说明）、Weizhi Shi（贵州工业职业技术学院 大数据与信息工程系）、Jinqiu Sang（华东师范大学 计算机科学与技术学院） 💡 毒舌点评 亮点：巧妙地将隐式神经表征（INR）从连续场重建迁移到了动态的频谱校正任务上，用一个紧凑的MLP（0.15M参数）就建模了复杂的时变声学传递函数，这种“小而美”的设计思路值得肯定。 短板：消融实验止步于“有/无”模块和编码器的比较，未能进一步剖析隐式网络本身的关键超参数（如层数、宽度、频率编码维数）对性能的敏感性，使得最优架构的选择缺乏更深入的理论或经验支撑。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/Luxikun669/Lite-INN 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用公开的Binaural Speech数据集，但未说明如何获取或提供下载链接（需参考原始数据集论文）。 Demo：论文中未提及在线演示。 复现材料：提供了关键的实现细节，包括：STFT参数（窗长512，帧移256），TDW模块的改编说明，IBC的MLP结构（3层，256单元），频率/时间编码带数（8/12），优化器（AdamW），学习率调度（余弦退火，1e-3至1e-6），损失权重（λ1=1.0, λ2=0.01），训练轮数（100），批次大小（32）。 论文中引用的开源项目：改编自WarpNet [10]的时间域翘曲模块。 总结：论文提供了代码和核心复现配置，但缺少预训练权重、详细训练日志和更完整的环境说明。 📌 核心摘要 问题：高保真双耳音频合成（从单声道生成具有空间感的立体声）是VR/AR等沉浸式体验的关键，但现有基于深度学习的方法模型庞大，难以在计算资源有限的边缘设备上实时运行。 方法核心：提出一个名为Lite-INN的两阶段轻量级框架。第一阶段使用时间域翘曲（TDW）模块生成初步的双耳信号以近似双耳时间差（ITD）；第二阶段将初步信号转换到时频域，并通过一个新颖的隐式双耳校正器（IBC）模块，将每个时频点的增益和相位校正建模为空间位置、耳朵索引、频率和时间坐标的连续函数，从而进行精细的频谱修正。 新意：将频谱校正任务重新定义为隐式神经表示问题，使用一个小型多层感知机（MLP）直接预测每个时频bin的复数增益。这与之前基于卷积或注意力机制的方法不同，能以极低的参数量（0.15M）建模复杂的动态声学特性。 主要实验结果：在Binaural Speech数据集上，Lite-INN相比最轻量的基线NFS，在参数量上减少72.7%（从0.55M到0.15M），计算量（MACs）降低21.5%（从3.40G到2.67G）。主观MOS测试表明，其感知质量（MOS-Q/S/Sim）与最高的WaveNet基线无统计显著差异（p > 0.05），且显著优于NFS和DPATFNet（p < 0.05）。其客观指标如Wave-ℓ2（0.167）、IPD-ℓ2（1.233）处于竞争力水平。 模型 参数量(M) ↓ MACs(G) ↓ Wave-ℓ2 ↓ IPD-ℓ2 ↓ NFS [13] 0.55 3.400 0.172 1.250 DPATFNet [14] 2.42 15.64 0.148 1.020 Lite-INN (Ours) 0.15 2.670 0.167 1.233 实际意义：成功在合成质量与计算效率之间取得了良好平衡，其极小的模型尺寸（0.15M参数）和低计算需求（RTF 0.121）使其非常适合部署在手机、耳机等边缘设备上，实现实时的高保真空间音频渲染。 主要局限性：隐式校正器（IBC）对动态场景（如声源快速移动）的建模能力依赖于输入的连续坐标编码，其泛化能力和对未见轨迹的表现未经充分验证。此外，消融实验未探讨IBC内部网络结构（如深度、宽度）的影响。 🏗️ 模型架构 本文提出的Lite-INN是一个两阶段的端到端框架，目标是从单声道音频x和随时间变化的声源位姿P(t)合成双耳音频y。 ...

📄 Lightweight Phoneme-Conditioned Bandwidth Extension for Body-Conducted Speech #语音增强 #轻量化模型 #条件生成 #流式处理 ✅ 7.5/10 | 前25% | #语音增强 | #条件生成 | #轻量化模型 #流式处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Davide Albertini（STMicroelectronics） 通讯作者：未说明 作者列表：Davide Albertini（STMicroelectronics）、Alessandro Ilic Mezza（Politecnico di Milano） 💡 毒舌点评 这篇论文很聪明地找到了“信息瓶颈”所在——不是网络容量不够，而是缺乏对语音内容本身的先验引导，并用非常工程友好的方式（FiLM调制）将其注入。然而，论文的“轻量级”声明在实验验证上略显单薄，仅基于FP32参数量估算模型大小，未探讨量化、剪枝等进一步压缩的可能性，且S2P模块的额外计算开销和部署复杂性被淡化了。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用公开的Vibravox数据���[19]，论文中给出了数据集引用，但未提供其直接下载链接（通常需通过论文引用获取）。 Demo：未提供在线演示。 复现材料：提供了部分关键训练超参数（优化器、学习率、批大小、早停设置）和模型配置（层数、维度、Mamba参数），但缺少完整的训练脚本、数据预处理代码和模型检查点。 论文中引用的开源项目：提到了依赖的工具：使用ludlows的PESQ实现[22]和pystoi进行评估；使用Lightning Fabric计算FLOPS；Mamba实现参考了alxndrTL的mambapy。这些是评估和参考工具，而非核心代码。 总结：论文中未提及开源计划。复现主要依赖论文描述的细节和对引用工具的了解。 📌 核心摘要 问题：身体传导（BC）传感器在嘈杂环境下采集的语音因低频噪声和高频衰减而变得模糊，严重影响可理解性。现有的深度学习带宽扩展（BWE）方法虽然有效，但模型体积和计算量对于可穿戴微控制器（通常<4MB RAM）来说过于庞大。 方法核心：提出PhonCon框架，利用一个冻结的语音到音素（S2P）分类器提供的音素先验信息，通过特征级线性调制（FiLM或其时变版本TFiLM）来调制一个紧凑的循环神经网络（LSTM或Mamba）的隐藏状态，从而指导BWE过程。该设计避免了增加输入维度或破坏流式处理。 创新点：与以往通过增加网络深度或容量，或使用PPGs作为辅助输入的方法不同，本文创新性地使用音素逻辑值通过FiLM/TFiLM直接调制中间层表示，实现了更高效的信息注入。特别是将Mamba这种高效的状态空间模型与TFiLM条件化结合，在效率与性能间取得了新平衡。 实验结果：在Vibravox数据集上，所有条件化模型（FiLM/TFiLM）在PESQ和STOI上均优于对应的非条件化基线。最佳模型TFiLM-Mamba在模型大小（2.99MB）和计算量（53.55 MFLOPS）远低于EBEN（7.42MB，1334.77 MFLOPS）和TRAMBA（19.7MB，3063.32 MFLOPS）的情况下，取得了具有竞争力的性能，并显著优于DDAE和TRAMBA基线。具体对比见下表。 模型 参数量 大小 (MB) MFLOPS DDAE [7] 468 K 1.87 29.25 EBEN (生成器) [3] 1.9 M 7.42 1334.77 TRAMBA [4] 5.2 M 19.7 3063.32 LSTM 382 K 1.52 46.22 FiLM-LSTM 538 K 2.15 64.91 TFiLM-LSTM 1.7 M 6.84 112.86 Mamba 146 K 0.58 17.69 FiLM-Mamba 292 K 1.17 35.19 TFiLM-Mamba 748 K 2.99 53.55 实际意义：为在资源严苛的可穿戴设备（如智能耳机、头盔）上实现实时、高质量的BC语音增强提供了可行的轻量级解决方案。 主要局限性：1) S2P模块的精度（PER ~33%）不高，虽然论文称其仍有效，但未深入分析不同错误率对最终BWE性能的影响边界。2) 仅在单一数据集（Vibravox，法语）上验证，缺乏跨语言或跨数据集的泛化性证明。3) 未探讨模型量化、剪枝等进一步的TinyML优化潜力。 🏗️ 模型架构 PhonCon是一个端到端的序列到序列模型，整体架构如图1所示，旨在将BC语音的log-mel谱图映射为接近AC语音的log-mel谱图。其核心包含三个串联组件： ...

📄 Lingometer: On-Device Personal Speech Word Counting System #语音活动检测 #端到端 #低资源 #数据增强 #模型评估 🔥 8.0/10 | 前25% | #语音活动检测 | #端到端 | #低资源 #数据增强 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yuhwan Kim（Korea Advanced Institute of Science and Technology, South Korea） 通讯作者：Hyun W. Ka（Korea Advanced Institute of Science and Technology, South Korea） 作者列表：Yuhwan Kim（Korea Advanced Institute of Science and Technology, South Korea）、Junghun Lee（Korea Advanced Institute of Science and Technology, South Korea）、Baekho Kim（Korea Advanced Institute of Science and Technology, South Korea）、Hyun W. Ka（Korea Advanced Institute of Science and Technology, South Korea） 注：论文注明前两位作者贡献均等。 💡 毒舌点评 亮点：系统设计巧妙，通过“PVAD筛选 + WCE计数”的管道式架构，优雅地解决了设备端语音分析中的隐私与功耗矛盾，为数字生物标志物研究提供了合规的实用工具。 短板：WCE模型严重依赖词边界（音节起始点）的帧级标注，这在多语言或资源匮乏语言中可能成为瓶颈；实验部分缺少与更强基线（如大型端到端语音识别模型在相同轻量化约束下）的直接对比。 ...