A Text-To-Text Alignment Algorithm for Better Evaluation of Modern Speech Recognition Systems

📄 A Text-To-Text Alignment Algorithm for Better Evaluation of Modern Speech Recognition Systems #语音识别 #模型评估 #多语言 #开源工具 ✅ 7.5/10 | 前25% | #模型评估 | #模型评估 | #语音识别 #多语言 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Lasse Borgholt (Corti, Aalborg University, Pioneer Centre for AI) 通讯作者:Lasse Borgholt (lb@corti.ai) 作者列表: Lasse Borgholt (Corti, Copenhagen; Aalborg University, Department of Electronic Systems; Pioneer Centre for Artificial Intelligence, Copenhagen) Jakob Havtorn (Corti, Copenhagen) Christian Igel (Pioneer Centre for Artificial Intelligence, Copenhagen; University of Copenhagen, Department of Computer Science) Lars Maaløe (Corti, Copenhagen; Technical University of Denmark, Department of Applied Mathematics and Computer Science) Zheng-Hua Tan (Aalborg University, Department of Electronic Systems; Pioneer Centre for Artificial Intelligence, Copenhagen) 💡 毒舌点评 这篇论文的亮点在于巧妙地将动态规划与波束搜索结合,直击传统Levenshtein对齐在语音识别评估中的两大痛点(一对一约束与歧义),设计了一个实用且有效的工具。短板是作为评估方法论文,其核心贡献略显“工具化”,理论深度和新颖性有局限,且提出的GLE评估指标需要更多独立验证才能确立其公信力。 ...

2026-04-29

Constructing Composite Features for Interpretable Music-Tagging

📄 Constructing Composite Features for Interpretable Music-Tagging #音乐信息检索 #遗传编程 #音频分类 #开源工具 ✅ 7.5/10 | 前25% | #音乐信息检索 | #遗传编程 | #音频分类 #开源工具 学术质量 6.5/7 | 选题价值 0.0/2 | 复现加成 +1.0 | 置信度 高 👥 作者与机构 第一作者:Chenhao Xue (University of Oxford) 通讯作者:未说明 作者列表:Chenhao Xue (University of Oxford), Weitao Hu (Independent Researcher), Joyraj Chakraborty (University of Oxford), Zhijin Guo (University of Oxford), Kang Li (University of Oxford), Tianyu Shi (University of Toronto), Martin Reed (University of Essex), Nikolaos Thomos (University of Essex) 💡 毒舌点评 亮点:论文将遗传编程(GP)系统地应用于音乐特征构造,成功地将“可解释性”从特征重要性分析提升到了特征组合公式本身的透明化,为对抗深度学习黑箱提供了一条优雅的符号回归路径。短板:实验所用的GTZAN数据集已被认为过于简单且存在缺陷,在此之上取得的显著提升(如5%准确率)难以证明方法的普适性和先进性;同时,论文声称“接近深度学习SOTA”,但缺乏对当前最强端到端模型(如PANNs, Transformer)在相同条件下的公平对比,使得SOTA宣称略显单薄。 ...

2026-04-29

Denoising Of Stochastic Ray Tracing Room Impulse Responses

📄 Denoising Of Stochastic Ray Tracing Room Impulse Responses #空间音频 #信号处理 #数据集 #开源工具 #少样本 ✅ 7.5/10 | 前25% | #空间音频 | #信号处理 | #数据集 #开源工具 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者:Ricardo Falcón-Pérez(Aalto University, Finland; Tampere University, Finland) 通讯作者:未说明 作者列表:Ricardo Falcón-Pérez(Aalto University, Tampere University), Carl Schissler(Meta - Reality Labs Research), Andrew Francl(Meta - Reality Labs Research), Ishwarya Ananthabhotla(Meta - Reality Labs Research), Gregor Mueckl(Meta - Reality Labs Research) 💡 毒舌点评 亮点:论文最聪明的一点是避开了直接去噪复杂的RIR波形,转而利用射线追踪仿真过程本身产生的“副产品”——内部状态特征(如能量衰减曲线、路径统计直方图)作为输入,这为神经网络提供了宝贵的“仿真收敛度”先验信息,是解决该特定问题的有效设计。短板:作为一篇音频领域的论文,在提出了新的去噪方法后,却完全缺少了基于人类听音的主观评估实验(如MUSHRA或AB测试),无法直接证明其声称的“更准确”在感知上是否成立,这对于一项以提升听觉体验为目标的工作来说,说服链存在关键缺失。 ...

2026-04-29

ECHO: Frequency-Aware Hierarchical Encoding for Variable-Length Signals

📄 ECHO: Frequency-Aware Hierarchical Encoding for Variable-Length Signals #音频大模型 #音频分类 #自监督学习 #工业应用 #开源工具 🔥 9.5/10 | 前10% | #音频分类 | #自监督学习 | #音频大模型 #工业应用 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:Yucong Zhang(武汉大学计算机学院;苏州昆山杜克大学多模态智能系统苏州市重点实验室) 通讯作者:Juan Liu(武汉大学人工智能学院), Ming Li(武汉大学人工智能学院;苏州昆山杜克大学) 作者列表:Yucong Zhang(武汉大学计算机学院;苏州昆山杜克大学多模态智能系统苏州市重点实验室), Juan Liu†(武汉大学人工智能学院), Ming Li†(武汉大学人工智能学院;苏州昆山杜克大学)。†表示共同通讯作者。 💡 毒舌点评 亮点: 该论文成功地将频率感知和滑动窗口两大思想结合,构建了一个能优雅处理现实世界工业信号(采样率可变、长度可变)的通用基础模型,并通过一个前所未有的全面基准(SIREN)证明了其优越性,做到了“设计解决实际问题”和“实验证明设计有效”的闭环。 短板: 论文的实验全部基于离线、干净的学术数据集,对于工业界最关心的实时流式推理性能、计算资源消耗以及在嘈杂、非理想工况下的鲁棒性缺乏深入探讨,这使得其“工业应用”的宣称在现阶段更偏向于技术展示而非经过实战检验的方案。 📌 核心摘要 问题:现有的音频/信号基础模型大多基于视觉Transformer,依赖固定尺寸的频谱图输入和固定的预设采样率。处理可变长度信号需要截断/插值,破坏时序连续性;处理不同采样率信号需要重采样,导致信息损失。这限制了它们在通用机器信号监测(涵盖声学、振动等多模态、多采样率数据)中的应用。 方法核心:提出ECHO模型,其核心是“频率感知层级编码”。首先,将频谱图沿频率轴均匀分割为多个子带,并为每个子带计算基于其中心频率的相对位置编码,以适配任意采样率。其次,在每个子带上应用滑动窗口提取重叠的时间补丁,以处理任意长度的输入,无需填充或裁剪。最后,将每个子带的序列送入独立的ViT编码器,再将所有子带的分类令牌拼接成最终的层级化嵌入。 新意:与已有的频率分割模型(如FISHER)相比,ECHO创新性地引入了频率位置编码,使模型能显式地感知子带在全频谱中的相对位置,而非独立处理。与传统的固定补丁模型(如BEATs, EAT)相比,滑动补丁设计能更好地保留时序连续性,适应可变长度输入。ECHO旨在统一支持可变长度和可变采样率信号。 实验结果:在论文提出的统一评估基准SIREN上,ECHO(Small版)取得了77.65%的整体平均分,超过了最强基线FISHER(76.86%)和Dasheng(76.04%)。在故障分类任务平均准确率达到93.19%,位居第一;在DCASE异常检测任务平均得分62.11%,也达到最佳。相比FISHER,ECHO在所有DCASE年份和大部分故障分类数据集上均有提升。 模型 规模 参数量 SIREN总均分 DCASE任务均分 故障分类任务均分 ECHO Small 22M 77.65 62.11 93.19 FISHER Small 22M 76.86 61.00 92.73 Dasheng Base 86M 76.04 59.95 92.12 EAT Base 86M 74.23 60.84 87.62 BEATs Base 90M 71.86 61.86 81.86 实际意义:ECHO为工业设备的状态监测提供了一个强大的通用前端特征提取器。其处理可变采样率和长度的能力,使其能无缝集成来自不同传感器、不同工况的数据,无需预处理重采样或裁剪,简化了部署流程。开源代码和SIREN基准为社区提供了公平比较和推进该领域研究的平台。 主要局限:模型虽在学术数据集上表现优异,但缺乏在真实工业场景(高噪声、数据不平衡、极端故障模式)下的验证。论文未探讨模型的推理效率(如延迟、吞吐量),这对实时监测至关重要。此外,滑动窗口带来的计算量增加及其优化策略未做深入分析。 🏗️ 模型架构 ECHO的整体架构如图1所示,是一个端到端的处理流程,包含四个核心组件: ...

2026-04-29

Evaluating High-Resolution Piano Sustain Pedal Depth Estimation with Musically Informed Metrics

📄 Evaluating High-Resolution Piano Sustain Pedal Depth Estimation with Musically Informed Metrics #音乐信息检索 #模型评估 #数据集 #开源工具 🔥 8.0/10 | 前25% | #音乐信息检索 | #模型评估 | #数据集 #开源工具 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Hanwen Zhang (Schulich School of Music, McGill University) 通讯作者:未说明 (论文中未明确标注通讯作者) 作者列表:Hanwen Zhang (Schulich School of Music, McGill University), Kun Fang (Schulich School of Music, McGill University), Ziyu Wang (Courant Institute of Mathematical Sciences, New York University; Mohamed bin Zayed University of Artificial Intelligence), Ichiro Fujinaga (Schulich School of Music, McGill University) 💡 毒舌点评 亮点:论文没有满足于用MSE/MAE糊弄事,而是从钢琴演奏和教学的真实需求出发,硬生生构建了一套“动作-手势”二层评估体系,为模型诊断提供了像“病历”一样具体的反馈,这比单纯跑分更有价值。短板:所提出的评估框架依赖额外的后处理步骤(如滑动窗口回归、手势分割与分类),增加了评估流程的复杂度;且手势类型的四象限划分标准(阈值)是基于特定数据集统计得出的,其普适性未在其他数据集上验证。 ...

2026-04-29

MNV-17: A High-Quality Performative Mandarin Dataset for Nonverbal Vocalization Recognition in Speech

📄 MNV-17: A High-Quality Performative Mandarin Dataset for Nonverbal Vocalization Recognition in Speech #语音识别 #数据集 #语音大模型 #多任务学习 #开源工具 ✅ 7.5/10 | 前25% | #语音识别 | #数据集 | #语音大模型 #多任务学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Jialong Mai(华南理工大学) 通讯作者:Xiaofen Xing(华南理工大学) 作者列表: Jialong Mai(华南理工大学) Jinxin Ji(香港理工大学,同济大学) Xiaofen Xing(华南理工大学) Chen Yang(上海交通大学) Weidong Chen(香港中文大学) Jingyuan Xing(华南理工大学) Xiangmin Xu(华南理工大学,佛山大学) 💡 毒舌点评 亮点:论文精准切中了非语语音识别领域“数据荒”的痛点,并提供了一套从数据采集(LLM脚本生成)、标注(多模态LLM分割)到模型评估的完整解决方案,其17类平衡数据集的发布具有明确的实用价值。 短板:数据集总时长仅7.55小时,且采用“表演性”录制,其在真实、自发对话场景中的适用性存疑;实验虽全面但深度有限,仅评估了四个现成模型的微调性能,缺乏对数据本身声学特性或更复杂交互建模的深入探讨。 📌 核心摘要 问题:主流自动语音识别系统无法识别语音中嵌入的非语语音(如笑声、叹气、咳嗽),这限制了对人类交流中情感和意图的全面理解。主要瓶颈在于缺乏高质量、标注精准且类别平衡的训练数据集。 方法:本文提出了MNV-17数据集,一个7.55小时的普通话“表演性”语音数据集,包含17类常见非语语音。通过大语言模型生成上下文自然的脚本,确保类别平衡和分布合理。录音后,利用音频多模态大模型(Gemini)进行精确的句子级时间戳标注,并用ASR模型(Whisper)进行质量过滤。 新意:相比于现有数据集(类别3-10个,最大/最小频率比高达516),MNV-17拥有最多的17个类别,且类别分布极为平衡(最大/最小频率比仅为2.7)。其“表演性”采集方式旨在获得清晰、明确的非语语音实例。 结果:在四个主流ASR模型(SenseVoice, Paraformer, Qwen2-Audio, Qwen2.5-Omni)上进行了联合转录与非语语音分类基准测试。关键结果如表2所示:Qwen2.5-Omni在联合字符错误率上取得最佳3.60%。关键结果如表3所示:非语语音识别准确率(要求类型、数量、顺序完全匹配)最高为SenseVoice和Qwen2.5-Omni的57.29%。关键结果如表4所示:多任务预训练模型在增加非语语音识别任务后,其核心ASR性能损失很小甚至有所提升(Qwen2-Audio的CER从3.05%降至2.60%)。 意义:为表达性语音理解提供了关键资源,验证了大型多任务音频模型能有效整合非语语音识别能力,且不损害甚至提升其核心转录性能,为未来更人性化的对话系统奠定了基础。 局限性:数据集总规模较小;“表演性”数据与真实自发语音可能存在差异;实验评估集中于现有模型的微调,未提出针对该任务的新型模型架构。 🏗️ 模型架构 本文并未提出新的模型架构,而是将MNV-17数据集应用于评估四种现有的主流ASR架构,并对其进行联合任务微调。主要架构类型为: ...

2026-04-29

Polynomial Mixing for Efficient Self-Supervised Speech Encoders

📄 Polynomial Mixing for Efficient Self-Supervised Speech Encoders #语音识别 #自监督学习 #端到端 #低资源 #开源工具 🔥 8.0/10 | 前25% | #语音识别 | #自监督学习 | #端到端 #低资源 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Eva Feillet (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numériques; Miles team, Université Paris-Dauphine-PSL) 通讯作者:未说明 作者列表:Eva Feillet (Université Paris-Saclay, CNRS, LISN; Miles team, Université Paris-Dauphine-PSL), Ryan Whetten (Laboratoire Informatique d’Avignon, Avignon Université), David Picard (LIGM, École Nationale des Ponts et Chaussées), Alexandre Allauzen (Miles team, Université Paris-Dauphine-PSL) 💡 毒舌点评 亮点在于PoM的设计思想——用全局多项式状态来“总结”序列信息再广播回每个token,比简单的平均池化(SummaryMixing)理论上更具表达力,并被实验证实有效。短板是,尽管PoM在效率上实现了线性复杂度,但在最关键的WER指标上,它只是“接近”而非“超越”强MHA基线(如RelPosMHA),对于追求极致性能的应用场景,其吸引力可能有限;此外,论文中提出的“分割频率混合”等变体并未带来稳定收益,核心创新的增益边界尚未被完全厘清。 ...

2026-04-29

Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost

📄 Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost #语音合成 #迁移学习 #多语言 #低资源 #开源工具 🔥 8.0/10 | 前25% | #语音合成 | #迁移学习 | #多语言 #低资源 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Venkata Pushpak Teja Menta(论文中未提及其所属机构) 通讯作者:论文中未明确标注通讯作者 作者列表:Venkata Pushpak Teja Menta(未说明) 💡 毒舌点评 这篇论文像一次精准的外科手术,用BUPS“接骨”、LoRA“接肌”、语音提示“复健”这套组合拳,把一个不认字的“外国”大脑硬生生调教出了地道的印度口音,效果惊艳。遗憾的是,手术成功的病例报告只有10个,虽然每个都做得很漂亮,但要下“这方法对所有印度患者都有效”这样的结论,样本量还是寒酸了点,说服力打了折扣。 📌 核心摘要 问题:现有的开源多语言语音合成(TTS)基座(如Chatterbox)在覆盖关键印度语言(泰卢固语、泰米尔语)方面存在缺陷,无法直接进行高质量合成;而从头训练或依赖商业API成本高昂或受制于人。 核心方法:提出一个“最小干预”组合方案:(a) BUPS:将印度文字无损转换为拉丁字符(ISO-15919),让基座的拉丁文分词器能处理;(b) 最小参数LoRA:仅在文本预测器上训练适配器(占总参数0.97%),使用印地语作为语言ID代理;(c) 语音提示恢复:在推理时,提供同语言8-11秒参考音频,并调整采样参数(Config B),以恢复声学自然度。 创新:相较于从头训练或全面微调,本文创新在于通过“脚本路由(BUPS)+ 文本编码器轻量适配(LoRA)+ 推理时声学条件化(语音提示)”这一最小化、模块化的方式,解锁冻结基座模型的新语言能力。并设计了纯文本和代码混合的两套部署分支。 主要结果:在PSP基准测试的10句话小规模评测上: 泰卢固语:卷舌音错误率26.7%(优于Sarvam Bulbul的33.3%)。 泰米尔语:特有的“zha”音错误率71%(显著优于商业系统的86%)。 印地语:LLM-WER 0.025(与Cartesia Sonic-3持平),且意图保持率100%。 关键消融实验证明,对印地语施加相同的LoRA会严重损害性能,证实了该方法的适用范围。 实际意义:为资源有限的团队提供了一条零商业数据成本、低算力门槛的路径,将开源多语言TTS快速适配到高价值的印度语言市场,且代码和模型完全开源。 主要局限性:评测样本量小(每语言仅10句话),统计显著性不足;未进行正式的MOS主观评估;印度语的声学自然度(FAD)仍有差距;代码混合场景(英印夹杂)性能与商业系统相比仍有明显差距。 🏗️ 模型架构 论文的核心是一个三分支推理流水线(图1),根据输入文本类型路由到不同处理路径: ...

2026-04-29

SA-SSL-MOS: Self-Supervised Learning MOS Prediction with Spectral Augmentation for Generalized Multi-Rate Speech Assessment

📄 SA-SSL-MOS: Self-Supervised Learning MOS Prediction with Spectral Augmentation for Generalized Multi-Rate Speech Assessment #语音质量评估 #自监督学习 #数据增强 #多语言 #开源工具 ✅ 7.0/10 | 前50% | #语音质量评估 | #自监督学习 | #数据增强 #多语言 学术质量 4.2/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者:Fengyuan Cao(KTH Royal Institute of Technology, Stockholm, Sweden) 通讯作者:未说明 作者列表:Fengyuan Cao(KTH皇家理工学院),Xinyu Liang(KTH皇家理工学院),Fredrik Cumlin(KTH皇家理工学院),Victor Ungureanu(Google LLC),Chandan K. A. Reddy(Google LLC),Christian Sch¨uldt(Google LLC),Saikat Chatterjee(KTH皇家理工学院) 💡 毒舌点评 亮点:论文巧妙地设计了一个并行架构,将受限于16kHz的SSL特征与可处理48kHz的谱图特征相结合,直面并试图解决多速率语音评估中的高频信息丢失问题,两阶段训练策略在有限数据下提升了泛化能力。短板:所提方法在部分外部数据集(如腾讯中文数据集)上的性能反而低于仅使用SSL的基线模型,这表明其“谱图增强”分支可能引入了与语言或域不匹配的偏差,削弱了论文核心论点的一致性,且未与更前沿的多速率评估方法进行对比。 📌 核心摘要 问题:现有基于自监督学习(SSL)的语音质量评估(SQA)模型主要在16kHz语音上预训练,无法利用高采样率(24-48kHz)语音中的高频信息,导致对多速率语音的评估性能不佳。同时,公开的多速率MOS标注数据集规模较小,模型易过拟合且泛化能力弱。 方法核心:提出SA-SSL-MOS,一个并行的双分支架构。一个分支将音频下采样至16kHz,使用Wav2vec2-XLSR-2B的第9层特征;另一个分支将音频上采样至48kHz,提取对数谱图特征并由CNN处理。两个分支的特征拼接后预测MOS的均值和方差。此外,采用两阶段训练:先在大规模48kHz单速率数据集(NISQA)上预训练,再在少量多速率数据集(AudioMOS)上微调。 创新点:与已有SSL-Layer-MOS相比,新在通过并行谱图分支显式补充高频特征;并引入了针对多速率SQA的预训练-微调训练范式。 主要实验结果: 在AudioMOS测试集上,两阶段训练的SA-SSL-MOS取得了最佳的UTT SRCC(0.750)和UTT LCC(0.848)。 在泛化能力测试(表3)中,两阶段训练大幅提升了模型在多个外部数据集(如NISQA-Talk, TCD-VoIP)上的相关系数。但在Tencent w/o R(中文)数据集上,SA-SSL-MOS的MSE(1.192)高于基线(0.751),LCC(0.877)低于基线(0.917)。 | 模型 | 训练数据 | 测试集 (Tencent w/o R) | MSE ↓ | LCC ↑ | SRCC ↑ | | :--- | :--- | :--- | :--- | :--- | :--- | | baseline | AudioMOS train | Tencent w/o R | 1.002±0.054 | 0.691±0.023 | 0.687±0.024 | | SA-SSL-MOS (Ours) | AudioMOS train | Tencent w/o R | 1.097±0.057 | 0.669±0.035 | 0.666±0.033 | | baseline | NISQA+AudioMOS train | Tencent w/o R | 0.751±0.043 | 0.917±0.009 | 0.901±0.006 | | SA-SSL-MOS (Ours) | NISQA+AudioMOS train | Tencent w/o R | 1.192±0.124 | 0.877±0.024 | 0.891±0.010 | 实际意义:为处理不同采样率的语音质量评估提供了一种可扩展的框架,特别是在标注数据有限时,通过预训练提升泛化能力,对VoIP、高清通话等应用有潜在价值。 主要局限性:1) 谱图增强分支在跨语言(如中文)场景下可能产生负面迁移,导致性能下降。2) 高频信息提升评估准确性的核心论点在部分实验中(如腾讯数据集)未得到支持。3) 未与当前多速率SQA领域的其他SOTA方法进行对比。 🏗️ 模型架构 SA-SSL-MOS采用并行的双分支架构处理输入语音音频 x,并预测其MOS分数 y。 ...

2026-04-29

Sidon: Fast and Robust Open-Source Multilingual Speech Restoration for Large-Scale Dataset Cleansing

📄 Sidon: Fast and Robust Open-Source Multilingual Speech Restoration for Large-Scale Dataset Cleansing #语音增强 #语音合成 #自监督学习 #多语言 #开源工具 🔥 8.5/10 | 前25% | #语音增强 | #自监督学习 | #语音合成 #多语言 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:未说明 通讯作者:未说明 作者列表:Wataru Nakata(东京大学), Yuki Saito(东京大学), Yota Ueda(东京大学), Hiroshi Saruwatari(东京大学) 💡 毒舌点评 亮点:论文的工程落地和开源姿态堪称典范,将Google内部的强大模型(Miipher)以开源、高效、多语言的形式复现并发布,直接为社区提供了一个“开箱即用”的数据清洗利器。短板:核心模型架构是现有工作的直接套用(两阶段、SSL预测+声码器),创新主要体现在“用什么开源组件”和“怎么高效微调”上,而非提出新的范式或解决根本性挑战。 📌 核心摘要 解决的问题:高质量、多语言的录音室级别语音数据稀缺,限制了大规模TTS模型的发展。从网络等来源爬取的野外语音往往含有噪声、混响、编解码等失真,需要高效的清洗工具将其恢复为录音室质量。 方法核心:Sidon是一个开源的语音恢复模型,采用两阶段参数化重合成框架。第一阶段,使用在大量多语言数据上预训练的w2v-BERT 2.0 SSL模型作为特征预测器,通过LoRA微调,从带噪语音预测出对应的干净SSL特征。第二阶段,使用一个改进的HiFi-GAN声码器(采用snake激活),从预测的SSL特征直接生成48kHz的高保真语音波形。 与已有方法相比新在哪里:相比闭源的Google Miipher/Miipher-2,Sidon完全开源(代码、模型、训练数据)。相比其他开源方法,它首次支持大规模多语言(100+种)语音恢复,并在更大规模的多样化噪声数据上训练。技术上,它用开源的w2v-BERT 2.0替代了闭源USM,并使用更先进的声码器架构生成全带宽语音。 主要实验结果: 在英语恢复(LibriTTS测试集)上,Sidon在语音质量(NISQA, DNSMOS)和说话人相似度(SpkSim)上优于或持平于Miipher(表2)。 在100种语言恢复(FLEURS测试集)上,Sidon的平均字符错误率(CER)和DNSMOS得分优于Miipher-2,NISQA略低,但整体性能可比(表3)。 关键下游验证:使用Sidon清洗TED-LIUM数据集后训练F5-TTS模型,其合成语音的MOS得分(4.248)显著高于使用原始数据(3.254)或Demucs(3.265)、VoiceFixer(3.771)清洗后的数据(表4)。 效率:在单张H200 GPU上,批处理大小为8时,实时因子(RTF)约为0.002,即处理速度比实时快约500倍(表5)。 实际意义:提供了一个高效、可复现的工具,使研究社区能够轻松地对大规模、多语言、噪声条件多样的语音数据集进行清洗,从而为训练高质量的TTS模型(尤其是多语言和零样本场景)扫清数据障碍。 主要局限性:虽然性能接近Miipher-2,但在某些指标(如NISQA)上仍有微小差距。模型能力受限于w2v-BERT 2.0的特征表达和声码器的生成保真度,对于极端的或训练数据中未覆盖的失真类型,泛化能力有待验证。 🏗️ 模型架构 Sidon采用两阶段参数化重合成的框架,整体架构清晰地展示在图1 (pdf-image-page2-idx0) 中。 ...

2026-04-29