TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

📄 TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling #语音大模型 #端到端 #语音对话系统 #大语言模型 #自回归模型 🔥 8.0/10 | 前25% | #语音对话系统 | #端到端 | #语音大模型 #大语言模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Liang-Hsuan Tseng (刘亮轩) (台湾大学电机工程学系研究所;MediaTek Research实习) 通讯作者:未明确说明。作者列表中第二作者Yi-Chang Chen(联发科技研究中心)和第四作者Da-shan Shiu(联发科技研究中心)提供了邮箱,可能负责主要联络。 作者列表: Liang-Hsuan Tseng (台湾大学电机工程学系研究所, MediaTek Research实习) Yi-Chang Chen (MediaTek Research) Kuan-Yi Lee (台湾大学电机工程学系研究所, MediaTek Research实习) Da-shan Shiu (MediaTek Research) Hung-yi Lee (台湾大学人工智能研究卓越中心) 💡 毒舌点评 这篇论文的亮点在于它跳出了“先有语音token,再想办法与文本对齐”的常规思路,从源头设计了一种与文本一一对应的语音标记,巧妙解决了SLM建模中的长度不匹配痛点,使得联合建模变得“straightforward”,效果立竿见影。然而,其高度依赖ASR(Whisper)来获取文本锚点,这意味着模型性能上限可能受限于ASR的准确性和泛化能力,且对于非语言声音(如笑声、环境声)的处理存在明显短板,暴露了当前“文本中心主义”语音建模范式的局限性。 ...

2026-05-02 · 更新于 2026-05-19 · 2 min · 318 words

UniSS: Unified Expressive Speech-to-Speech Translation with Your Voice

📄 UniSS: Unified Expressive Speech-to-Speech Translation with Your Voice #语音翻译 #自回归模型 #大语言模型 #数据集 #预训练 ✅ 7.5/10 | 前25% | #语音翻译 | #自回归模型 | #大语言模型 #数据集 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Sitong Cheng(香港科技大学) 通讯作者:Yike Guo(香港科技大学),Wei Xue(香港科技大学) 作者列表:Sitong Cheng(香港科技大学)、Weizhen Bian(香港科技大学)、Xinsheng Wang(Soul AI Lab)、Ruibin Yuan(香港科技大学)、Jianyi Chen(香港科技大学)、Shunshun Yin(Soul AI Lab)、Yike Guo(香港科技大学,通讯作者)、Wei Xue(香港科技大学,通讯作者) 💡 毒舌点评 本文最大的亮点在于“化繁为简”,通过精巧的token设计和提示策略,将复杂的多模态语音翻译任务“降维”成了预训练大语言模型熟悉的序列生成问题,并取得了SOTA级的性能,证明了这条路径的可行性。短板在于其高度依赖特定的、非原创的语音tokenizer(BiCodec, GLM-4)和合成数据集(UniST),这虽然是一种聪明的工程集成,但也意味着其核心创新更多体现在系统集成与训练范式上,而非底层表示学习的突破。 🔗 开源详情 代码:论文中未提及代码开源计划或提供代码仓库链接。 模型权重:未提及是否公开预训练或微调后的UniSS模型权重。 数据集:论文明确贡献了UniST数据集(44.8k小时),并提供了项目主页链接(https://cmots.github.io/uniss-demo),其中可能包含数据获取或申请方式(论文未详细说明获取途径)。 Demo:提供了在线演示网站(https://cmots.github.io/uniss-demo/)。 复现材料:在附录B.1中提供了非常详细的训练配置(三阶段数据、超参数、硬件、优化器设置),并声称遵循可复现原则。引用了使用的开源框架(Megatron-LM)和基础模型(Qwen2.5)。 论文中引用的开源项目:Megatron-LM(训练框架),vLLM(推理部署),Transformers库(评估),webMUSHRA(主观评估)。 📌 核心摘要 要解决什么问题:现有语音到语音翻译(S2ST)系统存在架构复杂(级联或两阶段)、难以保留说话人音色/情感风格、以及未能充分利用大型语言模型(LLM)预训练翻译能力三大挑战。 方法核心是什么:提出UniSS,一个基于预训练LLM(Qwen2.5-1.5B)的单阶段统一S2ST框架。它采用三类离散语音token(说话人token、语言token、语义token)分别建模风格、内容和生成目标,并通过跨模态思维链(CoT)提示(Listen-Translate-Speak)将LLM的文本翻译能力迁移到语音领域。 与已有方法相比新在哪里:(1)架构更简单:采用单阶段自回归模型,无需级联或多模态转换器。(2)能力迁移更直接:通过设计的提示格式,显式激活并利用LLM内部的翻译知识,而非将其仅视为黑盒序列转换器。(3)性能更全面:在翻译质量、说话人相似度、情感保持和时长一致性上全面超越现有方法。 主要实验结果:在CVSS-T基准上,UniSS (Q) 的英文到中文和中文到英文的Speech-BLEU分别达到32.20和24.28,显著超过基线(如Seamless-Ex的24.45/15.84)。其说话人相似度MOS达4.42,情感相似度MOS达4.51,时长一致性(SLC 0.4)接近完美(0.99/0.97)。关键消融实验证明,去除跨模态CoT提示会导致翻译质量暴跌约15个BLEU点。 实际意义是什么:为构建下一代更简单、高效、高质量的语音翻译系统提供了新范式。其发布的UniST大规模数据集(44.8k小时)也极大缓解了该领域高质量平行数据稀缺的问题。 主要局限性是什么:(1)模型和方法目前仅验证了中英双向翻译。(2)核心语音tokenizer并非本文原创,词汇表扩展较大。(3)数据集依赖于合成语音,其上限受合成模型质量制约。 🏗️ 模型架构 UniSS是一个端到端的自回归语言模型,其整体架构可概括为“统一tokenization -> LLM自回归生成 -> detokenization合成”。 ...

2026-05-02 · 更新于 2026-05-19 · 2 min · 338 words

YuE: Scaling Open Foundation Models for Long-Form Music Generation

📄 YuE: Scaling Open Foundation Models for Long-Form Music Generation #音乐生成 #预训练 #歌唱语音合成 #自回归模型 ✅ 7.5/10 | 前10% | #音乐生成 | #预训练 | #歌唱语音合成 #自回归模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:Ruibin Yuan(香港科技大学,MAP) 通讯作者:未说明(论文列出了多位通讯作者,按字母排序:Jiaheng Liu, Jian Yang, Wenhao Huang, Wei Xue, Xu Tan, Yike Guo) 作者列表:Ruibin Yuan(香港科技大学,MAP), Hanfeng Lin(香港科技大学,MAP), Shuyue Guo(MAP), Ge Zhang(MAP,密歇根大学), Jiahao Pan(香港科技大学,MAP), Yongyi Zang(独立), Haohe Liu(萨里大学,MAP), Yiming Liang(MAP), Wenye Ma(MBZUAI,MAP), Xingjian Du(罗切斯特大学,MAP), Xeron Du(MAP), Zhen Ye(香港科技大学), Tianyu Zheng(MAP), Zhengxuan Jiang(MAP), Yinghao Ma(MAP,伦敦玛丽女王大学), Minghao Liu(2077AI,MAP), Zeyue Tian(香港科技大学,MAP), Ziya Zhou(香港科技大学,MAP), Liumeng Xue(香港科技大学,MAP), Xingwei Qu(MAP), Yizhi Li(MAP,曼彻斯特大学), Shangda Wu(中央音乐学院,MAP), Tianhao Shen(MAP), Ziyang Ma(MAP,上海交通大学,南洋理工大学), Jun Zhan(复旦大学), Chunhui Wang(吉利汽车), Yatian Wang(香港科技大学), Xiaowei Chi(香港科技大学), Xinyue Zhang(香港科技大学), Zhenzhu Yang(香港科技大学), Xiangzhou Wang(MAP), Shansong Liu(美团), Lingrui Mei(美团), Peng Li(香港科技大学), Junjie Wang(清华大学), Jianwei Yu(月之暗面), Guojian Pang(MAP), Xu Li(小红书), Zihao Wang(浙江大学,卡内基梅隆大学), Xiaohuan Zhou(MAP), Lijun Yu(卡内基梅隆大学), Emmanouil Benetos(伦敦玛丽女王大学,MAP), Yong Chen(吉利汽车), Chenghua Lin(曼彻斯特大学,MAP), Xie Chen(上海交通大学), Gus Xia(MBZUAI,MAP), Zhaoxiang Zhang(中国科学院), Chao Zhang(清华大学), Wenhu Chen(滑铁卢大学,MAP), Xinyu Zhou(月之暗面), Xipeng Qiu(复旦大学), Roger Dannenberg(卡内基梅隆大学,MAP)。 (注:“MAP”指Multimodal Art Projection团队) 💡 毒舌点评 亮点:首个开源且能生成长达五分钟、歌词对齐的完整歌曲的基础模型系列,其双轨分离预测和结构化渐进条件等技术,为解决长时序、多信号音乐生成提供了坚实且可扩展的方案。短板:尽管在结构控制和音域广度上与商业模型持平甚至超越,但其主观音质评估(人声与伴奏质感)与Suno V4仍有清晰可见的差距,且论文中未提供其超大模型(7B)在完整训练集上所需的、惊人的计算资源细节。 ...

2026-05-02 · 更新于 2026-05-19 · 2 min · 354 words

语音/音频论文速递 2026-05-02

语音/音频论文速递 2026-05-02 共分析 4 篇论文 ⚡ 今日概览 📥 抓取 4 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音对话系统 1篇 █ #语音合成 1篇 █ #基准测试 1篇 █ #语音识别 1篇 █ 📊 论文评分排行榜(4 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal 8.5分 前25% #语音对话系统 🥈 JaiTTS: A Thai Voice Cloning Model 8.0分 前25% #语音合成 🥉 InteractWeb-Bench: Can Multimodal Agent Escape Blind Ex 7.5分 前25% #基准测试 4. AppTek Call-Center Dialogues: A Multi-Accent Long-Form 6.5分 前50% #语音识别 📋 论文列表 🥇 MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction 🔥 8.5/10 | 前25% | #语音对话系统 | #端到端 | #多模态模型 #流式处理 | arxiv ...

2026-05-02 · 更新于 2026-05-19 · 4 min · 724 words

ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space

📄 ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space #生成模型 #扩散模型 #连续时间 #随机过程 #自回归模型 🔥 8.0/10 | 前25% | #条件生成 | #扩散模型 | #生成模型 #连续时间 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:未说明 通讯作者:未说明 作者列表:Gabe Guo(未说明)、Thanawat Sornwanee(未说明)、Lutong Hao(未说明)、Elon Litman(未说明)、Stefano Ermon(未说明)、Jose Blanchet(未说明) 💡 毒舌点评 亮点:直击现有扩散模型用于条件生成随机过程时的核心痛点(起点噪声、时间感知、条件灵活性),并提出了一个理论上更优的统一框架,逻辑清晰且有理论支撑。 短板:摘要中完全没有任何定量实验结果来支撑“superiority”的结论,让一个方法论看起来很漂亮的论文说服力大打折扣——没有数字的优越性宣称,在顶会顶刊里等于空谈。 🔗 开源详情 代码:论文中未提及代码链接 模型权重:论文中未提及 数据集:论文中未提及 Demo:论文中未提及 复现材料:论文中未提及 论文中引用的开源项目:未提及 补充信息 [模型架构] 补充:论文标题和核心方法名“Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space”明确指出了其模型的两个关键设计理念:1)非马尔可夫 (Non-Markovian):强调该过程不依赖于马尔可夫性,这与通过“路径依赖”的变分测度进行条件建模直接相关。2)扩散桥 (Diffusion Bridges):暗示该SDE不仅是一个简单的扩散过程,更是一个“桥”,连接已知的条件状态(如起始帧和结束帧),从而在给定条件下生成两端被约束的路径。这在模型架构描述中虽被“连续SDE”和“路径依赖”所涵盖,但明确点出“非马尔可夫扩散桥”这一核心概念有助于更精准地理解其理论定位。 ...

2026-05-01 · 更新于 2026-05-19 · 1 min · 148 words

JaiTTS: A Thai Voice Cloning Model

📄 JaiTTS: A Thai Voice Cloning Model #语音合成 #语音克隆 #自回归模型 #流匹配 #低资源 ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #语音克隆 #流匹配 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Jullajak Karnjanaekarin (Jasmine Technology Solution) 通讯作者:未明确说明(论文提供了共同邮箱 jts.ai.team@gmail.com) 作者列表: Jullajak Karnjanaekarin (Jasmine Technology Solution) Pontakorn Trakuekul (Jasmine Technology Solution) Narongkorn Panitsrisit (Jasmine Technology Solution) Sumana Sumanakul (Jasmine Technology Solution) Vichayuth Nitayasomboon (Jasmine Technology Solution) Nithid Guntasin (Sirindhorn International Institute of Technology) Thanavin Denkavin (Sirindhorn International Institute of Technology) Attapol T. Rutherford (Jasmine Technology Solution, Chulalongkorn University Department of Linguistics) 💡 毒舌点评 JaiTTS在泰语这一垂直赛道上确实“秀了一把肌肉”,性能数据(如CER低于人类基准)和人类盲测胜率都相当漂亮,证明了其在目标语言上的强大实力。然而,论文对模型“黑箱”的保护可谓严密,除了引用VoxCPM作为骨架,核心训练细节(如参数规模、优化器设置)几乎全部隐去,且没有任何开源复现的迹象,这使得其卓越的性能更像一个无法验证的“展示柜”,而非可供学术共同体推进的“开放工具”。 ...

2026-05-01 · 更新于 2026-05-19 · 2 min · 264 words

Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios

📄 Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios #语音分离 #信号处理 #麦克风阵列 #自回归模型 🔥 8.5/10 | 前25% | #语音分离 | #信号处理 | #麦克风阵列 #自回归模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Jakob Kienegger(汉堡大学信号处理系) 通讯作者:Timo Gerkmann(汉堡大学信号处理系) 作者列表:Jakob Kienegger(汉堡大学信号处理系),Timo Gerkmann(汉堡大学信号处理系) 💡 毒舌点评 这篇论文的亮点在于巧妙地将旋转转向的“优雅数学”与自回归的“实用主义”结合,构建了一个模块化且鲁棒的框架,在说话人紧密移动时表现出色;但其跟踪模块对复杂运动模型的依赖(如正弦轨迹假设)和系统对初始方向估计的敏感性,可能成为其在更无序真实场景中广泛应用的瓶颈。 🔗 开源详情 代码:论文中提到了项目主页(https://sp-uhh.github.io/adaptive-rotary-steering/),很可能包含代码实现,但未直接提供具体代码仓库链接。 模型权重:未提及是��公开预训练模型权重。 数据集:合成数据集基于公开的LibriSpeech语料库生成,真实录音数据集(Rainbow Passage录音)未说明是否公开,但录音文本和视频已在线提供。 Demo:项目主页提供了录音和视频示例,可作为效果演示。 复现材料:论文提供了详细的算法实现细节、网络架构描述、训练策略以及超参数信息(如STFT设置)。明确指出使用了开源的McNet、SpatialNet和SELDnet架构,以及gpuRIR工具箱。 论文中引用的开源项目:gpuRIR(房间脉冲响应模拟)、McNet、SpatialNet、SELDnet、NeMo工具包(用于ASR评估)。 📌 核心摘要 本文针对动态声学场景(如说话人移动、交叉)中,现有空间选择性滤波(SSF)方法在目标说话人接近或交叉时性能下降的问题,提出了一种基于Ambisonics的自适应旋转导向与联合自回归框架。该方法核心是:(1) 通过一个跟踪算法,自动将录制的声场实时旋转对齐至目标说话人方向(自适应旋转导向);(2) 将前一帧的增强语音信号,作为额外输入同时反馈给跟踪网络(AR-TST)和增强网络(AR-SSF),形成联合自回归循环。与已有方法相比,新在:a) 实现了旋转转向的自动化以处理动态场景;b) 提出在跟踪和增强两个环节同时利用语音时频线索进行反馈,弥补空间线索失效的缺陷。实验在合成三说话人数据集和真实录音上进行,结果表明:在说话人角距离小于15°时,AR-TST使跟踪误差显著降低;在合成数据上,联合AR框架使McNet的PESQ达到2.17,超过强引导基线(2.21)并远超固定旋转引导(1.97)。实际意义在于为会议、助听等场景提供了一种不依赖持续外部引导、鲁棒的说话人提取方案。主要局限包括对目标初始方向有一定依赖,以及合成轨迹模型可能无法完全覆盖真实世界运动的多样性。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 303 words

Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

📄 Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints #音乐生成 #大语言模型 #强化学习 #自回归模型 #数据集 ✅ 7.5/10 | 前25% | #音乐生成 | #强化学习 | #大语言模型 #自回归模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Hao Meng(Hao Meng,来自Zuoyebang Education Technology) 通讯作者:未说明 作者列表:Hao Meng (Zuoyebang Education Technology), Siyuan Zheng (Zuoyebang Education Technology), Shuran Zhou (Zuoyebang Education Technology), Qiangqiang Wang (Zuoyebang Education Technology), Yang Song (Zuoyebang Education Technology) 💡 毒舌点评 亮点:巧妙地将音乐理论“规则化”,并设计了一套完全自动化的偏好数据生成与模型对齐流水线,成功绕开了RLHF依赖人工标注的痛点,是“用领域知识指导大模型”的一个干净利落的范例。短板:所定义的五条规则虽然解决了“合规性”,但可能过于刚性,容易让生成的旋律陷入“安全但平庸”的境地;此外,最终的主观MOS提升虽显著,但绝对值(3.42 vs GT 3.50)显示在感知层面仍有优化空间,评估完全依赖固定规则而非更灵活的人类偏好也是其潜在局限。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 296 words

An Event-Based Sequence Modeling Approach to Recognizing Non-Triad Chords with Oversegmentation Minimization

📄 An Event-Based Sequence Modeling Approach to Recognizing Non-Triad Chords with Oversegmentation Minimization #音乐信息检索 #自回归模型 #预训练 #时频分析 ✅ 7.5/10 | 前25% | #音乐信息检索 | #自回归模型 | #预训练 #时频分析 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Leekyung Kim(首尔国立大学工业工程系及工业系统创新研究所,以及 SK hynix) 通讯作者:Jonghun Park(首尔国立大学工业工程系及工业系统创新研究所) 作者列表:Leekyung Kim(首尔国立大学工业工程系及工业系统创新研究所, SK hynix)、Jonghun Park(首尔国立大学工业工程系及工业系统创新研究所) 💡 毒舌点评 亮点是把一个经典的帧级分类问题(ACR)聪明地重构为分段级的序列到序列预测任务,从根本上缓解了过度分割,且结构化的SPLIT标记能有效应对和弦数据不平衡问题,对复杂和弦的提升显著。短板在于论文所用数据集规模较小(仅471首歌),且缺乏在更大、更多样化数据集上的验证,这让人对其泛化能力到更复杂音乐类型(如爵士、古典)时的表现保持谨慎。 🔗 开源详情 代码:提供了GitHub代码仓库链接:https://github.com/KimLeekyung/ACR_seq2seq。 模型权重:论文中未提及是否公开预训练或微调后的模型权重。 数据集:论文指出使用的数据集与BTC论文相同(471首流行歌曲),但未说明是否公开数据集本身或如何获取。可能需参考BTC的原始出处。 Demo:论文中未提及提供在线演示。 复现材料:论文给出了核心的训练细节,如数据预处理(CQT参数)、损失函数、优化器、学习率调度、数据增强方法以及推理时的掩码策略。但未明确提供Transformer编码器/解码器的具体层数、隐藏维度、注意力头数等关键超参数配置。 论文中引用的开源项目: 主要对比模型:BTC(Bi-directional Transformer for Chord recognition),并引用了其GitHub仓库。 使用的度量工具:WCSR的计算可能依赖于mir_eval等库,但论文未明确列出。 📌 核心摘要 这篇论文旨在解决自动和弦识别(ACR)任务中的过度分割、数据稀缺与不平衡三大挑战,尤其是针对非三和弦等复杂和弦。其核心方法是将ACR重新定义为一个分段级的序列到序列(seq2seq)预测问题,使用Transformer编码器-解码器架构,以自回归的方式预测和弦序列,而非传统的逐帧分类。这与已有方法的关键区别在于:1) 预测单元是段落而非帧,从模型架构上减少了产生碎片化预测的可能;2) 引入了MERGE(时间+和弦)和SPLIT(时间+根音+性质)两种结构化标记表示,后者能共享罕见和弦性质的训练数据;3) 设计了基于和弦相似性(WCSR)的编码器预训练策略,引导编码器学习具有音乐意义的嵌入。实验在471首流行歌曲的数据集上进行,结果表明,最终模型(pTEDS)在七种不同严格程度的加权和弦符号召回率(WCSR)指标上均优于强基线BTC,并在分割质量(SQ)上也取得领先,特别是在减少过度分割方面效果突出。该研究的实际意义在于提升了复杂和弦的识别能力并生成了更干净的分割结果,有助于下游音乐分析任务。主要局限性是所用数据集规模相对较小,可能限制了模型在更广泛音乐类型上的泛化验证。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 263 words

AR-BSNet: Towards Ultra-Low Complexity Autoregressive Target Speaker Extraction With Band-Split Modeling

📄 AR-BSNet: Towards Ultra-Low Complexity Autoregressive Target Speaker Extraction With Band-Split Modeling #语音分离 #自回归模型 #时频分析 #实时处理 #基准测试 ✅ 7.0/10 | 前25% | #语音分离 | #自回归模型 | #时频分析 #实时处理 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Fengyuan Hao(中国科学院声学研究所噪声与音频研究实验室;中国科学院大学) 通讯作者:Chengshi Zheng(中国科学院声学研究所噪声与音频研究实验室) 作者列表:Fengyuan Hao(中国科学院声学研究所噪声与音频研究实验室;中国科学院大学)、Andong Li(中国科学院声学研究所噪声与音频研究实验室;中国科学院大学)、Xiaodong Li(中国科学院声学研究所噪声与音频研究实验室;中国科学院大学)、Chengshi Zheng(中国科学院声学研究所噪声与音频研究实验室;中国科学院大学) 💡 毒舌点评 论文的亮点在于其明确的工程导向,通过一系列精巧的设计(如感知压缩、分带LSTM、自回归连接),将目标说话人提取模型的计算复杂度大幅压缩至适合边缘设备部署的水平(MACs降至0.91 G/s,RTF仅为0.044),同时保持了具有竞争力的性能。短板则在于,其追求极致效率的代价可能是牺牲了一部分模型容量和在非因果、高精度场景下的性能天花板,且论文并未提供代码,对社区复现和基于此工作的后续研究不够友好。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:使用了公开的WSJ0-2mix和WHAM!数据集,但论文未提供获取方式或数据集本身的链接。 Demo:未提及。 复现材料:论文提供了非常详细的训练配置(损失函数、优化器、学习率、超参数等),具有较好的可复现信息基础。但未提供代码、配置文件或检查点。 引用的开源项目:论文未提及依赖的开源工具或模型。 总结:论文中未提及开源计划。 📌 核心摘要 问题:现有的因果目标说话人提取(TSE)方法虽然性能良好,但计算复杂度高,难以部署在资源受限的边缘设备上。 方法核心:提出AR-BSNet,一种超低复杂度的时频域自回归TSE模型。核心包括:a) 基于Mel滤波器组的感知压缩下采样;b) 分带循环建模(带内LSTM和带间BLSTM)以捕获时频模式;c) 引入自回归机制,利用前一帧的估计输出作为当前帧的辅助参考信息。 创新点:与现有方法相比,AR-BSNet创新性地将自回归框架、基于感知的频率维度压缩以及高效的分带循环处理相结合,在显著降低复杂度的同时,利用帧间依赖增强了提取效果。 主要实验结果:在WSJ0-2mix和WHAM!数据集上,AR-BSNet相比SOTA因果方法(如SpEx++, DSINet),在计算复杂度(MACs)上降低了约87.5%(从约7-11 G/s降至0.91 G/s),同时在SI-SDR、PESQ等指标上取得了可比或更优的性能。关键数据见下表: 数据集 方法 域 因果 参数量(M) MACs(G/s) PESQ eSTOI(%) SDR(dB) SI-SDR(dB) WSJ0-2mix SpEx++ [10] 时域 是 33.81 11.44 2.93 83.86 11.9 11.2 DSINet [17] 时频域 是 2.94 8.13 3.35 90.56 16.2 15.7 AR-BSNet 时频域 是 0.32 0.91 3.13 87.09 13.8 13.3 WHAM! SpEx+ [9] 时域 是 11.14 3.76 2.04 60.01 6.1 5.2 AR-BSNet 时频域 是 0.32 0.91 2.26 57.74 5.7 4.9 -> w/ 60s enroll. 时频域 是 0.32 0.91 2.30 58.71 6.1 5.4 图4:在WSJ0-2mix测试集上,因果SpEx+与AR-BSNet的SI-SDRi改善值分布。AR-BSNet(蓝线)整体分布更靠右,表明其平均性能更好,且在高相似度说话人区域(红点)的错误更少。 ...

2026-04-29 · 更新于 2026-05-19 · 2 min · 364 words