论文解读

把说什么和谁说的分开:Facto 因式分解语音分词器

Facto 用线性分解把自监督特征拆成共享内容与说话人变换,再用最小二乘估计器推广到未见说话人并聚类成单码本令牌,以更稳定的令牌在文本转语音上取得优势,同时保持重建与变换能力,代价是仍需传输说话人嵌入且验证集中在朗读英语上。

 · 更新于 2026-11-18 · 约 17 分钟 · 8514 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-11-17

共分析 50 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 103 分钟 · 51240 字 阅读 →
论文解读

语音分词器为何脆弱:迁移语义攻击与鲁棒分词器

论文把语音分词器视为语义安全的前端瓶颈,提出联合多个代理语义编码器的可迁移语义攻击 T-SemAttack,并据此设计结合含噪训练和语义蒸馏的 ROSETok;主实验显示攻击在保持可接受听感的同时提高多个 ASR 与 LALM 的 WER,但它是离线且计算较慢,ROSETok 的鲁棒性也只在其训练分布和威胁模型内得到验证。

 · 更新于 2026-11-18 · 约 27 分钟 · 13249 字 阅读 →
论文解读

超低码率下如何同时保住语义和音质:ESDCodec 的解耦与子带解码

ESDCodec 针对 0.85 kbps 附近重建质量显著下降的问题,用冻结码本加可学习投影的语义量化器做单码语义编码,再用子带条件网络辅助上采样解码,在 LibriSpeech test-clean 上取得 PESQ 2.49 与 ViSQOL 2.74,代价是双流结构与额外 9.6M 条件网络参数。

 · 更新于 2026-11-18 · 约 16 分钟 · 7715 字 阅读 →
论文解读

音素、音节和词:谁编码语音内容更省比特

在 960 小时英语有声书转写上比较音素、音节、词和多词合并的比特率,发现建模预算受限时词及略长于词的单元最省,20M 参数 Transformer 下词单元达到 28.07 bps,但结论依赖有限模型和英语数据条件。

 · 更新于 2026-11-18 · 约 17 分钟 · 8055 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-11-12

共分析 79 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 163 分钟 · 81488 字 阅读 →
论文解读

相邻帧很像时何必每帧都完整编码:自适应关键增量量化如何省码率

针对低码率下残差向量量化每帧固定用量化器造成的帧间冗余,该文提出在编码器与解码器之间按帧选择完整量化的关键帧或只量化帧间残差的增量帧,并用只看因果信息的比特银行调度器把实际码率推向目标值,在 LibriTTS 上 DAC 在 1.5 kbps 附近达到接近 2.0 kbps 固定量化的重建质量,代价是每帧 1 比特模式标志和最长增量游程约束下的有限码率调节范 …

 · 更新于 2026-11-18 · 约 16 分钟 · 7722 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-30

共分析 47 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 96 分钟 · 47977 字 阅读 →
论文解读

RubatoCodec:用固定事件预算做自适应语音切分与流式解码

RubatoCodec 用保留比固定的事件预算和潜变量变化加波形频谱通量决定的边界,在低事件率下以自适应切分提升重建可懂度和预测质量,并用显式时长支持流式合成,代价是需要传输时长边信息且波形细节仍落后于最强基线。

 · 更新于 2026-11-18 · 约 21 分钟 · 10149 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-23

共分析 58 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 124 分钟 · 62091 字 阅读 →
论文解读

逐帧可流式传输的低码率语音压缩 StreamLSC

StreamLSC 针对超低码率下严格逐帧因果的语音压缩问题,用帧内归一化、边界缓存因果卷积与 RWKV 循环状态做主干并配帧级熵模型,在 LibriTTS 上以约 1.1 kbps 取得与离线版本相当的率失真表现,但模型达 149.2M 参数且实时系数为 0.0539。

 · 更新于 2026-11-18 · 约 18 分钟 · 8723 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-16

共分析 69 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 147 分钟 · 73483 字 阅读 →
论文解读

BridgeCodec:在冻结编解码器之间做潜在特征搬运的低码率互通框架

BridgeCodec 要解决冻结的 8 kHz 源编码器与 48 kHz 目标解码器无法直接通信的问题,用 Schrödinger Bridge 在潜在空间做最优传输并以 Mamba 增强的 U-Net 建模长时依赖,在 1 kbps 传输下实现 48 kHz 重建,代价是需要两阶段训练且高频内容带有生成性幻觉。

 · 更新于 2026-11-18 · 约 20 分钟 · 9771 字 阅读 →
论文解读

FOAdapter:给冻结单声道编码外挂一条空间码流的低码率 FOA 语音编码

FOAdapter 冻结单声道编码只传 W 声道内容,再用一条 275 bit/s 的空间码流恢复四声道 FOA,在 Spatial LibriSpeech 上把方向误差稳定到约 7 度,代价是语音客观质量低于同骨干的四通道独立编码。

 · 更新于 2026-11-18 · 约 18 分钟 · 8745 字 阅读 →
论文解读

SemiCodec:用半离散表示同时保留离散接口和高保真重建

针对离散语音编码易丢声学细节而连续隐变量难做离散建模的问题,SemiCodec 用同步的离散 token 加连续隐变量做波形重建,并用先保留后接地两阶段训练缓解连续通路捷径,在 LibriSpeech test-other 上以 25 帧每秒实现 PESQ-WB 4.03 与 WER 5.02%,代价是仍需保留连续通路和两阶段训练。

 · 更新于 2026-11-18 · 约 18 分钟 · 8539 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-15

共分析 146 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 299 分钟 · 149424 字 阅读 →
论文解读

GS-Codec:用一维高斯溅射代替量化器的神经语音编码

GS-Codec 把编码器隐变量拟合成加权一维高斯基函数之和再做标量量化,用单检查点实现基元数与位深控制的码率调节,在 3 到 6 kbps 附近达到与 EnCodec 和 DAC 可比的重建质量,代价是迭代拟合的编码耗时需用预测网络摊销。

 · 更新于 2026-11-18 · 约 21 分钟 · 10495 字 阅读 →
论文解读

好看的听感分数为何留不住可懂度和声纹:非洲语音上的编解码器多任务基准

论文在三种非洲语音上固定识别与验证后端、只替换编解码器重建音频,显示参考型结构与基频误差比神经 MOS 更能跟踪下游退化,且中码率 RVQ 相对稳定而极低码率语义压缩在识别可用时仍可能丢失声纹,轻量 LoRA 适配可部分收回识别损失。

 · 更新于 2026-11-18 · 约 16 分钟 · 7983 字 阅读 →
论文解读

低帧率也要两手抓:可学习查询如何分开压缩语义与声音

针对 6.25 Hz 下语言信息与声学细节难以兼顾的问题,Q-SPT 用两组独立可学习查询分别压缩语义流与声学流并以自回归文本损失监督语义,在 LibriSpeech test-clean 重建与下游识别合成中取得同帧率最优,但合成可懂度仍弱于 FlexiCodec 且需更大训练开销。

 · 更新于 2026-11-18 · 约 20 分钟 · 9772 字 阅读 →
论文解读

动态帧率编解码的边界在何处切分:音节尺度为何优于音素尺度

论文以 FlexiCodec 为公共接口比较七种边界分配方法,发现音节、BPE 与词对齐更强的方法池化失真更低、重建词错误率更低,而音素级固定切分不如均匀切分,但自适应分配仍优于固定音节切分,代价是动态规划类方法边界选择耗时明显更高。

 · 更新于 2026-11-18 · 约 21 分钟 · 10044 字 阅读 →