向量量化

论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题，发现中等偏大的 N 在更低比特率下仍保持可懂与连贯，而自动指标与人评的相关仍有限且评估方法需改进。

论文针对端到端全双工语音对话模型常开大语言模型隐状态是否泄露说话人身份这一问题，用 ECAPA-TDNN 探测器按 VoicePrivacy 2024 协议审计 SALM-Duplex 和 Moshi 并提出基于 Stream-Voice-Anon 的波形级与特征级两种流式匿名化，最强证据是 SALM-Duplex 离散基线等错误率从 11.2% 升至 …

该文用 FAcodec 显式丢弃内容分量并对韵律做全局与局部多粒度混淆，在 VoxCeleb1-O 上报告等错误率 2.35% 与词错误率 98.83%，代价是短时客观可懂度仍为 0.3410 且韵律残留风险需靠听感样本佐证。

针对局部 token 残留说话人信息与韵律丢失的矛盾，SDP-Codec 用连续 vq-wav2vec 特征加紧凑单码本做内容瓶颈、归一化 F0 注入与软标签基频重建恢复韵律，并在单阶段训练下以 0.45-0.52 kbps 取得可比的重建与更强的零样本变声，但 16 kHz 大模型的重建词错误率仍高于部分基线。

针对离散音频令牌在文本无关说话人确认中明显弱于滤波器组特征的问题，论文用滤波器组教师指导令牌学生的跨特征知识蒸馏对齐说话人嵌入方向，在 VoxCeleb 上把令牌系统的等错率从 3.38% 降到 2.25%，代价是需要先训练好教师并使用远大于常规的蒸馏权重。

针对噪声混响下唇视觉与声学对齐不稳的问题，论文用混合语音加唇视频先预测 WavLM-KMeans 语义令牌再以令牌为时间对齐线索引导 TFGridNet 或 MossFormer2 做提取，在 VoxCeleb2-2Mix 与 LRS2-2Mix 上取得高于同类音视系统的可运行增益，代价是两阶段流水线与令牌预测精度依赖。

VerAno 用受限码本的自监督 VQ-VAE 过滤说话人音色、再用条件流匹配重建梅尔谱，在 VPC 2024 上以 CB128 取得隐私与内容情感兼顾的前两名综合排名，代价是码本放大后隐私下降。

ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题，用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer，在约 17000 小时越南语无标注语音上预训练出 78M 参数模型，在识别、情感、方言和说话人验证四类任务上报告最优平均结果，代价是仍需大规模预训练算力与多条件微调验证。

针对均匀量化在清音帧上浪费比特的问题，VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化，在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感，代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。

WavSLM 把 WavLM 第 6 层表示压缩为单码本离散序列，再把 7 至 24 层改造为一次预测 4 个词元的因果语言模型，在仅用语音且无文本预训练条件下取得可比的一致性与生成质量，代价是大词表更难学、大分块损害保真与连贯。

该文把说话人匿名与内容匿名放在同一个声学令牌空间里做，用逐帧混合比例 β 融合编码器令牌与音素派生令牌并以命名实体识别触发敏感片段强制替换，在 VoicePrivacy 2024 上以 β=0.7 取得 EER 42.54% 与 WER 3.73%，代价是情感保持 UAR 40.11% 低于同类混合基线。

HybridCodec 针对语音离散化中语义解耦与推理速度的矛盾，采用双流结构加语义蒸馏，在 LibriSpeech 上以 RVQ-1 词错误率 15.36% 显示更强的首码本语义集中性，并以 0.014 实时率实现约 3 倍于 DualCodec 的推理加速，但声学保真指标略有让步。

针对语音音乐通用音频在低帧率下难以同时保真与保留语义的问题，OmniCodec 用预训练理解模型的音频编码器做语义分支输入并与声学分支解耦重组，配合自引导损失提升码本利用率，在同码率下重建指标领先 Mimi 但语音语义困惑度仍有代价。

该工作用分层向量量化变分自编码器把 Greenwood 频谱映射为每个时频格的 Gamma 分布参数并随机采样出平均发放率神经图，在低中频与静默段复现了原电刺激听神经模型的分布与结构，但高频与跨通道精细时间相关仍有明显误差，而计算时间从近 70 秒降到毫秒级。

论文研究传统编码再经神经音频编码器转码后来源是否可辨，选择分层建模 RVQ 层间与时间依赖的 Transformer 框架，在固定码率下以 97% 以上准确率证明旧痕迹仍可辨，但高码率下 MP3 与 Opus 仍易混淆。

针对 16/24/48 kHz 需多模型或外部重采样的矛盾，该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征，在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750，代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。

针对口音归一化缺少口音强度控制的问题，论文用掩码离散扩散重写自监督语音单元，并以公共单元预测器复用源端单元实现可控保留，实验报告显示自由时长下词错误率为 11.19% 且随复用阈值降低口音度单调回升，但重度口音下的内容保持仍受识别与合成链路限制。

针对咳嗽筛查结核任务，论文用频谱描述子与音频基础模型表示做异构融合，提出共享双曲原型码本加老虎机可靠性加权的 COBALT，并在 CODA TB 基准上以 MFCC 加 PaSST 取得最强结果，代价是更多适配与融合模块和跨设备泛化仍待验证。

针对量化后多层信息被求和压扁的问题，RVQ-Grid 把每层量化向量堆成三维网格并用双轴循环块分离，在 WSJ0-2Mix 上比 Codecformer 提升 3.6 dB 并以约 6 倍更少的乘加操作达到 8.6% 词错误率，但样本级指标仍低于波形 SepFormer。

针对神经音频编解码压缩会洗掉波形级水印的问题，Latent-Mark 用测试时波形优化把潜在表示推向秘密流形方向并以跨编解码器联合优化求零样本迁移，最强证据是在 SNAC 压缩后仍保持 0.58 以上存活率并在 DAPS 上达 0.93，代价是多编解码器联合优化要牺牲部分单编解码器专精性能并依赖 150 步梯度优化。