向量量化

针对音频序列冗长稀释双模态融合的问题，论文用码本感知的 PoolingVQ 按局部变化强度做自适应池化，在 EMOPIA 上宏 F1 达到 0.8955、在 VGMIDI 上达到 0.6018，代价是引入码本大小与池化规则等需调参的压缩环节。

针对自监督语音离散化会丢信息的问题，论文在训练保持硬聚类、推理改用簇后验加权嵌入，在 ASR 与语音合成上优于硬赋值并在非母语等域外数据上更稳，代价是推理要算全簇距离并为每任务调温度参数。

该研究只用母语语音训练离散单元与三元语言模型，用惊异度统计和文本预测单元的动态时间规整对齐做发音评估，在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC，代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。

针对多麦克风通信中只想在接收端合成可配置指向虚拟麦克风的问题，论文提出联合空间编码与滤波的神经方向性编码，用 0.25 kbps 空间边信息加单通道参考在四麦 16 kHz 上达到与 7.5 kbps 级联基线相当或更好的 SDR 与 PESQ，代价是依赖单通道编解码质量与无混响训练条件。

针对语音伪造检测中自监督特征平滑掉细粒度伪影的问题，该文冻结语音编码器、只用约 4.4% 附加参数学习量化器层级加权，在 2019 年评测上相对基线降低 46.2% 等错误率，在第 5 代评测上降低 13.9%，代价是增益随编解码器家族变化且静态权重不能自适应样本。

针对强噪声下音频不可靠而视觉融合又难以精细控制的问题，AVUR-LLM 用上层稀疏对齐、声学不确定性门控融合与视觉离散单元重打分三步处理，在 LRS3 上干净 0.75% 与 0 dB 噪声 1.7% 词错误率显示改进，代价是两阶段流程与额外视觉编码和大模型重打分开销。

针对文本语音联合建模中语音单元远长于文本且原 TASTE 依赖外部离线 ASR 与非因果解码器的问题，TASTE-S 用内置 CTC 识别加全因果分块解码实现流式文本对齐分词，证据是在 LibriSpeech test-clean 与长语音重建上保持相近质量的同时把编码与解码实时率降到远低于实时，主代价是需两阶段联合训练且部分自然度评分受去噪与评测条件影响。

论文在同一神经音频编解码器下比较连续表示预测与离散词元分类两种增强路线，报告全微调连续路线在多组 DNS-MOS 上领先且增强器计算量更低，代价是仍需完整编解码流水线与干净语音先验码本。

针对自回归语音语言模型在 50-75 Hz 下序列过长导致推理慢的问题，U-Codec 把编解码帧率压到 5 Hz 并用帧间 Transformer 与 8-100 层因子化残差量化补偿细节损失，在 LibriSpeech 重建与 LibriHeavy 零样本 TTS 上保持可比质量，代价是局部多层自回归解码仍占开销且 DAC 最高保真仍未被超越。

在冻结文本大模型且固定 600 bits/s 信息率下，把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描，并用因子化 FSQ 加轻量非自回归音频头补足单帧容量，最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升，代价是过低帧率下生成侧词错率单调恶化。

针对纯语音语言模型序列过长问题，ZeroSyl 冻结 WavLM 并用第 13 层 L2 范数峰值切分音节、22 层均值池化加球面 K 均值离散化，在 6k 小时对比中词汇句法叙事均领先同类音节系统，而扩展实验显示细粒度单元在词汇任务仍占优且音节单元在句法上扩展斜率更陡。

针对二语者实时口音转换需要低延迟、保内容和保音色的问题，AccentDrift 用稀疏语义分词剥离韵律、用口音适配器与音色适配器分层注入风格，在 0.5 秒级流式延迟下把词错误率做到 6.27 并保持说话人相似度 0.72，代价是仍需多阶段缓存与前视带来的固定延迟。

针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题，论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练，并用统一罗马化和双码本缓解竞争，在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5，代价是需要目标域音频加文本和两阶段训练。

针对 0.5 kbps 下残差向量量化各级等码率却贡献递减的问题，P2PSynCodec 用一路普通量化传输加三路伪量化解码端预测补齐，在 LibriTTS 上以 0.5 kbps 达到与 2.0 kbps 基线可比的主客观质量，代价是伪量化网络带来额外参数与计算。

针对 1000 bps 以下语音编码中声学细节挤占语言内容的问题，ContextCodec 用双分支解耦加音素对齐的上下文引导重建，在 500 bps 仍保持可懂度和质量平衡，代价是需要离线强制对齐监督与两阶段解码注入的复杂度。

针对推理时缩放或插值情感向量导致中间强度不稳定的问题，ETC-TTS 用残差向量量化情感原型锚定起点与终点并以流匹配学习中性到情感的连续速度场，在韩语 AIHub 与英语 ESD 上改善了单调可控性与情感表达并保持可比的自然度与可懂度，代价是三阶段训练与分层流预测器的额外设计与调参负担。

针对多人混合中抽取目标说话人的任务，GenTSE 用语义级与声学级两段解码器语言模型分工建模，并用冻结模型条件训练缩小训练与推理的输入差异、用直接偏好优化提升感知质量，在 Libri2Mix 上感知质量优于同类生成式基线，但可懂度仍不及最强判别式对照且偏好优化带来轻微可懂度和说话人相似度代价。

Moshi-Face 用离散面部令牌与非自回归 Face Transformer 在 Moshi 上同步生成语音与 3D 脸部运动，在 180 小时对话数据上把教师强制唇同步做到接近重建上限，但语音自然度因领域微调而下降。

MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建，并用两阶段语言模型做文本到语音，其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。

该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件，显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持，小聚类下语言监督才有附加增益，但大聚类下附加语言条件可能无益甚至轻微损伤。