向量量化

该研究以保留原说话人听感为前提替换语音中的敏感词，对比直接波形剪贴与经神经编解码器重建的插入路径以及克隆嗓音与合成语境的选择，用自然度、可懂度和信号质量自动指标报告编解码器路径更优，其中自然度倾向于带原句嵌入的编解码器与克隆嗓音，而信号质量倾向于通用嗓音与孤立词合成。

AutoCut 针对广告视频制作中多模态松散耦合与剪辑不可控问题，用残差向量量化把视频与音频变成与文本共享的离散词元并经两阶段训练统一推理，在 364 个样本的同一评测上取得排序准确率 0.10714 与脚本质量 84.6255 等最佳结果，代价是依赖已有素材库检索而不能从零生成像素。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对无声视频生成语音时视觉稀疏而语音稠密的不对称问题，HiCoDiT 用残差向量量化的 12 层离散 token 层级先验把唇动身份与表情解耦注入低层和高层扩散块，在未训练的 LRS3 与 LRS2 上以 A/B 偏好 57.0% 对 38.1% 胜过 AlignDiT 等基线，代价是身份多样性受限且部分客观指标未全面领先。

LiveGesture 针对实时对话中不能等待整句语音的手势生成问题，采用可流式解码的分区运动词表加区域专家与因果空时融合，在 BEAT2 上以零前视达到与离线方法可比的真实感与节拍同步，但面部顶点误差与首包延迟仍受音频编码与自回归漂移约束。

针对具身对话需要因果、低延迟且富有表现力的手势问题，MIBURI 直接复用 Moshi 语音文本模型的内部 token 流，用身体分区残差码本与时间加运动学双变换器逐帧生成手势，并以 36 ms 每帧的在线演示和多说话人评测支撑其因果实时主张，但仍未达到真值自然度且未建模用户身体。

针对无线声传感器网络中集中式传输原始麦克风信号开销大且难扩展的问题，论文提出传输平面波与边界元物理映射加低秩先验的隐坐标并做反向注水比特分配，仿真报告在相同估计误差下分配策略比均匀量化需要更少总速率，但低秩与高噪声会抬高误差下限。

针对固定通道神经音频编解码器换通道数就要换结构的问题，VCNAC 用分流卷积加统一量化瓶颈实现单套参数原生支持 1 通道、2 通道和 6 通道，在 7.9 kbit/s 量级取得与更高码率基线可比的主客观重建质量，代价是依赖合成环绕声训练且中置与后置通道客观指标仍偏低。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对神经语音编解码器量化后情绪线索易失真的问题，AffectCodec 用量化前情感语义调制、第 1 层关系蒸馏和情绪加权语义对齐 3 步保留情绪，同时报告了在重建相似度、EMO-SUPERB 识别和零样本合成上的增益与内容保真代价。

针对延续式语言模型把提示音色和韵律一起复制而无法独立控制的问题，DisCo-Speech 用三因子解耦编码器加内容韵律融合重建实现韵律延续与音色注入，消融显示软约束兼顾自然度与音色一致，代价是单阶段自回归的克隆相似度仍弱于多阶段流匹配系统。

FC-TTS 要解决用两段不同参考语音分别控制音色与风格的问题，它用音色先定模糊谱、风格再细化的方法组织生成，并在 RAVDESS 音色控制上报告保持可用质量，而代价是放弃部分内容与细节信息并引入中间瓶颈。

该工作把任意输入音频的频谱特征映射到在 7999 个电子舞曲鼓循环上学到的 256 个离散节奏原型，再用力度解码器恢复动态并用用户原声合成，在验证集上重建汉明距离为 0.0064、力度误差相对均值基线降低 77.4%，代价是 2000 个环境声音只激活 50% 码本且弱音表现不足。

针对每秒仅 25 个 token 重建 24 kHz 波形时语义丢失与高频失真问题，论文用条件流匹配迭代生成波形并以分层表示对齐与稠密单层量化组织语义和声学信息，最强证据是 8 层 RVQ 对照与频带误差表显示的语义保持与高频改善，代价是四步 ODE 采样与大规模 Transformer 解码器的推理开销。

该文针对仅混淆音色后韵律节奏仍会泄露身份的问题，用离散语音单元加时长预测与单元声码器同时改写音色与节奏，在非音色攻击下半知情评估取得相对 32% 的提升，代价是词错误率上升到 7% 量级且自然度轻微下降。

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

针对单路编码器难以同时保语义和保音质的问题，SAC 把冻结语义流与可训练声学流分开量化再融合解码，在 LibriSpeech 重建与 ARCH 语义探测上取得低词错误率和高自然度，但低码率下音色相似度仍有代价。