只传一路码流、其余靠预测补齐:P2PSynCodec 的极低码率权衡
针对 0.5 kbps 下残差向量量化各级等码率却贡献递减的问题,P2PSynCodec 用一路普通量化传输加三路伪量化解码端预测补齐,在 LibriTTS 上以 0.5 kbps 达到与 2.0 kbps 基线可比的主客观质量,代价是伪量化网络带来额外参数与计算。
针对 0.5 kbps 下残差向量量化各级等码率却贡献递减的问题,P2PSynCodec 用一路普通量化传输加三路伪量化解码端预测补齐,在 LibriTTS 上以 0.5 kbps 达到与 2.0 kbps 基线可比的主客观质量,代价是伪量化网络带来额外参数与计算。
该文研究无配对语音增强中干净语音与噪声先验失配导致的源泄漏问题,采用同时建模语音和噪声的双分支对抗框架,在 VCTK 加 Demand 基准上以 PESQ 2.58 和 COVL 3.08 取得可比最优感知质量,代价是 CBAK 偏低且依赖域内先验数据。
针对成对电磁发音数据稀少导致声学到发音反演泛化受限的问题,论文用大规模语音网格数据提取伪发音轨迹做预训练再在真实电磁发音数据上微调,在 HPRC 上把 PCC 提升 2.9%、在 USC-TIMIT 上提升 45.3%,代价是伪监督只覆盖可见唇颌且需两阶段训练。
AURORA 针对英语授课过渡期的听说与交际需求,用影子跟读测听力卡顿、用重叠模仿测发音偏离再加任务型对话与自动评估组织练习,夏季课程前后测报告听力卡顿与发音偏离显著下降,但未给出效应量与对照条件细节。
针对说话时颏舌骨肌手工量厚度慢且不一致的问题,论文用深度分割加骨架中线测厚组成 SMMA,在 11 名粤语人上做到高质量图 MAE 为 0.53 mm 且/a:/显著厚于/i:/,代价是对图像质量敏感且样本小而单一。
该研究把漫画页图像先做版面与说话人理解再做提示语音合成,用约 700 页客观对比选定 v2 管线,并以 40 页 150 人主观评价显示自动管线约 2.5 分与人工校正相当但明显低于真人演绎约 4.0 分。
论文用带限倒谱系数扫描 0–8 kHz 并做似然比法庭语音比较,报告全频带 Cllr 为 0.13643,而 0–0.6 kHz 与 4–6 kHz 最具区分力、7 kHz 以上最弱,多子带融合可进一步低于任一单子带但仍未达到全频带水平。
该文研究 16/24 比特全保真音频能否用自回归语言模型加算术编码做无损压缩,提出把每个样本拆成字节的 Trilobyte 使词表恒为 256,最强证据是 8 比特大幅超过 FLAC 而 16 比特平均只超 18%、24 比特落后 9%,代价是序列变长且推理远慢于 FLAC。
该研究用 5754 段德语神经心理测验录音比较手工声学特征与自监督嵌入在任务级、领域级和全局级认知分数上的预测力,发现开放任务随层级升高而稀释、受限任务随聚合而增强,而二分类 MCI 时手工特征反而占优,但整体精度仍有限。
针对单路残差通道间无交换与无约束多流易失稳的问题,该文用静态可学习混合矩阵加 Sinkhorn 双随机投影构造 mHC,在 VoxCeleb1-O/E/H 与 VoxSRC21-val 上一致降低等错误率,而参数量与计算量几乎不变。
针对 1 秒左右短语音说话人确认性能崩塌问题,论文在 WavLM 加 ECAPA-TDNN 基线上插入 TVAMSP 模块,用可学习的向量档案逐帧补足说话人信息,在 Vox1-O 上 1 秒 EER 做到 8.334%,代价是 3 秒长输入会被扰动而反而不如基线。
针对印度、印尼和拉美口音的英语学习对话,该研究用启发式富实体选数据加分区 LoRA 双输出转写,把实体召回做到 80-85% 和填充词召回做到 76-86%,代价是依赖银标准参考和每区独立适配器。
BiEAR 针对多说话人方位与距离联合估计,用左右耳各自的神经控制器逐帧调节 Gabor 滤波器组 Q 值,在消声与真实房间中以双控制器相对控制取得方位误差下降,但距离估计仍有被 AuralNet 超越的配置,代价是控制器与自适应滤波带来的额外参数和推理逐帧计算。
针对英语单词重音检测依赖音节边界标注的问题,该研究用分层卷积把帧级表示压缩为音节级表示并以 Post-net2.0 损失约束每词恰有一个重音,在 ISLE 德意口音数据上报告最高 94.86% 与 96.24% 的准确率,但仍需真实音节数与后处理配合。
针对大音频语言模型只说安全中性话的问题,论文用大语言模型做多维语义漂移提出情感假设,再用听原声的判别模型做声学验证与重排,报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%,代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。
针对冻结且结构失配的编码器与解码器无法直接互通的问题,BridgeCodec 用薛定谔桥学习源潜变量到目标潜变量的最优传输并以 Mamba 增强 U-Net 建模长时依赖,在 8 kHz、1 kbps 输入到 48 kHz 重建的极端条件下把 STOI 从 0.23 提升到 0.88、SIM 提升到 0.96,代价是高频生成内容使 WER 略升至 2.11 …
论文以 WavLM 第 1 层为对象,用线性探测定位音高响度、以 JumpReLU 稀疏自编码器做解耦再做潜变量消融,发现去掉前 50 至 100 个最重要维度后探针 R2 仍保留约 97% 以上,最强证据是 INLP 子空间擦除使目标特征 R2 下降 94% 以上而响度擦除对其他探针影响小于 1.5%,代价是频谱类特征共享子空间、离散消融基本失效。
该演示用同一含噪语音对比三种增强路线对 7 个神经学生物标志物和加权风险分数的扰动,显示感知清晰度提升不能保证临床特征稳定,而代价是方法相关的频谱与韵律漂移。
论文把序数情绪识别改写为双语音比较任务,用语义描述加 GeMAPS 声学证据生成比较推理轨迹,再经有监督微调与直接偏好优化训练 Qwen2.5-Omni-3B,在 MSP-Podcast 上以约 5% 语句量的 10k 对训练超越 240k 对训练的排序基线,而推理轨迹在跨域与跨情绪上带来更稳的泛化与可解释性。
针对已知无变音文本加语音恢复阿拉伯语变音符号的问题,论文用无自回归 CTC 声学模型加字符级变音格约束解码,在 ClArTTS 与 ArVoice 匹配与跨库上降低变音错误率,代价是仍依赖基字符序列正确且需已标注变音的语音做微调。