浊音多给比特、清音少给比特:VoCodec 如何用发声驱动量化压到 1.1 kbps
针对均匀量化在清音帧上浪费比特的问题,VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化,在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感,代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。
针对均匀量化在清音帧上浪费比特的问题,VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化,在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感,代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。
该研究用非词软腭音连续体与边界放大设计检验普通话口吃者的嗓音起始时间范畴感知,发现辨别能力本身无组差,但识别边界右移趋势与边界处反应时不对称减弱并存,且严重度越高类内辨别越快而准确率不降,代价是样本小且严重度分析仅为探索性。
针对嗓音质量语用功能难于快速假设与验证的问题,论文用微调的 VoiceQualityVC 加 Streamlit 交互界面实现词级嘶哑、气息、鼻音调节,以约 17 小时 20 分高表现力语料和 45k 步微调为代价换来可直接对比的刺激生成能力。
针对远近场电平起伏与噪声下传统增益控制易放大噪声的问题,WaveNorm 选择全因果时域卷积加 GRU 瓶颈的端到端映射,在 -70 dB 宽动态与多种噪声下报告约 6 dB 降噪与符合 P.56/P.79 的响度稳定,代价是 49 M MACs 与 55 KB 的端侧预算约束。
针对无监督域自适应下伪标签噪声与过自信问题,论文提出联合置信度与残差离散度的 token 加权、弱置信掩蔽与多扰动一致性过滤,在 CHiME-4、SLURP、CORAAL 上相对基线降低词错误率 13.8%、25.0%、15.7%,代价是需要多轮扰动推理与精细的掩蔽超参数。
该文把证据、可用性与质量信号拆开,用训练后冻结并打乱质量对齐的诊断检验决策层依赖,在 StressID 与 CMU-MOSEI 上发现原生质量打乱几乎不改变平衡准确率,而与损坏或单模态正确性对齐的质量则产生约 0.07 与 0.35 的正向置换间隔,代价是需要全观测子集与标签才能计算结构诊断。
针对句重音依赖跨词上下文而单层表征不完备的问题,WhiSSDapt 在冻结 Whisper-small 上学习编码器与解码器层权重并经额外解码器块分类,在自然与合成数据上报告最高 4.48% 和 6.09% 的相对 F1 增益,代价是只更新融合权重与分类头且未报告延迟与成本。
本文解读 Te Taura Whiri 与 Google 围绕毛利语地名发音的新西兰英语 TTS 合作,用谅解备忘录、参与框架、知识产权协议与对齐框架把文化分歧变成可执行步骤,并以 5 人对 5 人的混合评估验证发音质量,但不报告声学模型细节与定量指标。
该研究以单通道去混响为对象,先证实扩散式与判别式 NCSN++ 深层都学到房间脉冲响应可分的表示,再用对比预训练房间编码器经 FiLM 注入扩散模型,在 N=15 到 100 上提升 PESQ 与 DNSMOS 并加快收敛,代价是需要额外编码器与关闭 EMA 才能稳定训练。
该研究用 CMU LEGO 电话对话比较系统相关与系统无关两套交换级交互质量分类路线,最强证据是端到端微调后系统无关模型与系统相关模型差异不再显著,但代价是可训练参数从 2.29M 增至 135.73M、延迟从 0.16 ms 增至 17.98 ms。
论文以 CosyVoice 2 与 MaskGCT 为案例研究口音-情感纠缠问题,用口音 SMOS 听辨、GenAID 嵌入的 UMAP 与质心余弦距离证明前者随情感指令大幅漂移而后者稳定,代价是单一声纹相似度指标无法反映口音错误。
该研究用腭长缩放加咽腔测量锚定的前后向单自由度弯曲来对齐跨说话人 EMA,把 DDK 舌轨迹离散度从 31.28 mm 降到 26.13 mm,但留一说话人岭回归的 F1/F2 预测并未提升,说明几何可比性不等于说话人无关的发音到声学映射。
针对跨语言时自监督表示混入语言结构导致帕金森病患者被大量漏检的问题,该研究用只从健康对照估计的质心平移做表示层语言归一化,在捷克语德语西班牙语口部轮替任务上把灵敏度和 F1 大幅拉回,代价是特异度下降且德语目标增益最小。
针对联邦环境中设备算力不一与语音任务所需表征深度不同,该工作在 Wav2Vec 2.0 中间层插入独立预测头并按层独立聚合,证据显示中间层常优于全 12 层,而浅层可大幅降低内存占用。
针对 CTC 鲁棒性不足与标注依赖重的问题,该文把一致性正则化同时加到 Align-Refine 的基座 CTC 和两步精修上,并在半监督中用最后一步做在线伪标签,LibriSpeech 上监督与自训练均显著降词错率,但精修步数、权重与数据规模的结论只在给定 Conformer 与 SpecAugment 条件下成立。
针对加性噪声下相位符号难判的问题,该研究用余弦与正弦几何算出候选相位,再用双路一致性迭代收敛到其中之一,oracle 试验证明上限可达 0.87 余弦相似度,盲测在保持可运行条件下与直接相位估计相当并在背景抑制上略优。
该研究以 LibriVox 8854 本单人英文有声书为对象,用 129 维声学向量建模浏览率四分位与同书组内排序,发现声学信息在控制书名后仍有稳健关联,但全局伪 R 方仅 0.09 且效应量小,组合类型信息后分类准确率最高 0.35。
该文把轮替预测从声音边界后移改为骨骼运动前移,用 InterAct 三维骨骼检验不同身体部位和不同意图的提前量,最强证据是上半身在提前 1.5 秒仍保持可预测性,而代价是过长窗口会混入上一段共发手势噪声且守话状态需等到碰撞时刻才能确认。
针对误发音检测与诊断需要如实转写实际发音的问题,该研究用强制单调帧级对齐的声学模型保留瞬时发音线索并用训练期特权信息隐式注入语言知识,在 L2-ARCTIC 上报告 F1 为 71.77%,代价是插入错误上升与识别率和诊断率之间的权衡。
针对声学传送编码器的语音与声学分区,该工作用冻结编码器加轻量探针分别回归房间参数与分类说话人,以分区间的性能差距度量解耦,发现说话人基本被锁在语音分区而房间信息仍泄漏进语音分区,且声学嵌入的盲估 T60 与全监督基线差距仅 0.02 s 量级。