驱动脸动的究竟是音色还是音位:四类语音表示的对照与统一视听合成
论文比较语义、语义加声学、纯声学与标签四类语音表示在两种面部解码器下的三维面部动画质量,发现能编码音位类别且不含低结构声学信息的表示更准确,而标签表示支撑了文本到语音与面动的统一管线,但混合声学信息反而有害且重建误差与感知并不一致。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文比较语义、语义加声学、纯声学与标签四类语音表示在两种面部解码器下的三维面部动画质量,发现能编码音位类别且不含低结构声学信息的表示更准确,而标签表示支撑了文本到语音与面动的统一管线,但混合声学信息反而有害且重建误差与感知并不一致。
论文在冻结编码器加固定轻量后端的配方下,用约 315M 容量的 wav2vec2 家族对照 1 到 1406 种语言覆盖,并用相同 Libri-Light-60k 数据对照掩码预测与对比目标,发现域外误差在 128 语言处触底而 1406 语言不再提升,且掩码预测明显更稳,代价是结论限定于单训练语料与固定流程且覆盖与数据量无法彻底解耦。
论文在统一骨干与训练配方下比较 4 种隐宽度与 4 种帧率共 16 个连续编码器,报告重建在 1024 维 25 赫兹处最好而下游识别与问答在 12.5 赫兹中等宽度处最好,且冻结模型的半数主成分干预显示重建容忍与识别失效可以分离,但窄瓶颈训练不等价于事后降维。
针对神经音频编解码压缩会洗掉波形级水印的问题,Latent-Mark 用测试时波形优化把潜在表示推向秘密流形方向并以跨编解码器联合优化求零样本迁移,最强证据是在 SNAC 压缩后仍保持 0.58 以上存活率并在 DAPS 上达 0.93,代价是多编解码器联合优化要牺牲部分单编解码器专精性能并依赖 150 步梯度优化。
该文针对大音频语言模型的样本级成员推断提出先用多模态盲基线排除分布偏移再审计的流程,发现在分布匹配的数据上攻击降到接近随机,而残余信号只在特定人声与特定文本配对时出现,但跨数据集的高分主要由录音与切分差异带来。
论文冻结三种音频水印的编码器与检测器,只训练约 2M 参数的 Conformer 解码器来替代平均投票等固定时间聚合,在受控攻击与交替双负载下提升精确恢复并提高检测 AUROC 点估计,但 AudioSeal 双负载绝对恢复仍低且结论限于已知网格与分布内攻击。
该研究把双人协作对话的认知负荷当作回归问题,用 30 秒窗口声学特征加互动时序特征和双头门控循环单元预测 NASA-TLX 分数,最强证据是加入互动特征后时间需求的二元组一致性相关系数从 0.42 升到 0.51,而代价是不同二元组间差异极大且时序差分普遍无增益。
该研究把提示拆成社会地位、职业与人格三轴,用单变量基线加双维与三维组合量化交互,报告显示冲突组合可把护士类强女性先验从女性概率约 0.99 拉到约 0.17,而通用多样性提示不足以覆盖这类深层绑定。
论文把去除水印建模为先加高斯噪声再做语音增强的严格黑盒攻击,对六种神经水印与六种增强模型做范式级对比,显示基于语言模型的生成式增强去除最彻底,而判别式增强与纯频谱重建难以撼动与谐波对齐的高能量水印,且需以音质与音色变化为代价。
该文把问题定为语音健康研究难复现是因为采集与特征定义不统一,选择先统一临床可解释的核心声学测量定义并给出美国英语常模与开源提取流程,最强证据是 1815 人朗读与最长发声任务上的分任务常模差异,代价是强度类测量仍受设备影响且嵌入表示仍需先建基线再用。
该研究以水下舰船被动声学分类为任务,用多时频与耳蜗表示加时间统计池化和紧凑卷积做分类,最强证据是录音级隔离的 DeepShip 上 157K 参数四层卷积测试宏 F1 为 0.7226 而 11.17M 参数 ResNet18 验证更低,代价是 ShipsEar 近满分结果不能视为未见录音泛化。
本文针对噪声、混响和竞争说话导致语音智能体做错动作的问题,提出 TRACE 配对比较工作流,用原文与声学压力拷贝的任务成功、违规、恢复和用户代价对照来定位失败,代价是需要为每个应用自建任务、录音与评分规则且文中示例计数均为假设说明而非实测性能。
论文以问答式任务检验榜单前列开放语音识别模型在口吃与构音障碍语音上的泛化能力,用统一预处理与贪婪解码比较五种架构,最强证据是平均词错误率相对榜单膨胀 2 至 5 倍且极端幻觉可达 24 倍,代价是逐字转写取向与长时读句任务上误差急剧放大。
该文构造只含合成语音的 2732 小时 66 语言语料 LRLspoof,用外部混合基准标定的等错误率阈值做零样本迁移评估,发现同一检测器在固定合成器下跨语言的伪造拒绝率可相差数十个百分点,但该结论只刻画伪造拒绝一侧,未测量目标域真人语音误拒。
在 65 条自然脊柱门诊普通话话语上比较 emotion2vec+、SenseVoice 与 FunASR 三套开源语音情感识别,以研究者共识为参照,发现非加权准确率 55.4%-61.5% 掩盖了少数情绪接近零的召回与仅约 24% 的样本加权准确率,代价是标注噪声大与类别极不平衡下无法直接部署。
论文用典型相关分析和留一组合重构检验冻结的 Wav2Vec2、HuBERT 和 CLAP 能否把未见声源组合表示成各声源贡献之和,最强证据是 CLAP 在 FSD50K 重复保持组合上同时超过置换与标签重叠基线,但三者都存在不可忽略的重构残差。
该研究冻结八个语音编码器并在整段、仅语音、仅暂停三种放置下加入非语音干扰,用余弦漂移与四项下游任务损失对比,显示整段干扰下漂移可按声音排序任务损失,而安静到中等强度下暂停干扰漂移更大但语音干扰任务损失更大,且低于估计背景的干扰已可达到重复录制级别的漂移。
针对多轮语音任务中对话与执行时间尺度不一致的问题,论文用前台对话加后台委托的编排运行时分离两者,并在 134 例座舱基准上以混合路由实现 91.04% 任务成功率,代价是需要维护任务状态、投递调度和跨会话记忆等额外机制。
论文以 Qwen2-Audio 为案例分离词汇输出、转录不足的波形依赖行为与打包实现测量,显示 6 比特翻译选中分配在冻结重放上 chrF 提升但情绪识别下降,而反例与对照说明文本分不能替代波形使用证据。
论文用 908072 段 AIS 标注录音说明部署间先验差超 200 倍、随机窗口验证比未见站点验证高出配对 0.049 的 ROC-AUC,因而主张按站点分组验证并扩大独立空间采样,空间专家模型仍只是待验证假设。