不足一小时音频如何发现音位:用类型学近亲做迁移的 VQ-VAE
针对不足 60 分钟无标注濒危语言音频的音位发现问题,该工作用类型学锚定选择爪哇语和他加禄语做 VQ-VAE 预训练再适配,在三种语言上以自一致性 NMI 和簇纯度超越 XLS-R,代价是评价仍是扰动稳定性而非对照真值转写的准确率。
针对不足 60 分钟无标注濒危语言音频的音位发现问题,该工作用类型学锚定选择爪哇语和他加禄语做 VQ-VAE 预训练再适配,在三种语言上以自一致性 NMI 和簇纯度超越 XLS-R,代价是评价仍是扰动稳定性而非对照真值转写的准确率。
该研究用三模态眼动实验检验普通话反语指责与反语表扬对眼睛和嘴注视分配与瞳孔大小的不同依赖,最强证据是反语指责在三模态下持续偏向眼睛而反语表扬正确理解时偏向嘴且在安静视听下看眼瞳孔更大,代价是单说话人、正确试次极不平衡与无基线瞳孔校正。
该研究用江淮官话灌南话的诱发问答任务检验窄焦点与中性焦点的基频实现,发现平均基频与基频起伏都呈现三区格局且跨成年年龄组保持,最强年龄证据是老年组在焦点后位置的平均基频压缩更深,代价是需要区分格局保持与微调变化且不能推广到时长与强度。
针对语音筛查轻度认知障碍易学到性别与语言捷径的问题,论文用跨模态融合对齐声文图线索并用梯度反转遗忘人口学信息,在 TAUKADIAL 和 PREPARE 上同时提升总体 F1 并缩小亚组差距,但探测显示残余人口学信息仍未清零。
FakeSound2 把声音伪造检测从二分类扩展为定位何时伪造、辨别如何伪造与追溯何处来源的三维诊断,证据是域内操纵类型精度 93.1% 掉到域外 32.4%,代价是相似操纵与新来源仍难区分且需大规模可控构造与标注。
针对麦克风数不少于说话人数的到达方向已知分离任务,论文用冯米塞斯加权的方向图正则约束 FastMNMF 的联合对角化矩阵,在 1 人和 2 人混响仿真中提升分离质量,而 3 人和 4 人拥挤条件下增益受限。
针对语音抑郁检测中联邦非独立同分布、多模态不一致与成员推理泄露问题,FedMPA 用模态特异原型与指数滑动平均全局原型库加原型引导损失与混合推理,在 E-DAIC 上以 0.89 无加权平均召回和 0.52 成员推理曲线下面积取得 0.92 隐私性能分数,但仍只验证了黑盒置信攻击与单一数据集。
针对仅用参考语音或仅用文字描述难以精确改一项声学属性的问题,FineCombo-TTS 用统一声学表示加条件流匹配的方差预测器学习源到目标的相对变化,在 FineEdit 配对数据上把韵律、情感和音色控制精度提高,但可懂度和音色相似度仍需在较强引导下权衡。
针对对话式语音合成既要流式进文本又要低首包延迟的问题,FlashTTS 用滞后多轨道输入加并行多词元预测与两步 X 预测平均流解码,在 Minimax 子集上把首包延迟降到 325 ms,代价是五路并行时相似度和主观分下降且部分语言可懂度仍落后离线大模型。
针对冻结流匹配语音合成持续读错多语专有名词的问题,FlowEdit 冻结 DiT 只优化文本嵌入扰动并存入 Modern Hopfield 记忆,在 312 词基准上把目标词音素错误率降到 3.1% 且通用语音保持 4.1%,单次纠错约 15 秒但声调语言残留误差更高。
针对流匹配语音合成缺少在线强化学习的问题,该工作把 ODE 采样改写为 SDE 以获得随机性,再用组内相对优势同时优化说话人相似度、可懂度和感知质量,在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859,代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。
该研究用 25 人 fMRI 区分干净与噪声语音,提出三阶段迁移解码框架 NeuroPAS-Net,在右侧中央前回达到 79.3% 准确率,并据此导出神经指标 NeuroPAS 对两种增强排序,但相关性经校正后并不显著且样本局限于年轻正常听力者。
针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题,FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据,在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力,代价是更复杂的训练配比与推理条件构造。
针对无声视角视频直接生成一阶 Ambisonics 时内容与几何纠缠的问题,该文用第一阶段生成单声道 W 保语义、第二阶段残差空间化生成 XYZ 保方向的选择,在 YT-AmbiSem 上同时取得最优语义与空间指标,但强空间化仍受能量预算约束且复杂声场景泛化待验证。
FreeSonic 针对文本引导音频编辑中时间一致性与背景保留难以兼得的问题,在冻结的 TangoFlux 上用反演加去噪、文本音频注意力取掩码与分阶段解耦做局部修改,主实验报告在增加、删除、替换上取得更优的保真与语义对齐,但删除类任务仍依赖噪声注入强度等任务相关超参数。
针对未授权语音克隆问题,FreqGuard 用可学习的频域特征先验生成不可感知扰动,在黑盒 TTS 上把攻击成功率压低,同时以多损失联合优化保留语音质量,代价是强净化与部分大模型上仍有残余攻击成功率。
针对非平行语料无法直接做有监督变声的问题,该文用 WavLM 特征上的 K 近邻离线合成伪源再学回真实目标,并以波形级说话人验证损失约束身份,在仅英文训练下报告了英文身份指标优势与多语言可懂度优势,但感知质量与长参考稳定性仍有限且短参考鲁棒性依赖后训练声码器。
论文报告 ELSI 已托管 40 余个儿童中心长时音频并用三角色分层隔离原始音频,但 10 个原住民社区语料的控制权仍集中在 3 名欧洲学术托管人手中,作者因此提出增设社区托管人并发出共同设计邀约。
论文要解决普通麦克风语音缺少声门下共振测量的问题,选择先用多尺度谱学习从语音生成颈部加速度计波形再用自适应线性预测同时估计跟踪三个共振,最强证据是未见说话人上生成信号与真值估计误差约 25 赫兹、连续跟踪误差约 25 到 83 赫兹,代价是依赖浊音元音段和线性预测参数自适应校正。
论文把 Whisper 幻觉归因于信号传播几何的相变,用谱传播不稳定性框架解释小模型因跨注意力秩崩解而丢失声学证据、大模型因自注意力压缩锁定内部先验,并以 Tiny 到 Large-v3-Turbo 在对抗扰动下的有效秩与谱衰减变化为证据,代价是未直接测量层间对齐且结论限于 Whisper 家族。