声音没有空间位置时,如何让三维人脸知道嘴该动哪里
针对语音特征缺少显式人脸空间结构导致口唇与表情不准的问题,该文用音频预测的 68 点地标做局部空间增强与全局补偿来修正三维高斯属性偏移,并在自驱动与跨驱动条件下验证同步与重建,同时以阈值与几何正则的取舍为代价。
针对语音特征缺少显式人脸空间结构导致口唇与表情不准的问题,该文用音频预测的 68 点地标做局部空间增强与全局补偿来修正三维高斯属性偏移,并在自驱动与跨驱动条件下验证同步与重建,同时以阈值与几何正则的取舍为代价。
针对只检内容而忽略说话人的不足,论文用文本查内容加参考语音定说话人的混合查询,构建 VoiceTrace-Bench 并训练统一音频语言模型的两阶段检索重排框架,在语义基准和混合基准上报告了可复现的召回与排序提升,但重排带来额外推理开销且多说话人仍明显更难。
针对非侵入式 MOS 预测中语音基础模型层利用不稳定的问题,论文在 10 个骨干与 4 个数据集上对比末层探测、最优单层、朴素加权融合与全量微调,并评估逐层适配器校准后聚合的冻结骨干方案,最强证据是 Wav2BERT A+M 在四库平均上达到话语级 0.388/0.749 与系统级 0.052/0.932,代价是仍需为每个层训练独立适配器与回归头且最优深度随 …
该文在约 400 小时面对面双人对话上把注视、头部、身体手部与面部动作单元接入语音活动投影模型,最优结构以交叉注意力加三帧差分与早期门控把语音活动投影损失从 2.166 降到 2.100,面部动作单元是最强的单一视觉组但全量组合仍最好,代价是需要多模态特征提取与更大的推理开销且划分不是按会话对隔离。
该研究把 AASIST2 图注意力层拆成打分对称性、温度可学习性与路由粒度三条残差分支,在统一 LoRA 条件下用五个评测集和五个随机种子检验,发现 LearnT 平均统一等错误率最优而 GATv2 与 LearnT 联用反而明显退化,说明分支之间是非可加的相互作用。
该文用单链接层次聚类分析说话人向量是否形成层次结构,再以总体匹配与一一匹配加诊断性分数解释性别国籍与身份语义,最强证据是身份与性别接近完全对齐而部分国籍组合匹配明显偏低且可归因到精度不足。
该研究把气道狭窄检测做成患者级多录音分类,用冻结的 WavLM 第 15 层表示加 TransMIL 聚合,在 748 人五折交叉验证中报告 AUROC 为 0.952 与准确率为 0.924,而细粒度分型与严重度分级仍明显更难。
论文在语音问答大音频语言模型上对比梯度上升、任务算术与两种拒答对齐遗忘方法,报告在中度记忆检查点上可把隐私泄露率降低约 80% 且非隐私问答基本保持,但压到接近零泄露时非隐私准确率必然明显下滑。
针对双人竞争听觉注意解码中短窗 Fisher-z 相关方差大、单尺度无监督 GMM 难分 attended 与 unattended 分量的问题,论文提出跨 8 种窗长共享均值、方差按 1/(N_L-1) 缩放的多尺度 GMM 联合估计 HMM 发射参数,在 72 分钟全量下 1 秒窗提升 1.82 个百分点、在 6 分钟数据下提升 8.32 个百分点,但数 …
Neyshekar 针对波斯语正式与非正式语体和命名实体覆盖不足,构建 99.02 小时朗读语料并以等时长对照证明两架构词错误率下降,但混合增益不稳定且说话人广度仍有限。
论文发现相同语音输入下交错语音文本生成的内部文本准确率大幅低于纯文本回答,提出联合输出在策略蒸馏用冻结的语音到文本策略监督学生自己的联合轨迹,在 Step-Audio-2-mini 上把输出模式差距从 42.87 降到 16.26 个百分点而语音到文本基本不变,代价是仍残留十余点差距且口语答案增益小于内部文本增益。
该研究用同一冻结编码器流程与 1501 事件配额比较四种嗓音库,发现抹香鲸类型积累最快而孟加拉雀局部顺序依赖最强,且加长历史会把比较推向鲸,代价是结论只在原生事件尺度与档案录音条件下成立。
论文把受约束加性 U-Net 等价为临界采样完全重构滤波器组,再用全速率残差路由把学习目标转为任务相关的取舍,在 TIMIT 上以相同识别器把测试音素错误率从 28.60±2.09% 降到 25.76±0.41%,代价是保留双路全分辨率表示带来的过完备冗余。
该回顾把四代系统的进步归因于规划器与渲染器之间接口契约的四次搬迁,用同篇消融支持表示与归属判断,以分阶段联合训练解决低码率与跨模块协同问题,代价是更长的训练流水线与更复杂的条件控制。
针对约鲁巴语 TTS 中字符错误率看不见声调错误的问题,论文提出只读输入变音符号作金标、只读基频作预测的 DunDun 指标,用压平基频与翻转答案键验证其声调敏感性,并显示微调主要降低字符错误率而声调早已接近母语锚点,代价是可用区间只到 0.596 且依赖可靠标调文本。
论文把传统编码再经神经音频编解码器转码后的来源识别定义为取证缺口,用分层因果与时序注意力建模 RVQ 序列,在固定码率下取得 97% 以上准确率,而 18 类联合任务为 89.34% 且高码率 MP3 与 Opus 仍易混淆。
该研究只用语音音频区分阿尔茨海默病与健康对照,用 Librosa 手工声学均值特征与冻结 YAMNet 的 1024 维嵌入拼接后训练分类器,在 160 条合并数据上以 70% 训练 30% 测试取得 89% 测试准确率,代价是小样本、无人口学控制且未报告延迟与误判细节。
针对单看基频会把重音归因给音高的问题,该文选择在平滑后的基频线上同时编码瞬时强度与局部音节速率,并在意大利诗歌朗读上展示联合线索如何区分延续类边界,代价是颜色只表相对快慢且跨录音比较仍需归一化。
该文要解决超声舌成像中音频同步与头动记录分散、布线复杂的问题,选择无线 OptiTrack 六自由度头姿态加触发与时间戳统一采集的轻量方案,直接报告了设备布置与对齐检查流程,但完整的几何运动校正仍留待未来验证。
针对未见伪造攻击泛化难的问题,CRAF 以 SSL 为主、ALLM 为高层引导做残差感知融合,在 ASVspoof 5 上 Kimi-Audio 配置报告评估 EER 为 5.96% 与 minDCF 为 0.1192,但攻击间差异与门控依赖仍是代价。