不等整句说完就打分:ANCHOR 用先局部后整体的顺序做增量语音质量估计
针对只能看到 2-8 秒前缀时的语音质量估计问题,ANCHOR 在 ARECHO 上引入块级与整句级双分辨率自回归解码与块优先顺序,在 2 秒前缀上把 PLCMOS 误差降低 48%,代价是在长前缀的 UTMOS 等全局指标上出现可预期的交叉落后。
针对只能看到 2-8 秒前缀时的语音质量估计问题,ANCHOR 在 ARECHO 上引入块级与整句级双分辨率自回归解码与块优先顺序,在 2 秒前缀上把 PLCMOS 误差降低 48%,代价是在长前缀的 UTMOS 等全局指标上出现可预期的交叉落后。
针对动漫感没有统一绝对量表的问题,该工作用 15000 对两两偏好构建评价数据,证明手工声学特征只能到 69.3% AUC 而冻结自监督表示加排序模型可达 90.8% AUC,代价是人群偏男性化与数据规模中等。
该研究用同一批被试在学习、导航、闲聊和听故事四种任务中交叉评价四个合成系统,报告应用场景会显著改变系统间差异,而虚拟现实数字孪生在宽松等价带下得到可比评分,但分系统看仍有不确定性且播放设备不同构成代价。
该研究用简化嗓音轮廓分析对 127 名瑞士德语年轻人的自发谈话做四人感知编码,在整体一致性仅为轻微到一般的代价下,报告了东北部鼻音带、男性松弛声道与女性咽腔扩张及嘎裂声稀少等可核对的分布。
该文新建 14 口音 128.6 小时角色扮演客服对话只做评测,报告显示手动切分多为最优而固定长窗仅对 Qwen3-ASR 更优,且口音间绝对差距可超 10%,平均词错误率降低并不自动带来口音鲁棒性。
针对音频问答在测试时遇到新分布而无标注可用的问题,AQA-TTRL 用多数投票生成伪标签再做置信度加权的 GRPO 强化学习,在 MMAU、MMAR 和 MMSU 上让 Qwen2.5-Omni 7B 平均提升 4.42%、3B 平均提升 11.04%,代价是测试时需要多轮采样和 500 步左右的参数更新开销。
该研究用实时磁共振成像量化普通话齿音与卷舌音四对辅音的收缩位置与前后腔形态,发现收缩位置后移和前腔扩大是跨辅音对稳定的相关物,而收缩长度和后腔区分力弱,且卷舌常呈舌尖下垂而非上卷。
论文用声学到发音反演加协调特征谱量化自然对话中的发音卷入,在 1381 对非自闭对话和 62 对含自闭与混合神经类型对话上显示同神经类型趋向复杂化和靠拢而混合对齐最弱,且卷入与自评会话成功正相关,但只报告群体趋势与相关性而未验证因果与实时开销。
ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务,用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器,在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线,代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。
针对单通道无监督去混响缺少干净参考的问题,ARTT 先用随机合成混响构造可训练的加重混响到观测混响映射,再用均值教师非对称蒸馏提纯,并在 WSJ0CAM-DEREVERB 上以 7.3 dB 的 SI-SDR 和 2.61 的 PESQ 超过已有无监督基线,代价是两阶段流程与仿真参数依赖。
该研究用 3 名女性的自主提调与 16 名女性的 5 档合成提调检验谱 x-vector 系统,发现默认-抬高比较把 EER 从 0.0 推高到 14.4、极端合成把 EER 推高到 15.2,但降级集中在抬高幅度最大且音高起伏受限的个人身上,单纯平移 f0 不能代替真实伪装。
针对只有受试者级标签的周级颈表加速度日常嗓音监测,该研究用日级分布统计的 CatBoost 分支捕捉长期低效、用 12 秒窗口门控注意力多实例分支定位短时高强度事件,再经分位数校准的逻辑回归堆叠融合,在官方测试上报告 PVH 的 AUC 为 0.891 与 NPVH 的 AUC 为 0.861,而消融显示深度分支增益很小且 NPVH 存在明显欠置信。
论文用显式与隐式问法加语音注入构造 6.5K 评测揭示 Audio Flamingo 3 等模型高达 95.35% 攻击成功率,再以 120K 偏好对做 DPO 对齐把隐式攻击成功率从 79.19% 降到 40.24% 但仍残留显著幻觉。
针对音频推理数据少且依赖闭源模型生成的问题,论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking,在 MMAR 上平均准确率达到 71.70% 并提升推理质量,但混合域与强闭源模型的差距与评测单一性仍是代价与限制。
针对文本提示主导导致音频编码器适配不足的问题,论文提出同时优化音频专用、文本专用与共享提示的 MALP,在 11 个数据集 16 样本设置下报告平均准确率 78.35%,代价是需要为每个新任务单独优化三组轻量提示参数。
该文在视觉条件扩散语音先验的去噪分数匹配损失上并联对称 InfoNCE 对齐损失,在匹配与跨数据集失配测试中提升干扰抑制与重建,代价是对视觉输入依赖更强且对比权重需仔细平衡。
针对背景噪声与帧损坏会让融合偏向坏模态的问题,该研究用 Mamba2 加交叉注意力做带噪输入重建干净特征的预训练,在 RAVDESS 上显示噪声音频获益而视频基本保持,仅以视频小幅下降为代价。
Audio2Tool 用约 30000 条横跨智能车、智能家居和穿戴设备的八层语音查询,把语音工具调用拆成选接口、填参数和多步编排来测,报告显示简单命令准确率高但多意图与强噪声下精确匹配大幅下滑,且端到端语音大模型尚未稳定超过先转写再调大模型的级联路线。
针对多角色长篇有声书语义连贯与情感可控难兼得的问题,Audiobook-CC 用前后文建模加风格解耦加自蒸馏,在章节级取得 M-MOS 为 4.25 分与对话 S-MOS 为 4.11 分,代价是三阶段大数据训练与章节边界后文缺失时的空标记回退。
论文把流匹配与扩散语音合成中初始高斯噪声与生成梅尔频谱图的空间相关变成水印信号,用固定特殊噪声生成加余弦相似度验算或外挂检测器判别,在强裁剪与变速下比 AudioSeal 更稳,但回声与极端滤波仍是代价与边界。