先找全证据再算时间:TEMA 在多轮多音频对话里做可核对的时间问答
针对多轮多音频时间问答中实例漏检会改变计数与总时长的问题,TEMA 用 Route 定音频范围、Span 记全全部实例区间再推理作答,在 Test253 上 Qwen2.5-Omni 基座的问答准确率达到 69.81%,代价是需要三阶段训练与完整逐轮证据监督,且跨音频比较仍有波动。
针对多轮多音频时间问答中实例漏检会改变计数与总时长的问题,TEMA 用 Route 定音频范围、Span 记全全部实例区间再推理作答,在 Test253 上 Qwen2.5-Omni 基座的问答准确率达到 69.81%,代价是需要三阶段训练与完整逐轮证据监督,且跨音频比较仍有波动。
论文在 Whisper 家族内比较剪枝、量化与蒸馏的部署后公平性,发现 50% Wanda 剪枝使 large-v3 的 Black/AA 与 Asian 时间税差扩大 111%,INT4 在小模型上使西非口音灾难循环成倍增加,而蒸馏在 27 格中 21 格缩小差距。
论文把去除水印建模为先加高斯噪声再做语音增强的严格黑盒攻击,对六种神经水印与六种增强模型做范式级对比,显示基于语言模型的生成式增强去除最彻底,而判别式增强与纯频谱重建难以撼动与谐波对齐的高能量水印,且需以音质与音色变化为代价。
论文用 3879 条语音声明研究文本到语音的事实核查迁移,发现语音输入带来一致的准确率下降,单用检索只能小幅回升,而检索加显式推理在思考调优模型上达到 86.1% 准确率,但仍低于纯文本检索上限。
该文把问题定为语音健康研究难复现是因为采集与特征定义不统一,选择先统一临床可解释的核心声学测量定义并给出美国英语常模与开源提取流程,最强证据是 1815 人朗读与最长发声任务上的分任务常模差异,代价是强度类测量仍受设备影响且嵌入表示仍需先建基线再用。
该研究以水下舰船被动声学分类为任务,用多时频与耳蜗表示加时间统计池化和紧凑卷积做分类,最强证据是录音级隔离的 DeepShip 上 157K 参数四层卷积测试宏 F1 为 0.7226 而 11.17M 参数 ResNet18 验证更低,代价是 ShipsEar 近满分结果不能视为未见录音泛化。
针对生成增强在真实噪声下语言一致性不足的问题,该文用转录本计算的负词错误率奖励对预训练 FlowSE 做 Reinforce Adjoint Matching 后训练,在 CHiME-4 真实录音上把词准确率从 76.98% 提高到 82.06%,而报告的非侵入式音质指标未下降,默认奖励强度下主观听感无显著偏好。
针对语音语言模型做自动语音识别特化后语音问答能力下降的问题,论文用特化前模型做问答老师、特化后模型做识别老师,让学生按任务分别采样轨迹并只接受对应老师的监督,在 500 小时蒸馏数据上提升识别的同时保住问答,但全文特化模型本身的识别上限仍未被完全追平。
针对两阶段文本到音频中重建潜空间不一定好生成的问题,Unite-Audio 用部分波形在线编码加全波形 EMA 目标的噪声匹配流匹配联合训练表示与生成,并在 AudioCaps-886 上以 117M 潜流模型得到 CLAP 0.534 与 KL 1.057,代价是 Flow-GRPO 后分布保真度 FD 有所回退。
VietPrism 用 993.4 小时真人语音与说话人配对的伪造语音研究方言和越英混说下的检测脆弱性,最强证据是零样本检测器随说话人相似度升高而 EER 明显恶化,代价是小方言样本少且合成系统只有四种。
本文针对噪声、混响和竞争说话导致语音智能体做错动作的问题,提出 TRACE 配对比较工作流,用原文与声学压力拷贝的任务成功、违规、恢复和用户代价对照来定位失败,代价是需要为每个应用自建任务、录音与评分规则且文中示例计数均为假设说明而非实测性能。
针对直接压平小波散射系数会丢失父子路径关系的问题,WST-Graph 用固定的小波散射变换重建稀疏调制-载波网格再接入图后端,在 ASVspoof2019 LA 上以约 120k 可训练参数达到 2.92% 等错误率,并在 DFADD 等跨域集上显示出局部优势,但并非所有跨域集都一致占优。
YODAS v3 针对开放语料偏向英语单声道窄带的问题,采用分语言关键词与保原始 48 kHz 多声道下载的构造路线,用 22 个语言超 10K 小时与 92.5% 录音有效带宽超 32 kHz 等证据支撑规模与保真判断,代价是弱标注依赖自动字幕与语言标签代理。
共分析 75 篇语音/AI 论文
针对低信噪比下判决引导增益过度衰减弱语音的问题,论文提出逐帧下限增益的 ABCDD 结构并用轻量 MLP 自动预测贝塔,在代表性样本上全面优于谱减法和经典 DD,在 100 条未见 VoiceBank-DEMAND 测试上把平均对齐信噪比从 9.41 dB 提升到 13.82 dB,代价是贝塔过大仍会残留噪声且感知质量未验证。
该文研究服务器只有少量标注种子、客户端只有无标注语音的半监督联邦 ASR,用每客户端在线教师打伪标签加轮间服务器有监督更新做锚点,最强证据是稳定后在线教师在域内和多数跨域上持平或超过全局教师,代价是必须把服务器增强强度和批量调进稳定区间否则发散。
针对人声与合成声部混合后全局检测失效的问题,该工作用分频段局部检测构成合成概率图再与目标声部能量掩码联合判断单个声部真伪,在人声鼓组吉他上表现较强而在贝斯上受限于分离质量。
针对儿童语音声学变异大而 Whisper 固定对数梅尔前端丢失连续包络结构的问题,该文用时域子带希尔伯特包络加可学习逐通道能量归一化替换前端,在相同 Whisper-small 微调下把 MyST 清洗测试集词错误率从 13.16% 降到 11.08%,代价是删除错误小幅上升且低频保留原因仍待验证。
在 65 条自然脊柱门诊普通话话语上比较 emotion2vec+、SenseVoice 与 FunASR 三套开源语音情感识别,以研究者共识为参照,发现非加权准确率 55.4%-61.5% 掩盖了少数情绪接近零的召回与仅约 24% 的样本加权准确率,代价是标注噪声大与类别极不平衡下无法直接部署。
针对五人以上拥挤录音中端到端 diarization 系统性少计低话量说话人的问题,论文在 EEND-TA 上加训练期门控耦合正则与按说话人加权的归约,最终系统把拥挤子集精确计数从 32.9% 提到 41.6%,代价是 CallHome 这类吸收型错误为主的域精确计数下降且需多调存在门指数。