不知道训练用了什么问题,还能判断音频是否被训练过吗
论文把音频文件是否参与微调当作审计目标,用目标模型自己为录音出题再按回答的不确定性打分并取最可疑的几题平均,在三套音频大模型上把区分度从随机猜测提升到 0.55 到 0.60 左右,代价是每个文件要做三十多次生成与打分且证据仍较弱。
论文把音频文件是否参与微调当作审计目标,用目标模型自己为录音出题再按回答的不确定性打分并取最可疑的几题平均,在三套音频大模型上把区分度从随机猜测提升到 0.55 到 0.60 左右,代价是每个文件要做三十多次生成与打分且证据仍较弱。
针对英韩混合的两人到四人重叠语音分离,MOUSSE 在流匹配分离器上加入边界感知加权训练和逐帧预测尺度并用尺度调节采样引导,在 MuSSeD 上取得更高的信号与可懂度改善,但结论只在该合成数据与相同评测条件下成立。
Marimba 要解决同一段语音窗口内词项、轮次、语音活动和语种等不同判断如何共用一次编码的问题,它用冻结 Qwen3-ASR 编码加词法转写计分与问题条件头加专用读出的分路设计,在会话与朗读数据上给出可比较的排序与校准结果,而词法路径保留自回归解码成为主要延迟代价。
论文指出混合所有帧的相关系数主要反映歌曲间平均水平差异,为此用均方误差加窗内一致性系数的组合目标控制歌曲间与歌曲内拟合的交换,并用冻结声学嵌入加自动转录符号特征的双分支时序融合模型在歌曲分组交叉验证下验证了跟踪能力的提升与预测区间的实际覆盖率。
针对单次解码不稳定的音频问答,论文用同一音频问题多次采样再按对数似然置信度加权聚合,在 MMAR 上随采样预算增大提升准确率与校准,尤其在样本分歧大时优于多数投票,代价是需要多次解码与有效性过滤。
论文把给定输入下的预测风险拆成规格不确定性、残余偶然不确定性和认知不确定性,说明只有第一项对应追问澄清的收益,并用文本、图像和音频问答证明三者在检测欠规格输入和预测错误时各有分工,但估计质量依赖澄清生成器和集成近似。
论文用全合成的舌、脉、声数据先给出 8 类证候族分布,再用 25 道结构化问题做贝叶斯追问,一次性 600 例确认中成本敏感信息增益把族准确率做到 95.5% 而细项准确率仅 42.5%,且提问数并未少于 tested 固定顺序。
本文把到达方向估计做成 32 类分类,用 U-Net 输出逐帧后验,再用保形预测集合的大小与形状决定相信神经网络还是相信时间连续性,实验显示该平滑在 0 dB 突发方向噪声下能降低平均绝对误差,但在无噪声低混响时提升很小甚至略变差。
ConformalMOS 针对合成语音平均意见分只给点估计不可靠的问题,用冻结声学编码加顺序感知分布头做点预测,再用切分共形校准输出有覆盖保证的区间,在 BVCC 上系统级 MSE 做到 0.08 但结论只在同域划分和强骨干下成立。
针对声学泄漏检测中背景变了、泄漏类型变了和传感器坏了都会让 AI 静默犯错的问题,COMET 用信号有效性、物理一致性和能力包络三层各自诊断再统一成红绿灯给人看,把高噪声无泄漏和三类传感器故障的可信错答降到零,代价是名义误报约 1%,但对新型管泄漏仍留下约 27.6% 的静默漏检。
针对远场对话中流式识别的局部错误,Pardon 用干净音频的反事实解码监督估计重说可修复的增益,再把高分词组成 span 请说话人重说并用大模型只改该段,在控制打断负担下降低词错误率。
论文针对全模态大模型的答案可信度问题,用外部全模态编码器把输入和思维链映射到同一空间算贴合与连贯,再给多数投票加权,在 UNO-Bench 上随生成器和模态小幅改善且在开放式全模态问答上相对最稳,代价是需要辅助切分和少量标注校准。
针对多模态情绪识别中 softmax 被迫自信的问题,论文提出每个模态输出狄利克雷证据并用 Dempster-Shafer 规则融合,在四个数据集上同时提升精度与校准,而代价是需要调冲突权重与 KL 退火且依赖条件独立假设。
论文把压缩语音表示送入 8 比特变分量子电路做瓶颈变换,在匹配经典对照下主要改善固定阈值下的部署代价与校准,最强域外证据是 AASIST 上 EER 相对降低 28% 而真机验证只证明可行且代价不稳定。
RASSG 针对流式语音中用户修正参数会导致已启动工具产生不可逆陈旧执行的问题,用三次识别一致启动加校准无效风险在最后可取消时刻否决继续执行,在受控执行时钟下把 ReCAST 修正子集的陈旧率从 50.00% 降到 3.15%,代价是保留 3.676 s 成功延迟并依赖固定工具时间假设。
论文针对部署中无标签条件下无法判断检测器是否处于熟悉条件的问题,在固定检测器嵌入上用两个参考的正则马氏距离做可信与告警分流,实验显示未被拦截的伪造误接受率降到 1% 以下,但代价是自动覆盖率明显下降且真语音漂移也会触发大量告警。
本文在脑磁语音检索中发现融合后前二分差越大在局部排名靠前时更可能是被修正的错误、靠后时反而更可能是修不好的错误,并用只改变融合权重的干预和保留局部与先验分数的选择性输出证明了该反转的机制与代价。
针对客观音质只给单点平均分而听音试验给出分数分布的问题,用 11 个 PEAQ 特征加 50 个自举 MARS 回归器加全局均值宽度校准来模拟听众分数,校准后在所有数据集上提高了区间覆盖和分布一致性但仍低于名义水平,且成对显著性判断还不可靠。
针对文本图像音频视频混合输入下靠错证据生成的问题,OmniConfess 先冻结候选回答再逐通道重打分形成口供并据此修正判断与局部重写,在 3540 例基准上提升幻觉指标但逐通道重算带来额外推理耗时。
针对目标说话人标注中注册库不能直接当归一化 cohort 的问题,论文提出只看分数分布形状的双项校准,在合成与会议语料上都提升了标注准确率,且不依赖外部数据。