重建越好表示越碎:解耦音频编码器的稳定性代价
论文提出稳定性-码率-失真三维视角并用连续编辑距离度量几何漂移,在 26 种方言上显示连续隐变量尚稳定而量化后离散序列 катастрофически 破碎,且低资源语言要额外缴纳语言税。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文提出稳定性-码率-失真三维视角并用连续编辑距离度量几何漂移,在 26 种方言上显示连续隐变量尚稳定而量化后离散序列 катастрофически 破碎,且低资源语言要额外缴纳语言税。
论文用两维逻辑回归探针检验 ADReSS 与 ADReSSo 的声学变异性,发现固定测试集上双特征可达 0.875 与 0.831 的宏 F1,但标签置换仍可偶发高分且蒙特卡洛均值回落到 0.622 与 0.667,代价是固定划分成绩不能作为病理相关性的证据。
针对词错误率把声学失败与格式失败混为一数且在马拉雅拉姆语等黏着语中因合法连写被结构性夸大约三成的问题,论文用带连音容忍对齐的四维误差向量做诊断评估,并用大模型清洗管线训出印地语等三语丰富转写模型,最强证据是数字维度与专家评分相关达负 0.92 而词错误率多维不显著,代价是标点仍高达百分之十以上且本次未能确认代码权重可达。
论文先用统一打分协议测出现成语音大模型在 VoxCeleb1 上等错误率多在 20% 以上,再用冻结 ECAPA-TDNN 向量加线性映射与 LoRA 把 TinyLLaMA-1.1B 做到 VoxCeleb1-E 上 1.03% EER,代价是推理与训练开销远高于专用验证系统。
论文用同义词与近音词距离、声道距离相关和图文对齐三组探测检验 EnCodec、DAC、MIMI、MIMO,显示编码器保留更多语音发音结构而非词汇语义,跨模态对齐增益有限且蒸馏并未带来真语义。
论文检验参考与生成语音的情绪嵌入余弦相似度作为情绪评价指标的有效性,用受控三元组、对抗干扰和人类偏好对照证明其在说话人与文本干扰下失效,最强证据是语言干扰下准确率跌至个位数且与人类判断基本无关。
针对头戴相机难做儿童友好硬件与人工标注耗时的问题,论文用基于 Insta360 GO 3 的 TinyExplorer Gear 加本地运行的 TinyExplorer Detection App 解决,已验证人脸检测与关键词检出召回 78% 精确率 77% 接近人工一致性均值 82.36%,代价是手部与音频能力仍在集成中且依赖自然游戏录制条件。
针对平均意见分测不出语法条件变体的问题,该文以阿萨姆语舌根前移元音和谐为探针,用人类语音训练声学到音系分类器并跨域审计 MMS 合成,最强证据是中元音/e/和/o/约三分之一被实现为[-ATR] 且欠生成与过生成呈约 7 比 1 不对称,代价是仅覆盖单个系统、单个现象与小规模不平衡合成集。
论文把语音隐私从信号比对转向四属性组合的等价类与单试次重识别,证据是 72 人集上真实属性 38.9% 唯一、推断属性仍 31.9% 唯一且匿名后攻击错误率最低仅 0.58,代价是分类器误差相关反而帮助攻击、匿名并未针对属性保护设计。
论文以口吃语音为案例提出意图转写与逐字转写是两种并存的正确答案,用 11 个模型证明最优排名随参考答案翻转,自回归模型偏向意图、CTC 模型偏向逐字,而 ISR 与 MUR 事件是两类任务共同的误差主力。
该研究用训练量相同、仅说话人重叠不同的对照划分检验语音抑郁检测,显示重叠时微调模型可达 97.65% 而严格独立时跌至 58.74%,且域对抗去身份信息后差距仍在,代价是现有高分很大程度上依赖说话人记忆而非可泛化的病理特征。
论文比较模块化流水线、任务专用大语言模型与通用多模态大模型在多说话人长音频转写中的表现,提出时间受限语义错误率与重叠分解指标,最强证据是重叠段贡献约九成总误差而模块化多通道系统在复杂会话中仍最稳健,代价是语义指标仍依赖词级对齐且人工语义一致性尚未验证。
该文把 FAD 评价拆成召回、精确度、语义对齐与结构对齐并用对数自归一化比较六种编码器,报告显示重建类 AudioMAE 精确度最敏感而 ASR 类 Whisper 结构最敏感但对信号退化近乎看不见,代价是没有任何单一编码器能同时兼顾四轴。
针对口语翻译评价只用文本上下文而低估人工译文的问题,该文提出以场景视听标签为共同条件的 AV-CXMI,在韩英电影翻译上报告与人工评分显著正相关 r=0.400 而文本版为负相关,代价是依赖云端大模型抽标签且仅在小规模单语对上验证。
论文用同一段医患对话配对干净与加噪音频并冻结下游大模型,报告平稳环境噪声仅让词错误率上升 0.71 个百分点却使不安全输出翻倍,并验证轻量证据审计能在 5 dB 重噪声下降低高风险幻觉但保留良性表述差异。
该演示用同一含噪语音对比三种增强路线对 7 个神经学生物标志物和加权风险分数的扰动,显示感知清晰度提升不能保证临床特征稳定,而代价是方法相关的频谱与韵律漂移。
论文用单帧静音探针审计 10 个视频基准揭示视觉捷径,再在 LLaVA-OneVision 上外挂语音编码器并以因果 Mamba 周期查询把 25 Hz 音频压到 1 Hz,在过滤后语音与跨模态任务上取得稳定增益而视觉任务基本不受影响,代价是延迟从 1.00 秒升至 1.60 秒。
针对长而细的情感语音描述难以整体打分的问题,论文把评价拆成原子感知单元并用音频语言模型逐条做有无的二值验证,再与参考单元做语义匹配算 F1,在 320 对的人评上取得约 0.44 的正相关,而传统 n-gram 指标呈负相关,代价是依赖模型判断且对复杂人声事件的检出率明显下降。
该研究把正确答案固定到 A、B、C、D 四个位置重测六个大音频语言模型,发现打乱顺序可带来最高近 24% 的准确率波动并改变模型排名,而全排列多数投票能在增加测试计算量的代价下缓解偏置。
针对离线语音基础模型在流式下因上下文受限而退化的问题,论文用滑动音频窗口加时间戳去重加纯文本发射策略的免训练管线,在三套英语数据上以约 2 秒级延迟恢复到接近离线词错误率,但低延迟与高难数据集上仍有代价。