听还是读:思维链语音翻译到底用了多少声音
论文追问思维链语音到文本翻译是否真用了语音,通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写,而在训练中混入噪声转写能提高语音利用率,但要以额外构造和训练干预为代价。
论文追问思维链语音到文本翻译是否真用了语音,通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写,而在训练中混入噪声转写能提高语音利用率,但要以额外构造和训练干预为代价。
针对视听语音增强中 SI-SNR 与人耳感知不一致的问题,该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励,用 PPO 微调 AVSEC-4 个基线,在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出,代价是奖励文本模式较固定且需额外大模型推理开销。
针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题,论文用语音感知的因果追踪定位再做单层与多层编辑,最强证据是音频层编辑总体优于文本层与微调,但多层累积更新会带来分布偏移与特异性代价。
论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题,用解耦的 GRU 时序融合对照证明上下文与门控的增益,并以扰动遮挡验证非平稳性,代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。
该文研究话语级多维构音障碍评估,用冻结 CTC 音素识别器的后验不确定性加音素错误率构成 11 维 PED 特征,在四个主要维度上达到平均 AUROC 0.80,接近 HuBERT 的 0.81,代价是精细等级排序仍弱于黑盒表示。
论文把自动语音识别中的幻觉定义为对齐后的编造插入词,用因果中介与注意力行为定位到偏向文本的多头自注意力,再用连接时序分类门控与跨注意力构建 AudioSLM,在 LibriSpeech 上把开发集幻觉错误率从 52.01% 降到 8.69%,代价是正确率与替换删除略有回退且大骨干仍出现逆扩展。
论文冻结 Wav2Vec 2.0 XLSR-53 逐层探测五个中国方言,报告从声学主导到语音分化再到深层流形收缩的三段几何演化,并指出中间层保细粒度语音、深层利宏观分类,但未训练新模型且未报告识别准确率代价。
论文用同义词与近音词距离、声道距离相关和图文对齐三组探测检验 EnCodec、DAC、MIMI、MIMO,显示编码器保留更多语音发音结构而非词汇语义,跨模态对齐增益有限且蒸馏并未带来真语义。
针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题,该文用联合高斯混合的后验加权仿射变换做语音转换,在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据,代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。
该研究把严重度评估做成四分类并用训练全程梯度对齐估计每个训练样本对每个测试话语的影响,再用受控删除验证解释忠实度,最强证据是删高影响样本导致中度准确率从 36.8% 掉到 0.3%,代价是基分类器简单且轻度类基线极低。
该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。
该文用 SAP 语料先做 LoRA 无监督域适应再冻结 Wav2Vec2-Large 做 25 个 DAB 维度的层探测与可学习标量混合,报告显示最优单层随维度变化而混合优于单层,但标签偏态与时序池化限制仍在。
论文用时间对齐自监督表示上的积分梯度定位判决证据,再经 100 条样本人工标注与掩蔽反证,显示 AASIST 看非语音环境、CA-MHFA 看局部音素、SLS 看词边界与频谱完整性,而重压缩是三者共同的失效条件。
该工作以口腔与口咽癌患者可懂度评估为任务,用 PWCCA 逐层度量 Wav2Vec 2.0 表征与 eGeMAPS 低层描述符的线性相关,最强证据是频谱组 0.77 与韵律组 0.71 在末层仍高度相关而嗓音质量组仅 0.65,代价是只做相关性解释而不证明因果与可部署替代效果。
论文把多人说话视频的谁说了什么拆成以声音或画面为锚的跨模态检索,用受控玩具体验揭示时间编号与位置编号的三阶段绑定,并证明瓶颈在音视对齐,进而用现成说话人检测框加不到 300 步微调带来可复现的提升。
论文用 1657 题的三任务受控基准诊断时间推理失败,行为与因果干预显示模型在有文本时欠用音频,而重分配音频注意力比单纯增大音频注意力更有效,但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。
该文针对语音语言模型同时受文本与音频越狱威胁的问题,选择在中间层残差流上用主成分分析暴露拒绝与顺从的分离结构并构造可跨模态转向的向量,最强证据是音频来源的拒绝向量把文本 AutoDAN 攻击成功率从 72.69% 压到 2.82% 而反向亦成立,代价是干预强度需按模型分布手调且只验证了两模型五种攻击。
该研究在 28 人法语朗读 SOMVOICE 数据上只用 eGeMAPS 与 Snack 等可解释声学特征加 SVM 等简单分类器估计睡眠剥夺及嗜睡疲劳与警觉下降,最强证据是 PVT 速度与反应发散度 UAR 达 0.858 与 0.841 而 KSS 仅 0.662,代价是小样本与年龄性别偏倚及症状间混淆仍待验证。
论文用带限倒谱系数扫描 0–8 kHz 并做似然比法庭语音比较,报告全频带 Cllr 为 0.13643,而 0–0.6 kHz 与 4–6 kHz 最具区分力、7 kHz 以上最弱,多子带融合可进一步低于任一单子带但仍未达到全频带水平。
论文以 WavLM 第 1 层为对象,用线性探测定位音高响度、以 JumpReLU 稀疏自编码器做解耦再做潜变量消融,发现去掉前 50 至 100 个最重要维度后探针 R2 仍保留约 97% 以上,最强证据是 INLP 子空间擦除使目标特征 R2 下降 94% 以上而响度擦除对其他探针影响小于 1.5%,代价是频谱类特征共享子空间、离散消融基本失效。