把音频变成可读文字再推理:Listen-to-Reason 的树、路由与冻结阅读器
论文把音频问答拆成命名树节点加语音转写文本再由冻结文本大模型作答,在 SAKURA 上超过所比音频大模型并用干预证明节点有因果作用,代价是计数排序与细粒度场景题仍落后且推理端需要跑多个编码器与转写模型。
论文把音频问答拆成命名树节点加语音转写文本再由冻结文本大模型作答,在 SAKURA 上超过所比音频大模型并用干预证明节点有因果作用,代价是计数排序与细粒度场景题仍落后且推理端需要跑多个编码器与转写模型。
论文用匹配内容合成与固定提示回放在冻结 GLM-4-Voice 中检验请求式副语言是否跨内容复现,以 16 维共享坐标刻画结构,最强表示证据是内容留出下 9.49% 对 1.25% 与余弦 0.285 对 0.017,而生成干预只在部分属性与层组有效并伴随文本保真代价。
论文在全双工语音模型 Moshi 中用均值差向量做四种情绪转向,发现残差流可线性解码但转向跟随向量间几何而非标签,只有 sad 稳定转向,代价是可懂度下降。
该论文用配对中性与情感合成加激活补丁,定位出条件前缀源头和每种情感约二十余个注意力头与多层感知机,证明它们能恢复或抑制大部分晚期情感读出偏移并引起解码波形的音高能量变化,但结论只在单说话人单参考英文受控条件下成立。
论文用短时傅里叶域遮蔽加对照审计 AdvWave-P 在 Qwen2-Audio 上的表现,发现八频段排序几乎被扰动能量解释,深层音频表示差异与遮蔽必要性正相关但不能定位因果层。
针对音乐基础模型内部是否形成和弦与调性关系结构的问题,该文用半音移调多视角稀疏自编码器对齐恢复有序特征轨道,并以大三小三和弦环与下属音环为证据支撑,仅用少量锚点解释整族特征,代价是节奏等移调不变概念与部分调式信号仍需额外偏置与验证。
共分析 16 篇语音/AI 论文
该文用声学到发音反演伪标签把声道滤波器锚定在发音运动学上,源用基频能量加流匹配细化,以频谱保真度小幅下降换来可验证的源滤波解耦与发音级口音编辑。
该文把成人 PhonoQ-2.0 适配到儿童语音,对比三种强制对齐监督与两种初始化,用 58 名儿童 1352 个辅音人工标注检验,显示清浊全面提升、发音方式依赖儿童对齐、部位对比与纵向变化保持可解释,但增益因特征类而异且临床样本很小。
该工作把每条语音先转成转录文本、声学描述和说话人属性三组可读概念再让大语言模型只看概念判情感,在三个语料上用零样本与微调对照和固定预测器的单概念删除,显示转录主导与声学依赖随语料而变,而删除声学概念会改变个体预测即使总分几乎不动。
以 ACE-Step 1.5 为案例,用线性探测追踪仅由歌词驱动的歌手可解码性从歌词编码器经交叉注意力到生成音频的传播,最强证据是编码器输出 0.344 的百类歌手分类准确率,代价是探测只证相关不证因果且 CoT 路径带来稀释与翻唱式复现的混杂。
该工作把逆向合成拆成调制去向分类、去向条件 LFO 回归与振荡器波形恢复三步,用可微合成器连接音频损失,在合成与 Serum 2 数据上验证了去向正确性的关键作用,代价是滤波器与振荡器类型仍受限且感知损失需与直接参数监督配合使用。
论文针对声音形式与交际功能混淆的问题,用冻结音频语言模型写描述加语言模型映射到七维状态再做注意力多实例分类,在 DAIC-WOZ 达到 71.9% 与 MODMA 达到 90.5% 的平均 Macro-F1,代价是依赖大模型抽取与录音条件。
该工作把合成语音归因做成基于样例比较的可解释分类,在 MLAAD 英语训练下用架构族标签达到 99.65% 平衡准确率并支持跨语种与开放集拒绝,但原型冗余与说话人覆盖不足仍是主要代价。
论文用冻结 MusicGen 的 token 损失曲线、预测熵曲线与稀疏自编码器隐变量训练轻量评分器,在五个听感基准上拟合人类评分,并用过自信错误与频谱结构解释低分来源,代价是仍需按基准训练映射且组合不总是更优。
论文用响度、内容丰富度和情感表达三组单变量受控操纵审计六个语音裁判,发现成对比较会系统性偏好更响更丰富更欢快语音而理由很少点名真正起作用的声学线索,人听校准显示部分偏好超出人类权重。
CoLMbo-SV 用冻结说话人编码器加旁路判定保持验证精度、用文本形式声学测量支撑可核对报告,在 VoxCeleb1-O 上报告 0.99% 等错误率与 0.82 数值接地得分,但决策敏感性分析显示报告内容对当前判定的证据选择性仍很低。
该研究用直接处理原始语音的双头语音大模型同时做认知状态分类与自然语言解释,在六个数据集任务条件下取得最高平均准确率并能迁移到未见任务,但解释监督来自模型生成且临床标签为量表阈值定义,解释只能作辅助核查。
该研究把六首有文献记载背景的流行歌曲旋律抽出后交给同一可解释和声器重新配和声,对比发现高旋律适配分不等于保留原有持续、重复与非调式特征,部分曲目保留经济型 I-IV-V 结构,部分则扩张声部词汇或压制标志性进行。
论文以 FlexiCodec 为公共接口比较七种边界分配方法,发现音节、BPE 与词对齐更强的方法池化失真更低、重建词错误率更低,而音素级固定切分不如均匀切分,但自适应分配仍优于固定音节切分,代价是动态规划类方法边界选择耗时明显更高。