零样本克隆语音模型里藏着哪些可理解的声音特征
论文追问自回归零样本克隆 TTS 表示了什么声音属性、能否用少数特征预测和在生成时调控,用 SAE、PCA 与随机方向做稀疏探测与转向对比,并在 Qwen3-TTS 上做定量自动解释,最强证据是 SAE 在人工标注概念稀疏预测和 684 个自动验证新特征上的优势,代价是转向效果因概念和模型而异且伴随可懂度和自然度损失。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文追问自回归零样本克隆 TTS 表示了什么声音属性、能否用少数特征预测和在生成时调控,用 SAE、PCA 与随机方向做稀疏探测与转向对比,并在 Qwen3-TTS 上做定量自动解释,最强证据是 SAE 在人工标注概念稀疏预测和 684 个自动验证新特征上的优势,代价是转向效果因概念和模型而异且伴随可懂度和自然度损失。
论文追问 Mimi 第一码本是否为稳定音位表,用强制对齐加熵和互信息在 TIMIT 的 SA1 与 SA2 上做分布探测,发现单个码字高度偏向某音位但同一音位分散在多个随语境变化的码字族中,且语音信息分布在全部八个码本中,改动第一码本全局替换才明显抬高词错误率。
针对自由描述覆盖不一致、缺省无法区分缺席与证据不足的问题,SURE-Tagger 用专科模型提供证据再由语言模型整合成显式属性加补充描述的半结构表示,在 Tag-Bench 上标注得分最高,并用条件聚类指导一小时微调使 Qwen3-ASR-1.7B 整体误差相对下降 14.3%,代价是需要多模型流水线和候选池打标与评测开销。
共分析 80 篇语音/AI 论文
本文以说话人身份为可测代理,用频带滤波、幅度相位重建、WORLD 源滤波器交换、自监督层与离散 token 探测加 45 人听感对比,定位出 1-8 kHz 幅度包络是感知主载体,而高频与浅层表征仍有可被机器利用的残留。
论文研究只用文本预训练的主干如何识别语音和非语音属性,通过比较音频与文本在前馈神经元上的重合再用转向与关闭做因果验证,在三个模型与四类任务上发现标签特异的对齐但强度因模型而异。
共分析 34 篇语音/AI 论文
论文以 Gemma-4 12B 和 Inkling-Small 为对象,验证其早期 Transformer 层是否像独立音频与图像编码器一样先各自编码再融合,依据是换跨模态上下文后表征不变、独立编码到 12 层左右仍保持问答精度、层级信息演化与常用语音编码器相似,但细粒度语音与部分视觉任务仍明显落后。
本文用 3594 个图文声冲突样本测出六个音频大模型平均以 0.78 的比例跟从文字,并在最偏向文字的模型上证明声音信息完好保留在语言模型输入端,而阻断中间 token 转述文字主张才能在自由生成中恢复听觉判断。
共分析 57 篇语音/AI 论文
论文把声学感知压缩为单一声学因素随时间增强还是减弱的二分类,用 21600 条受控语音和人类 94.4% 对比模型约 50% 的结果证明瓶颈在感知与读出,并用线性探测区分了两种失效模式。
共分析 25 篇语音/AI 论文
论文解决只有一路目标语音时如何从脑电估计注意力强弱起伏,用逐窗包络跟踪相关作证据再以两状态隐马尔可夫模型做前后文整合,在 30 人 75 分钟听课数据上把 1 秒窗平均区分度从 0.547 提升到 0.832,代价是单人转折定位仍有二十多秒误差且需要足够的专注基线。
论文针对语音大模型从声音推断性别并产生刻板关联的问题,先用对抗训练去掉编码器中的性别信号,再用蒸馏保留性别感知但压低无关场景的偏差,第一步能把显式检测压到接近随机而第二步只在部分模型上轻微改善且受数据集与回答风格制约。
该文用部分码本重建加机器听众一致性的方法,测量 17 个多码本编解码器在七类特征上的恢复深度,发现性别最浅、嗓音质量和年龄组最深,且结论只在所用听众、数据集和相对阈值下成立。
共分析 69 篇语音/AI 论文
论文用平均词段的二维投影发现圆周式词计时轨迹,再用旋转切分在 HuBERT 第 9 层上以 64.3% 边界 F1 和 39.8% 词 F1 切分出单个词,而未训练模型与对数梅尔特征不能做到同等实例级切分。
论文针对语音同时带来有用人口线索和有害刻板联想的问题,提出区分是否被明确要求使用人口信息的三轴评测,用八个语音大模型显示能听出性别年龄不等于会恰当使用,且显式标签同时提升个性化和刻板选择。
论文以英语口音分类为对象,用 DistilHuBERT 做声学编码加分类头,在文件级与说话人隔离、平衡外部扩展和教师学生伪标签对照下,说明说话人重叠抬高库内成绩,而平衡外部训练只在部分折改善留出跨库表现且高置信伪标签并未带来提升。
SoFilNet 只用重建语音做监督就同时估计基频、清浊、五带非周期性与有序共振峰和反共振零点,在 VTR 共振峰与跨库基频上取得最低平均误差,代价是幅度谱建模与固定极零点结构带来的简化。