舌背抬得更多、喉却放得更低:美英语/k/与/g/的舌喉协同
该研究用超声逐帧追踪舌背与舌骨并做多变量建模,报告/g/以更长更大更快的舌背抬升和舌骨后缩对应低 f0、/k/以舌骨上抬前移对应高 f0,代价是舌轮廓本身差异极小且无声带预振动可直接验证。
该研究用超声逐帧追踪舌背与舌骨并做多变量建模,报告/g/以更长更大更快的舌背抬升和舌骨后缩对应低 f0、/k/以舌骨上抬前移对应高 f0,代价是舌轮廓本身差异极小且无声带预振动可直接验证。
该研究用冻结线性探测在 26 个语料、49 层表示上做跨语料迁移,发现第 15 层跨语料 F1 最高为 0.392 而 45 层下降 24.6%,均值池化 wav2vec2 比 27 维声学特征高 41% 但后者保留 71% 性能且复杂度低 3.7×10 的 7 次方倍。
针对多通道语音增强中均匀 SDR 损失忽视音素级时频线索的问题,该研究提出基于局部语音存在、语音干扰比和谱通量加权的时频加权 SDR 框架,在白噪声下实现更强的干扰抑制和辅音与爆破音识别提升,代价是在语音形噪声下部分失真指标和短时客观可懂度略有下降。
针对资源受限下音频推理难部署的问题,论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤,在 MMAR 上以 1.5 B 取得 46.40 准确率,但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。
该研究在守言与梅花两个湘方言中比较卷舌元音、高前元音与低后元音上的平调对立,用基频、时长、强弱与嗓音质量多线索加混合模型与 XGBoost 加 SHAP 说明高调更短更响更周期而元音与调系改变线索权重,但代价是仅男性发音人与单字载句朗读的受控证据。
该研究针对 6 种南部班图语,用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习,在 Swivuriso 训练并向 NCHLT 迁移,最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%,但架构按语族分化且课程收益不稳定。
该研究用超声舌轮廓加无监督聚类回答普通话卷舌擦音如何实现,发现六个轮廓簇可归为穹顶形、驼峰形和凹形三种超策略且发音人偏好稳定分组,代价是仅五位女性发音人、低帧率和小样本的探索性结论。
针对多通道增强依赖固定阵列几何的问题,该工作提出由麦克风坐标动态生成卷积核的 Geo-DConv 适配器,在 RealMAN 真机录制数据上让 SpatialNet 与 TF-GridNet 适配可变阵列并在多拓扑与跨数据集上保持提升,代价是增加少量坐标建模参数与计算。
针对增强伪影损伤识别的问题,该文提出免训练的置信度加权观察相加方法,在多种增强与识别组合上降低词错误率,但当含噪与增强差距过大时仍可能不及最强单路。
针对无纵向追踪、无类型标签时如何度量每个发声随发育变化多少的问题,该文用变分自编码器加年龄条件位移模型生成 7 个目标年龄的反事实潜变量并求轨迹方差,在三只斑胸草雀上以去时长残差后 Cohen's d 为 0.29-0.57、AUC 为 0.58-0.67 分离鸣音节与叫声,代价是与时长强相关且无纵向真值可直接验证。
针对 CTC 早期只预测空白标记导致的抑制期问题,论文提出在 wav2vec 2.0 微调中从元音/浊辅音/清辅音三分类过渡到全音素 CTC,并在英法波兰三组数据上把音素错误率相对降低 9.5% 到 14.3%,代价是只验证了一种 S 形调度和一种粗粒度划分。
针对家庭等特定场景人工标注稀缺问题,论文用标准化加声音活动检测加音频事件检测加过滤四步把流媒体长音频转为带事件标注的训练数据,并以 2130 小时覆盖 431 类的 TriA 数据集和三组家庭分类任务上平均准确率相对提升 3.97%、Macro-F1 相对提升 3.35% 的顺序微调证据支撑其有效性,代价是类别不均衡与自动标注可靠性仍低于人工标注。
TTBA 针对文本到双耳音频中方向不可控与声道间线索不稳的问题,采用交叉排列离散表征加空间提示编码器与 Transformer 自回归生成,并在 BEWO-1M 上以内容蒸馏稳定语义,多声源条件下语义与空间指标多优于 SpatialSonic,但单静态与单动态子集的部分指标仍有反复。
针对参量阵扬声器非线性自解调难以建模的问题,论文把任务从音频到音频改为超声到音频并用多速率 WaveNet 实现,在同一 USBAM 样机上以总谐波失真与互调失真误差为指标优于同骨干音频输入网络与二阶 Volterra 滤波器,代价是需要 192 kHz 超声输入与同步采集条件。
针对重叠语音中部分说话人不在画面内的问题,该研究在序列化输出中增加[None] 视频标记以避免强制关联,并在 LRS3 仿真混合数据上用 WER、VWER、VTER 对照验证,其代价是多说话人加离屏时声画关联误差仍明显增大。
该文把五种粗化或缺失的韵律输入统一为线性退化求逆,用有监督扩散与无监督逆问题采样两条路线恢复帧级韵律,主观上无监督方法在严重退化下接近真值韵律,但盲估计与推理代价仍是限制。
针对发音词典只能覆盖约百种语言而制约多语言合成的问题,UR-BERT 用通用罗马化统一输入并增加语音 token 预测来对齐声学,在 11 种语言的 VITS 对比中多数指标占优,代价是仍依赖教师语音模型与强制对齐质量且极低资源下可懂度提升有限。
论文研究如何在低资源印地语农业对话场景下低成本建 100 小时语料,选择自动语音识别加轻量 mT5 纠错再加标注员到验证员到核查员三层校验,最强证据是相对纯人工标注时间减少 61.1%,代价是领域外泛化仍依赖通用基线且大模型纠错更慢更不稳。
VerAno 用受限码本的自监督 VQ-VAE 过滤说话人音色、再用条件流匹配重建梅尔谱,在 VPC 2024 上以 CB128 取得隐私与内容情感兼顾的前两名综合排名,代价是码本放大后隐私下降。
针对带噪低分辨率输入的噪声鲁棒带宽扩展问题,VeRe-Flow 在流匹配骨干上同时引入速度对比正则和中间表示对齐,并在 Valentini-Botinhao 带噪测试集上报告了生成式基线中最低的频谱距离和最高的整体感知分数,其代价是需要配对干净高分辨率监督与冻结的噪声鲁棒自监督特征。