注意力块减半仍可用:逐头通道剪枝如何用二阶分数留住重要维度
该文针对音频 Transformer 注意力块提出逐头独立的通道级结构化剪枝并用 Fisher 信息打分,在注意力参数稀疏 60% 时仍保持接近整头剪枝的分类与识别性能,但逐头剪枝的推理加速幅度小于整头剪枝且翻译任务下降更大。
该文针对音频 Transformer 注意力块提出逐头独立的通道级结构化剪枝并用 Fisher 信息打分,在注意力参数稀疏 60% 时仍保持接近整头剪枝的分类与识别性能,但逐头剪枝的推理加速幅度小于整头剪枝且翻译任务下降更大。
该研究以 Bangor Miami 自发对话为对象,用 103 维语言无关韵律特征检验语码转换句与单语句的分布差异,并以聚类与 Whisper 语言标识为诊断工具分离说话人熟练度与多语属性的影响,代价是结论限于单一语料与粗粒度话语级特征。
该研究用语音克隆固定文本后比较三种语音大模型对六种口音与两种性别呈现的回答,发现在礼貌一致下东欧口音女性帮助性最低,人评比机器评更敏感,但受限于合成音色与小规模人评。
针对穿混凝土墙雷达语音带限与杂波干扰问题,论文提出逐层扩频的 CAF-Former,先用共享键值的多查询时间注意力守住低频时序,再用频率注意力融合引导高频恢复,在仿真与实测上 STOI、DNSMOS 和 CS-MFCC 最优,代价是仿真 PESQ 略低于 EBENet 与 TF-Locoformer 且参数量为 2.726M。
论文以意大利语和罗马尼亚语广播语料中的元音序列/ia/为对象,用语速归一化时长和函数主成分分析的共振峰动态检验重音与词内位置如何促进或阻断滑音形成,最强证据是意大利语重读与非重读时长差达 0.56 对数单位而罗马尼亚语整体更长更陡,代价是两语言高度重叠且说话人信息缺失。
针对帕金森低运动性构音里呼吸-喉-构音混杂难拆解的问题,该文用健康 USC-TIMIT 多线圈运动学学一维 Za 轴并经音频反演加仿射校准算出 AWI,在 9 对匹配对照中 PD 全部偏高并与 UPDRS 呈约 0.5 相关,而在 398 人声带高功能组保持稳定,代价是小样本英语朗读与单一反演模型的分布外风险。
该研究针对单速链式输送机整机故障,构建三音频加四振动同步数据集并用冻结编码器加通道级 k 近邻统一评测,报告显示音频在检测占优而融合在分类最强,但跨速度与噪声泛化仍留有余量。
该研究让 55 名典型听力与 57 名听力损失的老年被试仅凭韵律判断陈述疑问句是结束还是延续,发现两组敏感度都高于机会但所依赖的声学维度分离:典型听力组靠目标词时长与强度的边界强度交互,听力损失组靠末端上升的时长与音程,而延续项在两组中都未被四个测量稳定预测。
针对吴语越剧无专用演唱合成数据的低资源问题,论文用 565 段棚录对齐数据加发音与音高增广与条件流匹配基线 YueOpera-Singer,在 F0 RMSE 0.2133 与 MOS-N 3.92 取得可复现基准,代价是单演唱者单行当与 10 步推理开销。
该文针对前景事件变化而场景类别不变时的声场景分类失效问题,用 CochlScene 背景加 FSD50K 前景的受控混合构造 ESAS 基准,并在六个可运行系统上报告背景到未知事件的系统性掉点,代价是合成混叠与真实采集之间仍有差距。
针对真实会议中快速轮转与重叠导致的边界模糊和聚类不稳,该工作在分割级用 OWSM 编码器经 FiLM 调制 WavLM 中间层、在聚类级用已知说话人嵌入复制加权做 KSGC,在 AMI、AliMeeting 和 AISHELL-4 上报告了 DER 下降,但以双编码器计算开销和复制因子需按语料调参为代价。
论文把语音情感识别拆成说话人侧与标注者侧两路公平,先用对抗去偏构造单侧 FairCLAP,再用源域双侧参数差 ATT2Fair 向量推断目标域缺失侧,在 IEMOCAP 等三库上以约 2.15% 平均 F1 代价换来统计 parity 明显下降。
针对无平行干净-带噪数据时的语音增强问题,UFL-GAN 用话语级与帧级双判别器加 APC 辅助特征约束 NTVF 生成器,在 VoiceBank+DEMAND 上达到 PESQ-WB 2.64 等接近领先无监督方法水平,但仍需非平行干净语音且未验证混响与削波。
该研究用发音属性序列代替音素直接建模,在母语数据训练后于学习者语料上做检测与诊断,报告显示误接受率与诊断错误率下降,但误拒绝率略有上升且声调细化带来灵敏度代价。
针对常开边缘设备的因果低延迟语音活动检测问题,kiloVAD 选择标准梅尔特征加纯卷积主干,配合逐层结构化剪枝与角度感知量化,在 200 毫秒因果评估下以 2.1 千参数达到 AVA-Speech 上 0.850 的曲线下面积,代价是极限压缩时部分种子出现层坍塌且 4 比特量化仍明显掉点。
针对大语言模型语音识别在噪声下表示不稳的问题,VIB-AVSR 在 LLM 第 4 与第 8 层后只对音频隐状态做变分信息瓶颈压缩与插值,在 LRS2 上 babble 与 speech 噪声多信噪比下降低词错率,而干净语音性能基本保持,代价是需调压缩强度与插入位置且三瓶颈会过正则。
针对印度语言评测中干净音频带来的乐观偏差和单参考转写带来的悲观偏差,Vimarsha 用约百小时受控野采加难例野外音频与人工校验的变体格评价十个系统,最强系统仍在野外 split 上词错误率翻倍以上,而拼写变体格平均每词提供约一点五种可接受写法。
该文用 32 组 105 人的被试内配对设计采集约 59 小时面对面与视频会议群组对话并做多模态特征与人工标注,报告显示视频会议话轮间隔更长、话语更短且句法更简单而面对面愉悦度更高,代价是任务单一且设备与场景控制仍会引入域差异。
该文以 73 人静息与 32 人发元音的正中矢状面磁共振数据,用几何形态测量比较男女声道形状参差,发现男性在混合元音构音上参差显著更大并提出其可能使声音签名更可分,但静息与单因素元音差异多不显著且未直接测识别率。
针对朗读式干净评测与单参考词错误率高估误差的问题,该研究用 15 种语言 139 个区域簇的 536 小时无脚本电话对话与多变体转写格构建封闭评测,报告显示最优系统仍在方言与低质短语音上超过 20% 词错误率且地区差异可达约 4% 到 44%。