情绪维度有多语言无关?英语到汉语普通话的缩放与跨语言适应
论文用约 100 小时英语 MSP-Podcast 训练的 WavLM Large 模型,再用 1 到 20 小时汉语普通话 BIIC-Podcast 做适应,与只用汉语普通话从头训练对比,发现唤醒度只需 2 小时即可追平 100 小时单语模型,而效价需要 20 小时,代价是小数据下直接训练不稳定且效价与优势度整体更难预测。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文用约 100 小时英语 MSP-Podcast 训练的 WavLM Large 模型,再用 1 到 20 小时汉语普通话 BIIC-Podcast 做适应,与只用汉语普通话从头训练对比,发现唤醒度只需 2 小时即可追平 100 小时单语模型,而效价需要 20 小时,代价是小数据下直接训练不稳定且效价与优势度整体更难预测。
论文研究如何用冻结的自动音乐转录编码器加谱面解码器生成节奏游戏谱面,并在谱面最少的模式上用跨模式联合训练把事件 F1 从 0.492 提到 0.506,而与 Clone Hero 联合反而降到 0.482。
论文要解决无成对电影声画编辑数据时如何执行组合指令,方法是把合成音频编辑与自监督声画掩码重建加入微调,在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限,且保留了原有单模态编辑能力。
论文研究把前向仿真学到的传感器关系图用于稀疏源定位逆任务是否有效,通过定理证明边误差容忍条件并用氢气泄漏 CFD 与声学两类 180 场景实验证明满足边准确仍因任务目标错位而失效,且给出基于 Jaccard 重叠的轻量可迁移性检验及其代价。
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
论文用冻结编码器加逻辑回归比较 15 种语音、说话人验证、动物声学与通用音频表示在四个物种个体识别和三个物种叫声类型分类上的迁移效果,发现最强语音表示在七组设置中三组显著更好、四组无显著差异,而语言覆盖与动物域预训练均无系统优势,且可迁移信息高度依赖网络层与前端类型。
针对配对语音文本不足时语音大模型难以对齐声学与文本的问题,论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型,再端到端微调,在日语和中文上把字错率相对降低 27% 到 72%,代价是多两段预训练且在字母文字小语种上增益有限。
该文研究不同结构的图文模型之间如何搬运任务能力,用与结构无关的亲和力改变量记录任务,再以最小二乘算子或低秩适配器写入目标,在加法上保留目标自身增益的七到八成,代价是控制集精度下降和在部分任务上几乎无效。
论文发现视觉等多模态大模型合并可提升音频与视频模型的本模态成绩,提出只用 256 个校准样本求闭式权重更新的方向性跨模态对齐迁移方法,在音频平均提升 29.55%、视频平均提升 24.92%,代价是视觉端性能可能受损且结论限于共享基座的权重可合并结构。
为把只支持至多双声道的 GMLv2 扩展到 5.1 声道,论文比较信号、预测、隐变量、特征四层融合,提出特征带组注意力 FGAtt 在感知主干前自适应融合空间组,在五个 5.1 测试集上总体 PCC/SCC 达 0.9063/0.8303,代价是需 5.1 主观数据训练轻量融合模块且冻结主干。
论文研究音频大模型能否预判自身转写是否可靠,发现解码器自评严重高估而冻结音频编码器表示可支撑四分类预测,在域内宏 F1 达 81.10% 且跨域保持 78.09%,代价是需按模型实测构建标签库并做边界对齐。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用矩形房间大量仿真房间脉冲响应做预训练,再只用 10 个 L 形与不规则房间微调解码器,在未见过的 40 个目标房间上把均方误差降低 56%,但代价是仍依赖仿真数据与固定采样设置且未验证真实测量房间。
针对在线视听目标说话人提取中选错人且会议泛化差的问题,该研究把嘴部特征接到个性化增强模型的说话人条件输入并联合微调,在无未来帧与 20 ms 算法延迟下把 46% 的混淆降到 1.6%,并在会议上拉开分离差距与 0.57 和 0.63 MOS 整体质量提升,代价是仅在双人混合上微调且未报告设备端真实耗时。
针对重度构音障碍语音与通用模型声学失配及数据稀缺问题,论文用先做词汇域适应再只微调编码器前端的个性化 Conformer 管线,在 UASpeech 平均词错误率 21.5% 与 TORGO 平均 12.7% 上报告优于此前序列到序列方法,并以移动端采集与持续重训闭环支撑儿童使用,但重度 76.4% 基线差距、儿童数据缺失与公开可用性仍受限。
针对低资源声调语言缺少专用声学模型的问题,CrossPhon-Tonal 在发音特征映射后增加自动声调映射,在六种声调语言上达到与专家人工映射可比、并在多组上超过 3600 小时 Global English 模型的一致率,但低训练量模型与克罗地亚语等边界条件仍暴露明显短板。
针对含第三方干扰的自然双人对话在线音视目标说话人提取,该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器,在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%,代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。
针对静音肌电缺少逐帧语音监督且样本更少的问题,该研究在保留语音导出声学与音素监督的同时增加静音到有声的输出层与隐层表示对齐,在梅尔谱目标下把词错率从 26.75% 降到 25.14%、在软语音单元目标下从 27.78% 降到 26.55%,代价是只有具备同句平行肌电对的静音样本才能计算该约束且结论依赖多种子平均与显著性检验。
针对不足 60 分钟无标注濒危语言音频的音位发现问题,该工作用类型学锚定选择爪哇语和他加禄语做 VQ-VAE 预训练再适配,在三种语言上以自一致性 NMI 和簇纯度超越 XLS-R,代价是评价仍是扰动稳定性而非对照真值转写的准确率。
该研究用 25 人 fMRI 区分干净与噪声语音,提出三阶段迁移解码框架 NeuroPAS-Net,在右侧中央前回达到 79.3% 准确率,并据此导出神经指标 NeuroPAS 对两种增强排序,但相关性经校正后并不显著且样本局限于年轻正常听力者。