同语掩蔽最难,熟悉阿拉伯语也未必更受伤:词监测任务下的掩蔽语与认知负荷检验
该研究用英语词监测加数字预载双任务检验掩蔽语语言与认知负荷的影响,报告显示英语掩蔽导致最差准确率与最慢反应时而类型相似性与高认知负荷未改变词监测表现,且阿拉伯英双语者更慢但不更不准。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该研究用英语词监测加数字预载双任务检验掩蔽语语言与认知负荷的影响,报告显示英语掩蔽导致最差准确率与最慢反应时而类型相似性与高认知负荷未改变词监测表现,且阿拉伯英双语者更慢但不更不准。
论文在英语与意大利语双语识别上只联邦更新投影器与 LoRA 而冻结编码器与大模型主体,用 100 轮、每轮 30% 按说话人划分的客户端对照集中式训练,最强证据是单语联邦与集中式差距仅 0.3 至 2.6 个百分点,而双语随机选择下英语差距扩大到约 10 个百分点,需用样本聚类与早期语言偏置把英语差距压回约 3 个百分点。
论文在冻结编码器加固定轻量后端的配方下,用约 315M 容量的 wav2vec2 家族对照 1 到 1406 种语言覆盖,并用相同 Libri-Light-60k 数据对照掩码预测与对比目标,发现域外误差在 128 语言处触底而 1406 语言不再提升,且掩码预测明显更稳,代价是结论限定于单训练语料与固定流程且覆盖与数据量无法彻底解耦。
针对高分辨率音视频序列输入大语言模型时计算过高且压缩研究只做单任务识别的问题,MTC-AVSR 用每秒 3.5 个令牌的压缩流加语言适配器与令牌对比对齐做识别加四语翻译,在 LRS3 干净集取得词错误率 0.74%,在 MuAViC 英西取得 28.1 BLEU,代价是噪声下部分语对仍弱于专用双语模型且大模型显存更高。
论文把多语言笑声切分做成先去人声再按能量切事件、用 BYOL-A 表征加 Isolation Forest 找异常的无监督流程,在站立喜剧等多语言数据上比英语中心的有监督基线更稳,但代价是依赖能量阈值和去人声质量且在人工合成的 AudioSet 上不占优。
该研究用冻结的自监督语音表示加音节级预分类器与词级时延后分类器做阿英重音检测,多语言联合训练保持接近单语的 97% 英文与 90% 阿语准确率,而跨语言迁移呈方向不对称且后分类器与多语言预训练表示能缩小差距,但仍低于单语基准。
针对儿童语音的筛查需求,PhonLLM 把预期发音与声学证据一起送入解码器,联合输出标准音素和音系过程标签,在多语临床数据上平均标注 F1 为 75.9 且音素错误率低于纯转写流水线,但对 backing 与 deletion 仍明显更弱。
论文提出以行归一化增益比度量供体语言对目标语言影响的跨语言迁移矩阵,并在 44 种语言上用同一 HuBERT 编码器对比性别识别与说话人验证,发现前者近乎语言无关而后者普遍负迁移且亲缘语言内才有正迁移,但结论依赖小样本动态区间与单轮微调条件。
针对 whisper-large-v3-turbo 编码器 32 层冗余问题,用留一层词错率变化选出 6 层直接删除,再以无标签英语语音做编码器隐状态均方误差蒸馏恢复,四语平均词错率从基线 18.2% 升至零样本 21.9% 再回落到 20.1%,代价是仍残留 1.9 个百分点的绝对升高和编码器参数减少 118M。
该研究以 Bangor Miami 自发对话为对象,用 103 维语言无关韵律特征检验语码转换句与单语句的分布差异,并以聚类与 Whisper 语言标识为诊断工具分离说话人熟练度与多语属性的影响,代价是结论限于单一语料与粗粒度话语级特征。
论文以意大利语和罗马尼亚语广播语料中的元音序列/ia/为对象,用语速归一化时长和函数主成分分析的共振峰动态检验重音与词内位置如何促进或阻断滑音形成,最强证据是意大利语重读与非重读时长差达 0.56 对数单位而罗马尼亚语整体更长更陡,代价是两语言高度重叠且说话人信息缺失。
VietPrism 用 993.4 小时真人语音与说话人配对的伪造语音研究方言和越英混说下的检测脆弱性,最强证据是零样本检测器随说话人相似度升高而 EER 明显恶化,代价是小方言样本少且合成系统只有四种。
针对印度语言评测中干净音频带来的乐观偏差和单参考转写带来的悲观偏差,Vimarsha 用约百小时受控野采加难例野外音频与人工校验的变体格评价十个系统,最强系统仍在野外 split 上词错误率翻倍以上,而拼写变体格平均每词提供约一点五种可接受写法。
针对朗读式干净评测与单参考词错误率高估误差的问题,该研究用 15 种语言 139 个区域簇的 536 小时无脚本电话对话与多变体转写格构建封闭评测,报告显示最优系统仍在方言与低质短语音上超过 20% 词错误率且地区差异可达约 4% 到 44%。
针对非洲语言自发语音缺失与评测不公平问题,WazobiaSpeech 以 2540.8 小时、2865 人的多域自发采集加分层质检构建基线,微调后 Whisper Large-v3 取得最好域内词错误率,但声调丢失与正字法分歧仍是主要代价。
YODAS v3 针对开放语料偏向英语单声道窄带的问题,采用分语言关键词与保原始 48 kHz 多声道下载的构造路线,用 22 个语言超 10K 小时与 92.5% 录音有效带宽超 32 kHz 等证据支撑规模与保真判断,代价是弱标注依赖自动字幕与语言标签代理。
YODAS v3 用分语言关键词搜索与去重爬取解决大规模多语料的语言偏斜问题,以 48 kHz 多声道原始 OPUS 保存与带宽声道实测为证据支撑高保真主张,并以 7 语种识别与三采样率编解码基线显示数据可直接使用,代价是弱标注噪声与网络音频域复杂性仍在。
针对可修订流式语音到文本翻译中可见草稿会奖励随后被撤回内容的问题,论文提出持续交付优化,用留存前缀的参考覆盖累积中间奖励并单独计最终质量,在 7.49 小时 FLEURS 适配下相对 History-SFT 降低平均与 P90 终结感知延迟 10.8% 与 11.3% 并降低归一化擦除 15.8%,代价是需要完整轨迹回放计算回报且中间奖励依赖词面覆盖。
SPADE 针对长语音中局部篡改的检测与定位问题,用大模型改写文本加合成与编辑两类生成器构建 12 语言数据,并在定位模型上报告跨生成器、跨语言、跨声学环境三类泛化证据,主要代价是未见生成器下接近随机猜测且噪声下显著退化。
该挑战用约 2100 小时 14 语言双人对话同时考 diarization 加识别与整场理解,基线显示长时说话人对齐与语义推理是主要瓶颈,而参赛系统靠域内 diarization 适配与音频依赖监督把误差与准确率推到新水平。