东南亚语音评测为何难做:长音频定位与低资源提示的双重缺口
针对 11 种东南亚语言语音理解评测缺失问题,论文构建 97,194 样本与 597 小时音频的 9 任务基准并统一双语提示与归一化,最强证据是时间定位与情感识别全面偏低且缅甸语等低资源提示落后英文可达 41 个百分点,代价是长音频覆盖过度与拒答等边界行为仍需专门处理。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对 11 种东南亚语言语音理解评测缺失问题,论文构建 97,194 样本与 597 小时音频的 9 任务基准并统一双语提示与归一化,最强证据是时间定位与情感识别全面偏低且缅甸语等低资源提示落后英文可达 41 个百分点,代价是长音频覆盖过度与拒答等边界行为仍需专门处理。
针对从双人对话推断熟人与陌生人及具体熟人关系的问题,论文提出免训练的多角色辩论与竞争裁决流程,在同一过滤测试集上比较零样本与辩论基线,结构化交互在文本与音文结合上取得宏 F1 领先,但纯音频提升不稳定且多次调用带来更高推理成本。
针对多房间中墙体遮挡导致单点麦克风观测碎片化的问题,论文用分布式麦克风的拓扑感知图融合与几何约束的冻结大语言模型推理将声学证据补全为物理一致的叙事,并在受控仿真中以三元组与空间一致性等指标验证其相对集中式基线的优势与代价。
针对海豚发声时长伸缩与连续频谱难以直接比较的问题,论文将 ClustalW 的离散替换得分改为高斯核平均相似度并配合微调 Whisper 的 128 维嵌入做渐进式多序列比对,在成体攻击与幼体游戏攻击两类精细策展数据上以间隙结构与列方差等指标验证了对齐能恢复同步化爆脉冲等时序母题,但代价是领域适配与早停阈值仍需人工校准且过度拉伸会稀释时间分辨率。
论文在 22 名口吃儿童的 44 段朗读与访谈音频上用儿童专属摘要与三类蕴含判断对比端到端音频语言模型与 Whisper 与 Granite 转录后接文本大模型的级联基线,发现端到端能生成流畅且纯净的摘要但忠实度偏低且蕴含判断普遍偏向肯定类,口吃密度升高与成人干扰会进一步拉低保真度与矛盾类准确率。
音频理解 | 6.4/10
音频理解 | 6.9/10
语音情感识别 | 7.1/10
音频字幕生成 | 6.8/10
说话人日志 | 7.0/10
语音识别 | 7.2/10
语音情感识别 | 6.2/10
音频检索 | 8.0/10
音频理解 | 8.5/10
音频理解 | 8.7/10
音频理解 | 6.1/10
音频事件检测 | 6.4/10
音视频理解 | 7.8/10
音频理解 | 6.6/10
音频理解 | 7.8/10