Evaluation of Automatic Speech Recognition Using Generative Large Language Models
语音识别 | 7.5/10
语音识别 | 7.5/10
语音合成 | 7.5/10
语音生物标志物 | 7.0/10
1. **问题**:当前口吃语音技术研究与口吃者(PWS)及言语语言病理学家(SLP)的实际需求存在系统性脱节,研究重点、任务定义和评估方法未能充分以用户为中心。 2. **方法核心**:通过两部分结合分析:1)对228篇相关论文进行范围综述,提出研究任务分类法并分析研究现状;2)对70名利益相
这篇论文旨在解决一个关键问题:为什么近年来在动物个体自动识别(基于图像或声音)上报告的高准确率算法,却很少转化为生态学实践中的常规工具?其方法核心是提出一个“以生态目标为中心”的评估与部署框架,强调自动化识别的有用性取决于其服务的具体生态问题、可用数据以及错误类型带来的实际后果。与以往主要关注算法准
1. **问题**:音乐源分离(MSS)领域常用的客观评估指标(BSS-Eval)与人类感知评分相关性较低,导致模型评估不够准确。 2. **方法核心**:提出两种基于嵌入的侵入式评估指标:在预训练MERT模型的嵌入空间上计算目标与分离信号的均方误差(MSE_MERT)和一种逐曲目的Fréchet音
这篇论文旨在解决对多语言、多模态句子嵌入(如SONAR, LaBSE)的可解释性问题。核心方法是提出一种称为因子化线性投影(FLiP)的模型,通过将嵌入向量线性投影到词汇表空间来提取关键词,以此作为理解嵌入内容的代理任务。与之前非因子化的线性探测方法(如LiP)和SpLiCE相比,FLiP在关键词提
1. **问题**:当前多模态大模型在音乐符号处理(Omnimodal Notation Processing, ONP)领域存在严重缺陷:研究碎片化、模型存在严重的符号偏差(偏向五线谱)、且普遍依赖不可靠的“LLM-as-a-Judge”评估方法,掩盖了模型在音乐理论推理上的系统性失败。 2.
1. **问题**:训练一个既能高精度离线转录又能低延迟流式识别的统一ASR模型极具挑战性,传统方法在低延迟下性能会急剧下降。 2. **方法核心**:提出一个统一的Transducer框架,结合分块注意力(含右上下文)和动态块卷积(DCConv)来适配两种模式。核心创新是引入了模式一致性正则化损失
1. **问题**:现有大型音频语言模型在副语言(如情绪、语气、音色)生成与理解能力上的评估存在特征覆盖不全、评估方法主观且不可扩展的问题。 2. **方法**:提出了SpeechParaling-Bench,一个包含1000余个中英平行语音查询、覆盖超过100个细粒度副语言特征的综合基准。基准
1. **要解决什么问题**:儿童语音自动识别(ASR)错误率高,影响语言学习、阅读辅助等应用。传统置信度估计方法在噪声大、模式多变的儿童语音上可能失效。需要一种在转录后(utterance级别)自动识别哪些ASR输出是可靠的方法,以减少人工审核负担。 2. **方法核心是什么**:提出两种基于
本文旨在解决语音大模型(SpeechLLMs)在推理时产生的“幻觉”问题,即生成与输入音频不符的流畅文本。现有方法依赖昂贵的黄金标准输出,而文本LLM的方法无法捕捉音频特有信号。为此,作者提出了四个基于注意力图的轻量级指标(AudioRatio, AudioConsistency, AudioEnt
这篇论文旨在解决大型音频语言模型(LALM)中普遍存在的“幻觉”问题(即生成与音频证据不符的内容)缺乏系统性评估工具的难题。为此,作者构建并发布了**HalluAudio**,这是首个大规模、多领域(语音、环境声、音乐)、多任务(二分类、多选、属性验证、开放生成)的人工验证音频幻觉检测基准,包含超过
这篇论文旨在解决当前全双工语音语言模型(FD-SLMs)评测体系的一个关键缺陷:缺乏对多轮、连续对话能力的系统性评估。现有基准多关注单轮交互或特定对话特性(如打断),忽略了模型在多轮语境下维持指令遵循、安全等核心能力的一致性。为此,作者提出了**MTR-DuplexBench**,一个全新的多轮全双
这篇论文旨在解决现有印度语言语音识别(Indic ASR)基准不反映真实场景、评估方法不公平的核心问题。为此,作者构建了“Voice of India”大规模基准,其数据源自3.6万名说话者的非脚本化电话对话,覆盖15种主要印度语言和139个地区集群,总计536小时。关键创新在于采用了考虑拼写变体的
本文旨在解决传统房间声学建模中多种方法(如边界元法、延迟网络、几何声学)彼此独立、缺乏统一理论基础的问题。作者提出了一种名为**边界积分算子状态空间(BIOSS)** 的新框架。该框架的核心是将描述声场的边界积分方程重新表述为一个状态空间模型,其中**状态是房间边界上的声压分布函数**,系统动态由*
这篇论文针对语音数据隐私保护中“隐私泄露”与“数据效用损失”的核心矛盾,提出了一个新颖的两阶段框架。首先,为解决语音匿名化(保护“谁在说”)中身份多样性不足和可控性差的问题,提出了基于流匹配的说话人嵌入匿名器(F3-VA),它能生成多样且与原始说话人充分分离的新身份。其次,为解决内容匿名化(保护“说
这篇论文首次系统研究了**良性音频数据微调对音频大模型安全对齐的破坏性影响**。核心问题是:用户出于提升性能的目的,在完全无害的音频数据上微调模型,是否会意外削弱其拒绝有害指令的能力?作者提出了一个**基于嵌入空间邻近性的过滤框架**,通过计算良性音频与有害音频在模型内部或外部参考编码器空间中的距离
本文针对卫星、水下通信等超低比特率(200bps)场景下,传统神经语音编解码器因优化重建质量而牺牲可懂度的问题,提出了ClariCodec。其核心方法是将编码器的量化过程重新定义为一个随机策略,并利用强化学习(RL),以词错率(WER)作为奖励信号对编码器进行微调,而冻结解码器等声学重建管线。实验表
本文旨在挑战音乐表演实证研究中普遍使用的单一回归分析模型,该模型常将历史速度变化描绘为一个单向、统一的过程。作者提出,这种模型掩盖了多种演奏传统并存的事实。研究通过对贝多芬五首钢琴与大提琴奏鸣曲(Op. 5, 69, 102)在1930-2012年间超过一百个乐章录音的逐小节速度数据进行K-mean