Enhancing ASR Performance in the Medical Domain for Dravidian Languages
这篇论文旨在解决达罗毗荼语言(Telugu和Kannada)在医疗领域自动语音识别(ASR)中面临的标注数据稀缺和语言形态复杂两大挑战。其核心方法是提出一个“置信度感知训练框架”,该框架通过一个混合置信度评分机制(结合静态的感知、声学相似性、WER分数和动态的模型熵),对混合了真实与合成语音的训练数
这篇论文旨在解决达罗毗荼语言(Telugu和Kannada)在医疗领域自动语音识别(ASR)中面临的标注数据稀缺和语言形态复杂两大挑战。其核心方法是提出一个“置信度感知训练框架”,该框架通过一个混合置信度评分机制(结合静态的感知、声学相似性、WER分数和动态的模型熵),对混合了真实与合成语音的训练数
1. **问题**:耳语语音因缺乏声带振动,其声学特征与正常语音差异显著,导致现有的说话人验证系统性能严重下降。这在用户为保护隐私而低语、或因疾病无法正常发声等实际场景中构成挑战。 2. **方法核心**:在预训练的说话人验证骨干网络(ReDimNet-B6)之上,添加一个轻量级的编码器-解码器结构
1. **问题**:针对环境声音(包括声音场景和声音事件)的深度伪造检测(ESDD)任务,现有研究不足,且尚不清楚声音场景与声音事件的伪造检测是否需要不同模型。 2. **方法核心**:提出一个深度学习框架,核心是采用预训练的音频模型(BEATs)作为特征提取器,并结合一种三阶段训练策略(包含对
这篇论文旨在解决传统Dropout方法依赖随机掩码、正则化效果不透明且难以精确控制的问题。其核心方法是提出一种确定性公式,将Dropout重新表述为一个可直接加入训练损失函数的显式正则化项,并推导出了适用于Transformer架构中注意力机制(Q、K、V)和前馈网络的正则化表达式。与已有方法相比,
这篇论文针对全双工语音对话系统中需要低延迟、高精度判断用户是否结束发言(轮次检测)的难题,提出了FastTurn统一框架。其核心方法是将流式CTC解码提供的快速部分语义信息,与Conformer编码器提取的声学特征,通过适配器输入给大语言模型(LLM)进行推理,并最终融合声学与语义特征进行轮次预测。
这篇论文旨在解决对多语言、多模态句子嵌入(如SONAR, LaBSE)的可解释性问题。核心方法是提出一种称为因子化线性投影(FLiP)的模型,通过将嵌入向量线性投影到词汇表空间来提取关键词,以此作为理解嵌入内容的代理任务。与之前非因子化的线性探测方法(如LiP)和SpLiCE相比,FLiP在关键词提
1. **问题**:现有针对基于神经音频编解码器的语音深度伪造(CodecFake)检测的研究主要集中在英语和中文,对于语言多样性极高的印度语言缺乏大规模的基准数据集和有效的检测方法。 2. **方法**:作者构建了首个大规模印度语言CodecFake数据集(ICF),并提出了一个名为SATYA
1. **问题**:工业机器人需要频繁适应新任务和环境,但现有技能调整方法(如手动重编程)对非专家用户不友好,且单一交互模态无法高效处理所有类型的调整需求。 2. **方法核心**:提出MOMO框架,集成三种互补交互模态:动觉接触(用于精确空间修正)、自然语言(用于高层语义修改)和图形界面(用于参数
这篇论文旨在解决语音到语音翻译(S2ST)系统普遍丢失源语音中非语言声音(如笑声、哭声)和情感信息的问题,这严重影响了跨语言交流的自然度和准确性。为此,作者提出了三项核心贡献:首先,设计了一个可扩展的自动化数据合成管道,用于生成大规模、高质量的英中富有表现力S2ST平行语料,克服了训练数据稀缺的瓶颈
1. **问题**:当前多模态大模型在音乐符号处理(Omnimodal Notation Processing, ONP)领域存在严重缺陷:研究碎片化、模型存在严重的符号偏差(偏向五线谱)、且普遍依赖不可靠的“LLM-as-a-Judge”评估方法,掩盖了模型在音乐理论推理上的系统性失败。 2.
这篇论文介绍了Qwen3.5-Omni,一个支持文本、图像、音频和音频-视频输入的全模态大语言模型。为解决现有模型在实时交互、跨模态推理和工具使用上的不足,其核心方法是采用“Thinker-Talker”架构,并引入混合专家(MoE)设计以提升效率。与前代相比,主要创新在于:1)模型规模扩展至数千亿
1. **问题**:训练一个既能高精度离线转录又能低延迟流式识别的统一ASR模型极具挑战性,传统方法在低延迟下性能会急剧下降。 2. **方法核心**:提出一个统一的Transducer框架,结合分块注意力(含右上下文)和动态块卷积(DCConv)来适配两种模式。核心创新是引入了模式一致性正则化损失
1. **解决的问题**:针对神经退行性疾病(特别是肌萎缩侧索硬化症ALS)的早期诊断和监测,缺乏大规模、有临床标注的语音数据集,以及标准化的算法评估框架。 2. **方法核心**:构建并发布了名为SAND的挑战赛,其核心是提供一个扩展的、包含纵向数据的ALS患者与健康对照语音数据集(VOC-A
1. **问题**:电容式传感器(如ECM麦克风)的自噪声主要源于前置放大器中用于建立直流偏置的门极电阻(Rm)的热噪声。该电阻同时决定了噪声的低通截止频率和信号的高通截止频率,形成了一个难以调和的噪声-带宽权衡。 2. **方法核心**:提出PDS-Amp(光电直流伺服放大器),用基于外部光电效应
1. **问题**:现有大型音频语言模型在副语言(如情绪、语气、音色)生成与理解能力上的评估存在特征覆盖不全、评估方法主观且不可扩展的问题。 2. **方法**:提出了SpeechParaling-Bench,一个包含1000余个中英平行语音查询、覆盖超过100个细粒度副语言特征的综合基准。基准
1. **问题**:现有的古兰经语音数据集在规模、诵读者多样性、音频质量和标注深度上存在严重不足,限制了古兰经ASR、诵读者识别等任务的研究进展。 2. **方法核心**:提出Tadabur数据集及其构建流水线。流水线核心是“古兰经经文对齐模块”(AAM),它结合WhisperX进行初步转录,再利用
1. **问题**:现有基于离散token的TTS模型,其“粗到细”的生成范式主要体现在从语义token到声学token的转换,而对语音固有的时间动态(temporal dynamics)缺乏显式建模。 2. **方法核心**:提出Chain-of-Details (CoD)框架,将语音生成分解为多
1. **要解决什么问题**:现有基于生成模型(如扩散模型、自回归模型)的目标说话人提取(TSE)方法依赖全局上下文,难以直接用于实时流式场景,强行适配会导致性能严重下降。 2. **方法核心是什么**:提出首个面向流式TSE的自回归(AR)框架,核心是“分块交错拼接范式”。该范式将混合语音分块
1. **要解决什么问题**:儿童语音自动识别(ASR)错误率高,影响语言学习、阅读辅助等应用。传统置信度估计方法在噪声大、模式多变的儿童语音上可能失效。需要一种在转录后(utterance级别)自动识别哪些ASR输出是可靠的方法,以减少人工审核负担。 2. **方法核心是什么**:提出两种基于
1. **问题**:零样本语音转换需要同时实现高质量的说话人特征迁移和低延迟的流式推理,这是一个尚未很好解决的挑战。 2. **方法核心**:提出X-VC系统,在预训练的SAC语音编解码器的潜在空间中进行一步转换。核心是一个双条件声学转换器,它联合处理源语音的编解码器潜在表示和目标参考语音的帧级梅尔