定长训练遇上变长语音:用时长嵌入去纠正自注意力的位置偏置
针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。
针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。
针对无文本监督音素切分中单帧硬边界不能表达渐变过渡的问题,该文用左右时长决定的半高斯软目标替换边界附近标签,在保持双层 BiGRU 不变下 TIMIT 上 R 值达 91.53%,代价是需要调扩散比与正类权重并依赖强制对齐边界做枢轴。
针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题,论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入,在通用集上把形态误差降到 0.35 左右,代价是延迟随停顿变化且依赖语音活动检测质量。
该研究以英语、日语、俄语纵向自然互动为对象,用动态时间规整度量儿童话语后 2 秒内照顾者话语的基频轮廓距离,并以贝叶斯多层模型检验时间间隔与儿童年龄的作用,最强证据是三国儿童年龄越大轮廓距离越大,而短时邻近效应仅在俄语成立且在日语反向,代价是只看整句轮廓、只覆盖三种语言文化。
该研究要解决金融财报电话会议上通用语音识别因术语、数字和行业长尾而失准的问题,选择构建 498 小时全量集与 46 小时行业均衡切片并配说话人角色与行业元数据,用 Whisper 与 Parakeet-TDT 可复现基线显示均衡集更难且生物技术等领域词错误率明显高于平均,但均衡切片仍只覆盖美国英语且未验证多语言与部署代价。
针对复杂音频问答中模型只看显著片段、推理链不可核查的问题,EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程,在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分,代价是依赖外部工具粒度和多步调用。
EchoLoc 针对无声源框标注下热图模糊、阈值后处理难优化的问题,用空间与全局对比学习训练热图并从热图导出伪框来监督查询式框预测器,在 VGG-SS 上报告 36.36 cIoU 和 38.28 AUC,在 Flickr-SoundNet-Test 自适应指标上相对最优基线提升,但固定阈值 AUC 存在未胜出项且框质量依赖热图。
论文研究分散在不同类群和地区、不能共享数据的生物声学分类器能否通过任务向量平均直接拼合,证据是 661 种上达到 59.2% 准确率且任务向量近正交,代价是相对联合训练仍有约 9.4% 的组成差距且大类群掉点。
针对语音情感描述在端侧算力不足与云端传输音频隐私风险之间的矛盾,该研究提出只把高熵词块送云端校验的不确定性引导推测解码,在 MER2024 中英子集上以 18.2% 词元上云比例缩小与全云差距,同时把端到端时间从 40.21 s 降到 28.67 s。
该文把文本语音编辑拆为语义空间的内容填充与流匹配声学重建,再用冻结文本转语音模型作一致性评价并辅以可懂度和时长门控做群组相对策略优化,在插入删除替换三类任务上以更低词错率和更高主客观自然度超过自回归与非自回归基线,代价是依赖冻结分词器声码器与多步采样训练成本。
EffVOC 用因果卷积加循环加逐级上采样的声码器结构,从幅度谱或梅尔系数直接生成宽带与全带语音波形,在 20 毫秒算法延迟下取得接近真值的 MOS 主观分,但小模型与梅尔输入在部分客观指标上仍有代价。
针对解码器语音大模型在长难文本上重复与漏读的稳定性幻觉,论文用最优对齐分数约束对齐头并用教师注意力伪对齐做思维链引导,在困难集上报告降低约 2.1% 与 1.6% 词错误率而日常集自然度未下降。
针对参考无关文本生成音频评价中全局 CLAP 相似度与人评相关低的问题,ELSA 用大语言模型拆分声事件加语言查询分离加 Human-CLAP 分层打分,在四个基准上把与人评的秩相关显著提高,但绝对分值系统性偏低且未显式建模时序。
针对儿童中心长时录音语料格式不统一、开源模型需要编程能力和常用指标缺乏可比评估的问题,ELSI 用标准化流程加网页端一键调用已有模型与导出指标的方案组织工作流,本文为展示型系统介绍未报告定量主结果与消融,其代价是仍依赖服务器算力与外部存档保护。
论文以同一肌电编码器比较语音合成、识别、音素分类与自监督预训练四类任务,用线性探测显示音素信息可在无音素监督时涌现,而可懂合成必须保留声学回归损失,自监督对比预训练的隐空间与音素不对齐且未改善合成与分类,代价是单说话人小数据与线性度量的局限。
针对扩散情感语音只推高目标情感而缺少对竞争情感建模的问题,Emo-BPO 用同文本倒序情感对联合学习对齐与对比两个分数分支并在推理以后段增强的对比引导组合它们,在 ESD 与 EmoVoiceDB 上把情感相似度做到 99.23、平均自动情感识别准确率做到 0.87,代价是可懂度仍略逊于自回归大模型基线。
针对对话中各模态可靠性逐句变化的问题,EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差,再按不确定性加权融合,在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1,代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。
针对自然语言指令难以稳定控制细粒度情感类别与强度的问题,EmoInstruct-TTS 用 48 状态的 Emotion2embed 加 ICE-Flow 映射实现语义与声学双路控制,在 21 组强度与 27 类细粒度零样本任务上提升情感相似度与自然度,而去掉任一路都会下降且推理额外开销仅约 1 到 2%。
针对用户同句不同情绪难处理且情绪对话数据稀缺的问题,Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音,在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优,但细微混合情绪仍偏通用且依赖合成数据过滤条件。
针对紧凑均匀线阵在端射附近小到达时延差扰动被放大成大角度误差的问题,论文在可靠性相位变换框架内分别做加权转向响应功率能量聚合与余弦域加权最小二乘时延融合,并在 1 米与 2 米家用混响实录上用端射误差与退化宽度验证,同时保留不增大孔径与远场单声源等适用边界。