文字说很好、声音却在讽刺时:让音频语言模型先解耦再做四步共情推理
针对语义主导和缺乏认知深度的问题,该研究用同一文本配多种情感的 LIME-440K 迫使模型听声学线索,再以四步 EIPS 显式推理加混合内化与双路由强化学习实现直接共情回复,在冲突语音上把共情分从不足 2.0 提升到 2.91 并把冲突情感准确率从 24.0% 提升到 46.0%,代价是三阶段训练与合成语音和真实微韵律之间仍有差距。
针对语义主导和缺乏认知深度的问题,该研究用同一文本配多种情感的 LIME-440K 迫使模型听声学线索,再以四步 EIPS 显式推理加混合内化与双路由强化学习实现直接共情回复,在冲突语音上把共情分从不足 2.0 提升到 2.91 并把冲突情感准确率从 24.0% 提升到 46.0%,代价是三阶段训练与合成语音和真实微韵律之间仍有差距。
针对神经音频编解码器生成的老年伪造语音检测任务,论文构建英汉老年编解码器伪造数据集并证明旧基准模型跨年龄泛化严重退化,提出以詹森香农散度对齐语言绑定与图像绑定表示的融合框架 BONSAI,以平均等错误率 1.66% 建立新基准,但代价是依赖域内老年训练数据与双基础模型推理成本。
针对轮次切换评测只看说没说的问题,CoDeTT 用 4 动作加 14 意图的分层决策与两阶段漏斗评测揭示动作正确但理由错误的幸运猜测,其代价是合成主导的数据构造与历史过长时的语义过承诺。
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
针对文本到中国传统器乐音乐生成缺少配对数据的问题,论文构建 741 对超 42 小时的 CTMusic 并用独奏到合奏的两阶段 LoRA 微调验证 Stable Audio Open,最强证据是微调后客观与主观指标全面超过预训练基线,而代价是新增 TTT 层带来额外可训练参数与两阶段训练开销。
针对儿童中心长时录音跨库异构、无共享基准、儿童敏感语音难合规使用的问题,论文用 DataLad 加 ChildProject 标准化 27 个语料并给出四任务基准管线与 ELSI 分级治理,最强证据是全量数据重训语音类型分类在关键儿童类达 73.4% 而仅公开数据平均仅 44.4%,代价是 21 个语料仍需授权且人工筛选映射不可省。
针对西班牙语和法语 10 个国家级方言自建 20 小时性别均衡播客语料并评测 7 个模型,发现法语偏向欧洲、西班牙语呈现多米尼加优于半岛而智利最差的非均匀差距,词法与声学分析及编码器冻结微调共同指向解码器语言模型先验是主要故障点,但小规模适配只能部分恢复方言特征。
论文针对俄语缺少工作室级对话表情语料的问题,构建 20.6 小时三人面对面表演的 Dialogs 并做 12 类逐句标注,用人群 MOS 证明录音质量不输读语音基线且表情与对话自然度更高,再以 VITS2 验证可训出对话感语音,代价是每人仅 4.4-9.9 小时且风格极不均衡。
该研究用 10000 条 7 语 34 情绪的三级感知重音标注检验 EmphaClass 与 WhiStress 在单语、跨语、多语、跨唤醒度和跨数据集下的泛化,报告语系内可迁移、跨语系与中文显著下降而多语联合训练可恢复鲁棒性的证据与代价。
为解决语音大模型只用文本指令评测脱离真实开口交互的问题,论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS,并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能,而语音输出任务中口语指令打平或反超,非正式与短指令最难。
针对用户同句不同情绪难处理且情绪对话数据稀缺的问题,Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音,在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优,但细微混合情绪仍偏通用且依赖合成数据过滤条件。
针对紧凑均匀线阵在端射附近小到达时延差扰动被放大成大角度误差的问题,论文在可靠性相位变换框架内分别做加权转向响应功率能量聚合与余弦域加权最小二乘时延融合,并在 1 米与 2 米家用混响实录上用端射误差与退化宽度验证,同时保留不增大孔径与远场单声源等适用边界。
该文针对英译中语音翻译中词汇重音易丢失的问题,用自建中文重音语料训练音节级检出器 Syl-BiLSTM 定义跨语言评测 CETS,并用带重音标签微调 CosyVoice3 搭建级联系统,最强证据是 CETS 句级 58.30% 与人评高度一致,代价是翻译 BLEU 略低于大模型基线且仅两名录音人。
针对仅用参考语音或仅用文字描述难以精确改一项声学属性的问题,FineCombo-TTS 用统一声学表示加条件流匹配的方差预测器学习源到目标的相对变化,在 FineEdit 配对数据上把韵律、情感和音色控制精度提高,但可懂度和音色相似度仍需在较强引导下权衡。
针对无声视角视频直接生成一阶 Ambisonics 时内容与几何纠缠的问题,该文用第一阶段生成单声道 W 保语义、第二阶段残差空间化生成 XYZ 保方向的选择,在 YT-AmbiSem 上同时取得最优语义与空间指标,但强空间化仍受能量预算约束且复杂声场景泛化待验证。
GADVOX 针对德语缺失焦虑抑郁双标注语音的问题,用 10 个随机化中性自由言说提示在众包平台采集 1004 人语音并配对 PHQ-9 与 GAD-7 自评严重度分数,以 29.3% 多阶段质检换取可做双目标回归的数据,最强证据是量表内部一致性与质量-严重度无相关的核查,代价是自评非临床诊断且样本偏向高教育数字人群。
针对行政标签掩盖真方言差异导致评测失真的问题,GLAD-CSpeech 按《中国语言地图集》划分 16 个方言区 23 个点并分离真方言与带口音普通话,用 163.3 小时以上三层对齐语料在 ASR、TTS、DID 上报告基线,最强证据是 DID 微调后宏 F1 达 99.08% 而零样本仅 72.29%,代价是温州、梅县等非官话点 ASR 仍极难且长文本重 …
该文针对客服语音中烦躁强度难以及时量化的问题,用银行客服表演录音加三维度 1 到 10 分众包标注与一致性筛选构造时序语料,最强证据是微调后 XLSR 模型在攻击性强度上平均绝对误差 1.333 而相关系数 0.710,代价是表演口音、非说话人无关划分与小样本内部验证限制了外推。
该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。
论文构造约 108 小时三类声学条件的多人对话基准并统一评测说话人日志与识别,报告显示印度专用管线在时长加权平均上取得最低的 16.0% 日志错误率与 38.8% 级联词错率,但高重叠与低资源语言仍使三类误差同步上升。