听见墙壁:ARPEGE 房间声学几何数据集与两种估计方法解读
ARPEGE 用 6 个空房间的 248 个球形阵列房间脉冲响应和几何标注来支撑镜像声源定位与语音盲估计房间参数两类任务,实测显示近距离一阶镜像声源召回率达 97.3% 但高阶迅速下降,而语音估计的表面积与体积误差在多位置融合与指向性声源训练下可降至 35 平方米和 30 立方米,房间 1 的几何大误差则标定了方法的适用边界。
ARPEGE 用 6 个空房间的 248 个球形阵列房间脉冲响应和几何标注来支撑镜像声源定位与语音盲估计房间参数两类任务,实测显示近距离一阶镜像声源召回率达 97.3% 但高阶迅速下降,而语音估计的表面积与体积误差在多位置融合与指向性声源训练下可降至 35 平方米和 30 立方米,房间 1 的几何大误差则标定了方法的适用边界。
论文解决多分钟用户生成视频的内嵌式音频描述问题,用 36 小时盲聋共创标注和 TTS 渲染加判分模型的端到端评测证明加时间约束提示可大幅减少压话但叙事节奏仍落后于人工。
本文新增 18 个高质量立体声源经双耳线索失真与对话增强处理得到的 148 对信号及实验室 MUSHRA 评分,并连同既有子集合并为 688 对信号与 18984 条评分的统一资源,为空间失真主导的客观质量评价提供可复用基准。
论文针对孟加拉语缺少长音频和说话人标注的问题,用频道筛选加字幕过滤加自动说话人切分做出 885 小时弱监督语料,并以四系统零样本与微调对比证明情感化方言内容最难而微调能明显降低词错误率。
Gangqinpu 用自动转谱、对齐、表情过滤和流派标注把多风格钢琴音频、演奏 MIDI 与乐谱配成 18786 对,用节拍跟踪跨数据集提升与转谱和渲染主要在域内获益证明其补充价值,但跨域泛化仍不均匀且标注全为自动生成。
该文把提前调用工具定义为逐块判断工具与全部参数何时在已听语音中被锚定,用合成对齐流水线给出最早可行动时刻监督,并在同域与音频版外部基准上以正确调用平均提前约 1.8 秒到 2.0 秒和 1.1 秒为证据,代价是触发精确率仍不足六成。
论文针对昆曲演唱与念白缺少音节级时间边界和音韵属性关联的问题,建成 281 段录音共 482164 个音节标注的 KunSet 语料库,并用 251 段微调的对齐模型把总体边界误差降到 194.83 ms、用传统韵部监督把同韵检索 P@10 做到 17.16%,代价是昆曲唱段对齐误差仍明显高于念白且检索绝对精度仍然偏低。
OSynth 针对孤立会议评测无法衡量长期上下文价值的问题,用分层生成的合成工作区与已知潜在状态构造可精确打分的会议数据,证明增加工作区上下文主要改善实体敏感维度,但整体词错误率改善很小且结论只在合成分布内成立。
论文针对缺少语义情绪线索但靠重复动作与声音引发感受的解压类视频,构建带三视角标注的 OSVD 并提出以运动与能量起振对齐加联盟归因的 PI-MLLM,在 OSVD 上达到 43.2% 分类准确率与 0.661 解释相似度,但结论依赖自动标注与类平衡评测条件。
针对缺少可比语音导致的偏置评估困难,论文为 Bemba 和 Nyanja 构建内容可比的性别与说话人类型评估集,并用微调后的 MMS 与 SSA-HuBERT 模型验证其可检出母语与非母语及性别间的识别差异。
论文针对音频大模型感知错误多、推理链感知依据单薄的问题,用四阶段管线构造约 160 万条感知 grounded 且带验证回溯的长推理轨迹,再以监督微调加直接偏好优化训练 Qwen2.5-Omni-7B,在 MMAU 等基准上提升约 6-7 个百分点,代价是依赖模型生成校验与 30 秒内音频。
Monsoon 针对部署时面对的自发对话语音缺数据问题,用配对话题引导采集加自动过滤加五级人工校对加覆盖度选段的流程,在七个语言各约 3500 小时上证明同量下质量阶段带来 10-39% 相对误差下降和在独立自发测试上 20-44 点的语义词错率差距,且误差随数据量仍在下降。
该文针对语音交互缺少叹气、笑声等非言语发声的问题,用合成对话与多阶段训练让模型学会在合适位置生成 13 类发声,并在两种架构上验证了恰当性与语音质量的提升与代价。
VoxDub 针对自动视频配音缺嘴型对齐训练数据的问题,用语音为中心的切分加双识别转写核对与音质人脸同步过滤构建 76 万段中英数据,TTS 实验证明相对 LRS3 与 CN-CVS 可懂度与说话人相似度更好,而配音微调仅得到大致相当的主观同步。
ELARSpeech 从濒危语言档案馆整理出 30202 小时、675 种语言的语音,用标注与非标注两部分支撑识别与合成的低资源适配,并用表征评测指出已有大规模多语模型的迁移局限,代价是异构档案噪声与跨语联合训练的干扰。
论文从 20000 小时原始水声存档中整理出 4521 小时带船只轨迹关联的 ONCship 语料,用同一模型的三种预训练来源对比和两类下游任务检验其作用,联合预训练在 DeepShip 上达到 62.45% 准确率而单船身份识别 Top-1 超过 53%。
TVPara 针对电视剧中强烈情感与场景背景声共存时大音频语言模型描述不准的问题,用预标注加人工校对构建单句与多句两类描述数据,并在两款开源模型上微调后以四维相似度打分验证了复杂声学下的提升与跨域迁移,同时暴露了适配器容量不足时的拟合偏差代价。
vst-bench-ml 用参数采样加独立宿主渲染来生成音频,并用密封清单绑定软件身份与文件哈希,在固定的 macOS arm64 与 Python 3.12 环境下复现了计划哈希与八个输出哈希,但不证明跨平台可移植与科学适用性。
E3-System 针对零样本语音合成中文字意图缺乏声学依据、音色与风格纠缠的问题,用 1012 小时多语种 EmoData 构建风格空间、用 Style-RAG 把文字意图映射为语音风格提示、用 Dual-TTS 实现音色与风格解耦合成,在双提示条件下直接语音提示与检索文字控制分别达到不同的可懂度与相似度平衡。
论文用 305 首棚录独唱和 68000 余段音频对齐的装饰音标注解决韩语传统声乐缺乏可计算语料的问题,基线显示音高曲线在分类上超过冻结通用音乐模型,而频谱在线索定位上互补,代价是固定调与速度限制了自然表达。