把重叠语音对准到声源:SonicWorld 如何做空间问答
针对重叠与运动下指定声源在指定时刻位置难定位的问题,SonicWorld 用持续声源状态组织声学证据,在 Sonic-Bench 上把单声源方向准确率从 43.75% 提升到 50.00%,代价是需要完整片段离线推理与两阶段微调。
针对重叠与运动下指定声源在指定时刻位置难定位的问题,SonicWorld 用持续声源状态组织声学证据,在 Sonic-Bench 上把单声源方向准确率从 43.75% 提升到 50.00%,代价是需要完整片段离线推理与两阶段微调。
论文针对联合生成的音画不同步问题,用 80K 条专业同步评分和两阶段奖励模型做评测与优化,在自建 1K 基准上与人类最一致,但只优化同步可能牺牲提示词保真度。
NVVSpeech 挑战赛用中英双语 16 类非言语发声的统一任务比较了理解与可控生成的十个系统,发现呼吸与喘息最难、事件控制与字词保真存在权衡,自动评分与人工听感并不完全一致。
UA-Bench 用 375,051 条参数可追溯的合成水下音频考查通用音频语言模型,九个开源模型细粒度准确率仅 2.0%–13.1%,波形主要帮助粗粒度路由而对细分类提升至多 4.7 个百分点。
论文在 LibriVAD-small 的 test-clean 上离线比较 TEN、Silero 与 RMS 能量基线,回答窗长如何改变帧级排序质量,最强证据是 TEN 在 16 ms 取得 AUC 0.917 且 20 到 50 ms 几乎不变,而 Silero 只在 30 ms 附近最好,代价是结论限于离线排序而不含端点延迟。
该研究用 18 个客观指标在同一土耳其语测试集上对比四个现代合成系统与 VITS 基线和自然录音,发现各系统分别在不同指标族领先且短句与长时漂移会改变结论,代价是只用客观指标且只覆盖单一说话人。
该论文针对以产品为中心的广告视频生成,构建了 30 万条参考图-提示-视频三元组与六维评测体系,并用微调实验证明数据能改善多镜头连贯性与卖点呈现,但细粒度保真仍有代价与局限。
论文针对成人母语语音训练的识别模型在阿拉伯儿童青少年尤其是第二语言者上误差大的问题,构建 151.72 小时 286 人朗读语料并用未见说话人与提示是否见过的划分评测四种模型,发现第二语言儿童最难而分年龄与联合微调各有适用条件,代价是朗读体与分布不完全均衡且原始音频不公开。
针对全双工语音智能体每轮要做的多个封闭式小决策,DuplexJev 把语音编码器隐状态经小连接器送入冻结大模型并只读答案字母的下一个词分布,一次前向批量回答 80 个决策约 0.1 秒,内容理解接近读文本,而性别与情感需靠答案 token 监督才能从 55% 和 28% 提升到 90%,代价是情感数据会拉低部分内容问答。
论文用四层任务分类同时做评测集 BEANS-Next 和训练集 ROOTS,证明按层补充整理元数据、语言模型合成文本和合成音频能提升已有基座在声学感知、类别识别、场景理解和示例学习上的表现,但计数和开放描述仍弱且结论只在给定划分和指标下成立。
论文用同一分类器比较手工韵律特征与冻结自监督表示在两套语料上区分对儿童说话和对成人说话的能力,最强证据是实验室语料上大模型达到约 91.7% 准确率而日常语料仅约 64.4%,代价是协方差池化首层参数膨胀到约 150.8 百万却没有带来对应提升。
针对日中语音识别在冻结 CTC 贪婪解码下按字符热词表加偏的问题,用字符级自动机暴露匹配深度做门控并叠加读音空间匹配,在 Aishell-1 难例上达到 66.5% 召回并在日语基准上提升约 25 个百分点,代价是随词表增大和权重设置需要权衡插入错误。
CARES 先把声音显著性定义为说话人是否可听地做出反应,再用受控流程生成 10000 个双人场景,证明六个音频语言模型能认出声音和地点,却在判断反应类型上不超越只看文字的对照系统,且总结时很少提及未被说出的声音。
论文用三名被试每人约三十小时听法语播客的全脑功能磁共振数据,把解码做成在未见会话中用脑活动检索对应音频片段的任务,基线解码器随被试内训练量持续变好但只在三人单站点法语叙事条件下成立。
论文把同一角色换演员和同一演员演多角两种混淆拆成可评分的验证条件,用 85 个经人审核的配音角色建成 KyaraBench,并用跨演员正样本加同演员难负样本训练 KyaraEmbed,在角色相关条件下取得表中最好成绩,但结论只限于日本动画及英配范围。
论文针对全双工语音模型边听边说的耦合互动难以用固定考官评价的问题,提出让两个模型直接对话并都被离线打分的 DyaFDB 框架,用 140 个场景 7560 段对话证明分数是两人共同决定的,代价是需要成对录制与离线评判。
论文要解决无成对电影声画编辑数据时如何执行组合指令,方法是把合成音频编辑与自监督声画掩码重建加入微调,在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限,且保留了原有单模态编辑能力。
EchoChat 针对语音共情中细粒度感知不足与多步推理误传问题,用声学锚定注意力做有监督微调,再用级联门控与分步信用分配做结构化强化学习,在 EchoEval 的多场景感知推理回应评测中取得领先,但结论依赖合成训练数据与模型打分评测条件。
EDICT 用可训练的音色编辑器先产生共享的已编辑编解码参考,再用冻结语音合成主干分段生成并在边界重建 KV 缓存,TimbreEdit 与 IntraTTS 评测显示其编辑准确率和局部指令跟随更好,但内容误识率和未提及属性保持存在代价。
针对第一视角视频音频流中何时说话与说什么的联合问题,论文用分离与重合成清洗指导录像,再经监督微调学听或说、经偏好优化调时机,在 170 段基准上以起始 F1 与内容相似度为最强证据,代价是召回仍低且内容略有回落。