把即兴绑回曲式:JazzSAMBA 用异步叠录与同步合奏补齐爵士标准曲分轨
JazzSAMBA 针对爵士标准曲缺少干净乐队分轨与演奏对齐曲式标注的问题,用 50 首异步叠录加 26 首同步合奏录制 76 首标准曲并配小节和弦段落独奏者标注,以爵士微调分离基线与谱面条件伴奏消融验证标注可用性,代价是同步存在串音且测试规模小、生成仍困难。
JazzSAMBA 针对爵士标准曲缺少干净乐队分轨与演奏对齐曲式标注的问题,用 50 首异步叠录加 26 首同步合奏录制 76 首标准曲并配小节和弦段落独奏者标注,以爵士微调分离基线与谱面条件伴奏消融验证标注可用性,代价是同步存在串音且测试规模小、生成仍困难。
论文把文本到音乐拆成 25 Hz 语义规划加扩散声学渲染,用固定接口、三级语料和全链路产物清单重建 Qwen-Music 范式,最强证据是标注审计与量化误差的固定协议测量,代价是自动监督误差、离散信息损失与端到端人声不稳定仍未解决。
针对瓶鼻海豚哨声结构研究缺深纵向数据的问题,论文用半自然定点连续录音加两阶段标注构建约 18 万哨声语料与 8354 条专家标注子集,并以域内 Wav2Vec2.0 线性探测在分类与检测上超过通用生物声学模型,但两任务仍留有明显误差空间与单点单群等限制。
针对七类浴室助老声事件识别,论文用可学习 sinc 带通前端加深度可分离卷积的 SincDPNet,在环境不相交评估下以 2848 参数达到 75.7% 准确率与 0.661 宏 F1,以 14040 参数达到 80.2% 准确率与 0.760 宏 F1,代价是水声重叠类与门和助行器瞬态仍集中混淆。
该研究把问题定为按多热查询减去 1-3 类触发音并保留残差声景,用 6 毫秒分块的流式双路径网络实现 10 毫秒算法延迟,并在 30 名误音症受试者中报告困扰下降 2.37 点但抑制后仍高于基线地板。
该文针对多说话人场景下谁说了哪句话的归因失败,用动物合成诊断集揭示按画面位置顺序配对语音顺序的偏置,并用 400 个位置与顺序解耦的合成视频微调在真实基准上为 Qwen2.5-Omni 带来平均 8.27% 增益。
针对闽南语缺少大规模真实语音加方言与普通话配对转写的问题,该文用约 10000 小时多源媒体加三系统投票与翻译或字幕抽取构造配对语料,并在人工核验基准上显示微调后闽南转写字错率降至 15.21%,普通话转写平均指标接近商用系统,代价是保留了低质量历史剧集录音与转写非逐字对齐带来的跨基准不可比。
论文把双片段线索选择与下游执行拆开测量,发现四模型在近全数组合条件下问答与转写都大幅退化,而格式与思维链只能解释部分失败。
针对长上下文音频推理缺数据、开放生成难评测的问题,该工作用全开权重三阶段流水线合成 8800 段首诊医患对话与 1329 小时音频及 SOAP 病历,最强证据是级联系统在忠实度上明显优于端到端大音频语言模型,代价是参考病历仍由大模型生成且声学难度未完全复刻真实诊室。
论文针对 Whisper 在无语音音频上编造句子的问题,用同一批幻觉短语的合成真人朗读做正例来配对抑制训练,在 33 组配对微调中把野外无语音词发射率中位数降低约 0.118 并把短语召回中位数提高约 0.186,最佳点把静音幻觉从 61.9% 降到 2.4%,代价是 FLEURS 多语言误差仍高于基线。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类,基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点,但包络削波伪影需经直方图均衡去除后结果才是保守下界。
论文把单通道混合语音分离与按源雷达位移的身份配对做成同一任务,用门控融合的 DPRNN 先分离再用跨模态匹配器定序,在两路和三路混合上同时报告 PIT 与有序指标,而有序增益高度依赖第二阶段匹配器且雷达单独不可懂。
针对 SNES 游戏视频到音乐生成问题,论文用 217.6 小时视频配 485 小时干净配乐构造数据集,对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器,其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL,代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。
针对合成语音能演而公开评测只能判六到九类基本情绪的问题,该工作用 40 情绪专家标注与 57 维说话风格探针构建野外基准并配以 Emolia 大规模训练数据,VoiceCLAP-Large 在 VoiceNet-Emo 上达到 0.702 的按提示校准平衡准确率,代价是阈值需事后校准且 Ext 子集一致性仍在机遇水平。
针对非洲语言在朗读基准上被低估的部署误差问题,AfriVox-v2 用 14 种语言的自发野外对话加 10 个应用领域标注来重测现代模型,最强证据是区域优化的 Sahara-v2 在 AfriVox-v2 平均词错误率 20.49 仍显著低于通用大模型,但数字 20.32% 与命名实体 23.11% 的高误差说明关键信息转写仍不可靠。
针对动漫感没有统一绝对量表的问题,该工作用 15000 对两两偏好构建评价数据,证明手工声学特征只能到 69.3% AUC 而冻结自监督表示加排序模型可达 90.8% AUC,代价是人群偏男性化与数据规模中等。
该文新建 14 口音 128.6 小时角色扮演客服对话只做评测,报告显示手动切分多为最优而固定长窗仅对 Qwen3-ASR 更优,且口音间绝对差距可超 10%,平均词错误率降低并不自动带来口音鲁棒性。
针对音频推理数据少且依赖闭源模型生成的问题,论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking,在 MMAR 上平均准确率达到 71.70% 并提升推理质量,但混合域与强闭源模型的差距与评测单一性仍是代价与限制。
Audio2Tool 用约 30000 条横跨智能车、智能家居和穿戴设备的八层语音查询,把语音工具调用拆成选接口、填参数和多步编排来测,报告显示简单命令准确率高但多意图与强噪声下精确匹配大幅下滑,且端到端语音大模型尚未稳定超过先转写再调大模型的级联路线。