CARDAMOM:在国家标签之下做 21 种微方言语音评测
CARDAMOM 用约 40 小时转写的 YouTube 自然语音覆盖 6 国 21 种微方言,最强零样本系统总体词错率为 43.47%,在训练集上适配后降至 35.21%,而 21 分类微方言辨识达到 85.57%。
CARDAMOM 用约 40 小时转写的 YouTube 自然语音覆盖 6 国 21 种微方言,最强零样本系统总体词错率为 43.47%,在训练集上适配后降至 35.21%,而 21 分类微方言辨识达到 85.57%。
针对全双工语音模型在实时打断和多轮追问中容易丢失角色身份的问题,CharDuplex 把 GLM-4-Voice 改成双流同步结构并用自动生成加验证的角色语音数据做监督微调,再用 FDGym 在线交互强化学习修正角色一致性,最强证据是 SpeechRole-Eval 平均 0.785 分且通用与交互指标大体稳定,代价是依赖大规模合成语音与在线仿真采样的训练预 …
CoLMbo-SV 用冻结说话人编码器加旁路判定保持验证精度、用文本形式声学测量支撑可核对报告,在 VoxCeleb1-O 上报告 0.99% 等错误率与 0.82 数值接地得分,但决策敏感性分析显示报告内容对当前判定的证据选择性仍很低。
CORA 把同一音频固定在五种意图不变改写下做配对检索,用 66100 对实验显示秩降与文本位移弱相关而与目标对齐损失和边界余量退化强相关,但后者仍是诊断性关联且敏感性随模型与数据集变化。
针对视频配音等场景的时长错位问题,DuraS2ST 用先推理选词控音长再生成语音的两阶段流程,结合 DuraSet-440K 监督与时长容限强化学习,在 CVSS-T 中英双向测试上同时保持翻译质量并把时长误差压到最低,但当前验证仍限于中英离线生成。
该研究用直接处理原始语音的双头语音大模型同时做认知状态分类与自然语言解释,在六个数据集任务条件下取得最高平均准确率并能迁移到未见任务,但解释监督来自模型生成且临床标签为量表阈值定义,解释只能作辅助核查。
该文把增量作曲定义为持久 ABC 工件上的操作感知状态转移,用 496038 条对话记录对 Llama 3.1 8B Instruct 做 LoRA 适配,在 1750 次尝试下检查器准入从 29.37% 升至 99.37%、条件合规从 0.7205 升至 0.9798,代价是结论限于爱尔兰传统音乐域且不证明审美优越或无人抄袭。
JazzSAMBA 针对爵士标准曲缺少干净乐队分轨与演奏对齐曲式标注的问题,用 50 首异步叠录加 26 首同步合奏录制 76 首标准曲并配小节和弦段落独奏者标注,以爵士微调分离基线与谱面条件伴奏消融验证标注可用性,代价是同步存在串音且测试规模小、生成仍困难。
论文把文本到音乐拆成 25 Hz 语义规划加扩散声学渲染,用固定接口、三级语料和全链路产物清单重建 Qwen-Music 范式,最强证据是标注审计与量化误差的固定协议测量,代价是自动监督误差、离散信息损失与端到端人声不稳定仍未解决。
针对瓶鼻海豚哨声结构研究缺深纵向数据的问题,论文用半自然定点连续录音加两阶段标注构建约 18 万哨声语料与 8354 条专家标注子集,并以域内 Wav2Vec2.0 线性探测在分类与检测上超过通用生物声学模型,但两任务仍留有明显误差空间与单点单群等限制。
针对七类浴室助老声事件识别,论文用可学习 sinc 带通前端加深度可分离卷积的 SincDPNet,在环境不相交评估下以 2848 参数达到 75.7% 准确率与 0.661 宏 F1,以 14040 参数达到 80.2% 准确率与 0.760 宏 F1,代价是水声重叠类与门和助行器瞬态仍集中混淆。
该研究把问题定为按多热查询减去 1-3 类触发音并保留残差声景,用 6 毫秒分块的流式双路径网络实现 10 毫秒算法延迟,并在 30 名误音症受试者中报告困扰下降 2.37 点但抑制后仍高于基线地板。
该文针对多说话人场景下谁说了哪句话的归因失败,用动物合成诊断集揭示按画面位置顺序配对语音顺序的偏置,并用 400 个位置与顺序解耦的合成视频微调在真实基准上为 Qwen2.5-Omni 带来平均 8.27% 增益。
针对闽南语缺少大规模真实语音加方言与普通话配对转写的问题,该文用约 10000 小时多源媒体加三系统投票与翻译或字幕抽取构造配对语料,并在人工核验基准上显示微调后闽南转写字错率降至 15.21%,普通话转写平均指标接近商用系统,代价是保留了低质量历史剧集录音与转写非逐字对齐带来的跨基准不可比。
论文把双片段线索选择与下游执行拆开测量,发现四模型在近全数组合条件下问答与转写都大幅退化,而格式与思维链只能解释部分失败。
针对长上下文音频推理缺数据、开放生成难评测的问题,该工作用全开权重三阶段流水线合成 8800 段首诊医患对话与 1329 小时音频及 SOAP 病历,最强证据是级联系统在忠实度上明显优于端到端大音频语言模型,代价是参考病历仍由大模型生成且声学难度未完全复刻真实诊室。
论文针对 Whisper 在无语音音频上编造句子的问题,用同一批幻觉短语的合成真人朗读做正例来配对抑制训练,在 33 组配对微调中把野外无语音词发射率中位数降低约 0.118 并把短语召回中位数提高约 0.186,最佳点把静音幻觉从 61.9% 降到 2.4%,代价是 FLEURS 多语言误差仍高于基线。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类,基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点,但包络削波伪影需经直方图均衡去除后结果才是保守下界。
论文把单通道混合语音分离与按源雷达位移的身份配对做成同一任务,用门控融合的 DPRNN 先分离再用跨模态匹配器定序,在两路和三路混合上同时报告 PIT 与有序指标,而有序增益高度依赖第二阶段匹配器且雷达单独不可懂。