一次读完还是分段拼接:长序列训练如何改变连续朗读的停早问题
该文用同一批俄语录音的长单元与短窗口对照微调并做全尝试连续合成评估,报告在约 1200 词时自回归模型的长目标训练大幅降低词错误率,而流匹配模型的绝对错误率仍高于 90%,代价是转录格式与语料构成等混杂尚未完全分离。
该文用同一批俄语录音的长单元与短窗口对照微调并做全尝试连续合成评估,报告在约 1200 词时自回归模型的长目标训练大幅降低词错误率,而流匹配模型的绝对错误率仍高于 90%,代价是转录格式与语料构成等混杂尚未完全分离。
该文把可审计的生成来源链作为行为归因的前提,提出合成语音研究对象与五遍审计法,并在 113 条日语护理交接合成资产上验证了哪些归因问题被允许、哪些仍被缺失戳记阻断,代价是仍不提供因果归因与临床有效性结论。
CARDAMOM 用约 40 小时转写的 YouTube 自然语音覆盖 6 国 21 种微方言,最强零样本系统总体词错率为 43.47%,在训练集上适配后降至 35.21%,而 21 分类微方言辨识达到 85.57%。
JazzSAMBA 针对爵士标准曲缺少干净乐队分轨与演奏对齐曲式标注的问题,用 50 首异步叠录加 26 首同步合奏录制 76 首标准曲并配小节和弦段落独奏者标注,以爵士微调分离基线与谱面条件伴奏消融验证标注可用性,代价是同步存在串音且测试规模小、生成仍困难。
针对长时多方全双工对话缺数据缺评测的问题,论文用两阶段脚本合成加 IndexTTS2 渲染构建 57.6k 小时中英并行流语料并以两阶段微调 Moshi,在 MultiTalkBench 上最终分从 4.66 升到 13.15 但仍远低于人类 68.74。
针对瓶鼻海豚哨声结构研究缺深纵向数据的问题,论文用半自然定点连续录音加两阶段标注构建约 18 万哨声语料与 8354 条专家标注子集,并以域内 Wav2Vec2.0 线性探测在分类与检测上超过通用生物声学模型,但两任务仍留有明显误差空间与单点单群等限制。
针对闽南语缺少大规模真实语音加方言与普通话配对转写的问题,该文用约 10000 小时多源媒体加三系统投票与翻译或字幕抽取构造配对语料,并在人工核验基准上显示微调后闽南转写字错率降至 15.21%,普通话转写平均指标接近商用系统,代价是保留了低质量历史剧集录音与转写非逐字对齐带来的跨基准不可比。
针对整句单标签无法定位多人多事件录音中情绪归属的问题,论文把任务改写为带起止时间的语音段结构化预测,并用掩蔽情绪与距离加权时间戳辅助损失训练 EMO-TAG,在 MELD 和 IEMOCAP 多段定位与单句识别上超过所比基线,但代价是两次前向与精心清洗的多段构造流程。
针对长上下文音频推理缺数据、开放生成难评测的问题,该工作用全开权重三阶段流水线合成 8800 段首诊医患对话与 1329 小时音频及 SOAP 病历,最强证据是级联系统在忠实度上明显优于端到端大音频语言模型,代价是参考病历仍由大模型生成且声学难度未完全复刻真实诊室。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用 123M 参数的缓存感知流式混合 RNNT/CTC 模型解决日语流式与完全开放不能兼得的问题,在五个测试集上以 12.4% 平均 CER 超越大 5-8 倍的开放基线,代价是预训练筛选与多域微调加解码器容量三者组合时会在讲座域明显退化。
针对音频推理数据少且依赖闭源模型生成的问题,论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking,在 MMAR 上平均准确率达到 71.70% 并提升推理质量,但混合域与强闭源模型的差距与评测单一性仍是代价与限制。
针对人工嗓音采集存在交互偏差、标注分割繁琐与数据迁移不畅的问题,论文提出离线独立运行的 CalliOpeNLP 工具,用合成语音指令加 18 项临床嗓音任务与轻量语音转写合规检查实现自动采集,初步测试显示同任务采集约 18 分钟对比人工约 28 分钟且省去手动分割,但合规阈值与病理嗓音识别准确性仍待验证。
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
针对跨语言语音语料需要用更少句子覆盖全部音素的问题,corpusgen 用评估、选择、生成三命令共享发音转换与覆盖追踪,以贪心与精确优化等六种算法做句子选择,并在 40 种语言 12 个语系上验证,但原文未给出可复述的逐算法句子数与耗时数字。
针对文本到中国传统器乐音乐生成缺少配对数据的问题,论文构建 741 对超 42 小时的 CTMusic 并用独奏到合奏的两阶段 LoRA 微调验证 Stable Audio Open,最强证据是微调后客观与主观指标全面超过预训练基线,而代价是新增 TTT 层带来额外可训练参数与两阶段训练开销。
该研究用 61 人 769 条德语语音日记同时比较声学与文本模型推断每日唤醒度效价与压力,文本模型在人群层面明显占优但仍偏向特质差异而非日内状态追踪且声学整体接近零效应。
论文针对俄语缺少工作室级对话表情语料的问题,构建 20.6 小时三人面对面表演的 Dialogs 并做 12 类逐句标注,用人群 MOS 证明录音质量不输读语音基线且表情与对话自然度更高,再以 VITS2 验证可训出对话感语音,代价是每人仅 4.4-9.9 小时且风格极不均衡。
为解决语音大模型只用文本指令评测脱离真实开口交互的问题,论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS,并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能,而语音输出任务中口语指令打平或反超,非正式与短指令最难。
针对儿童中心长时录音语料格式不统一、开源模型需要编程能力和常用指标缺乏可比评估的问题,ELSI 用标准化流程加网页端一键调用已有模型与导出指标的方案组织工作流,本文为展示型系统介绍未报告定量主结果与消融,其代价是仍依赖服务器算力与外部存档保护。