论文解读

同步生成有声视频:Kandinsky 6.0 Video 如何让画面和声音对齐

论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题,采用视频流加音频流的双流扩散结构加联合训练,在语音质量与同步指标上给出证据,代价是两阶段蒸馏与超分带来的额外训练和推理开销。

 · 更新于 2026-10-15 · 约 24 分钟 · 11787 字 阅读 →
论文解读

把乐谱、波形与算法输出放在同一演奏时间轴上:LayerIt 解读

LayerIt 要解决的是乐谱、录音与算法输出时间坐标不一致且手工拼图不可复现的问题,它用统一演奏时间比例加分层拼图的方法,在德彪西《月光》前六小节的拍点跟踪实例上展示了定位节拍误读的能力,代价是依赖外部对齐与乐谱质量且频谱场只能内嵌位图。

 · 更新于 2026-10-15 · 约 16 分钟 · 7550 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

自己服务器上做听感实验:PANEL 把问卷、筛查、统计和数据治理装进一个链接

针对实验室自有模型与自招被试的受控比较问题,PANEL 选择自托管问卷实验加内置统计路线,已报告的证据是支持七类题型、筛查分支与持续分析的完整设计,而代价是放弃实验室级刺激呈现精度并由研究者自行承担部署运维。

 · 更新于 2026-10-15 · 约 18 分钟 · 8915 字 阅读 →
论文解读

在单流服务引擎里塞进多码本与双路引导:延迟交织与配对调度的吞吐保卫战

针对语音语言模型多码本延迟交织与无分类器引导难以装入文本单流连续批处理的问题,该文用主辅分解加在片声学解码与条件加无条件配对同批共前向的办法,在单卡 H100 上报告最高 108×加速与保持 80% 非引导吞吐,代价是小模型先触及显存带宽墙与半精度下约 34 步后出现数值漂移。

 · 更新于 2026-10-15 · 约 18 分钟 · 8861 字 阅读 →
论文解读

不用专家在场也能收嗓音数据:CalliOpeNLP 如何把指令、录音与合规检查做成一体

针对人工嗓音采集存在交互偏差、标注分割繁琐与数据迁移不畅的问题,论文提出离线独立运行的 CalliOpeNLP 工具,用合成语音指令加 18 项临床嗓音任务与轻量语音转写合规检查实现自动采集,初步测试显示同任务采集约 18 分钟对比人工约 28 分钟且省去手动分割,但合规阈值与病理嗓音识别准确性仍待验证。

 · 更新于 2026-10-15 · 约 21 分钟 · 10189 字 阅读 →
论文解读

从随机攒句子到覆盖全部音素:corpusgen 如何把语料设计变成可计算的选择题

针对跨语言语音语料需要用更少句子覆盖全部音素的问题,corpusgen 用评估、选择、生成三命令共享发音转换与覆盖追踪,以贪心与精确优化等六种算法做句子选择,并在 40 种语言 12 个语系上验证,但原文未给出可复述的逐算法句子数与耗时数字。

 · 更新于 2026-10-15 · 约 20 分钟 · 9994 字 阅读 →
论文解读

儿童长时录音又多又杂:ELSI 想用统一格式加一键模型调用降低使用门槛

针对儿童中心长时录音语料格式不统一、开源模型需要编程能力和常用指标缺乏可比评估的问题,ELSI 用标准化流程加网页端一键调用已有模型与导出指标的方案组织工作流,本文为展示型系统介绍未报告定量主结果与消融,其代价是仍依赖服务器算力与外部存档保护。

 · 更新于 2026-10-15 · 约 23 分钟 · 11219 字 阅读 →
论文解读

把百万小时语料装进可复用流程:ESPnet3 如何拆开数据、系统与配方

针对大规模语音预训练中数据集组合笨重与多节点迭代开销大的问题,ESPnet3 用配置化数据组织与分片迭代加模块化系统重构流程,在 OWSM-Base 预训练上把每轮时间从 95.3 分钟降到 74.2 分钟并保持 80% 以上 GPU 利用率,代价是配置行数增加且部分细粒度控制仍依赖配方扩展。

 · 更新于 2026-10-15 · 约 20 分钟 · 9851 字 阅读 →
论文解读

语气与内容打架时还能轻量判断:互不干扰的三路情感分类

针对语音情感识别中音频语气与文本内容可能缺失或冲突且大模型难以在消费级 CPU 上实时运行的问题,论文提出只训练约 64k 参数的 Light-DMF 分离融合结构,用冻结的 Distil-Whisper-large-v3 与 all-MiniLM-L6-v2 做特征、用三路输出分别给出判断,并在 Intel Core i7-5600U 上以 1 分钟音频需 …

 · 更新于 2026-10-15 · 约 18 分钟 · 8951 字 阅读 →
论文解读

重叠多反而伤分离:合成对话数据为何对识别与日志任务给出相反配方

论文以 DiCoW 与 Sortformer 为载体系统改变轮次、源域、增强与混合策略,报告显示加大重叠把 NSF-1 上合成训练 DiCoW 推到 22.1% 而把 Sortformer 宏平均推差到 27.6%,多样源混合与噪声加混响组合则分别主导两任务,合成加真实联合训练取得最优。

 · 更新于 2026-10-15 · 约 18 分钟 · 8556 字 阅读 →
论文解读

带着参考学、丢掉参考用:RAT 把参考通道训练成不变性

针对单句反欺诈易过拟合伪造痕迹的问题,RAT 用同说话人真参考做交叉注意力的增强训练,在 ASVspoof 5 评估集上以 2.57% EER 和 0.074 minDCF 达到单模型最优,且推理时可直接用零向量代替参考,代价是需要配对采样和两阶段微调。

 · 更新于 2026-10-15 · 约 15 分钟 · 7448 字 阅读 →
论文解读

整行一次标注的高棉语归一化:用权重与音节边界过滤器代替分词器

针对高棉语无词空格与数字词嵌在普通词中的问题,Tha 用整行最短路分类加音节边界过滤器实现文本归一化与逆归一化,在谷歌基数测试与 2906 句真实语音提示上取得高一致率,代价是拼写变体与歧义仍需词表维护与上下文信息。

 · 更新于 2026-10-15 · 约 23 分钟 · 11292 字 阅读 →
论文解读

从第一视角看婴儿:用轻量头戴相机加本地标注破解自然学习环境难题

针对头戴相机难做儿童友好硬件与人工标注耗时的问题,论文用基于 Insta360 GO 3 的 TinyExplorer Gear 加本地运行的 TinyExplorer Detection App 解决,已验证人脸检测与关键词检出召回 78% 精确率 77% 接近人工一致性均值 82.36%,代价是手部与音频能力仍在集成中且依赖自然游戏录制条件。

 · 更新于 2026-10-15 · 约 18 分钟 · 8571 字 阅读 →
论文解读

数据很少、听众很少时怎么做 TTS:SGILE 的高效建声与高效评测

SGILE 针对原住民语言教学的低资源 TTS 问题,选择用开源 EveryVoice 工具包降低建声门槛并用 BWS 等强制选择评测降低听音人负担,论文以网页 Demo 展示不同数据量声音与 BWS 问卷流程,但正文未报告正式主观得分与统计检验。

 · 更新于 2026-10-15 · 约 21 分钟 · 10507 字 阅读 →
论文解读

把逐毫秒的塞音切分交给帧分类:wav2VOT 如何同时估计 VOT、闭塞与弱化

针对塞音嗓音起始时间、闭塞时长与有无爆破三项细粒度标注问题,wav2VOT 把 wav2vec2 改成 1 毫秒帧分类器,先在日语 CSJ-C 大规模训练再向英语多语料微调,在未见数据上与 AutoVOT 相当、微调后显著提升,但小样本微调在录音差异大的语料上会暂时损伤性能。

 · 更新于 2026-10-15 · 约 20 分钟 · 9951 字 阅读 →
论文解读

只用一两个图特征判别痴呆:加权言语图把语义与时间装进边权重

针对言语流畅性与图片描述中只计数不建模词间关系的不足,该工作提出只用目标词建图并把语义、语音、空间、时间差异编码为边权重的加权言语图,用一两个可解释图特征达到与完整基线特征集可比的痴呆判别效果,代价是依赖转录与时间戳质量和较小样本的特征选择。

 · 更新于 2026-10-15 · 约 21 分钟 · 10073 字 阅读 →
论文解读

先转写哪一段:Easper 用会话级排序证明重复比干净更重要

针对田野语言建档转写瓶颈,论文提出免代码的 ELAN 到微调再到切分转写流水线 Easper,并在三种瓦努阿图语言上以会话为单位比较五种排序策略,显示优先词汇重复的策略早期字符错误率更低,但干净录音并非无用且结论受语料规模限制。

 · 更新于 2026-10-15 · 约 18 分钟 · 8676 字 阅读 →
论文解读

把音节切准又切省:findsylls 用可互换的包络与切分器统一音节级分词

论文要解决音节切分方法分散、难以同条件复现比较的问题,用包络计算、帧特征、切分算法三模块可互换的 findsylls 工具包统一经典与神经路线,在英语、西班牙语和 Kono 语七个语料上以 50 ms 容差比较核、边界与区间 F1,最强神经组合以 3-5 tok/s 实现最高边界与区间精度,但经典包络在吞吐量上高出一个数量级。

 · 更新于 2026-10-15 · 约 17 分钟 · 8196 字 阅读 →
论文解读

从场上峰值到声道目标:PyPhonPlan 如何把计划、感知与记忆算成发音

论文要解决任务动力学目标值被事先固定、缺少记忆与感知影响机制的问题,选择用耦合动态神经场生成时变声道目标并用临界阻尼振子求解轨迹,在 1 次基线加 10 次影子跟读加 1 次洗脱的简化仿真中报告跟读峰值拉向 1.56 与洗脱残留偏移负 0.29,代价是输入时序仍需手工指定且仅为一维示例。

 · 更新于 2026-10-15 · 约 19 分钟 · 9496 字 阅读 →