论文解读

E3-System:用检索到的风格语音让任意音色说出指定情感

E3-System 针对零样本语音合成中文字意图缺乏声学依据、音色与风格纠缠的问题,用 1012 小时多语种 EmoData 构建风格空间、用 Style-RAG 把文字意图映射为语音风格提示、用 Dual-TTS 实现音色与风格解耦合成,在双提示条件下直接语音提示与检索文字控制分别达到不同的可懂度与相似度平衡。

 · 约 19 分钟 · 9329 字 阅读 →
论文解读

从歌声录音写出合调粤语歌词:ARIA 的两段式做法

ARIA 把粤语作词拆成先从带字槽的歌声估计 0243 声调层级序列、再以该序列为控制生成歌词,TRATE 与 DRA-TCLG 分别解决音频侧相对调高恢复与文本侧一对多选词问题,代价是依赖字符边界且第二阶段一般只实现而不修复第一阶段的错误。

 · 更新于 2026-10-15 · 约 19 分钟 · 9460 字 阅读 →
论文解读

AuraLuxMuse:把音乐变成可上台的灯光线索

AuraLuxMuse 用音乐与灯光的对比对齐检索专家灯光序列并按偏好适配,证据是演唱会与综艺场景专家评分占优而戏剧场景不显著,代价是依赖固定语料库且单次推理约 7.65 秒。

 · 更新于 2026-10-15 · 约 17 分钟 · 8288 字 阅读 →
论文解读

把合成器参数空间 reinterpret 为音色塑形效果器控制空间

论文把文本条件合成器得到的 78 维配置经由基于角色的映射固定为可复用的音色塑形效果器,用四种吉他音色提示的频谱与非线性测量加打乱映射消融证明结构化分工带来提示可区分性,并用检索增强的合成器生成器提升表示的文本相似度,代价是映射为启发式且评估只限单段吉他演奏与信号级指标。

 · 更新于 2026-10-15 · 约 19 分钟 · 9157 字 阅读 →
论文解读

Jarvis:在多人会议里何时开口、如何开口的主动语音智能体

Jarvis 针对共享文档的多人讨论,用小型模型的检测加规则门限决定是否纠正遗漏或说错的事实,并用等候空档与举手加屏幕引证来进入对话,在合成与真实会议中验证了时机与正确性,但结论只在文档可查证的范围内成立。

 · 更新于 2026-10-15 · 约 22 分钟 · 10522 字 阅读 →
论文解读

把音频变成可读文字再推理:Listen-to-Reason 的树、路由与冻结阅读器

论文把音频问答拆成命名树节点加语音转写文本再由冻结文本大模型作答,在 SAKURA 上超过所比音频大模型并用干预证明节点有因果作用,代价是计数排序与细粒度场景题仍落后且推理端需要跑多个编码器与转写模型。

 · 更新于 2026-10-15 · 约 19 分钟 · 9482 字 阅读 →
论文解读

跨会话记住谁说了什么及其时态:PERSIST 语音记忆解读

针对多人多会话语音对话中说话人混淆与事实新旧混淆问题,PERSIST 用可读事件记录加语义加说话人加时间联合打分做检索,并复用对话主干中间表示把检索延迟从 578.42 ms 降到 7.03 ms,代价是仍依赖转写与说话人归属质量。

 · 更新于 2026-10-15 · 约 22 分钟 · 10983 字 阅读 →
论文解读

关系合成:用参考结构重组检索声音的拟音生成方法

该论文用参考音频的关系结构来重组检索源音频的短时颗粒,再送入预训练生成器,FO 变体在保持声音类别的同时改善了时间对齐并降低了源波形局部复现,代价是离散搜索不保证全局最优且分布指标只是维持而非提升。

 · 更新于 2026-10-15 · 约 17 分钟 · 8416 字 阅读 →
论文解读

为人工耳蜗语音挑选合适的情感模板:SEER 怎么做检索增强

SEER 针对人工耳蜗处理后情感线索变弱的问题,用同一情感的参考语音去引导情感语音转换,并学习为每个源语句挑选最有帮助的参考,在 N8 条件下把源语音的宏平均 F1 在 RAVDESS 和 ESD 上分别提高 7.30 和 11.66 个百分点,但稀疏通道和部分情感边界上仍有局限。

 · 更新于 2026-10-15 · 约 17 分钟 · 8283 字 阅读 →
论文解读

SPHERE:从一次生成到记住用户空间习惯的 VR 室内共创

SPHERE 针对 VR 室内布置中偏好无法跨次保留而导致反复改图的问题,用会话后提取的分层空间约束加检索重排的人环强化更新来复用用户逻辑,在 42 人受控实验中把总编辑数从 8.52 降到 5.62 并提高可用性,但结论只在指定画像和扰动房型条件下成立。

 · 更新于 2026-10-15 · 约 21 分钟 · 10189 字 阅读 →
论文解读

长视频问答中全局覆盖与问题相关细节如何兼得:VideoTapestry 的分层记忆细化解读

针对长视频中证据分散且预建记忆易缺问题细节的矛盾,VideoTapestry 用固定三层记忆加三智能体由粗到细重看视频并组装复合记忆,在四个长视频基准上相对同底座直接推理提升 7.0 到 17.2 个百分点,代价是离线建记忆与多次查询时模型调用。

 · 更新于 2026-10-15 · 约 20 分钟 · 9829 字 阅读 →
论文解读

长录像问答的上下文两难:分块定位证据再有界重读

针对小时级音视频问答无法把整段录像放入上下文的问题,LEAP 用 600 秒分块定位加至多 9 窗有界回答,在四个主基准上高于同栈整体读取基线,代价是每题需要多遍定位且文本通道只在语音证据充分时可替代媒体扫描。

 · 更新于 2026-10-15 · 约 18 分钟 · 8868 字 阅读 →
论文解读

在四个声源混在一起时,用干净记忆把目标声音推回语言模型眼前

论文针对目标声被三个干扰源淹没时音频大语言模型感知崩溃的问题,提出不训练模型只在音频到语言边界上用类别长期记忆做重构加插值的方法,在二十类四声源混合上把分类准确率平均提升 29.53 至 46.15 个百分点,而语音转写需再加逐词元门控才能把词错误率从 23.07% 降到 14.77%。

 · 更新于 2026-10-15 · 约 20 分钟 · 9583 字 阅读 →
论文解读

多人语音里记住谁对谁说了什么:交互图记忆与按轮增益的检索智能体

针对多方多会话语音长记忆问题,论文用增量声纹识别加交互记忆、事实记忆与人物画像三层结构保存说话人与收话人关系,并用按轮奖励新增证据的检索智能体自适应取证,在 VoxPolyBench 上报告 85.0 分,代价是依赖合成语音与标注证据训练且真实声学泛化待验证。

 · 更新于 2026-10-15 · 约 19 分钟 · 9384 字 阅读 →
论文解读

不等后端说完就开口:在 80 毫秒帧里直接塞进原文的上下文跨接

针对全双工语音模型靠压缩隐向量读取外部知识易丢精确值的问题,论文用单次块预填充把检索原文直接注入对话流,并在问答与全双工评测中验证了可行性,代价是每词一帧带来的内存开销与对后端识别和大模型推理的依赖。

 · 更新于 2026-10-15 · 约 19 分钟 · 9142 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

不靠参数记忆回答教义:一个阿拉伯语语音平台如何把检索、配额与可观测性做成可运行产品

该工作解决阿拉伯语语音问答中误引经训的高风险问题,选择检索优先于参数记忆、六路工具检索与自管语音链路,用 124 例中 122 例通过的背诵校验与 0.9–1.7s 端到端语音延迟证明接地可行,代价是单 GPU 主机成为可用性单点且方言与覆盖外问题仍回退到参数知识。

 · 更新于 2026-10-15 · 约 16 分钟 · 7887 字 阅读 →
论文解读

缺失与噪声并存时,用可靠性给每个模态定压缩与补全的额度

针对文本、音频、视觉共存缺失与噪声的多模态情感分析,RCE 用 vMF 不确定性做质量感知压缩与跨样本增强加多级融合,在 CMU-MOSI/MOSEI 完整与缺失噪声设置下取得最优或接近最优,代价是记忆库与超模态带来更多参数与调参量。

 · 更新于 2026-10-15 · 约 18 分钟 · 8912 字 阅读 →
论文解读

不等说完就知道回哪一句:RePlay 把全双工隐状态直接做成检索查询

针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。

 · 更新于 2026-10-15 · 约 18 分钟 · 8854 字 阅读 →
论文解读

说太快听不懂、说太简单不想练:用流利度把词汇和语速同时调准

AdaptLingo 针对固定难度对话练口语容易过难或过简的问题,选择用时间声学特征预测初级中级高级流利度并以此控制 EIKEN 词汇生成与 TTS 语速,最强证据是标注数据上 95% 宏 F1 但噪声用户语音上仅 47% 准确率,主要代价是野外泛化不足与母语背景差异大。

 · 更新于 2026-10-15 · 约 18 分钟 · 8755 字 阅读 →