论文解读

在枪虾噪声中检测海豚宽带瞬态叫声:TRIDENT 如何保留波形结构

论文要从枪虾主导的浅海噪声中检出海豚 click、buzz 和 burst-pulse 三类宽带瞬态叫声,采用直接处理波形的轻量一维卷积网络 TRIDENT 配合可控信噪比混合与归一化训练,在混合测试集上虚警率 1% 时检出率达 0.844,代价是依赖合成训练与人工挑选的难负样本且结论限于新加坡周边数据条件。

 · 更新于 2026-11-05 · 约 18 分钟 · 8737 字 阅读 →
论文解读

DRAMA-Eval:面向上下文、多轮、多说话人的语音生成评测

DRAMA-Eval 用结构化剧本同时考指令执行、说话人一致和整场连贯,发现单句做得好不等于整场戏成立,而全局场景信息能明显提升沉浸感。

 · 更新于 2026-11-05 · 约 17 分钟 · 8335 字 阅读 →
论文解读

每个问题都要看视频吗:按查询选择模态的推理省钱法

本文研究固定全模态大模型推理时按查询只在必要时加入视频,在 WorldSense 上用代价敏感学习在保持全模态精度的同时大幅降低输入 token、时延和费用,但结论只在二选一文本加音频与文本加音频加视频、文本嵌入路由的条件下成立。

 · 更新于 2026-11-05 · 约 16 分钟 · 7533 字 阅读 →
论文解读

在真实声场景中实时提取目标说话人:RealSSA 基准与单遍分离方法 Falcon

论文针对固定双人、无混响突变噪声的评测与重型因果模型难以部署的问题,构建同时变化人数、远近场、混响和噪声并配真实录音的 RealSSA 基准,并提出单次编解码完成多尺度时频建模的 Falcon,其编码器空间对比损失在推理零代价下抑制近场泄漏,在多集上达到最优分离质量并大幅降低参数与延迟。

 · 更新于 2026-11-05 · 约 18 分钟 · 8972 字 阅读 →
论文解读

EmoNet:用轻量卷积加时序注意力做七类语音情感识别

针对大 Transformer 做语音情感太重的问题,EmoNet 用四块深度可分离卷积加双向 LSTM 与多头注意力池化,在 TESS 加 RAVDESS 加 SAVEE 合并集上达到 96.75% 测试准确率,仅用 4.11M 参数,但结论只在表演式录音与固定划分下成立。

 · 更新于 2026-11-05 · 约 20 分钟 · 9849 字 阅读 →
论文解读

生成评价里核距离在有限样本下能看见什么:KID 与 KAD 的灵敏度审计

论文把 KID 默认三次核与 KAD 默认中位数高斯核当作置换双样本检验,在 780 每侧样本下用输运距离匹配的平移、收缩与旋转探测它们能检出什么,并用样本量与带宽扫描说明恢复灵敏度的代价。

 · 更新于 2026-11-05 · 约 16 分钟 · 7878 字 阅读 →
论文解读

只拿到一小段语音表征,能拼出任意文本的冒充语音吗

论文研究仅截获 3 秒前端表征、无原始音频和 transcript 时能否生成攻击者指定文本的受害者声音,提出 STIA 跨话语条件流匹配生成方法,在 Moshi 上达到 CAM++ 0.78 与 WER 3.80%,代价是需大量辅助数据与 110 小时双卡训练。

 · 更新于 2026-11-05 · 约 19 分钟 · 9434 字 阅读 →
论文解读

把网上钢琴录音和乐谱配成对:Gangqinpu 数据集如何建成和验证

Gangqinpu 用自动转谱、对齐、表情过滤和流派标注把多风格钢琴音频、演奏 MIDI 与乐谱配成 18786 对,用节拍跟踪跨数据集提升与转谱和渲染主要在域内获益证明其补充价值,但跨域泛化仍不均匀且标注全为自动生成。

 · 更新于 2026-11-05 · 约 19 分钟 · 9236 字 阅读 →
论文解读

不花标注费选检查点:用未标注池的几何结构做音频主动学习验证

论文解决每轮训练中没有验证标签时如何选检查点,提出用冻结嵌入空间中独立于待选头的原型与近邻伪标签加已标注集交叉熵打分,在统一标注预算下取得可部署方法中平均最优的标注曲线下面积,代价是每轮对池做一次批量前向。

 · 更新于 2026-11-05 · 约 19 分钟 · 9291 字 阅读 →
论文解读

稀疏 Ambisonic 录音如何实现大范围六自由度漫游

该文只改宽域 DirAC 渲染中的插值权重,用轻量图网络从实测声场特征预测场景相关的组合权重,实验显示在未见房间和布局下能量和指向性图相似度提升,但扩散度基本持平,且模型很小。

 · 更新于 2026-11-05 · 约 16 分钟 · 7642 字 阅读 →
论文解读

没听完就动手:语音对话系统何时可以提前调用工具

该文把提前调用工具定义为逐块判断工具与全部参数何时在已听语音中被锚定,用合成对齐流水线给出最早可行动时刻监督,并在同域与音频版外部基准上以正确调用平均提前约 1.8 秒到 2.0 秒和 1.1 秒为证据,代价是触发精确率仍不足六成。

 · 更新于 2026-11-05 · 约 17 分钟 · 8431 字 阅读 →
论文解读

小预算稀疏混合专家:HobbyLM 如何搭架构、训模型再做多模态与生图

HobbyLM 用细粒度稀疏混合专家加稳定路由与归一化,在 40B 与 100B 词元预算下做出 500M 与 1B 基座,并延伸出对话、扩散语言模型、多模态智能体与 1024px 文生图,但多项能力仍受小词元量与单次训练的限制。

 · 更新于 2026-11-05 · 约 19 分钟 · 9392 字 阅读 →
论文解读

隔着玻璃听清说话:毫米波雷达语音增强挑战赛 RASE 在做什么

RASE 针对雷达隔玻璃测振动恢复语音的任务,提供配对雷达与干净语音数据、统一基线与保密评测,用直接振膜和二次表面两种条件加四个客观指标综合排名,首名综合分最高但可懂度绝对值仍低,说明方向可行但远未解决。

 · 更新于 2026-11-05 · 约 16 分钟 · 7704 字 阅读 →
论文解读

把图像扩散模型拿来读文字、学说话:ImageTTS 解读

ImageTTS 把对数梅尔谱图变成伪 RGB 图后冻住图像 VAE、只微调 FLUX.2 的 DiT 做条件流匹配,在受控对比中验证了表征与先验迁移,再用约 100K 小时数据在零样本和指令控制合成上达到可比基线的语言准确率,但说话人相似度仍受冻住 VAE 限制。

 · 更新于 2026-11-05 · 约 24 分钟 · 11646 字 阅读 →
论文解读

按指令现做适配器:大音频语言模型的组合泛化

论文研究大音频语言模型把熟悉的声音能力重组成没见过任务形式的问题,用指令逐词元生成 LoRA 适配器的超网络 T2L-ICAG 来应对,在两种骨干上组合任务平均相对性能最高,但复杂组合仍有明显差距且依赖受控评测条件。

 · 更新于 2026-11-05 · 约 19 分钟 · 9334 字 阅读 →
论文解读

打断要让,附和要留:窗口似然如何替代采样式时机奖励

针对全双工语音模型在用户打断与附和时的让路或保持决策,论文用事件窗口内停止概率的闭式似然替代整段采样的 GRPO 奖励,在六个开源模型上取得最优让路保持 F1 且不增加静音下重开话轮的副作用。

 · 更新于 2026-11-05 · 约 20 分钟 · 9932 字 阅读 →
论文解读

用可测量的歌唱特征做可解释的歌唱情绪识别

该文用韵律、音色、发音和演唱技巧四类可测量特征做歌唱情绪分类,在 RAVDESS 上歌唱优化集达到 UAR79.6% 并降低跨歌手波动,代价是技巧特征依赖 CNN 估计且结论只在有限歌手、表演式情绪和少类别条件下成立。

 · 更新于 2026-11-05 · 约 19 分钟 · 9161 字 阅读 →
论文解读

按截止时间回答的多音高估计:JIT-MPE 如何即时给出再逐步修正

JIT-MPE 用一个因果模型对每帧先即时估计再用延迟头修正,在 50 毫秒截止下接近自身最终输出,并在多个集上以 8.6 万参数达到可比精度,其提升主要来自音头后几十毫秒的修正。

 · 更新于 2026-11-05 · 约 18 分钟 · 8685 字 阅读 →
论文解读

LeanTTS:不到 20M 参数如何同时做零样本克隆和固定音色定制

LeanTTS 把中文发音前端、流匹配声学模型和 Vocos 声码器一起压缩到 18.9M 参数,用参考音频做零样本克隆、用说话人标签做固定音色定制,在 Seed-TTS-Eval 上验证了质量、相似度和 CPU 实时率之间的取舍。

 · 更新于 2026-11-05 · 约 19 分钟 · 9476 字 阅读 →
论文解读

不重新训练,如何让无条件音频扩散模型唱出指定旋律

该文把旋律控制写成以可微基频估计为观测算子的逆问题,用扩散后验采样加三角波暖启动引导无条件模型,在钢琴、吉他和人声上达到接近专用条件模型的旋律准确率,但音色、咬字等不受控细节仍由先验决定。

 · 更新于 2026-11-05 · 约 16 分钟 · 7588 字 阅读 →