在枪虾噪声中检测海豚宽带瞬态叫声:TRIDENT 如何保留波形结构
论文要从枪虾主导的浅海噪声中检出海豚 click、buzz 和 burst-pulse 三类宽带瞬态叫声,采用直接处理波形的轻量一维卷积网络 TRIDENT 配合可控信噪比混合与归一化训练,在混合测试集上虚警率 1% 时检出率达 0.844,代价是依赖合成训练与人工挑选的难负样本且结论限于新加坡周边数据条件。
论文要从枪虾主导的浅海噪声中检出海豚 click、buzz 和 burst-pulse 三类宽带瞬态叫声,采用直接处理波形的轻量一维卷积网络 TRIDENT 配合可控信噪比混合与归一化训练,在混合测试集上虚警率 1% 时检出率达 0.844,代价是依赖合成训练与人工挑选的难负样本且结论限于新加坡周边数据条件。
DRAMA-Eval 用结构化剧本同时考指令执行、说话人一致和整场连贯,发现单句做得好不等于整场戏成立,而全局场景信息能明显提升沉浸感。
本文研究固定全模态大模型推理时按查询只在必要时加入视频,在 WorldSense 上用代价敏感学习在保持全模态精度的同时大幅降低输入 token、时延和费用,但结论只在二选一文本加音频与文本加音频加视频、文本嵌入路由的条件下成立。
论文针对固定双人、无混响突变噪声的评测与重型因果模型难以部署的问题,构建同时变化人数、远近场、混响和噪声并配真实录音的 RealSSA 基准,并提出单次编解码完成多尺度时频建模的 Falcon,其编码器空间对比损失在推理零代价下抑制近场泄漏,在多集上达到最优分离质量并大幅降低参数与延迟。
针对大 Transformer 做语音情感太重的问题,EmoNet 用四块深度可分离卷积加双向 LSTM 与多头注意力池化,在 TESS 加 RAVDESS 加 SAVEE 合并集上达到 96.75% 测试准确率,仅用 4.11M 参数,但结论只在表演式录音与固定划分下成立。
论文把 KID 默认三次核与 KAD 默认中位数高斯核当作置换双样本检验,在 780 每侧样本下用输运距离匹配的平移、收缩与旋转探测它们能检出什么,并用样本量与带宽扫描说明恢复灵敏度的代价。
论文研究仅截获 3 秒前端表征、无原始音频和 transcript 时能否生成攻击者指定文本的受害者声音,提出 STIA 跨话语条件流匹配生成方法,在 Moshi 上达到 CAM++ 0.78 与 WER 3.80%,代价是需大量辅助数据与 110 小时双卡训练。
Gangqinpu 用自动转谱、对齐、表情过滤和流派标注把多风格钢琴音频、演奏 MIDI 与乐谱配成 18786 对,用节拍跟踪跨数据集提升与转谱和渲染主要在域内获益证明其补充价值,但跨域泛化仍不均匀且标注全为自动生成。
论文解决每轮训练中没有验证标签时如何选检查点,提出用冻结嵌入空间中独立于待选头的原型与近邻伪标签加已标注集交叉熵打分,在统一标注预算下取得可部署方法中平均最优的标注曲线下面积,代价是每轮对池做一次批量前向。
该文只改宽域 DirAC 渲染中的插值权重,用轻量图网络从实测声场特征预测场景相关的组合权重,实验显示在未见房间和布局下能量和指向性图相似度提升,但扩散度基本持平,且模型很小。
该文把提前调用工具定义为逐块判断工具与全部参数何时在已听语音中被锚定,用合成对齐流水线给出最早可行动时刻监督,并在同域与音频版外部基准上以正确调用平均提前约 1.8 秒到 2.0 秒和 1.1 秒为证据,代价是触发精确率仍不足六成。
HobbyLM 用细粒度稀疏混合专家加稳定路由与归一化,在 40B 与 100B 词元预算下做出 500M 与 1B 基座,并延伸出对话、扩散语言模型、多模态智能体与 1024px 文生图,但多项能力仍受小词元量与单次训练的限制。
RASE 针对雷达隔玻璃测振动恢复语音的任务,提供配对雷达与干净语音数据、统一基线与保密评测,用直接振膜和二次表面两种条件加四个客观指标综合排名,首名综合分最高但可懂度绝对值仍低,说明方向可行但远未解决。
ImageTTS 把对数梅尔谱图变成伪 RGB 图后冻住图像 VAE、只微调 FLUX.2 的 DiT 做条件流匹配,在受控对比中验证了表征与先验迁移,再用约 100K 小时数据在零样本和指令控制合成上达到可比基线的语言准确率,但说话人相似度仍受冻住 VAE 限制。
论文研究大音频语言模型把熟悉的声音能力重组成没见过任务形式的问题,用指令逐词元生成 LoRA 适配器的超网络 T2L-ICAG 来应对,在两种骨干上组合任务平均相对性能最高,但复杂组合仍有明显差距且依赖受控评测条件。
针对全双工语音模型在用户打断与附和时的让路或保持决策,论文用事件窗口内停止概率的闭式似然替代整段采样的 GRPO 奖励,在六个开源模型上取得最优让路保持 F1 且不增加静音下重开话轮的副作用。
该文用韵律、音色、发音和演唱技巧四类可测量特征做歌唱情绪分类,在 RAVDESS 上歌唱优化集达到 UAR79.6% 并降低跨歌手波动,代价是技巧特征依赖 CNN 估计且结论只在有限歌手、表演式情绪和少类别条件下成立。
JIT-MPE 用一个因果模型对每帧先即时估计再用延迟头修正,在 50 毫秒截止下接近自身最终输出,并在多个集上以 8.6 万参数达到可比精度,其提升主要来自音头后几十毫秒的修正。
LeanTTS 把中文发音前端、流匹配声学模型和 Vocos 声码器一起压缩到 18.9M 参数,用参考音频做零样本克隆、用说话人标签做固定音色定制,在 Seed-TTS-Eval 上验证了质量、相似度和 CPU 实时率之间的取舍。
该文把旋律控制写成以可微基频估计为观测算子的逆问题,用扩散后验采样加三角波暖启动引导无条件模型,在钢琴、吉他和人声上达到接近专用条件模型的旋律准确率,但音色、咬字等不受控细节仍由先验决定。