论文解读

同时对齐内容与音色:MG-REPA 如何加速生成式目标说话人提取

针对生成式目标说话人提取训练收敛慢的问题,MG-REPA 在中间层同时做帧级内容对齐与 utterance 级说话人对齐并做时间归一化解耦,在 Libri2Mix 上以 750 轮达到 2000 轮基线的质量并把 OVRL 与 PESQ 的收敛轮数分别缩短到约三分之一与二分之一。

 · 更新于 2026-11-05 · 约 17 分钟 · 8446 字 阅读 →
论文解读

MI-MIDI 2:文本生成 MIDI 中稀疏自编码器特征能否从观察走向控制

论文在 text2midi 与 MIDI-LLM 上建立观察加干预的验证流程,发现只有经过音符密度校正和置换校准的观察证据能筛出可操控特征,其中合成主音特征经预设确认与重复验证能稳定引入目标乐器,而代价是大量原始相关与自动描述在对照下失效且单特征干预效应普遍较小。

 · 更新于 2026-11-05 · 约 21 分钟 · 10456 字 阅读 →
论文解读

多机位音乐会视频如何按乐器活动与节拍自动选景

该研究用分轨音频能量、可视乐器框与清晰度组成可解释打分并按节拍切分选景,在一场四机位爵士音乐会的三位专家试评中预测打分版整体评价未超过随机选景,说明局部视听相关性不足以决定成片质量。

 · 更新于 2026-11-05 · 约 18 分钟 · 8540 字 阅读 →
论文解读

抹香鲸 coda 不只是节奏:与音乐对比后得到的声学蓝图

论文用同一套声学分组比较鲸 coda 与三组音乐,发现序列可预测相近但重复更高、单元内组成有效而原位排序无额外增益、再往前一个单元仍提供预测信息,并据此提出包含波形、组成、序列、 timing 与情感相关变异的声学蓝图,合成检验显示 WhAM 可听辨但声学分布仍可区分。

 · 更新于 2026-11-05 · 约 16 分钟 · 7596 字 阅读 →
论文解读

MusicTwins:让音频语言模型按特定人的方式听音乐并回话

论文要解决音频语言模型能否按特定人的背景、观点、性格、文风和音乐反应来回答文本与音乐刺激的问题,采用人物摘要加个人记忆加共享模型三路分工与四类训练目标,在十个留出人物上用人物保真度与通用音乐理解联合评估,最强证据是音乐反应组合分提升而通用理解未明显遗忘,代价是古典音乐为主且人物被当作静态。

 · 更新于 2026-11-05 · 约 18 分钟 · 8612 字 阅读 →
论文解读

NECTAR:从混合语音中自动估计干扰说话人负线索

针对只有目标注册语音时缺少干扰方信息的问题,NECTAR 利用混合质心近似等于说话人质心中点的几何关系并用质心空间映射器从单段输入估计质心,再把目标嵌入与估计的干扰质心拼接送入提取器,在 Libri2Mix 上达到 16.18 dB 的 SI-SDRi 提升,代价是增加一个约 1 小时训练的小型映射器。

 · 更新于 2026-11-05 · 约 20 分钟 · 9757 字 阅读 →
论文解读

带噪目标训练结合漂移:用不成对干净语音压住残留噪声

针对带噪目标训练会留下残留噪声的问题,论文用非成对干净语音的 Sinkhorn 漂移损失在语音质量评估模型隐空间内做分布对齐,在 VoiceBank-DEMAND 上保住波形保真度的同时提升听感指标,并在 CHiME-3 真机录音的域自适应中同样改善听感。

 · 更新于 2026-11-05 · 约 18 分钟 · 8995 字 阅读 →
论文解读

在连续音视频流中按时出手并持续跟进:Omni-InteractScope 评测解读

Omni-InteractScope 用 1479 段人工标注交互和 1790 个带时间窗的目标,检验模型能否在事件发生时调用工具、无需提问时主动提醒并走完多步指引,12 个模型在工具联合准确率、提醒召回和完整指引覆盖上都存在明显短板。

 · 更新于 2026-11-05 · 约 19 分钟 · 9046 字 阅读 →
论文解读

每个音素一个平均向量:不用神经合成器的文本注入

用按音素查平均声学向量并按对齐时长展开的伪语音代替冻结语音合成模型做文本注入,在保持词错误率的同时把训练加速到 1.8 倍,但增益大小随文本音频比和配对音频量变化。

 · 更新于 2026-11-05 · 约 16 分钟 · 7529 字 阅读 →
论文解读

一个大内核不够:在哪里切分流式推理模型

论文解决流式推理中把模型切成几个持续运行大内核的问题,用常规执行画像加独立算子实测来排序候选切分,在三个模型十三个模型批量组合上选出实测最快设计,代价是只做排序代理而不精确预测绝对时延。

 · 更新于 2026-11-05 · 约 19 分钟 · 9158 字 阅读 →
论文解读

把过去记成状态、把现在做成注意力:面向长时语音手势的块式流匹配

针对随语音生成长时间全身动作时会风格漂移和历史代价增大的问题,PASPA 把远历史压缩为跨块持续状态、把当前块用双向注意力精细建模,并在块式流匹配下用多块监督与混合引导训练推理,在 BEAT2 与 SHOW 上取得最优的生成质量指标,但长尾大位移与超长记忆仍有限制。

 · 更新于 2026-11-05 · 约 8 分钟 · 3697 字 阅读 →
论文解读

先保住旧语言再学新语言:面向多语言语音大模型的连接器扩展与合并

论文研究在不回放源语言数据时只调连接器来加新语言,用源语言校准冻结加更新合并平衡新语言习得与旧语言保持,多目标时联合合并更稳而按序递归更看顺序。

 · 更新于 2026-11-05 · 约 17 分钟 · 8294 字 阅读 →
论文解读

Mimi 第一码本存的是音位还是变体:固定 80 毫秒切分下的分布探测

论文追问 Mimi 第一码本是否为稳定音位表,用强制对齐加熵和互信息在 TIMIT 的 SA1 与 SA2 上做分布探测,发现单个码字高度偏向某音位但同一音位分散在多个随语境变化的码字族中,且语音信息分布在全部八个码本中,改动第一码本全局替换才明显抬高词错误率。

 · 更新于 2026-11-05 · 约 16 分钟 · 7932 字 阅读 →
论文解读

把伪标签当奖励而不是目标:半监督语音识别的组相对策略优化

针对只有无标注领域音频时的适应问题,论文把同一批伪标签从有监督微调的目标改为 GRPO 的奖励参照,在银行等对话领域上更抗标签噪声,但直接 GRPO 要求学生已有目标语种的输出支持。

 · 更新于 2026-11-05 · 约 5 分钟 · 2338 字 阅读 →
论文解读

折叠执行下存储与计算如何分别定价:FPGA 语音增强加速器解读

论文针对折叠复用引擎中精度与工作量脱钩的问题,用按存储定价的混合精度和按调度周期定价的通道稀疏分别压缩权重带与计算调度,在 Kria KV260 上证明稀疏跳过能同时降低帧耗时与动态能量而精度宽度主要影响存储与功耗。

 · 更新于 2026-11-05 · 约 18 分钟 · 8587 字 阅读 →
论文解读

只用目标领域文本,能否既学新词又不忘老领域

针对因子化 Transducer 用文本微调非空预测器会提升新领域但损害源领域的问题,论文提出把适配后预测器当作残差修正并用每前缀门控决定采纳多少,在保留新领域增益的同时源领域词错误率基本不变。

 · 更新于 2026-11-05 · 约 18 分钟 · 8860 字 阅读 →
论文解读

RoleHear:让流式识别器边转写边标出说话人角色

RoleHear 用解耦的转折标记加延迟的角色取值标记让流式换能器内联输出角色,并用离线教师的一遍伪标签加多模态大模型的银标签补足监督,在客服与财报电话上缩小了流式与离线的角色归属差距。

 · 更新于 2026-11-05 · 约 16 分钟 · 7827 字 阅读 →
论文解读

S2SND-v2:统一在线与离线的说话人日志系统

S2SND-v2 用说话人适配的 w2v-BERT 2.0 做前端并改进查询构造与训练,在八个测试集上剪枝系统在线平均错误率 14.52%、离线 12.03%,代价是前端仍需大规模预训练与多阶段日志训练。

 · 更新于 2026-11-05 · 约 16 分钟 · 7882 字 阅读 →
论文解读

用更少波形通道加全阶方向能量包络压缩高阶 Ambisonics

SEMAC 针对五阶 Ambisonics 通道数多、逐通道编码码率随阶数平方增长的问题,用 16、9 或 4 个波束域传输通道加全阶方向能量包络边信息做编码与重建,在 512 和 768 kbit/s 下经 11 名听众的 MUSHRA 验证,16 通道版本评分高于 36 通道全阶 Opus CMF 3,代价是包络在五阶时可占 100 kbit/s 以上且 …

 · 更新于 2026-11-05 · 约 17 分钟 · 8320 字 阅读 →
论文解读

离线模型如何自己学会同声传译:SimPOTrans 的两阶段强化学习自适应

SimPOTrans 针对离线语音翻译模型难以直接处理不完整语音的问题,用两阶段强化学习先增强整句翻译能力再在部分语音多轮轨迹上自我适应,在 ACL 60/60 和 MCIF 三个英译外方向上取得更好的质量延迟权衡,但其 BLEU 低于基线且依赖固定时长切块。

 · 更新于 2026-11-05 · 约 19 分钟 · 9321 字 阅读 →