整块循环打乱先听后写的流水线:BiCycle 用分组递归保留语音识别机制
针对整块循环把语言表示回灌到底层造成语音到语言反复的问题,BiCycle 用累积注意力对角性划分语音组与语言组并只在组内递归,在英语与法语数据上以约一半物理参数报告更低词错率,代价是仍需预训练教师与先蒸馏 30 轮再识别训练 100 轮的两阶段成本。
针对整块循环把语言表示回灌到底层造成语音到语言反复的问题,BiCycle 用累积注意力对角性划分语音组与语言组并只在组内递归,在英语与法语数据上以约一半物理参数报告更低词错率,代价是仍需预训练教师与先蒸馏 30 轮再识别训练 100 轮的两阶段成本。
任务是从合成板混响位移脉冲响应中恢复未知个数的频率、衰减和增益三元组,方法用 1/20 倍频程计数密度加固定槽位回归同时估计总数与属性,在 100 条独立脉冲的对比集上两个神经估计器的总相对误差约为 0.32,低于最强经典基线的约 1.10,但增益误差仍是主要误差来源。
针对中法跨语言音色克隆,该工作用 Qwen3-TTS-12 Hz-1.7B-Base 做零样本批量合成,配合 10 秒窗 5 秒步长的滑动切分与 ECAPA-TDNN 余弦选优,在中文 CER 低至 1.39% 至 2.25%、法语 WER 多为 4.40% 至 8.52% 的条件下得到中文最高 0.7052 与法语最高 0.7173 的余弦相似度,代价是保 …
共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读
针对文本到音频中推理扩展不足与偏好错位问题,论文用连续掩码流匹配加迭代掩码重预测扩展推理计算,并用奖励加权微调对齐文本对应与审美,主证据是在 AudioCaps 上 FAD 为 1.10、KL 为 1.30、MOS-Q 为 78.87,代价是需要多步 ODE 求解与多轮掩码迭代。
针对流式与扩散式文本转音频需数十至数百步积分导致延迟高的问题,MeanAudio 以均值流回归区间平均速度并配合双文本编码与瞬时到平均课程,在 AudioCaps 上用 120M 参数实现单步 FD 14.30 与 RTF 0.013,代价是长音频与语音生成仍受限。
针对随语音生成全身动作时末端抖动与误差沿骨骼链放大的问题,论文把扩散建模搬到全局旋转空间并用关节、骨骼、时序三层约束补回结构,消融表显示完整约束取得最低分布距离,但节奏对齐仍有基线未被全面超越的代价。
该研究把三人对话的群体情绪定义为每秒的唤醒与效价连续估计,用混合状态平行标记成员分歧,以冻结编码器加时序 Transformer 的因果滑动窗口建模,最强证据是音视频融合在一致性与误差上超过单模态,而高混合区间更大的误差揭示了单值表示的边界。
针对全局提示无法刻画配器情绪能量随段落演变的问题,SegTune 用全局加分段层级条件与大模型句级时长预测做非自回归扩散生成,在 15 首中文流行歌测试中把音素错误率降到 14.5% 并把音乐性主观分做到 4.57,代价是偏好优化后性别年龄跟随出现下滑。
针对脉冲神经网络在语音命令识别中时序建模弱的问题,论文提出多视角脉冲时间感知注意力与上下文精炼 MLP 构成的 SpikCommander,在 SHD、SSC、GSC 上以 100 时间步取得更高精度,代价是更长的时序展开与更复杂的分支结构。
TART 把吉他音频转谱拆成音频转 MIDI、九类技巧分类、音频条件弦品指派和 MusicXML 生成四步,用 81.35% 的平均音频转 MIDI F50 与 71.8% 的弦品 Tab F1 实现零样本领先,代价是第一步误差会向后传播约 17.75 个百分点。
任务是从脉冲响应估计六维板物理参数,方法用共享编码器先估计五个归一化参数再解析恢复面密度,合成匹配集上的精修使两条路线波形与参数误差都下降三个数量级以上,而粒子群路线参数误差低两个数量级以上,代价是每条脉冲响应数分钟的合成与优化开销且仅在匹配合成条件下验证。
针对 Transformer 伪造语音检测器深层冗余且域外泛化差的问题,论文用 XLS-R 加 1 到 4 层 MTLA 分类器并以角距离把浅层向末层对齐,在 19LA 训练、多域评测下以 479.11K 分类器参数取得域外增益,但过强对齐与过深堆叠仍会退化。
共分析 42 篇语音/AI 论文
针对只有音乐输入而缺乏动机控制的问题,MotivDance 用文本生成关键姿态作动机、自适应定位到音乐节拍再做扩散补间,在 AIST++ 稀疏关键帧上取得 FIDk 64.36 与关键帧误差 0.1211,但无关键帧时节拍对齐仍弱于部分基线。
针对音乐舞蹈需同时逼真、对拍、多样、物理合理且可编辑的问题,论文以文本到动作掩码模型为先验并外挂音乐塔与姿态塔,在 FineDance 上把运动质量与多样性推高并实现快速推理,但节拍对齐并未登顶且依赖渐进训练与推理优化协同。
针对海豚发声时长伸缩与连续频谱难以直接比较的问题,论文将 ClustalW 的离散替换得分改为高斯核平均相似度并配合微调 Whisper 的 128 维嵌入做渐进式多序列比对,在成体攻击与幼体游戏攻击两类精细策展数据上以间隙结构与列方差等指标验证了对齐能恢复同步化爆脉冲等时序母题,但代价是领域适配与早停阈值仍需人工校准且过度拉伸会稀释时间分辨率。
针对混合一致性要求下单步回归难以迭代纠错的问题,论文将任意分离模型扩展为多输入多输出并配合投影与递增加权损失实现多轮互精炼,在 MUSDB18-HQ 上以 BS-RoFormer 与 SCNet 为骨干取得一致提升,但判别器与生成式扰动的收益依赖配置且迭代带来线性计算开销。
针对六声部无伴奏合唱中主唱与伴唱音色高度相似、时域重叠的分离难题,论文在 BS-RoFormer 主干中以帧级主唱音素对齐经 FiLM 逐层调制中间表示,并在 jaCappella 上以理想对齐条件验证其对 Vo 与 Other 两路 SI-SDRi 的提升及随音素重叠度变化的增益边界。
共分析 44 篇语音/AI 论文