会议总览

cvpr-2026 论文深度解读

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 212 分钟 · 106059 字 阅读 →
论文解读

看见鼓槌落下才发声:用音视频对齐的扩散变换器与语义时间偏好优化做视频生音频

针对无声视频生成音频时语义错位与时间错位并存的问题,论文用音视频时间对齐加图文语义引导的流匹配扩散变换器做基座,再用 ImageBind 与 Synchformer 自动排序的偏好优化做对齐微调,在 VGGSound 测试集上以 151M 参数取得分布与同步指标的领先,但高帧率编码与多轮偏好迭代仍带来额外开销与过优化风险。

 · 更新于 2026-11-18 · 约 19 分钟 · 9262 字 阅读 →
论文解读

用不相关扰动不变、相关损坏敏感拆开音视频:MoD-DPO 如何压制跨模态幻觉

针对全模态大模型把一模态线索误用到另一模态提问以及过度依赖文本先验的问题,论文提出在偏好优化中加入不相关模态不变与相关模态敏感两项解耦约束并叠加纯文本惩罚,用自动构造的约 1.8 万偏好样本训练,在幻觉基准上报告最高约 27% 的匹配任务提升,而代价是每步增加无需梯度的损坏输入前向与四分之一轮数的训练预算控制。

 · 更新于 2026-11-18 · 约 18 分钟 · 8945 字 阅读 →
会议总览

aaai-2026 论文深度解读

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 307 分钟 · 153423 字 阅读 →
会议总览

acl-2026 论文深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 433 分钟 · 216709 字 阅读 →
论文解读

听不清就靠编:用反事实硬负例把音频时间线对齐回声学证据

针对大音频语言模型在事件遗漏、身份误判、时序关系与定量时间四类细粒度推理上依赖语言先验的问题,论文以共享音频问题池同时构造偏好对齐数据与诊断基准并用直接偏好优化对齐 Qwen2.5-Omni-7B,报告在诊断集上定量与关系错误率大幅下降并在公开基准上小幅提升,代价是依赖字幕代理、人工筛选与自动裁判误差等条件约束。

 · 更新于 2026-11-18 · 约 18 分钟 · 8911 字 阅读 →
论文解读

把指令翻译成可测量的声音特征:BatonVoice 的指挥家与乐团分工

针对可控语音合成中指令理解与语音生成耦合导致标注昂贵的问题,该文把外部大语言模型定为指挥家生成逐段音高能量音色数值计划、把 BatonTTS 定为乐团按计划合成,最强证据是 1.7B 模型在英文情感准确率 57.6% 并零样本迁移到中文 56.2%,代价是依赖外部大模型生成计划并引入约 20 秒级计划延迟与两阶段推理链条。

 · 更新于 2026-11-18 · 约 18 分钟 · 8791 字 阅读 →
论文解读

不成对也能对准发音:用对比模型找出关键语音 token 再加权优化

针对日语多音字读错且成对偏好样本稀少的问题,论文用两个对比语言模型估计 token 级重要性权重再做加权 KTO,在报告中将日语准确率从 0.668 提升到 0.958 并把可利用样本从 1.5K 扩大到 9K,代价是需要先训练两个对比模型约 10 分钟 8 卡 A100 的额外预计算。

 · 更新于 2026-11-18 · 约 19 分钟 · 9274 字 阅读 →
论文解读

从绝对打分到相对偏好:语音质量奖励建模的范式转换与细粒度难例

论文把语音质量评估从跨库不可比的平均意见分回归改为库内偏好比较,用 55333 对训练偏好的 MOS-Pref 统一训练三类奖励模型,最强标量模型整体准确率达 80.04%,而 MOS 感知的生成式奖励模型在小分差上进一步提升,代价是生成式路径仍弱于标量排序且依赖偏好标注质量。

 · 更新于 2026-11-18 · 约 18 分钟 · 8989 字 阅读 →
会议总览

iwslt-2026 论文深度解读

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 80 分钟 · 39666 字 阅读 →
论文解读

评价要排序、训练却在拟合绝对分:用成对排序微调把 CometKiwi 对准文档内 Kendall τ

针对无参考语音翻译质量估计在文档内排序的评价方式,论文把 580M 参数的 CometKiwi-22 改为文档内成对排序加权 MSE 微调,在开发集上达到平均 35.2% 的 per-source Kendall τ,相对 34.6% 基线小幅提升,代价是只用英德和英中数据且未利用音频信号。

 · 更新于 2026-11-18 · 约 17 分钟 · 8475 字 阅读 →
论文解读

把推理也当训练来扩展:掩码流匹配如何一步步重写音频

针对文本到音频中推理扩展不足与偏好错位问题,论文用连续掩码流匹配加迭代掩码重预测扩展推理计算,并用奖励加权微调对齐文本对应与审美,主证据是在 AudioCaps 上 FAD 为 1.10、KL 为 1.30、MOS-Q 为 78.87,代价是需要多步 ODE 求解与多轮掩码迭代。

 · 更新于 2026-11-18 · 约 18 分钟 · 8555 字 阅读 →
论文解读

把合成语音调到输入端:MimicLM 用真录音做目标的声音模仿

针对并行三元组稀缺与合成目标封顶质量的问题,MimicLM 把 TTS 合成语音做源、真录音做目标并配合交错文本建模与偏好对齐,在保持音色口音情感相似度可比的同时提升自然度,代价是仍需大规模合成过滤与两阶段训练且真实输入词错率高于纯音色转换。

 · 更新于 2026-11-18 · 约 17 分钟 · 8421 字 阅读 →
论文解读

把幻觉拆成可验的原子断言:OmniHallu 统一六向跨模态检测

针对图像视频音频的理解与生成六类任务,OmniHallu 用原子断言拆分加模态专家验证再推理聚合做声明级检测,在 10000 样本基准上以宏平均 F1 领先基线并用可训练验证器把专家调用减少约三分之二。

 · 更新于 2026-11-18 · 约 20 分钟 · 9564 字 阅读 →
论文解读

一句话偏好要管住多维度对话:多奖励 RLAIF 如何同时对齐语义与声音

该文针对语音进语音出对话只用单轮语义奖励的问题,用四路独立偏好数据加单 DPO 目标联合训练,在保持轮次与块级解码兼容的同时,以语义与声学指标的联合提升为证据,代价是情感与可懂度之间出现轻微竞争。

 · 更新于 2026-11-18 · 约 17 分钟 · 8420 字 阅读 →
论文解读

不用人工偏好标注:用大音频语言模型反馈做连续自回归非言语发声的偏好优化

针对连续自回归语音模型没有显式序列似然而难以直接做直接偏好优化的问题,该工作用大音频语言模型自动构造同提示 chosen-rejected 对,并以拒绝采样微调冷启动加带监督锚的流匹配偏好优化做两阶段对齐,在 1600 句官方测试上把最终分从 73.96 提高到 75.80,而整体质量基本保持稳定。

 · 更新于 2026-11-18 · 约 21 分钟 · 10217 字 阅读 →
论文解读

听出自然:用多轮语音偏好同时学韵律与口语风格

针对文本评测看不见韵律情感与书面腔问题,该工作用真实对合成与书面對口语两类多轮偏好对训练端到端奖励模型,在分层基准上以 96.61% 模态微平均等证据显示可运行优势,代价是绝对分值仍随域偏移需谨慎用于优化。

 · 更新于 2026-11-18 · 约 17 分钟 · 8332 字 阅读 →
论文解读

SegTune:把歌曲控制从整首描述下沉到分段时间窗

针对全局提示无法刻画配器情绪能量随段落演变的问题,SegTune 用全局加分段层级条件与大模型句级时长预测做非自回归扩散生成,在 15 首中文流行歌测试中把音素错误率降到 14.5% 并把音乐性主观分做到 4.57,代价是偏好优化后性别年龄跟随出现下滑。

 · 更新于 2026-11-18 · 约 19 分钟 · 9487 字 阅读 →
论文解读

把主唱和和声分开:VocalRep 用角色一致性重做人声表示

针对双轨分离把主唱与和声混为一轨导致的下游含混问题,VocalRep 用全局身份条件加排序约束做三轨分离,在保持可比分离分的同时以更干净的主唱提升歌声转换可懂度与音高稳定性和唇同步精度,代价是求和比较时累积误差与多人主唱假设受限。

 · 更新于 2026-11-18 · 约 18 分钟 · 8832 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-09-12

共分析 42 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 79 分钟 · 39128 字 阅读 →