论文解读

联合分支不可全信:用冲突量与可干预性重配解码权重

针对全模态大模型中音频视觉联合预测不可靠融合的问题,论文提出免训练的冲突感知解码 CAD,用潜在冲突量与任务空间可干预性决定是否把联合分支权重转给单模态分支,在 Qwen2.5-Omni-7B 上把 CMM 整体准确率提到 85.0% 与 AVHBench 提到 84.1%,代价是每步要跑四个分支并依赖人工阈值。

 · 更新于 2026-11-05 · 约 20 分钟 · 9605 字 阅读 →
论文解读

长时音视频为何不能只靠分块拼接:Encore 用参考锚点与自适应信号路由维持一致性

针对长时同步音视频生成中视频连贯、音频连贯与跨模态同步三重耦合难题,Encore 以重叠运动帧迭代与参考锚点分工配合可学习的自适应信号路由实现无限长度生成,并在扩展的 VerseBench 上以更低的时序漂移与更高的身份与同步指标验证效果,同时保留高分辨率与语音能力。

 · 更新于 2026-11-05 · 约 24 分钟 · 11802 字 阅读 →
论文解读

低码率语音编解码装不下时:用语义与唇动补上高层信息

针对低码率下仅靠语音表示难以保留上下文与发音信息的问题,论文在 MDCTCodec 上增加语义与图像两个辅助分支并用交叉注意力融合,以直接拼接的融合模式和蒸馏后纯语音推理的蒸馏模式组织实验,在 TaL80 上把 ViSQOL 从 3.86 提升到 4.01,代价是融合模式推理需要额外的唇部图像与预训练语义输入。

 · 更新于 2026-11-05 · 约 22 分钟 · 10955 字 阅读 →
论文解读

PRISM-Bench:用音频类型与声源可见性交叉诊断文生音视频的接地能力

针对文生音视频评估重视频轻音频的问题,PRISM-Bench 以语音/音乐/音效与 On-screen/Off-screen 交叉分层与四维度 35 条细粒度标准组织 900 条人工校验样本,并用盲式并排、以真值为锚的 MLLM-as-a-Judge 两阶段打分实现超过 70% 的人类一致性,揭示前沿闭源模型在可感保真度上已超真值但在可见声源同步与精细声音控 …

 · 更新于 2026-11-05 · 约 19 分钟 · 9107 字 阅读 →
论文解读

ParaJSCC: A Parameterized Framework for Reusable Multimodal Joint Source-Channel Coding

音频编码 | 6.6/10

 · 更新于 2026-11-05 · 约 13 分钟 · 6157 字 阅读 →
论文解读

Separate First, Then Associate: A Two-Stage Approach for Real-World Audio-Visual Speech Enhancement

音视频语音分离 | 6.2/10

 · 更新于 2026-11-05 · 约 11 分钟 · 5443 字 阅读 →
论文解读

LoopVSR: A Loop Engineering Framework for Automated Repair of Visual Speech Recognition Inference Pipelines

音视频语音识别 | 6.6/10

 · 更新于 2026-11-05 · 约 15 分钟 · 7037 字 阅读 →
论文解读

EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory

音视频问答 | 7.2/10

 · 更新于 2026-11-05 · 约 14 分钟 · 6710 字 阅读 →
论文解读

Modeling turn-taking with distant viewing: investigating silence thresholds in human and AI-generated discourse

音视频 | 6.2/10

 · 更新于 2026-11-05 · 约 13 分钟 · 6168 字 阅读 →
论文解读

HSEmotion Team at the 11th ABAW Challenge: Multi-Task Learning and Ambivalence/Hesitancy Video Recognition

音视频 | 7.9/10

 · 更新于 2026-11-05 · 约 18 分钟 · 8619 字 阅读 →
论文解读

SAM Audio: Segment Anything in Audio

音频分离 | 9.2/10

 · 更新于 2026-11-05 · 约 14 分钟 · 6829 字 阅读 →
论文解读

M2S-AVSR: Modality-aware Multi-view Self-supervised Representation for Robust Audio-Visual Speech Recognition

语音识别 | 9/10

 · 更新于 2026-11-05 · 约 13 分钟 · 6425 字 阅读 →
论文解读

EvalVerse: Pipeline-Aware and Expert-Calibrated Benchmarking for Professional Cinematic Video Generation

音视频 | 7.1/10

 · 更新于 2026-11-05 · 约 14 分钟 · 6541 字 阅读 →
论文解读

CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation

音频生成 | 8.7/10

 · 更新于 2026-11-05 · 约 15 分钟 · 7201 字 阅读 →
论文解读

CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation

音频生成 | 6/10

 · 更新于 2026-11-05 · 约 16 分钟 · 7631 字 阅读 →
论文解读

MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation

基准测试 | 6.5/10

 · 更新于 2026-11-05 · 约 17 分钟 · 8197 字 阅读 →
论文解读

When Vision Speaks for Sound

音视频 | 7.7/10

 · 更新于 2026-11-05 · 约 19 分钟 · 9514 字 阅读 →
论文解读

Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation

音视频 | 7.3/10

 · 更新于 2026-11-05 · 约 19 分钟 · 9061 字 阅读 →
论文解读

WavFlow: Audio Generation in Waveform Space

音频生成 | 6.7/10

 · 更新于 2026-11-05 · 约 24 分钟 · 11712 字 阅读 →
论文解读

Sound Sparks Motion: Audio and Text Tuning for Video Editing

视频编辑 | 5.5/10

 · 更新于 2026-11-05 · 约 12 分钟 · 5597 字 阅读 →