论文解读
Tri-PvP：用感知与命题的正交冲突把模态偏置从证据形式偏置中剥离
为解决全模态大模型在图文声三路互斥时把模态偏置与证据形式偏置混为一谈的问题，Tri-PvP 以 8000 样本的四条件匹配反事实与五模型对照揭示视觉主导且视听在感知与命题上不对称，并以早期线性可分与对比解码仅部分缓解且引入文本残余为代价验证偏置的表征根源。
多模态学习
论文解读
打断时模型以为说了什么与用户实际听到什么不一致：用已播放语音回灌来锚定进度
论文把全双工中的打断恢复问题定义为锚定中断，提出把已播放的模型语音回灌到语音输入通路的三通道自监听架构，并在同源构造的 AnchorSpeech 上用播放边界判定正确性，报告三通道模型达到 73.0% 锚定准确率且停止与响应延迟基本不变，同时在通用全双工指标上出现轮次管理与锚定的权衡。
论文解读
声音去哪了：末层仍可线性读出却在选项字母上失准的读出瓶颈
论文把 ASR 监督前端是否丢弃声学信息当作可证伪假设，在同一 Qwen3.5-4B 流水线中对比 Whisper 与三类重建式编解码器，并用分层探针、几何比值与仅调 LM 头选项行的因果小手术证明声学结构在最终隐状态仍可恢复而 MCQA 失效主要来自读出对齐，但换前端本身不能解决情绪与环境声字幕的欠利用。
论文解读
线性拼接已够好时，注意力还能补什么：BioSync 的宽深融合与合成验证
BioSync 用多头自注意力建模模态间交互并并联线性拼接分支，在两个合成队列上以认知队列 AUC 0.928 和代谢队列准确率 0.764 为最强证据，代价是干净数据优势微弱且临床推断仍待真实队列验证。
论文解读
低码率语音编解码装不下时：用语义与唇动补上高层信息
针对低码率下仅靠语音表示难以保留上下文与发音信息的问题，论文在 MDCTCodec 上增加语义与图像两个辅助分支并用交叉注意力融合，以直接拼接的融合模式和蒸馏后纯语音推理的蒸馏模式组织实验，在 TaL80 上把 ViSQOL 从 3.86 提升到 4.01，代价是融合模式推理需要额外的唇部图像与预训练语义输入。
论文解读
声调与词义打架时，语音情感识别为何崩溃：TWIN-SER 基准与 DAS 解耦融合
论文针对语调情感与字面语义冲突时主流语音情感识别显著退化的问题，提出解耦声学与语义双通路并做高能量筛选与查询融合的 DAS 框架，在 378 条高冲突 TWIN-SER 上取得 59.38% 加权准确率的最好结果，代价是零样本通用集上不及大预训练模型且小样本恐惧与厌恶类仍难分。
论文解读
几何主导下如何减出材料：GaMi 的跨模态相减式解耦
针对几何变化压制材料特征的问题，GaMi 用共位毫米波与声学的共享几何一致性做对齐-校准-相减解耦，并以样本间对比抑制残差，在 20 类材料上以 95.2% 的总体准确率显著优于单模态基线，代价是需双模态同步采集与多目标联合训练。
论文解读
MOTOR: A Multimodal Dataset for Two-Wheeler Rider Behavior Understanding
视频行为识别 | 5.9/10
论文解读
Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models
语音情感识别 | 7.0/10
论文解读
Effective User-defined Keyword Spotting with Dual-stage Matching, Multi-modal Enrollment, and Continual Adaptation
关键词检测 | 7.4/10
论文解读
MM-Conv: A Multimodal Dataset and Benchmark for Context-Aware Grounding in 3D Dialogue
跨模态 | 6.5/10
论文解读
缺失与偏置并存时如何做鲁棒的多模态情感分析：门控序列修复与平衡跨模态注意的协同
📄 缺失与偏置并存时如何做鲁棒的多模态情感分析：门控序列修复与平衡跨模态注意的协同 会议论文 ID：conference:icassp:2026:icassp-arnumber:11460389
会议任务专题
ICASSP 2026 - 多模态学习
共 1 篇 ICASSP 2026 多模态学习 方向论文
论文解读
Multimodal Co-Training with Subtractive Unlabeled-Benefit Bounds
多模态学习 | 6.0/10
论文解读
Multimodal Transformer with Multiperspective Training for Predicting Self-Expression Skills from Video Interview
多模态模型 | 7.0/10