音视频

这篇工作室报告梳理 SARC 二十年以实践为基础的声音与音乐研究设施与方法，最强证据是声学实验室 84 只扬声器与多空间系统等可核对配置，代价是它不提供受控实验对比与可复用的训练式结论。

针对多人同时交谈的重叠语音识别问题，该工作在 AV-HuBERT 识别主路径之外并联一个在 FBank 特征层面重建目标与干扰的 AV-TSE 辅助任务，并在 MCoRec 开发集上把词错误率从 49.90% 降到 49.55%，代价是需要仿真混合数据提供干净特征监督且推理时不使用提取分支。

针对 360 度远场多说话人重叠对话的音视频识别与说话人归属问题，AUVIS 在官方基线五阶段流水线上保留基线检测与跟踪、只做切分与聚类参数解耦和网格优化，用开发集上聚类 F1 到 0.906 的 14.8% 相对提升带动联合误差 17.09% 相对下降，而识别字错误率仅相对下降 0.9% 到 0.4943。

针对多人同时说话造成的严重重叠与多会话分组难题，该工作保留基线说话人检测不变，主攻视听语音识别的数据清洗与模板化混合仿真并用大语言模型做会话聚类，开发集最好结果为词错误率 42.81% 与聚类分数 97.77%，代价是强单说话人骨干仍易误转干扰人且文本纠错收益有限。

针对多人多会话同时进行的真实鸡尾酒会转写与会话聚类问题，论文采用先用 CTRnet 消除近讲串扰再用其输出做伪标签微调 AV-TFGridNet 视听目标说话人提取的两阶段路线，在开发集上用 AV-HuBERT 转写达到 33.78% 联合错误率，代价是仍依赖说话人活动时间戳弱监督与未做提取后 ASR 适配时约 48% 说话人词错误率。

该装置让 1 至 4 名表演者手持投影在 4 m×3 m 空间走动，用天花板相机只看墙上多边形的几何来判别 5 个空间交互点并驱动声音，离散音高经倾斜与置信度与连续帧门控后才切换，而连续音色保持约 30 fps 响应，代价是约 0.33 s 切换延迟与暗室和重标定依赖。

论文针对同一信号同时驱动振镜、音箱与激光二极管时跨域漂移与视觉先崩溃的问题，提出以全局相位斜坡为统一时间基础设施的架构，并以超过 40 个模块的 Phosphene 系统在 200 到 400 模块规模与 8 场演出中验证其可扩展性，代价是仍受 VCV Rack 非确定性调度与 CPU 负载限制。

ActAvatar 针对说话化身中文本动作控制粗糙与时间错位问题，采用分阶段提示与分层音视频调制，在保持口型同步的同时实现相位级动作控制，最强证据是动作基准上命中率与时间正确性领先，但深层调制与两阶段训练带来实现与数据构造代价。

AVI-Edit 以 Wan2.2 为视频骨干，用精度因子引导的掩膜精修器管空间边界、用分离生成混音返工的音频智能体管时间对齐，在 AVISET 与 AvED-Bench 上报告了质量与同步优势，代价是多实例只能串行逐个处理。

针对单张图像对应多种合理声音的一对多图像到音频生成问题，AudioSketch 用轻量图像到音频映射复用预训练文本到音频扩散模型并以 ControlNet 注入能量轨迹，再用语义条件能量调制器把简单时间戳转换为精炼能量，在 VisualSound 上无控制时以 16.21 的 FD 与 12.41 的 IS 领先同类，而代价是对平滑归一化选择敏感且客观起振对 …

论文针对长视频多模态计数难评难训的问题，构建带细粒度线索标注的 CG-AV-Counting 并用课程式 GRPO 训练 AV-Reasoner，最强证据是在 DVD-Counting 上达到 44.00 准确率且多项音视定位任务达到新高，代价是显式输出思维链在域外幻觉子集上反而降低准确率。

针对双人对话头像需要实时响应用户语音与动作、且倾听表情难以标注的问题，论文用因果扩散强迫在动作隐空间逐块生成并用丢用户条件的合成负样本做偏好优化，报告约 500 ms 延迟、6.8 倍加速与超 80% 人工偏好，代价是口型与画质只保持可比而非全面领先。

针对长视频音频问答中 GRPO 样本浪费、组内奖励相同导致优势为零、全序列平均授信的问题，AVATAR 用分层回放加离线修正与首尾抛物线加权做强化学习，在 Qwen2.5-Omni 上取得 MMVU 加 5.4 等增益，代价是四阶段课程与多奖励判断器带来的训练复杂度。

该研究针对真实世界音视频伪造超越人脸、混用编辑与合成的问题，构建含 3000 片段与 12000 问答的 AVFakeBench 并评测 11 个音视频大模型与 2 个专用检测器，报告显示大模型在二分类上更稳但在细粒度分类与解释上大幅下滑且存在视觉偏向与编辑盲区。

论文提出只变一个物理因素的时间对齐视频对与单视频模式测试来审计视频生音频模型，用方向一致性与敲击对齐度量揭示文本提升语义却损害同步、像素物理推理普遍偏弱的代价。

针对单模态噪声与跨模态语义鸿沟，BYOAVP 以自监督音频增强对齐视觉语义、以动量原型约束做像素级分类，在 AVSBench 与 VPO 六个子任务上取得最优，同时需承担双分支注意力与原型维护的额外开销。

CamJam 针对零基础协同演奏问题选择纯摄像头加循环约束的四模块乐队结构，在 36 人轮换实验中弦乐模块直观性最高而协作评分偏低，代价是连续映射可预测性不足与面部追踪的不适感。

针对语言、视觉、声音互相冲突时融合不可靠的问题，CICA 先让每个单模态编码器输出置信度和不确定度，再用它们调制融合注意力，在 MOSI 上报告 MAE 0.630 和 Corr 0.855、在 MOSEI 上报告 MAE 0.489 和 Corr 0.856，代价是需要两阶段训练并保留互信息正则以防止文本主导时压垮其他模态。

针对影视长视频、多说话人和音画不同步问题，CineSRD 先用视觉锚点聚类注册说话人再用音频语言模型做轮次检测与幕后补充，在 SubtitleSD 上报告更低的 DER 与 JER，代价是多阶段集成而非端到端且依赖人脸与字幕时间轴。

针对同一视频中语言、视觉、音频情感极性不一致时相似性对齐会扭曲共享语义的问题，论文提出冲突感知自适应交叉重构 CACR，用共享空间冲突分数加权交叉重构实现隐式对齐并以视听线索精炼文本，在 MOSI 上报告 ACC7 为 48.69、ACC2 为 87.04，代价是需要多组重构解码器与多项正则损失协同训练。