四人竞说加噪声下只看脑电不够:MAESTRO 把注视、头动和第一视角一起录下来
MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类,基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点,但包络削波伪影需经直方图均衡去除后结果才是保守下界。
MAESTRO 用 16 人同步脑电、注视、瞳孔、第一视角视频、头动 IMU 和环境音频做四选一注意说话人分类,基线报告多模态在各窗口上相对单脑电提升约 5 至 13 个百分点,但包络削波伪影需经直方图均衡去除后结果才是保守下界。
该工作解决阿拉伯语语音问答中误引经训的高风险问题,选择检索优先于参数记忆、六路工具检索与自管语音链路,用 124 例中 122 例通过的背诵校验与 0.9–1.7s 端到端语音延迟证明接地可行,代价是单 GPU 主机成为可用性单点且方言与覆盖外问题仍回退到参数知识。
针对连续自回归流匹配语音模型中非言语标签跟随难的问题,NVAlign 用冻结的非言语识别模型概率作可微奖励并经两步梯度代理回传联合更新主干与流头,在三套系统的人评听音集上提升标签准确率,但自然度与可懂度等代价需要用保真惩罚和参考速度正则来约束。
针对多智能体语音流水线中转写、说话人、时间与标注在工具格式间易丢失的问题,OneVoice 用稳定标识、分层转写与显式来源的 JSON 会话记录加校验器组织交接,在 15 组儿童语音事件聚合与 40 组 TIMIT 时序链接上以三模型验证了计数与时序保持的改善,但校验修复收益与模型相关且未验证延迟成本。
语音的噪声、通道、说话人与跨模态差异本质是分布不一致,本文沿 Monge 到 Kantorovich 再到 Sinkhorn 与神经求解的路线讲清对齐机制,报告在增强、识别与反欺骗中的迁移用法,并指出长序列可扩展性与代价函数选择仍是主要代价。
论文在冻结语音与人脸编码器加小头架构下检验音频视觉情感识别,证明预言者选对分支即算对的上限只是分支精度与分歧的函数,拼接融合至多转化约一半头部空间而学习路由处处不如拼接,污染编码器则通过抬高音频分支掩盖头部空间。
针对实验室自有模型与自招被试的受控比较问题,PANEL 选择自托管问卷实验加内置统计路线,已报告的证据是支持七类题型、筛查分支与持续分析的完整设计,而代价是放弃实验室级刺激呈现精度并由研究者自行承担部署运维。
该文把音调区间向量改写为可逆算子并做感知平滑,用置换搜索做对齐、用四五度圈上圆形最优传输做插值,再以圆柱几何表征分解音阶根音、密度与色彩,代价是平滑后不再保证非负且圆形传输仍要求非负输入。
针对巴尔的摩与芝加哥警用电台噪声大、无标注量大的问题,论文用现成大模型生成伪标签再微调,并报告大语言模型作评判的过滤在两城两模型上优于对数概率与注意力分数,但与人工阈值构成的上限仍有明显差距。
针对换人换佩戴后声学通道变化需重设计滤波器的问题,PRIME-ANC 用正则化通道比值做幅度基座加共享卷积网络学有界对数幅度修正并经最小相位重建截断为可执行抽头,在留出通道上报告 50 Hz–5 kHz 平均 18.81 and 17.76 dB 降噪,三次高斯牛顿更新后达 21.43 dB reduction,代价是仍需校准通道估计与额外细化时间。
论文把单通道混合语音分离与按源雷达位移的身份配对做成同一任务,用门控融合的 DPRNN 先分离再用跨模态匹配器定序,在两路和三路混合上同时报告 PIT 与有序指标,而有序增益高度依赖第二阶段匹配器且雷达单独不可懂。
针对文本、音频、视觉共存缺失与噪声的多模态情感分析,RCE 用 vMF 不确定性做质量感知压缩与跨样本增强加多级融合,在 CMU-MOSI/MOSEI 完整与缺失噪声设置下取得最优或接近最优,代价是记忆库与超模态带来更多参数与调参量。
针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。
SAGE 用复数 STFT 上的三阶段 SwinV2 变分自编码器加延迟蒸馏 CLAP 语义,在 105M 参数和 Stable Audio Open 同级推理成本下达到 SAME-L 的主观质量并在客观重建与十九个探测任务上领先,代价是两阶段大算力训练与对 SDR 类样本精确指标的让步。
SAID 把四通道音频先转成按方向排布的全景特征再为每个活动声源预测一张带类别的声学图,在 DCASE2026 任务 3 轨道 A 评估集上报告 0.1080 宏观平均精度与 0.3962 宏观皮尔逊相关,代价是需要仿真预训练加真实微调与稀疏压缩才能满足存储限制。
TinyAudio 针对十亿参数文本到音频系统难部署的问题,用 35M 单流 TA-DiT 加 32M 音频对齐文本编码器与 20M 解码器做流匹配生成,在 AudioCaps 上以 2.65 的 FAD 和 0.48 GB 峰值显存实现可比质量,一步版 TinyAudio-MF 则以质量下降为代价换取四核 CPU 实时生成。
论文针对参考引导的 expressive 语音生成评价问题,用三元组分级比较构建 SES-Bench 并以累积 logit 序回归训练 SES-Judge,在 848 个测试比较上取得 Spearman 0.5297 与准确率 74.96%,显著高于嵌入余弦与大音频语言模型,但仍只覆盖 TTS 与 VC 两类任务与有限情感分布。
针对大参数检测器逐条调用成本过高的问题,该文用转置卷积与逆短时傅里叶变换推导的可预测谱峰加线性频率倒谱时变特征训练 151 KiB 梯度提升树,在同源测试报告等错误率 0.021%,并在 0.050% 漏检约束下估计节能 84.4%,但留一生成器误差分布不均显示跨生成器迁移仍是主要限制。
针对 SNES 游戏视频到音乐生成问题,论文用 217.6 小时视频配 485 小时干净配乐构造数据集,对比 T5、ViT、ViViT 三种编码并冻结编码器只微调 MusicGen 解码器,其中冻结 ViViT 在客观指标上最优并在听感上持平 OSSL,代价是关卡循环结构导致策略性类型仍难对齐且指纹匹配精度有限。
针对合成语音能演而公开评测只能判六到九类基本情绪的问题,该工作用 40 情绪专家标注与 57 维说话风格探针构建野外基准并配以 Emolia 大规模训练数据,VoiceCLAP-Large 在 VoiceNet-Emo 上达到 0.702 的按提示校准平衡准确率,代价是阈值需事后校准且 Ext 子集一致性仍在机遇水平。