📄 用少量可训练参数适配大模型来预测全脑 fMRI
英文题目：Scaling Parameter-Efficient Fine-Tuning for Brain Encoding
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Zhuofan Josh Ying：机构信息未能在本次解析中与作者逐人可靠绑定
- Guanglong Sun：机构信息未能在本次解析中与作者逐人可靠绑定
- Nolan Ho：机构信息未能在本次解析中与作者逐人可靠绑定
- Kieran Liu：机构信息未能在本次解析中与作者逐人可靠绑定
- Rui Yang：机构信息未能在本次解析中与作者逐人可靠绑定
- Andrew Chen：机构信息未能在本次解析中与作者逐人可靠绑定
- Nikolaus Kriegeskorte：机构信息未能在本次解析中与作者逐人可靠绑定
- Pony Ma：机构信息未能在本次解析中与作者逐人可靠绑定
- Hossein Adeli：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
研究对象是给定自然影视刺激预测全脑功能磁共振响应的编码模型，困难在于神经数据稀缺而现代多模态骨干庞大，直接训练或全量微调容易过拟合且计算昂贵。方法分三步衔接：先将影视片段一次送入冻结的预训练多模态骨干，利用其因果结构单次前向给出长窗口内全部时刻特征；再用低秩适配器调整骨干内部表示，其输出直接送入轻量跨注意力读出映射为千分区响应；最后用批量多适配器内核让多个适配器共享同一骨干并行训练以组成集成。低秩适配器即Low-Rank Adaptation，LoRA，把权重改变量表示为两个小矩阵乘积，初始化为零因而起始等同冻结模型。相对冻结骨干加大型读出的已有最佳方法，关键差异是把神经信号用于调整骨干内部表示而非只训练读出。在Friends第六季验证窗上以相同冻结MIRAGE读出评价，单次前向加LoRA在60秒前置时准确率为0.3247，高于其所针对滑动窗口协议的0.3187。在同一331片段语料和单块A800-80GB测量下，单模型训练与特征抽取端到端共8.5 GPU小时，低于滑动窗口基线的702.5 GPU小时，其中适配器训练为4.84 GPU小时，特征抽取为1.99 GPU小时，低于基线的700.6 GPU小时。结论适用于叙事影视刺激的全脑分区预测，跨被试与跨数据集迁移已有初步证据。
🔗 开源与复现资源
- 第三方资源：https://github.com/zfying/brain-lora — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
脑编码要预测什么，难在哪里
脑编码模型的输入是刺激，本文是带同步视频、音频和文字转录的长自然电影，输出是全脑功能磁共振信号，论文按 Schaefer 分区聚成 1000 个 parcel，每个时间点要预测每个 parcel 的响应。评价用平均 Pearson 相关，越高越好，跨 4 个被试平均。
难点在于神经数据贵而少，模型却很大。直接从零训练小模型达不到全脑基准的最好水平，全量微调大预训练模型又曾被报告不如冻结它。冻结骨干只训练读出能借用强大的预训练先验，但骨干表征不为脑编码特化。论文要回答的是，能否只动极少数参数就让大骨干为脑数据特化，同时把计算控制到可承受。
已有路线把神经信号放在哪里
论文按神经信号进入管线的位置整理了几条路线。主导路线是冻结骨干加训练读出，Algonauts 2025 排名靠前的方法都属此类，只是读出从逐体素岭回归做到更灵活的注意力或大 Transformer 读出，但训练仍局限在读出。
第二条是让脑数据改骨干本身，包括语言语音模型的脑调优、视觉的神经正则，以及用低秩适配的做法。MEM 用小 ViT 加低秩适配赢得 Algonauts 2023，BrainWavLM 用低秩适配打平全量微调，也有在 3B 语言模型上试低秩适配的工作。论文的区别主要在规模，15B 以上模型过去只被当冻结特征器，本文直接适配到 104B。
其他路线包括任务加神经对齐辅助目标、只在神经数据上自监督预训练、刺激与脑 token 统一建模等。论文指出这些路线在体素相关这类编码指标上尚未超过基于大任务预训练骨干的专用编码器，因此本文仍走适配大骨干的路线。
本文在哪个基准上验证适配
实验基准是 CNeuroMod/Algonauts 2025，要求预测被试看《老友记》七季及泛化电影时的全脑 fMRI。训练用第 1-5 季加 movie10，在第 6 季验证，在留出的第 7 季测同分布，在电影上测异分布。主骨干用 Qwen3-Omni，与已发表最好方法 MIRAGE 相同，便于控制比较。
这个设置很苛刻，刺激长、模态多、脑区覆盖全脑，还要求跨刺激泛化。论文还测了 9 个多模态骨干，参数从 4.7B 到 104B，检验适配是否普遍有效，而不只在某一个骨干上成立。
整体思路：冻结大先验，只学小改动
方法把编码模型写成骨干加读出，刺激 X 经骨干得到特征，再经读出得到预测脑响应，损失可以是平方误差或负相关。读出还负责把刺激采样率对齐到 fMRI 采样率。
\[\hat{Y}=g_{\phi}\big(f_{\theta}(X)\big),\qquad\min_{\theta\in\Theta,\;\phi}\;\mathcal{L}\big(Y,\hat{Y}\big),\]上式说明预测由 2 级映射组成，优化对象是骨干参数范围与读出参数。冻结、参数高效微调和全量微调的区别在于骨干允许动多大范围。
\[\Theta_{\text{frozen}}=\{\theta_{0}\}\;\subset\;\Theta_{\text{PEFT}}=\{\theta_{0}+\Delta(\psi):\psi\in\mathbb{R}^{k}\}\;\subset\;\Theta_{\text{full}}=\mathbb{R}^{d},\qquad k\ll d,\;\;\Delta(0)=0.\]上式把三者写成集合包含关系，参数高效微调保留预训练权重，只通过低维参数改表征，起点仍是冻结模型。论文提出 3 个扩展方向：用更强骨干放大先验，缩小适配参数量适应小数据，扩展适配器数量做多样集成。
预训练骨干 × 读出 × 低秩适配： 预训练骨干指在行为任务上预训练好的大模型，负责把视频音频文本变成特征；读出指把骨干特征映射到 1000 个脑 parcel 的 fMRI 的小模块，兼做时间对齐；低秩适配指只在注意力矩阵旁加小秩旁路来微调表征，骨干主体冻结。三者搭配时，骨干提供先验，适配器用神经数据小幅改表征，读出负责落到脑信号。
下图把左右两条路线并置，左为只训练读出，右为共享骨干上训练多个轻量适配器加读出，是理解全文结构的入口。
看图路径： 1. 先看左图冻结范式只训练读出，右图共享骨干加多个适配器加多个读出；2. 注意蓝色冻结与橙色可训练的颜色区分；3. 找到 Scale up、Scale down、Scale out 三个标注各指哪个部件
论文图 1。原论文 Figure 1:：“From frozen backbones to PEFT, and three directions to scale PEFT for brain encoding.”。
左路骨干完全不动，右路骨干主体仍冻结，可训练的是橙色适配器和读出。3 个标注分别指向更大骨干、更少可训练参数、更多适配器，分别对应后文的骨干扩展、单模型效率和 261 模型集成。
单次前向如何省掉滑动窗口的重复计算
此前最好方法的特征提取对每个 fMRI 时刻都用重叠滑动窗口重新编码一段前缀，一个片段约 3500 次前向。骨干解码器本身已有因果掩码，很多重复上下文不必重算。论文把每个 149 s 窗对应 100 个 TR 一次前向，同时取出所有时刻的表征，这是语言编码更常用的做法。每次前向覆盖整窗联合上下文，训练窗加 60 s 前导后送入骨干，取出第 32 层表征再进读出。
代价是窗开头缺少历史，论文加 60 s 上下文前导来补。模态编码器前仍有局部双向，音频块 8 s、视觉块 1 s，论文用严格前缀重编码检验，发现差异主要来自 bf16 混合专家数值随长度的变化，而非未来刺激泄漏。
滑动窗口特征提取 × 单次因果前向 × 上下文前导： 滑动窗口指对每个 fMRI 时刻都重新编码一段重叠刺激，重复计算多；单次因果前向指利用骨干本身的因果掩码，对 149 s 窗一次前向就同时得到所有时刻的表征；上下文前导指在训练窗前面多给 60 s 刺激，让窗开头也有历史。组合后计算大幅下降，只在窗开头损失少量上下文，再由前导补回。
下图直观给出两种提取的计算差异，是理解 350 倍量级的关键。
看图路径： 1. 对比上图每个时刻重编码一次与下图一个窗口一次前向；2. 注意下图左侧 context lead 白色与浅色区域的分界；3. 看图中标注的前向次数与 GPU 小时差异
论文图 2。原论文 Figure 2:：“One causally masked pass replaces a sliding window. The baseline re-encodes an overlapping window per fMRI timestep; a single pass over the window gives features at every timestep.”。
上半每个箭头对应一次重编码，下半一个长条一次前向加前导即可覆盖训练窗。图注数字表明前向次数从数千降到每个窗口 1 次，特征提取从约 700 GPU 小时降到约 2.0 GPU 小时，使穿过骨干的微调变得可行。
适配器和读出各自做什么
主方法在 Qwen3-Omni 注意力模块插入秩 16 低秩适配器，做到第 32 层并在该层截断解码器，骨干侧可训练 8.91M 参数。特征在每 2 Hz 时刻按模态池化成一个向量，再按 8 个对数间隔时滞块聚合成与 fMRI 对齐的表示，最后线性映射到 1000 parcel，读出 52.3M 参数。约 19.3k token 池化到每个输入窗 894 个向量。交叉注意力版本改用每 TR 注意力，在约 3.2k token 上操作，只多 0.2M 参数。池化先按模态压成每时刻一个向量，时滞平均再把历史压到当前 TR，线性层最后落到 parcel。
线性读出 × 交叉注意力读出 × 闭式重拟合： 线性读出指先把每模态特征池化到 2 Hz，再按 8 个对数间隔时滞块平均后线性映射到脑区；交叉注意力读出指用学到的查询直接在约 3.2k 个 token 上做注意力，看到更丰富的 token 集；闭式重拟合指联合训练后用岭回归解析重解线性读出矩阵。注意力增益主要来自更大的 token 集，重拟合则消除训练中读出偏离岭最优的漂移。
训练分两段，先用随机梯度联合优化适配器和读出一个 epoch，再用解析法重解线性读出。重解时前向累积被试特异 Gram 矩阵，再按 parcel 做岭回归。论文强调交叉注意力的增益主要来自看到更大 token 集，而不是注意力本身；重拟合的增益主要来自回到岭最优，而不是 parcel 特异正则本身。
模态归因 × Shapley 值 × 跨模态混合： 模态归因指估计视频音频文本各自对编码准确率的贡献；Shapley 值指枚举 8 种模态子集，用内容无关均值嵌入消融缺席模态后得到的精确加性分解；跨模态混合指输入模态的信息经注意力出现在另一模态 token 位置再被读出。组合后既能恢复视觉听觉皮层地形，也能量化适配后音频权重上升和混合加倍。
训练如何组织，超参数怎么定
优化用 AdamW，权重衰减 0.01，梯度裁剪全局范数 1.0， batch 为 1 个窗口即 4 被试共 400 个目标行，共 1429 步即一个 epoch，30 步热身加余弦衰减到零。主配置低秩适配学习率 6×10^-4，读出 3×10^-4，逐模态投影取读出 2 倍。解码器在特征提取层截断，更高层既不运行也不适配。
所有设计都在第 6 季验证集上选定，包括提取层、秩、学习率、读出族和集成权重，留出集只报告不调参。训练 2 epoch 会过拟合，峰值在第一遍结束处，第二遍一直低于峰值。秩 32 在匹配学习率下只比秩 16 高 0.0006，落在种子波动内，且更高秩更不稳定，因此用秩 16。特征提取层在 31-34 层内差异也在种子波动内，选 32 层。
指标、波动和对照如何保证可比
主指标是四被试平均 Pearson 相关。种子波动小，低秩加线性 15 个种子标准差约 0.00024，论文把差距小于约 0.00077 的两行视为不可区分，单模型比较用 parcel 配对自助法检验是否在全皮层成立。
对照保持公平体现在三处，冻结臂把适配器学习率置零但读出照样训练相同步数并重拟合，只差适配器；输入设计比较在相同读出头下做；跨骨干比较除特征提取层外共享配方。移位目标对照把刺激响应配对打乱，检验增益是否真依赖刺激；留一被试和跨数据集检验适配学到的是刺激表征还是特定被试。
适配是否普遍有效，单模型达到什么水平
9 个骨干上低秩适配一致提升线性读出 0.0320 到 0.066，交叉注意力平均再加 0.003。编码性能与骨干大小只有弱相关，冻结 r=0.71，适配后 r=0.60。提升在每个 parcel 都存在，顶叶和视觉区最大。其他参数高效方法也有显著提升，说明效应不限于低秩适配一种实现。
多适配器核 × 集成 × 残差相关： 多适配器核指把 N 个结构相同的小适配器更新融合成一次分批 gather 矩阵乘，并行训练；集成指把 261 个独立适配模型的预测按 parcel 做最小方差加权平均；残差相关指成员误差之间的平均相关，决定集成天花板。核解决训练 200+ 模型的成本，集成增益则同时取决于单模型质量和多样性。
在相同 Qwen3-Omni 上，低秩加线性只用 61.2M 可训练参数，已超过用 1.1B 冻结读出的 MIRAGE。全量微调 20.3B 参数在验证集与低秩相当或略低，异分布下降更大，说明此数据量下全量微调不优于低秩。最好单模型 BrainLoRA 用交叉注意力达到验证后同分布异分布的新高，15 模型子集已接近 261 模型集成。
下图显示模态归因恢复的经典地形与适配带来的重加权，是可解释性的核心证据。
看图路径： 1. 先看 a 排三列视频音频文本在左半球的贡献地形；2. 再看 b 的条形如何按脑区分解到三种模态；3. 看 d 左右两幅流带中跨带比例从 8.9% 到 15.3% 的变化
论文图 4。原论文 Figure 4:：“Modality attribution recovers the canonical topography, and adaptation reweights and mixes the modalities.”。
可见早期视觉由视频驱动，听觉和颞侧由音频驱动，文本在默认和控制网络贡献最大。适配后音频平均上升 39%，视频升 5%，文本降 17%，跨模态读出从 8.9% 升到 15.3%，其中视频信息在音频 token 处被读出占 7.5%。 下图给出多适配器并行与集成的规模规律，是扩展性的核心证据。
看图路径： 1. 看 a 中融合与逐个训练两条线随适配器数的走势；2. 看 b 中集成分数随规模在对数横轴上的直线趋势；3. 看 c 中单用质量或多样性与两者联用的预测能力差异
论文图 5。原论文 Figure 5:：“Scaling out: training a population of adapted models.”。
可见 N=32 时融合步只比单适配器步贵 1.08 倍，比逐个训练快 29.8 倍；集成均值随规模在对数轴近直线，拟合指数约 0.94；单模型质量和残差相关单独解释力低，联合解释 97% 方差，但两者高度相关，不能解读为固定其一改另一的因果效应。
适配学到的是刺激还是被试，跨数据还成立吗
移位目标对照中，错位训练的适配器比重拟合后的匹配冻结对照低 0.0733，996/1000 parcel 落败，+0.0356 增益无一残留，说明增益依赖刺激响应配对，不是 fMRI 边际统计。错位前读出在对齐验证上近零，也排除了泄漏。
留一被试训练中， held-out 被试仍得 +0.0301 到 +0.0355，与见过该被试的适配器差 -0.0019 到 +0.0010，基本是监督量差异而非被试不可见。跨到不同站点扫描仪 TR 和影片的 NNDb，零样本直接套用读出仍得噪声上限的 +11.1 个百分点，与验证集 +10.7 相当；重解读出后 +15.4，主要因为冻结特征更难读出。增益图跨数据集相关 0.62，去衰减后 0.677，约 46% 空间模式共享。
小数据校准新被试时，锚定到群体读出的岭回归从最初几分钟就优于从零岭回归，低秩偏离基几乎无额外增益。适配增益在每个预算都成立，无数据时 +0.0236，159 分钟时 +0.0326，NNDb 上也从 +0.0215 扩大到 +0.0308。
增益来自哪里，输入设计损失多少
下面比较要回答增益中多大来自适配器本身。表前说明比较问题是在主配置下每次只改一处，指标是第 6 季被试平均相关，方向越高越好，差距小于 0.00077 不可区分。
| Configuration | s06 |
|---|---|
| Frozen backbone | 0.2907 |
| + LoRA r16 (ours) | 0.3263 |
| without closed-form re-fit | 0.3202 |
| Cross-attention readout | 0.3310 |
| No audio | 0.3026 |
结果表明低秩适配带来 +0.0356，是最大单项，闭式重拟合贡献 +0.0061，大于其他训练改动。秩 32、门控 MLP、交叉注意力都在此附近，交叉注意力到 0.3310 是其中最高。无音频掉到 0.3026，说明音频重要，但该行是从头无音频训练，与直接删除流的代价不可比。联合训练先让适配器和读出一起走一个 epoch，再用解析法重解读出，前向累积被试特异 Gram 矩阵后按 parcel 做岭回归，这一步把读出漂移拉回最优。
输入设计上，滑动窗换单次整片段前向在冻结头下只降 0.0038，降分辨率到 336×224 只降 0.0009，限制到窗内再降 0.0046 且集中在窗开头，30 s 前导补回大部，60 s 后饱和。冻结时去上下文会降分，适配后可恢复，说明单次编码的效率经适配不损失性能。
下面比较要回答特征提取层是否敏感，条件是冻结岭读出与完整训练各扫一遍，指标同上。
| Feature-extraction layer | Frozen | Trained |
|---|---|---|
| 30 | 0.2889 | 0.3252 |
| 31 | 0.2885 | 0.3260 |
| 32 | 0.2881 | 0.3263 |
| 33 | 0.2872 | 0.3258 |
| 34 | 0.2876 | 0.3264 |
对比可见冻结在 30 层最高，训练后 31-34 层彼此差 0.0006 以内，都在种子波动内，32 层是平坦邻域内的好选择而非尖锐最优。两端 16 层和 44 层明显更低，说明层选择只需定邻域。冻结扫层只定邻域位置，完整训练再确认该邻域内各层经适配后差距仍不可区分。
下面比较要回答学习率的作用，条件是无前导无重拟合的早期配置，分数整体低约 0.013，只能内部比较。
| LoRA lr | Readout lr | s06 (pre-re-fit) |
|---|---|---|
| 0 | 2e-5 | 0.2818 |
| 1e-3 | 1e-4 | 0.3071 |
| 1e-3 | 3e-4 | 0.3131 |
| 6e-4 | 3e-4 | 0.3134 |
从学习率扫描看读出率在 3×10^-4 有内点最优，适配器率在 6×10^-4 到 1×10^-3 间平坦，冻结适配器只训练读出明显更低。读出率效应经重拟合后几乎消失，说明重拟合消除了读出漂移，这也解释了重拟合增益为何与调读出率相当。
下面比较要回答是否要训第二 epoch，条件是同一配置跑 2858 步，指标为验证随步数曲线。
| Step | 200 | 400 | 600 | 800 | 1000 | 1200 | 1400 | 1600 | 1800 | 2000 | 2200 | 2400 | 2600 | 2800 | 2858 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| s06 | 0.2789 | 0.2856 | 0.2877 | 0.2921 | 0.2977 | 0.3007 | 0.3052 | 0.3009 | 0.2999 | 0.2996 | 0.3017 | 0.3019 | 0.3031 | 0.3030 | 0.3028 |
从随步数曲线看峰值在第 1400 步即第一遍结束，第二遍始终低于峰值，匹配的一轮对两轮比较为负，说明只训 1 epoch 不是欠训练，而是有意早停。训练集已含第 1-5 季和 movie10 的 1429 个窗，走完一遍即到峰值点。
下面比较要回答单次前向的非因果担忧，方法是同起点重编码严格前缀并比共享时刻余弦。
| Prefix ends at | audio | vision | text |
|---|---|---|---|
| 140 s | 0.9579 | 0.9895 | 0.9960 |
| 160 s | 0.9569 | 0.9908 | 0.9970 |
| same span twice | 1.0000 | 1.0000 | 1.0000 |
就非因果担忧而言同片段重编码余弦为 1，前缀对比音频约 0.95，视觉约 0.99，文本约 0.996，且首块偏离最大，不符合未来泄漏应局限在切口附近的预期。论文据此归因于长度相关的低精度数值，而非未来刺激倒流，且上下文前导实验已直接度量前缀差异的性能代价。
结论在什么条件下才成立，还有什么没测
所有主结论限定在叙事影视的 4 个被试上，留一被试和 NNDb 仍未离开叙事电影域。多数据集多模态联合训练留给未来，因此不能推广到静息、任务态或其他记录模态。
集成分析指出成员残差平均相关决定天花板，换种子几乎无多样性，换读出或骨干才有多样性，训练子集、秩和层微调多样性小。跨被试协方差分解显示 261 模型平均仍漏掉约 32.5% 刺激锁定共享方差，残差缓慢高维，不是低层特征或延迟误差，适合叙事事件结构而非缺某个低层特征。
统计上 0.00077 内不可分，不同指标如窗内逐 TR 空间相关与逐 parcel 主指标不可比，裸相关跨噪音数据集不可比，论文用噪声上限百分比来对齐。15 模型子集和集成权重都在验证集上选定，报告的留出分没有参与选择。
复现第一步做什么，需要哪些条件
复现先准备 336×224 媒体缓存、Algonauts 2025 fMRI、对应提交版本的骨干权重，再用冻结特征的岭解初始化读出。主单模型在一张 A800 上提取约 1.99 GPU 小时，训练约 4.84 小时，重拟合约 1.67 小时，端到端约 8.5 小时，约为滑动窗基线 702 小时的 83 分之一。精度用 bf16 骨干加 fp32 视觉补丁卷积，梯度检查点省显存。
值得尝试的时机是已有强多模态骨干但神经数据少，想让表征为脑数据特化又付不起全量微调时。第一步应先跑通单次前向加 60 s 前导的冻结基线，再加秩 16 适配器训 1 epoch 并重拟合。若要扩展到 200+ 模型，需要实现分批 gather 矩阵乘的多适配器核，否则逐个训练时间随 N 线性增长。
资源状态上，论文给出代码链接为第三方镜像可达，不能据此写作者已开源。是否作者资源当前可用需按可用性另行确认，来源未确认不是技术缺陷。
什么时候值得尝试，还需补哪项验证
当任务是刺激到脑响应的编码，有大预训练多模态骨干，且只有数十小时 fMRI 时，低秩适配加轻读出是性价比高的首选。它保留先验又允许表征特化，单模型已超大读出冻结方案，集成则靠架构多样性再涨。单次因果前向是必做效率项，60 s 前导后性能不降。
还需补的验证是跨范式跨记录方式的联合训练，以及每个任务数据集被试甚至脑区的分层适配，而非只为集成堆数量。模态归因显示适配加重音频和混合，适合听说主导的叙事刺激，是否适用于无语音或强文本任务仍待验证。对刚入门者，建议复述三句话，冻结读出借先验，低秩小改表征，单次前向加前导省计算，集成靠质量加多样性。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses