哪种掩码几何结构最适合 EEG 基础模型？
What masking geometry works best for EEG foundation models?
另 6 家 · 查看机构详情
- Donders Institute for Brain, Cognition and Behaviour（脑、认知与行为多德雷研究所）
- Radboud University（拉德堡德大学）
- Yneuro
- University of California San Diego（加利福尼亚大学圣地亚哥分校）
- Lab-STICC, IMT Atlantique（拉比-圣艾蒂安计算机与通信实验室-大西洋高等矿业电信学院）
- SCCN, INC, SDSC
- CNRS（法国国家科学研究中心）
- Université Paris-Saclay, Inria, CEA（巴黎萨克雷大学、法国国家信息与自动化研究所、法国原子能与替代能源委员会）
- Nijmegen, The Netherlands（奈梅亨，荷兰）
机构由 AI 辅助整理，请以论文原文为准。
浏览论文内容
中文总结 AI 辅助
本文系统消融了EEG基础模型中的时空掩码策略，在MAE和JEPA框架下训练58个模型，发现最优配置一致且性能稳健，并以少量计算达到REVE级性能。
中文摘要 AI 辅助
EEG 基础模型有望在临床和认知神经科学应用中实现可扩展的脑信号解码，但其预训练流程仍知之甚少。在设计选择中，掩码策略尤为关键：它决定了网络必须预测什么以及从何种上下文中预测。然而，由于每个新模型都将新的掩码策略与新的主干网络和目标捆绑在一起，掩码策略从未被单独消融研究。在本文中，我们形式化了时空掩码策略的设计选择，并在两个 SSL 框架（MAE 和 JEPA）下，使用单一流程在不同掩码配置下训练了多种模型。随后，我们在 OpenEEGBench 的 12 个数据集上通过线性探针系统评估了由此产生的 58 个预训练模型。两个框架在最优掩码配置和共同的失败模式上达成一致。除此之外，性能是稳健的：11 个 MAE 配置和 9 个 JEPA 配置在统计上与最佳配置无显著差异。我们还发现了一种新的 JEPA 特有失败模式，即标记为偏差膨胀崩溃（bias-inflation collapse），该模式对标准检测器不可见。凭借精心选择的掩码，我们的流程以 REVE 预训练计算量的一小部分达到了 REVE 级别的下游性能。
英文摘要
EEG foundation models hold promise for scalable brain-signal decoding across clinical and cognitive neuroscience applications, yet their pre-training pipelines remain poorly understood. Among design choices, the masking strategy is particularly critical: it determines what the network must predict and from which context. Yet it has never been ablated in isolation, as each new model bundles a new masking strategy with a new backbone and objective. In this paper, we formalize the design choices for spatio-temporal masking strategies and train various models with a single pipeline under varying masking configurations across two SSL frameworks (MAE and JEPA). We then systematically evaluate the resulting 58 pre-trained models on the 12 datasets of OpenEEGBench under a linear probe. Both frameworks agree on an optimal masking configuration and on shared failure modes. Outside these, performance is robust: 11 MAE and 9 JEPA configurations are statistically indistinguishable from the best. We further identify a novel JEPA-specific failure mode, tagged bias-inflation collapse, invisible to standard detectors. With a well-chosen mask, our pipeline reaches REVE-level downstream performance at a fraction of REVE's pre-training compute.
