NVIDIA（英伟达）

IRIS: A Visual Cortex-Inspired Framework for Analyzing Orientation Selectivity in Vision Transformers

IRIS：一种受视觉皮层启发的用于分析视觉Transformer中方向选择性的框架

Vaishnavi B Mohan, Vijayakrishna Naganoor, Yashas Annadani, Shashank Hegde

机构 * University of Washington（华盛顿大学） ； Microsoft（微软公司） ； TU Munich（慕尼黑工业大学） ； Gladstone Institute（格拉德斯通研究所） ； Nvidia（英伟达公司） 纠错

AI总结 该研究提出受视觉皮层启发的IRIS框架，通过RSS等神经科学指标分析ViT中方向选择性的形成，发现训练范式决定方向选择性、层的方向选择性变化规律，且指标可指导解冻层数以优化下游泛化。

TESSERA v2: Scaling Pixel-wise Earth Foundation Models

TESSERA v2：扩展逐像素地球基础模型

Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madhavapeddy, Srinivasan Keshav

机构 * University of Cambridge（剑桥大学） ； NVIDIA（英伟达） ； dClimate Labs（dClimate实验室） 纠错

AI总结 研究逐像素地球观测基础模型的扩展及预训练预算分配，通过大规模实验发现预训练损失难预测下游性能，给出计算分配规则，训练并蒸馏模型，其成果优于其他模型。