LoopICL：循环单个Transformer块以解决表格任务
LoopICL: Looping a single transformer block to solve tabular tasks
- TU Dortmund University（多特蒙德工业大学）
- Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
- University of Tübingen（蒂宾根大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
LoopICL通过循环单个Transformer块解耦参数与计算深度，在表格任务上以近90%更少的参数达到与TabICLv2相当的性能，并支持推理成本与性能的灵活权衡。
AI中文摘要：
利用上下文学习的表格基础模型最近在预测性表格任务上超越了梯度提升树。然而，最近的机制性见解表明，这些模型中的参数在很大程度上是冗余的。我们引入了LoopICL，一种循环Transformer，其核心设计将参数数量与计算深度解耦。LoopICL由一个单一模块组成，通过两个耦合的数据流处理数据：一个单元流捕获每个单元的特征表示，一个行流捕获上下文示例表示，通过列内和跨列注意力共同细化。在预训练期间，我们变化循环次数，使得该模块在测试时可以展开为不同次数的迭代，并使用一个学习到的退出门自动退出。在其标准设置下，LoopICL在相同的计算成本（FLOPs）下，在TabArena和TALENT上与TabICLv2表现相当，同时使用的参数减少了近90%。此外，其循环设计使用户能够权衡推理成本和性能，提供了一种资源感知的TFM。
英文摘要：
Tabular foundation models using in-context learning have recently surpassed gradient-boosted trees on predictive tabular tasks. However, recent mechanistic insights suggest that parameters in these models are largely redundant. We introduce LoopICL, a looped transformer whose core design decouples parameter count from computational depth. LoopICL consists of a single block, processing data through two coupled streams: a cell stream capturing per-cell feature representations and a row stream capturing in-context example representations, jointly refined through within-column and cross-column attention. During pre-training, we vary loop counts, allowing the block to be unrolled for a varying number of iterations at test-time and use a learned exit-gate to automatically exit. In its standard setting, LoopICL performs competitively with TabICLv2 on TabArena and TALENT at the same computational cost (FLOPs), while using nearly 90% fewer parameters. Furthermore, its recurrent design enables users to also trade off inference cost and performance, providing a resource-aware TFM.
