Causilo 技术报告
Causilo Technical Report
- Nums AI
机构由 AI 辅助整理，请以论文原文为准。
中文总结 AI 辅助
Causilo 是一个表格基础模型，通过引入行细化模块，在保持线性注意力成本的同时，以更快的推理速度达到前沿预测性能，并在多个基准上取得领先结果。
中文摘要 AI 辅助
我们推出了 Causilo，一个表格基础模型（TFM），它将前沿的预测性能与极快的推理速度相结合。在 TabArena 上，Causilo 达到了 1785.4 Elo 分数，每 1K 测试样本的中位推理时间为 0.10 秒。它以比 TabPFN-3.5-Fast 少 31.6% 的推理时间超越了后者，使其处于性能-效率帕累托前沿。Causilo 遵循 TabICL 的先列后行架构，但在行压缩之前引入了另一个行细化模块。该模块在列编码后，在每一行内的单元格表示之间交换信息。细化后的单元格通过一个额外的列阶段再次访问上下文集，然后被压缩成行嵌入。为了推理效率，两个行阶段都通过固定数量的摘要标记使用交叉注意力，使其注意力成本在特征数量上保持线性。Causilo 在约 3600 万个合成表格上进行了预训练，在 TabArena、BeyondArena 和 ScoringBench 上提供了强大的基准结果，以显著更快的推理实现了前沿水平的性能。
英文摘要
We introduce Causilo, a tabular foundation model (TFM) that combines frontier predictive performance with exceptionally fast inference. On TabArena, Causilo achieves 1785.4 Elo, at a median inference time of 0.10 seconds per 1K test samples. It outperforms TabPFN-3.5-Fast with 31.6% less inference time, placing it on the performance--efficiency Pareto frontier. Causilo follows TabICL's column-then-row architecture but introduces another row-refinement module before row compression. This module exchanges information among cell representations within each row after column encoding. The refined cells then visit the context set again through an additional column stage before being compressed into row embeddings. For inference efficiency, both row stages use cross-attention through a fixed number of summary tokens, keeping their attention cost linear in the number of features. Pretrained on approximately 36M synthetic tables, Causilo delivers strong benchmark results across TabArena, BeyondArena, and ScoringBench, achieving frontier-level performance with substantially faster inference.
