关系基础模型中的上下文窗口失效问题
Context Window Failures in Relational Foundation Models
- Kunumi Institute（库纳米研究所）
- Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
研究发现现有关系基础模型处理高基数关系数据时存在上下文窗口失效问题，在合成金融数据集Animus上，经简单时间预聚合可显著提升模型预测客户收入的R²值。
AI中文摘要：
近期，关系深度学习架构被提出作为面向多表关系数据的基础模型，但它们设置了受限的邻域预算，当实体存在大量相关记录时会强制截断行。我们引入Animus，这是一个合成金融数据集，其中预测客户收入需要聚合多达数万笔交易。在原始表示上，三个近期提出的模型（RT、Griffin、RelGT）的R²≤0.18；而一个简单的常规时间预聚合步骤可将R²提升至0.65。这质疑了当前关系基础模型是否适用于高基数的真实世界数据。
英文摘要：
Recent Relational Deep Learning architectures have been proposed as foundation models for multi-table relational data, yet they impose constrained neighborhood budgets that force row truncation when an entity has many related records. We introduce Animus, a synthetic financial dataset in which predicting customer income requires aggregating up to tens of thousands of transactions. On the raw representation, three recently proposed models (RT, Griffin, RelGT) achieve $R^2 \le 0.18$; a single, routine, temporal pre-aggregation step recovers $R^2$ up to $0.65$. This questions whether current relational foundation models are ready for high-cardinality real-world data.
