arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2511.03570cs.LG
收藏

TabGemma:基于持续预训练与检索的文本型表格上下文学习大语言模型

TabGemma: Text-Based Tabular ICL via LLM using Continued Pretraining and Retrieval

SAP SE(SAP公司)

Günther Schindler, Maximilian Schambach, Michael Medek, Sam Thelin

AI总结:

TabGemma 通过科学计数法规范化数值、持续预训练 12B Gemma 3 模型及 n-gram 检索示例,在语义丰富的表格分类任务上取得最优结果,并揭示了回归任务中的局限。

摘要:

我们研究用于表格预测的大语言模型(LLM),其中包含文本、数值和类别字段的混合数据。我们提出了 TabGemma,一种与模式无关的上下文学习器,它将行视为序列,并解决了在将预训练 LLM 适配到表格预测时的两个实际障碍:数值分词不稳定和上下文长度有限。我们提出通过带符号科学计数法对数字进行规范化,并使用大规模真实世界数据集以目标填补(imputation)目标对一个 12B 参数的 Gemma 3 模型进行持续预训练。在推理阶段,我们使用一种紧凑的基于 n-gram 的检索方法来选择信息丰富的示例,使其能够容纳在 128k token 的窗口内。在语义丰富的基准测试上,TabGemma 在低数据和高数据两种情况下均取得了分类任务的最新最优结果,并且随着上下文行数的增加而单调提升。对于回归任务,它在小样本规模下具有竞争力,但随着数据量增长则落后于传统方法。我们的结果表明,当配备专门的数值处理和上下文检索机制时,LLM 可以在高度语义化的任务上成为有效的表格上下文学习器,同时也为进一步的数值建模和长上下文扩展研究提供了动力。

英文摘要:

We study LLMs for tabular prediction with mixed text, numeric, and categorical fields. We introduce TabGemma, a schema-agnostic in-context learner that treats rows as sequences and tackles two practical hurdles when adapting pretrained LLMs for tabular predictions: unstable numeric tokenization and limited context size. We propose to canonicalize numbers via signed scientific notation and continue pretraining of a 12B Gemma 3 model with a target imputation objective using a large-scale real world dataset. For inference, we use a compact n-gram-based retrieval to select informative exemplars that fit within a 128k-token window. On semantically rich benchmarks, TabGemma establishes a new state of the art on classification across low- and high-data regimes and improves monotonically with more context rows. For regression, it is competitive at small sample sizes but trails conventional approaches as data grows. Our results show that LLMs can be effective tabular in-context learners on highly semantic tasks when paired with dedicated numeric handling and context retrieval, while motivating further advances in numeric modeling and long-context scaling.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑