为什么 LLM 不擅长合成表格生成(以及应如何解决)
Why LLMs Are Bad at Synthetic Table Generation (and what to do about it)
AI总结:
本文分析 LLM 在合成表格生成中的缺陷,指出自回归建模与随机列排列削弱函数依赖和条件分布混合学习,并提出让模型具备排列感知能力作为改进方向。
摘要:
合成数据生成是 ML 流水线不可或缺的一部分,例如用于增强训练数据、替换敏感信息,甚至为 DeepSeek 等先进平台提供支持。尽管为合成数据生成而微调的 LLM 正受到越来越多关注,但与文本和图像合成相比,合成表格生成这一商业与科学中的关键数据类型仍未得到充分研究。本文表明,无论是直接使用还是经过传统微调,LLM 都不足以生成合成表格。其自回归特性,加上微调期间的随机顺序排列,妨碍了对函数依赖的建模,并使其无法捕捉现实世界约束所必需的条件分布混合。我们证明,使 LLM 具备排列感知能力可以缓解这些问题。
英文摘要:
Synthetic data generation is integral to ML pipelines, e.g., to augment training data, replace sensitive information, and even to power advanced platforms like DeepSeek. While LLMs fine-tuned for synthetic data generation are gaining traction, synthetic table generation -- a critical data type in business and science -- remains under-explored compared to text and image synthesis. This paper shows that LLMs, whether used as-is or after traditional fine-tuning, are inadequate for generating synthetic tables. Their autoregressive nature, combined with random order permutation during fine-tuning, hampers the modeling of functional dependencies and prevents capturing conditional mixtures of distributions essential for real-world constraints. We demonstrate that making LLMs permutation-aware can mitigate these issues.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。