AI 中文总结
本文通过让模型用工具调用自身并读取上下文词元，在8K上下文内微调小模型，使其在长文档任务上媲美百万上下文的GPT-5.4。
AI 中文摘要
我们研究长上下文语言模型。我们不原生训练长上下文，也不设计长上下文框架，而是通过最简单的框架训练模型：一个工具，让模型用任意指定提示词调用自身；另一个工具，从输入上下文中读取指定范围的词元。我们使用该框架在多样化合成数据集上微调Qwen3.6-35B-A3B。仅用8000个词元的上下文，当文档长度超过40000词元时，我们的小模型在OOLONG-synth基准上的表现与拥有100万词元上下文的GPT-5.4相当。
英文摘要
We study long context language models. Instead of training long context natively, or designing a long context harness, we train a model over the simplest possible harness: a tool to call itself with any specified prompt and a tool to read tokens in a range from the input context. We finetune Qwen3.6-35B-A3B on a diverse synthetic dataset using this harness. With only 8,000 tokens of context, our small model is as strong as GPT-5.4 with 1M tokens of context on the OOLONG-synth benchmark when document length exceeds 40K tokens.
Comments17 pages, 6 figures, 4 tables. Code: https://github.com/brycesandlund/infinite-context. Under review
