arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2401.03411cs.CLcs.CV
收藏

GRAM：多页视觉问答的全局推理

GRAM: Global Reasoning for Multi-Page VQA

Technion, Israel（以色列理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）

Tsachi Blau, Sharon Fogel, Roi Ronen, Alona Golts, Roy Ganz, Elad Ben Avraham, Aviad Aberdam, Shahar Tsiper, Ron Litman

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

GRAM通过扩展单页模型至多页DocVQA，利用文档级层与可学习令牌实现全局推理，并引入压缩阶段平衡质量与延迟，达到最先进性能。

摘要：

基于Transformer的大型语言模型日益普及，带来了处理长序列的挑战。在文档视觉问答（DocVQA）中，领先的方法侧重于单页设置，而文档可能跨越数百页。我们提出了GRAM，一种将预训练的单页模型无缝扩展到多页设置的方法，无需计算密集型的预训练。为此，我们利用单页编码器进行局部页面级理解，并通过文档级指定层和可学习令牌增强它，促进跨页面信息流动以实现全局推理。为了强制我们的模型利用新引入的文档令牌，我们提出了一种定制的偏置适应方法。为了在解码过程中进一步节省计算量，我们引入了一个可选的压缩阶段，使用我们的压缩变换器（C-Former），减少编码序列长度，从而在质量和延迟之间进行权衡。大量实验表明，GRAM在多页DocVQA基准上取得了最先进的性能，证明了我们方法的有效性。

英文摘要：

The increasing use of transformer-based large language models brings forward the challenge of processing long sequences. In document visual question answering (DocVQA), leading methods focus on the single-page setting, while documents can span hundreds of pages. We present GRAM, a method that seamlessly extends pre-trained single-page models to the multi-page setting, without requiring computationally-heavy pretraining. To do so, we leverage a single-page encoder for local page-level understanding, and enhance it with document-level designated layers and learnable tokens, facilitating the flow of information across pages for global reasoning. To enforce our model to utilize the newly introduced document tokens, we propose a tailored bias adaptation method. For additional computational savings during decoding, we introduce an optional compression stage using our compression-transformer (C-Former),reducing the encoded sequence length, thereby allowing a tradeoff between quality and latency. Extensive experiments showcase GRAM's state-of-the-art performance on the benchmarks for multi-page DocVQA, demonstrating the effectiveness of our approach.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑