InstructDoc：一个用于通过指令实现视觉文档理解零样本泛化的数据集
InstructDoc: A Dataset for Zero-Shot Generalization of Visual Document Understanding with Instructions
AI总结：
本文构建涵盖30个公开VDU数据集、12项任务并带统一多样化指令的 InstructDoc，并提出以可训练桥接模块融合文档图像、图像编码器与LLM的 InstructDr，实现指令引导的零样本VDU泛化且性能优于现有多模态LLM和ChatGPT。
摘要：
我们研究了通过人工编写的指令在真实世界文档上完成各类视觉文档理解（VDU）任务的问题，例如问答和信息抽取。为此，我们提出了 InstructDoc，这是首个由30个公开可用的VDU数据集构成的大规模集合，每个数据集都以统一格式配有多样化指令，涵盖广泛的12项任务，并包含开放的文档类型与格式。此外，为提升VDU任务上的泛化性能，我们设计了一种新的基于指令的文档阅读与理解模型 InstructDr，该模型通过可训练的桥接模块连接文档图像、图像编码器和大语言模型（LLM）。实验表明，InstructDr 能够借助给定指令有效适应新的VDU数据集、任务和领域，并且在无需特定训练的情况下优于现有的多模态LLM和 ChatGPT。
英文摘要：
We study the problem of completing various visual document understanding (VDU) tasks, e.g., question answering and information extraction, on real-world documents through human-written instructions. To this end, we propose InstructDoc, the first large-scale collection of 30 publicly available VDU datasets, each with diverse instructions in a unified format, which covers a wide range of 12 tasks and includes open document types/formats. Furthermore, to enhance the generalization performance on VDU tasks, we design a new instruction-based document reading and understanding model, InstructDr, that connects document images, image encoders, and large language models (LLMs) through a trainable bridging module. Experiments demonstrate that InstructDr can effectively adapt to new VDU datasets, tasks, and domains via given instructions and outperforms existing multimodal LLMs and ChatGPT without specific training.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
