arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2509.04469cs.CLcs.AI
收藏

多模态视觉 vs 基于文本的解析:面向发票处理的大语言模型策略基准测试

Multi-Modal Vision vs. Text-Based Parsing: Benchmarking LLM Strategies for Invoice Processing

Fraunhofer IAIS(弗劳恩霍夫人工智能研究所);Lamarr Institute(拉马尔研究所)

David Berghaus, Armin Berger, Lars Hillebrand, Kostadin Cvejoski, Rafet Sifa

AI总结:

针对发票处理场景,对三款系列的多模态大模型开展零样本基准测试,对比直接图像处理与先转markdown的结构化解析策略,发现原生图像处理整体表现更优,为文档自动化系统的模型与策略选择提供参考。

摘要:

本文针对三个不同的公开发票文档数据集,采用零样本提示词策略,对来自GPT-5、Gemini 2.5、开源Gemma 3三个系列的八款多模态大语言模型开展基准测试。研究对比了两种处理策略:利用多模态能力的直接图像处理,以及先将文档转换为markdown的结构化解析方法。结果显示,原生图像处理的表现整体优于结构化方法,性能差异随模型类型与文档特征而变化。该基准为自动化文档系统选择适配的模型与处理策略提供参考,代码已公开上线。

英文摘要:

This paper benchmarks eight multi-modal large language models from three families (GPT-5, Gemini 2.5, and open-source Gemma 3) on three diverse openly available invoice document datasets using zero-shot prompting. We compare two processing strategies: direct image processing using multi-modal capabilities and a structured parsing approach converting documents to markdown first. Results show native image processing generally outperforms structured approaches, with performance varying across model types and document characteristics. This benchmark provides insights for selecting appropriate models and processing strategies for automated document systems. Our code is available online.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑