先学习定位再阅读：基于紧凑视觉语言模型的统一PCB工程图解析
Learning to Ground Before Reading: Unified PCB Engineering Drawing Parsing with Compact Vision-Language Models
浏览论文内容
中文总结 AI 辅助
本研究针对PCB工程图解析的区域遗漏问题，提出优先定位课程的紧凑VLM方法，在ED数据集上提升了定位F1，构建了无检测器的统一解析基线。
中文摘要 AI 辅助
PCB工程图混合了稀疏图形、密集表格和含义依赖于页面位置的文本。大多数解析器采用的方法是定位区域并将裁剪后的图像发送给专门的识别器，因此下游无法恢复遗漏的区域。我们训练了一个紧凑VLM（视觉语言模型）来读取整页内容并输出区域类别、归一化边界框以及文本或HTML内容的序列。边界框被转换为坐标标记以进行监督，推理过程不使用检测器或裁剪解析器。联合目标难以优化，因为类别和边界框标记相对于长得多的内容序列来说较为稀疏。我们提出的优先定位课程学习先学习类别-边界框格式，再添加内容目标并采用内容感知重采样。在工程图数据集（ED数据集）的固定验证拆分上，优先定位相比联合训练将严格定位F1提升了0.0955（配对图像自举95%置信区间：[0.0350, 0.1572]）。G-Unified具有最低的NED、最高的单元格F1，且是唯一获得非零精确匹配分数的方法，它为整页PCB工程图解析提供了无检测器的基线。
英文摘要
PCB engineering drawings mix sparse graphics, dense tables, and text whose meaning depends on page position. Localizing the regions and sending crops to specialized recognizers are determined as the methods for most parsers, so missed regions cannot be recovered downstream. We train a compact VLM to read the full page and get a sequence of region classes, normalized boxes, and text or HTML content. Bounding boxes are converted to coordinate tokens for supervision. Inference uses no detector or crop parser. The joint target is difficult to optimize because class and box tokens are sparse relative to the much longer content sequences. Our localization-first curriculum learns the class-box format before adding content targets with content-aware resampling. On the fixed validation split of the Engineering Drawing Dataset (ED dataset), Localization-First improves strict localization F1 by 0.0955 over joint training (paired image-bootstrap 95% interval: [0.0350, 0.1572]). G-Unified has the lowest NED, highest cell F1, and only nonzero exact-match score. It provides a detector-free baseline for full-page PCB drawing parsing.
发表机构
- Beijing Normal–Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）
- Guangdong Provincial Key Laboratory of Interdisciplinary Research and Application for Data Science（广东省数据科学交叉研究与应用重点实验室）
- Hong Kong Baptist University（香港浸会大学）
- Hong Kong aiKnow Limited（香港智知有限公司）
机构由 AI 辅助整理，请以论文原文为准。
