ShowTable: Unlocking Creative Table Visualization with Collaborative Reflection and Refinement
USTC（中国科学技术大学）；CASIA（中国科学院自动化研究所）；NJU（南京大学）；SJTU（上海交通大学）；ZJU（浙江大学）；FDU（福建师范大学）；Tongyi Lab（通义实验室）
本文提出ShowTable框架，结合大语言模型与扩散模型，通过逐步自我纠正过程实现创意表格可视化，引入TableVisBench基准测试，展示其在多模态推理、生成和纠错方面的优势。
2026-03-26 cs.CV
Improving Table Structure Recognition with Visual-Alignment Sequential Coordinate Modeling
Huawei Technologies Ltd.（华为技术有限公司）；Peking University（北京大学）
表格结构识别的目的是将非结构化表格图像的逻辑和物理结构提取为机器可读的格式。最新的端到端图像到文本方法通过两个解码器同时预测两个结构，其中物理结构（单元的边界框）的预测基于逻辑结构的表示。然而，以前的方法与不精确的边界框作斗争，因为逻辑表示缺乏局部视觉信息。为了解决这个问题，我们提出了一个端到端的顺序建模框架表结构识别称为VAST。它包含了一个新的坐标序列解码器触发的非空单元从逻辑结构解码器的表示。在坐标序列解码器中，我们将限界框坐标建模为语言序列，其中左、上、右和下坐标被顺序解码以利用坐标间依赖性。此外，我们提出了一个辅助的视觉对齐损失，以强制非空单元格的逻辑表示包含更多的本地视觉细节，这有助于产生更好的单元格边界框。大量的实验表明，我们提出的方法可以实现国家的最先进的结果，在逻辑和物理结构识别。消融研究也验证了所提出的坐标序列解码器和视觉对齐损失是我们的方法成功的关键。
2023-03-20 cs.CV
WebVision Database: Visual Learning and Understanding from Web Data
Computer Vision Laboratory, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；Google Switzerland（谷歌瑞士）
在本文中，我们提出了一个研究学习视觉识别模型，从大规模的噪声网络数据。我们构建了一个名为WebVision的新数据库，其中包含通过使用从基准ILSVRC 2012数据集的1，000个语义概念生成的查询从互联网上抓取的超过$2.4$万个Web图像。Meta信息以及那些web图像（例如，标题、描述、标签等）也是爬行的。还提供了包含人类注释图像的验证集和测试集，以促进算法开发。基于我们的新数据库，我们获得了一些有趣的观察结果：1）嘈杂的网络图像足以训练一个良好的深度CNN模型进行视觉识别; 2）从我们的WebVision数据库学习的模型在转移到新的数据集和任务时，表现出与ILSVRC 2012数据集训练的模型相当甚至更好的泛化能力; 3）领域自适应问题（也称为，数据集偏差），这意味着该数据集可以用作视觉领域自适应的最大基准数据集。我们新的WebVision数据库和相关研究将有利于学习最先进的视觉模型，并基于Web数据进行最少的监督。
2017-08-09 cs.CV
Visual-TableQA: Open-Domain Benchmark for Reasoning over Table Images
École de Technologie Supérieure（埃克塞技术学院）
本文提出Visual-TableQA，一个大规模开放领域多模态数据集，用于评估和提升视觉推理能力，包含2500个LaTeX渲染表格和6000对推理密集型问答对，通过多模型协作生成，验证了模型在外部基准上的鲁棒性。
2026-04-21 cs.CL cs.CV
TableVista: Benchmarking Multimodal Table Reasoning under Visual and Structural Complexity
Tongji University（同济大学）；University of Bristol（布里斯托大学）；Tianjin University（天津大学）；Yale University（耶鲁大学）
TableVista包含3000个高质量表格推理问题，通过多风格渲染和转换流程生成30000个多模态样本，评估29种基础模型在不同复杂性下的表现，揭示结构复杂性和视觉整合对推理一致性的影响。
2026-05-07 cs.CL cs.CV
InstructTable: Improving Table Structure Recognition Through Instructions
Meituan（美团）；Beijing Institute of Technology（北京理工大学）
本文提出InstructTable框架，通过指令引导多阶段训练提升表格结构识别，结合指令预训练和细调，构建BCDSTab基准，实现在复杂表格识别中的最优性能。
2026-04-17 cs.CV
Web-Scale Responsive Visual Search at Bing
Microsoft（微软）
在本文中，我们介绍了一个Web规模的通用视觉搜索系统部署在微软必应。该系统在索引中容纳数百亿张图像，每张图像具有数千个特征，并且可以在不到200 ms内响应。为了克服如此大规模数据的相关性，延迟和可扩展性方面的挑战，我们采用了基于各种最新深度学习视觉特征的级联学习排名框架，并部署在分布式异构计算平台上。定量和定性的实验表明，我们的系统能够支持各种应用程序的Bing网站和应用程序。
2018-02-20 cs.CV
WebVR: Benchmarking Multimodal LLMs for WebPage Recreation from Videos via Human-Aligned Visual Rubrics
StepFun；Tsinghua University（清华大学）
WebVR通过人类对齐的视觉标准评估多模态大语言模型从视频中重建网页的能力，包含175个多样化网页，展示了模型在细节风格和运动质量上的显著差距。
2026-03-11 cs.CV
WebRPG: Automatic Web Rendering Parameters Generation for Visual Presentation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出WebRPG任务，基于HTML自动生成网页视觉呈现参数，构建新数据集与VAE基线模型，以加速网页设计流程。
2024-07-22 cs.CV
Webly Supervised Image Classification with Metadata: Automatic Noisy Label Correction via Visual-Semantic Graph
SenseTime Research（商汤科技研究院）；Rice University（莱斯大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
Webly监督学习因其在数据扩充方面的高效性而成为近年来研究的热点。然而，采用搜索查询或主题标签作为图像的Web标签进行训练会带来大量噪声，从而降低DNN的性能。特别是，由于查询词的语义混乱，一个查询检索的图像可能包含大量属于其他概念的图像。例如，在Flickr上搜索“老虎猫”将返回大量老虎图像，而不是猫图像。这些真实的噪声样本通常在视觉空间中具有清晰的视觉语义集群，这会误导DNN学习准确的语义标签。为了纠正现实世界中的嘈杂标签，昂贵的人工注释似乎是必不可少的。幸运的是，我们发现，元数据可以提供额外的知识，发现干净的Web标签在一个劳动自由的方式，使其成为可能，以自动提供正确的语义指导之间的大量标签嘈杂的Web数据。在本文中，我们提出了一个自动标签校正VSGraph-LC的基础上的视觉语义图。VSGraph-LC从锚点选择开始，参考元数据和正确标签概念之间的语义相似性，然后使用图神经网络（GNN）在视觉图上从锚点传播正确标签。在真实网络监督学习数据集Webvision-1000和NUS-81-Web上的实验表明了VSGraph-LC的有效性和鲁棒性。此外，VSGraph-LC显示了其在开集验证集上的优势。
2020-10-12 cs.CV
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（iFLYTEK研究院）
TDATR通过表格细节感知学习和单元级视觉对齐改进端到端表格识别，采用感知-融合策略，提升模型鲁棒性和识别精度，无需数据集特定微调即可在七个基准上取得领先性能。
2026-03-24 cs.AI cs.CV
Beyond Embeddings: The Promise of Visual Table in Visual Reasoning
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出面向视觉推理的层次化文本表征Visual Table及其小规模标注训练生成器，在11个基准上优于既有结构化与文本表征，并可稳定增强多模态大模型。
2024-06-17 cs.AI cs.CL cs.CV
TableVQA-Bench: A Visual Question Answering Benchmark on Multiple Table Domains
NAVER Cloud AI（NAVER云人工智能）
本文提出 TableVQA-Bench 表格视觉问答基准，通过样式表或渲染系统生成图像、利用大语言模型生成 QA 对，并系统评估多模态大语言模型在表格视觉问答上的性能。
2024-04-30 cs.AI cs.CV
Learning Visual N-Grams from Web Data
University of Maryland（马里兰大学）；Facebook AI Research（Facebook人工智能研究院）
现实世界的图像识别系统需要识别成千上万的类别，这些类别构成了过多的视觉概念。在这种情况下，为每个类标注数千张图像进行训练的传统方法是不可行的，这促使人们使用网络监督数据。本文探讨了图像识别系统在大量图像和相关用户评论上的训练。特别是，我们开发了视觉n-gram模型，可以预测与图像内容相关的任意短语。我们的视觉n-gram模型是使用新的损失函数训练的前馈卷积网络，这些损失函数受到语言建模中常用的n-gram模型的启发。我们展示了我们的模型在短语预测，基于短语的图像检索，相关的图像和字幕，和zero-shot传输的优点。
2017-08-06 cs.CV
Visual Understanding of Complex Table Structures from Document Images
IIIT-Hyderabad（海得拉巴国际信息技术学院）
表格结构识别是全面理解文档的必要条件。非结构化业务文档中的表很难解析，因为它们的布局非常多样化，内容对齐方式各异，并且存在空单元格。这个问题特别困难，因为在使用视觉或语言背景或两者来识别单个细胞方面存在挑战。准确检测表格单元格（包括空单元格）简化了结构提取，因此，它成为我们工作的主要重点。我们提出了一种新的基于对象检测的深度模型，该模型捕获表中单元格的固有对齐，并进行了微调以实现快速优化。尽管准确检测单元格，但识别密集表的结构可能仍然具有挑战性，因为在存在多行/列跨越单元格的情况下难以捕获长范围行/列依赖性。因此，我们还旨在通过推导一种新的基于直线图的公式来提高结构识别。从语义的角度来看，我们强调了表中空单元格的重要性。考虑到这些细胞，我们建议增强一个流行的评价标准。最后，我们引入了一个适度大小的评估数据集，其注释风格受到人类认知的启发，以鼓励解决问题的新方法。我们的框架在基准数据集上的平均F1分数提高了2.7%。
2021-11-13 cs.AI cs.CV
MERIT: Multimodal Evidence Reasoning over Image Tables
Renmin University of China（中国人民大学）；Beike Inc.（贝壳公司）
针对表格序列化丢失信息的问题，提出MERIT三阶段框架，结合表格图像与可选序列化表格，在表格问答等任务上验证了其有效性与泛化性。
2026-10-14 cs.AI cs.CV
Harnessing Webpage UIs for Text-Rich Visual Understanding
Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）；University of Waterloo（滑铁卢大学）
本文提出利用文本大模型从网页UI合成多模态指令，构建MultiUI数据集（730万样本）训练多模态模型，显著提升文本丰富视觉理解，并在网页、文档、OCR等任务上表现优异。
2024-11-06 cs.CL cs.CV
Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
Apple（苹果公司）
Weblica提出一种可扩展且可重复的视觉网络代理训练框架，通过HTTP级缓存和LLM环境合成技术，实现大规模多样化的网络环境训练，其最佳模型在多个网络导航基准中表现优异。
2026-05-07 cs.AI cs.CV cs.LG
Table Detection for Visually Rich Document Images
University of Ottawa（渥太华大学）；Lytica Inc.（Lytica公司）
针对视觉丰富文档中的表格检测，本文将 IoU 解耦为真实值与预测覆盖项以衡量信息损失，并改进 SparseR-CNN，在多数据集上持续超越现有方法。
2023-10-26 cs.CV cs.IR
InterTab: Interleaved Visual-Structure Alignment for Multi-Modal Table Reasoning
InterTab提出交错结构感知框架，通过工具调用裁剪表格区域，结合两阶段训练，在九个基准上将平均准确率提升至73.17%。
2026-09-29 cs.AI cs.CV
Confluent-Drawing Parallel Coordinates: Web-Based Interactive Visual Analytics of Large Multi-Dimensional Data
Norwegian University of Science and Technology（挪威科技大学）
平行坐标图是一种最流行和最广泛使用的多维数据可视化技术。它对大规模数据集的主要挑战是视觉混乱和过度绘制，这妨碍了对数据中模式和趋势的识别。本文提出了一种平行坐标汇流绘制方法，以支持基于Web的大型多维数据交互式可视化分析。该方法通过对每个维度进行基于数据分箱的聚类，将多维数据映射到节点链接图。它使用基于密度的融合绘制来可视化集群和边缘，以减少视觉混乱和过度绘制。其呈现时间与数据项的数量无关。它支持大型数据集的交互式可视化，而无需在普通Web浏览器中进行硬件加速。此外，我们设计了交互来控制数据分仓过程，以支持大型多维数据集的交互式可视化分析。基于所提出的方法，我们实现了一个基于Web的可视化分析应用。所提出的方法的效率进行了检查，通过几个数据集上的实验。该方法的有效性进行了评估，通过用户研究，其中两个典型的任务的平行坐标绘图由参与者进行比较，所提出的方法与另一种平行坐标捆绑技术。实验结果表明，该方法显著提高了大型多维数据的基于Web的交互式可视化分析能力。
2019-06-14 cs.CV cs.HC
WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks
Microsoft（微软）；UIUC（伊利诺伊大学香槟分校）；CMU（卡内基梅隆大学）
WebGym通过大规模现实任务和异步轨迹采样系统提升视觉网络代理训练效果，使基座模型在分布外测试集上的成功率显著提升。
2026-05-02 cs.CV cs.LG
High-Performance Transformers for Table Structure Recognition Need Early Convolutions
Georgia Institute of Technology（佐治亚理工学院）；ADP, Inc.（ADP公司）
本研究针对表格结构识别中混合CNN-Transformer架构视觉编码器参数量大、速度慢的问题，提出轻量卷积茎视觉编码器，在保证性能的同时平衡感受野与序列长度，并开源代码以推动领域研究。
2023-11-09 cs.CV cs.LG
On Web-based Visual Corpus Construction for Visual Document Understanding
NAVER CLOVA；Upstage AI
针对视觉文档理解领域公开视觉语料库匮乏的问题，提出数据集生成引擎Webvicob，可基于维基百科HTML转储构建大规模多语言语料，用其百万级数据训练的模型在DocVQA任务3上效果优于千万级的IIT-CDIP数据集。
2023-05-02 cs.AI cs.CV cs.LG
A Large Visual, Qualitative and Quantitative Dataset of Web Pages
Central University of Ecuador（厄瓜多尔中央大学）；Institute for Computer Research（计算机研究所）；University of Alicante（阿利坎特大学）
万维网不仅是目前最重要的通信和信息平台之一，而且也是科学研究日益感兴趣的领域。这激发了大量需要大量数据的工作和项目。但是，没有一个数据集可以集成Web页面的参数和视觉外观，因为它的收集在时间和精力方面都是一项昂贵的任务。在各种计算机工具和编程脚本的支持下，我们创建了一个包含49，438个网页的大型数据集。它由视觉，文本和数字数据类型组成，包括全球所有国家，并考虑了广泛的主题，如艺术，娱乐，经济，商业，教育，政府，新闻，媒体，科学和环境，涵盖不同的文化特征和各种设计偏好。在本文中，我们描述了收集，调试和发布的最终产品，这是免费提供的过程。为了证明我们的数据集的有用性，我们暴露了一个二进制分类模型检测错误的网页，和一个多类的Web主题为基础的分类，这两个问题使用卷积神经网络。
2021-05-15 cs.CV cs.LG
VIS30K: A Collection of Figures and Tables from IEEE Visualization Conference Publications
The Ohio State University（俄亥俄州立大学）；Inria（法国国家信息与自动化研究所）；University of Stuttgart（斯图加特大学）；University of Vienna（维也纳大学）；University of Nottingham（诺丁汉大学）
提出VIS30K数据集，包含IEEE可视化会议30年来的29,689张图表，通过CNN与人工筛选半自动收集，并发布VISImageNavigator工具支持多维搜索。
2021-01-11 cs.CV cs.GR eess.IV
Efficient Pose Tracking from Natural Features in Standard Web Browsers
University of Passau（帕绍大学）；Coburg University of Applied Sciences and Arts（科堡应用科学与艺术大学）
基于计算机视觉的自然特征跟踪是现代增强现实应用的核心。尽管如此，基于Web的增强现实通常依赖于基于位置的传感（使用GPS和方向传感器）或基于标记的方法来解决姿态估计问题。我们提出了一个高效的自然特征跟踪管道的标准Web浏览器使用HTML5和WebAssembly的实现和评估。我们的系统可以以实时帧速率跟踪图像目标平板电脑（高达60 Hz）和智能手机（高达25 Hz）。
2018-04-23 cs.CV cs.MM cs.NI
DATa: Domain Adaptation-Aided Deep Table Detection Using Visual-Lexical Representations
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
通过开发不仅依赖于手工制作的算法的基于规则的方法，而且依赖于深度学习方法，已经相当多的研究关注于表检测。尽管最近的研究成功地执行了具有增强结果的表检测，但是当它们用于其表布局特征可能不同于基础模型已被训练的源域的传输域时，它们经常经历性能下降。为了克服这个问题，我们提出了DATa，一种新的领域自适应辅助深表检测方法，保证在一个特定的目标域，其中很少有可信标签是可用的令人满意的性能。为此，我们重新设计了词汇特征和用于重新训练的增强模型。更具体地说，在预训练一个最先进的基于视觉的模型作为我们的骨干网络之后，我们重新训练我们的增强模型，包括基于视觉的模型和多层感知器（MLP）架构。使用基于训练的MLP架构获得的新置信度分数以及边界框及其置信度分数的初始预测，我们更准确地计算每个置信度分数。为了验证DATa的优越性，我们通过采用源域中的真实世界基准数据集和由材料科学文章组成的目标域中的另一个数据集来进行实验评估。实验结果表明，所提出的DATa方法大大优于竞争的方法，只利用视觉表示在目标域。由于根据置信度分数阈值的设置消除高假阳性或假阴性的能力，这样的增益是可能的。
2022-11-12 cs.CV cs.LG cs.NE
VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks
Carnegie Mellon University（卡内基梅隆大学）
VisualWebArena 提出一个真实视觉网页任务基准，通过评估多模态 LLM 智能体在图像-文本输入下的规划与执行能力，揭示纯文本与多模态智能体的能力差距，并为构建更强的网页自主智能体提供框架与数据支持。
2024-06-06 cs.CL cs.CV cs.LG
Dual-View Visual Contextualization for Web Navigation
The Ohio State University（俄亥俄州立大学）
本文提出利用网页截图中HTML元素的文本与视觉双视图及其邻居元素进行上下文建模，以增强网页导航智能体的动作决策能力，并在Mind2Web数据集上验证了该方法在跨任务、跨网站和跨领域场景下均优于基线。
2024-03-30 cs.AI cs.CL cs.CV
DePlot: One-shot visual language reasoning by plot-to-table translation
Google DeepMind（谷歌DeepMind）；University of Cambridge（剑桥大学）
本文提出首个视觉语言推理一次性解决方案DePlot，通过将图表图像转换为线性化表格并利用LLM推理，在仅使用一次性提示的情况下，比微调SOTA模型提升了24.0%。
2023-05-23 cs.AI cs.CL cs.CV
OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents
UIUC（伊利诺伊大学香槟分校）；Microsoft（微软）
提出OpenWebRL框架，通过在线多轮强化学习在真实网站上训练视觉网络代理，以4B参数模型在基准测试中达到开源最优，并与闭源系统竞争。
2026-06-04 cs.AI cs.CL cs.CV
