UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学)
研究针对现有网页生成基准测试对交互能力评估不足的问题,引入UI2App基准测试,通过设计端到端管道沿四个维度评估工件,实验发现视觉与交互能力不匹配,复杂交互是瓶颈,为相关研究提供了参考。
2026-10-06 cs.AI cs.CV cs.SE
WebQA: Multihop and Multimodal QA
Carnegie Mellon University(卡内基梅隆大学);Microsoft, Bing Search(微软必应搜索);Microsoft Research(微软研究院)
将视觉问答(VQA)扩展到Web搜索的开放域和多跳性质,需要在视觉表示学习、知识聚合和语言生成方面取得根本性进展。在这项工作中,我们介绍了WebQA,一个具有挑战性的新基准,证明了大规模的国家的最先进的模型,缺乏语言接地的视觉表示新的对象和推理能力,但对人类来说微不足道的困难。WebQA反映了人类使用网络的方式:1)提出问题,2)选择要聚合的来源,3)产生流利的语言响应。这是我们应该期待物联网设备和数字助理的行为。现有的工作更倾向于假设模型可以在图像或文本中推理知识。WebQA包括一个次要的纯文本QA任务,以确保提高视觉性能不会以语言理解为代价。我们对社区的挑战是创建统一的多模态推理模型,无论源模态如何,都能回答问题,使我们更接近数字助理,不仅能查询查询语言知识,还能提供更丰富的视觉在线世界。
2022-03-28 cs.AI cs.CL cs.CV
DiffSpot: Can VLMs Spot Fine-Grained Visual Differences in Web Interfaces?
WeChat AI, Tencent Inc(腾讯公司)
提出DiffSpot基准,通过CSS属性突变生成可控图像对,评估视觉语言模型在网页界面中检测细微视觉差异的能力,发现最佳模型仅识别40.7%的真实变化。
2026-05-28 cs.CL cs.CV
WebSight: A Vision-First Architecture for Robust Web Agents
Stanford University(斯坦福大学)
该研究提出WebSight视觉优先网页智能体架构,核心是经LoRA微调的WebSight-7B模型,集成模块化多智能体系统,在Showdown Clicks和WebVoyager基准上优于现有模型,为视觉网页导航建立新标准。
2025-08-23 cs.AI cs.CV
Conceptual 12M: Pushing Web-Scale Image-Text Pre-Training To Recognize Long-Tail Visual Concepts
Google Research(谷歌研究院)
大规模图像描述和视觉问答数据集的可用性为最近在视觉和语言预训练方面的成功做出了重大贡献。然而,这些数据集通常是以从其原始目标任务继承的过度限制性要求(例如,图像字幕生成),这限制了所得到的数据集规模和多样性。我们通过放松概念字幕3 M(CC 3 M)[Sharma et al. 2018]中使用的数据汇集管道,进一步推动视觉和语言预训练数据的极限,并引入概念12 M(CC 12 M),这是一个包含1200万个图像-文本对的数据集,专门用于视觉和语言预训练。我们对此数据集进行了分析,并在多个下游任务上对CC 3 M进行了有效性基准测试,重点是长尾视觉识别。我们的结果清楚地说明了扩大视觉和语言任务的预训练数据的好处,正如nocaps和概念字幕基准测试的最新结果所示。
2021-03-30 cs.CL cs.CV
Animation2Code: Evaluating Temporal Visual Reasoning in Video-to-Code Generation
University of California, Berkeley(加州大学伯克利分校)
提出Animation2Code基准,通过从视频重建可执行网页动画代码来评估视觉语言模型的时间视觉推理能力,发现现有模型在时间一致性上表现不佳。
2026-11-10 cs.AI cs.CL cs.CV
WebAccessVL: Violation-Aware VLM for Web Accessibility
Department of Computer Science, Purdue University(普渡大学计算机科学系)
WebAccessVL通过基于违规的VLM自动修正网页HTML,显著减少可访问性违规,提升网页可访问性与视觉一致性。
2026-03-11 cs.AI cs.CV cs.HC
WebVision Database: Visual Learning and Understanding from Web Data
Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);Google Switzerland(谷歌瑞士)
在本文中,我们提出了一个研究学习视觉识别模型,从大规模的噪声网络数据。我们构建了一个名为WebVision的新数据库,其中包含通过使用从基准ILSVRC 2012数据集的1,000个语义概念生成的查询从互联网上抓取的超过$2.4$万个Web图像。Meta信息以及那些web图像(例如,标题、描述、标签等)也是爬行的。还提供了包含人类注释图像的验证集和测试集,以促进算法开发。基于我们的新数据库,我们获得了一些有趣的观察结果:1)嘈杂的网络图像足以训练一个良好的深度CNN模型进行视觉识别; 2)从我们的WebVision数据库学习的模型在转移到新的数据集和任务时,表现出与ILSVRC 2012数据集训练的模型相当甚至更好的泛化能力; 3)领域自适应问题(也称为,数据集偏差),这意味着该数据集可以用作视觉领域自适应的最大基准数据集。我们新的WebVision数据库和相关研究将有利于学习最先进的视觉模型,并基于Web数据进行最少的监督。
2017-08-09 cs.CV
Web-Scale Responsive Visual Search at Bing
Microsoft(微软)
在本文中,我们介绍了一个Web规模的通用视觉搜索系统部署在微软必应。该系统在索引中容纳数百亿张图像,每张图像具有数千个特征,并且可以在不到200 ms内响应。为了克服如此大规模数据的相关性,延迟和可扩展性方面的挑战,我们采用了基于各种最新深度学习视觉特征的级联学习排名框架,并部署在分布式异构计算平台上。定量和定性的实验表明,我们的系统能够支持各种应用程序的Bing网站和应用程序。
2018-02-20 cs.CV
WebVR: Benchmarking Multimodal LLMs for WebPage Recreation from Videos via Human-Aligned Visual Rubrics
StepFun;Tsinghua University(清华大学)
WebVR通过人类对齐的视觉标准评估多模态大语言模型从视频中重建网页的能力,包含175个多样化网页,展示了模型在细节风格和运动质量上的显著差距。
2026-03-11 cs.CV
WebRPG: Automatic Web Rendering Parameters Generation for Visual Presentation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出WebRPG任务,基于HTML自动生成网页视觉呈现参数,构建新数据集与VAE基线模型,以加速网页设计流程。
2024-07-22 cs.CV
Webly Supervised Image Classification with Metadata: Automatic Noisy Label Correction via Visual-Semantic Graph
SenseTime Research(商汤科技研究院);Rice University(莱斯大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
Webly监督学习因其在数据扩充方面的高效性而成为近年来研究的热点。然而,采用搜索查询或主题标签作为图像的Web标签进行训练会带来大量噪声,从而降低DNN的性能。特别是,由于查询词的语义混乱,一个查询检索的图像可能包含大量属于其他概念的图像。例如,在Flickr上搜索“老虎猫”将返回大量老虎图像,而不是猫图像。这些真实的噪声样本通常在视觉空间中具有清晰的视觉语义集群,这会误导DNN学习准确的语义标签。为了纠正现实世界中的嘈杂标签,昂贵的人工注释似乎是必不可少的。幸运的是,我们发现,元数据可以提供额外的知识,发现干净的Web标签在一个劳动自由的方式,使其成为可能,以自动提供正确的语义指导之间的大量标签嘈杂的Web数据。在本文中,我们提出了一个自动标签校正VSGraph-LC的基础上的视觉语义图。VSGraph-LC从锚点选择开始,参考元数据和正确标签概念之间的语义相似性,然后使用图神经网络(GNN)在视觉图上从锚点传播正确标签。在真实网络监督学习数据集Webvision-1000和NUS-81-Web上的实验表明了VSGraph-LC的有效性和鲁棒性。此外,VSGraph-LC显示了其在开集验证集上的优势。
2020-10-12 cs.CV
Web Table Classification based on Visual Features
Hector Research Institute of Education Sciences and Psychology, University of Tübingen(蒂宾根大学赫克托教育科学与心理学研究所);University of Mannheim(曼海姆大学)
网络上的表格构成了许多应用程序的宝贵数据源,如事实搜索和知识库扩充。然而,由于真正的表只占一小部分的表在Web上的关系知识,可靠的真正的Web表分类是至关重要的第一步表提取。以前的作品通常依赖于HTML代码的显式特征构造。相比之下,我们提出了一种Web表格分类的方法,利用完整的视觉外观的表,它的工作原理纯粹是通过应用卷积神经网络的渲染图像的Web表格。由于这些视觉特征可以自动提取,我们的方法规避了显式特征构建的需要。为此任务生成了一个新的手工标记的黄金标准数据集,其中包含13,112个表的HTML源代码和图像。将迁移学习技术应用于众所周知的VGG 16和ResNet 50架构。使用微调的ResNet50(F1 93.29%)对CNN图像分类进行的评估表明,这种方法实现了与使用显式定义的基于HTML代码的特征的先前解决方案相当的结果。通过结合视觉和显式特征,随机森林分类可以实现93.70%的F测量,这击败了当前最先进的方法。
2021-02-25 cs.CV
Learning Visual N-Grams from Web Data
University of Maryland(马里兰大学);Facebook AI Research(Facebook人工智能研究院)
现实世界的图像识别系统需要识别成千上万的类别,这些类别构成了过多的视觉概念。在这种情况下,为每个类标注数千张图像进行训练的传统方法是不可行的,这促使人们使用网络监督数据。本文探讨了图像识别系统在大量图像和相关用户评论上的训练。特别是,我们开发了视觉n-gram模型,可以预测与图像内容相关的任意短语。我们的视觉n-gram模型是使用新的损失函数训练的前馈卷积网络,这些损失函数受到语言建模中常用的n-gram模型的启发。我们展示了我们的模型在短语预测,基于短语的图像检索,相关的图像和字幕,和zero-shot传输的优点。
2017-08-06 cs.CV
WebVision Challenge: Visual Learning and Understanding With Web Data
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了2017年WebVision挑战赛,这是一个公共图像识别挑战赛,专为基于Web图像的深度学习而设计,没有实例级人工注释。遵循之前的视觉挑战赛的精神,例如ILSVRC,Places2和PASCAL VOC,通过为社区提供用于模型设计和标准化基准测试的大规模注释数据,在计算机视觉的发展中发挥了关键作用,我们为这次挑战赛贡献了一个大规模的网络图像数据集,并与CVPR 2017共同举办了一个公开比赛。WebVision数据集包含超过$2.4$万个Web图像,这些图像是通过使用从基准ILSVRC 2012数据集的$1,000$语义概念生成的查询从互联网上抓取的。还包括Meta信息。还提供了包含人类注释图像的验证集和测试集,以促进算法开发。2017年WebVision挑战赛包括两个轨道,WebVision测试集上的图像分类任务,以及PASCAL VOC 2012数据集上的迁移学习任务。在本文中,我们描述了数据汇集和注释的细节,突出了数据集的特点,并介绍了评估指标。
2017-05-16 cs.CV
Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach
Google DeepMind(谷歌DeepMind)
针对网络规模视觉实体识别缺乏干净大规模训练数据的问题,提出利用多模态LLM结合上下文信息推理标注并生成补充内容构建数据集的方法,训练模型在OVEN任务上提升6.9%,达当前最优性能。
2024-10-31 cs.CV
Harnessing Webpage UIs for Text-Rich Visual Understanding
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);University of Waterloo(滑铁卢大学)
本文提出利用文本大模型从网页UI合成多模态指令,构建MultiUI数据集(730万样本)训练多模态模型,显著提升文本丰富视觉理解,并在网页、文档、OCR等任务上表现优异。
2024-11-06 cs.CL cs.CV
Combining Texture and Shape Cues for Object Recognition With Minimal Supervision
Boston University(波士顿大学)
我们提出了一种新的方法,对象的分类和检测,需要最少的监督,并结合视觉纹理线索和形状信息从免费提供的未标记的网络搜索结果。网络上视觉数据的爆炸式增长可能使几乎任何对象的视觉示例都可以通过网络搜索轻松访问。以前的无监督方法利用来自网络的纹理线索的大规模来源,或来自诸如众包CAD模型的数据的形状信息。我们提出了一个双流深度学习框架,它结合了这些线索,其中一个流从图像搜索数据中学习视觉纹理线索,另一个流从3D CAD模型中学习丰富的形状信息。为了对新图像执行分类或检测,使用后期融合方案组合两个流的预测。我们目前的实验和可视化的标准基准PASCAL VOC 2007年的任务,以证明纹理和形状在我们的模型提供补充信息。我们的方法优于以前的基于Web图像的模型,基于3D CAD模型的方法和弱监督模型。
2016-09-14 cs.CV
Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
Apple(苹果公司)
Weblica提出一种可扩展且可重复的视觉网络代理训练框架,通过HTTP级缓存和LLM环境合成技术,实现大规模多样化的网络环境训练,其最佳模型在多个网络导航基准中表现优异。
2026-05-07 cs.AI cs.CV cs.LG
Confluent-Drawing Parallel Coordinates: Web-Based Interactive Visual Analytics of Large Multi-Dimensional Data
Norwegian University of Science and Technology(挪威科技大学)
平行坐标图是一种最流行和最广泛使用的多维数据可视化技术。它对大规模数据集的主要挑战是视觉混乱和过度绘制,这妨碍了对数据中模式和趋势的识别。本文提出了一种平行坐标汇流绘制方法,以支持基于Web的大型多维数据交互式可视化分析。该方法通过对每个维度进行基于数据分箱的聚类,将多维数据映射到节点链接图。它使用基于密度的融合绘制来可视化集群和边缘,以减少视觉混乱和过度绘制。其呈现时间与数据项的数量无关。它支持大型数据集的交互式可视化,而无需在普通Web浏览器中进行硬件加速。此外,我们设计了交互来控制数据分仓过程,以支持大型多维数据集的交互式可视化分析。基于所提出的方法,我们实现了一个基于Web的可视化分析应用。所提出的方法的效率进行了检查,通过几个数据集上的实验。该方法的有效性进行了评估,通过用户研究,其中两个典型的任务的平行坐标绘图由参与者进行比较,所提出的方法与另一种平行坐标捆绑技术。实验结果表明,该方法显著提高了大型多维数据的基于Web的交互式可视化分析能力。
2019-06-14 cs.CV cs.HC
On Web-based Visual Corpus Construction for Visual Document Understanding
NAVER CLOVA;Upstage AI
针对视觉文档理解领域公开视觉语料库匮乏的问题,提出数据集生成引擎Webvicob,可基于维基百科HTML转储构建大规模多语言语料,用其百万级数据训练的模型在DocVQA任务3上效果优于千万级的IIT-CDIP数据集。
2023-05-02 cs.AI cs.CV cs.LG
A Large Visual, Qualitative and Quantitative Dataset of Web Pages
Central University of Ecuador(厄瓜多尔中央大学);Institute for Computer Research(计算机研究所);University of Alicante(阿利坎特大学)
万维网不仅是目前最重要的通信和信息平台之一,而且也是科学研究日益感兴趣的领域。这激发了大量需要大量数据的工作和项目。但是,没有一个数据集可以集成Web页面的参数和视觉外观,因为它的收集在时间和精力方面都是一项昂贵的任务。在各种计算机工具和编程脚本的支持下,我们创建了一个包含49,438个网页的大型数据集。它由视觉,文本和数字数据类型组成,包括全球所有国家,并考虑了广泛的主题,如艺术,娱乐,经济,商业,教育,政府,新闻,媒体,科学和环境,涵盖不同的文化特征和各种设计偏好。在本文中,我们描述了收集,调试和发布的最终产品,这是免费提供的过程。为了证明我们的数据集的有用性,我们暴露了一个二进制分类模型检测错误的网页,和一个多类的Web主题为基础的分类,这两个问题使用卷积神经网络。
2021-05-15 cs.CV cs.LG
Exploiting Web Images for Fine-Grained Visual Recognition by Eliminating Noisy Samples and Utilizing Hard Ones
Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学);University of Technology Sydney(悉尼科技大学)
在从属级别标记对象通常需要专业知识,而在使用随机注释器时并不总是可用。因此,直接从Web图像中学习以进行细粒度识别引起了广泛的关注。然而,网络图像中标签噪声和硬样本的存在是训练鲁棒细粒度识别模型的两个障碍。因此,在本文中,我们提出了一种新的方法,用于在训练过程中从真实世界的Web图像中删除不相关的样本,同时使用有用的硬样本来更新网络。因此,我们的方法可以减轻不相关的嘈杂的Web图像和硬的例子,以实现更好的性能的有害影响。在三个常用的细粒度数据集上进行的大量实验表明,我们的方法远远优于当前最先进的网络监督方法。
2021-01-23 cs.CV cs.MM
VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks
Carnegie Mellon University(卡内基梅隆大学)
VisualWebArena 提出一个真实视觉网页任务基准,通过评估多模态 LLM 智能体在图像-文本输入下的规划与执行能力,揭示纯文本与多模态智能体的能力差距,并为构建更强的网页自主智能体提供框架与数据支持。
2024-06-06 cs.CL cs.CV cs.LG
Dual-View Visual Contextualization for Web Navigation
The Ohio State University(俄亥俄州立大学)
本文提出利用网页截图中HTML元素的文本与视觉双视图及其邻居元素进行上下文建模,以增强网页导航智能体的动作决策能力,并在Mind2Web数据集上验证了该方法在跨任务、跨网站和跨领域场景下均优于基线。
2024-03-30 cs.AI cs.CL cs.CV
Self-supervised visual learning for analyzing firearms trafficking activities on the Web
Harokopio University of Athens(雅典哈罗科皮奥大学)
该研究针对网络枪支贩运分析中的视觉分类任务,提出采用自监督学习与视觉Transformer进行评估,以弥补现有迁移学习方法的不足,提升分类性能。
2024-02-06 cs.AI cs.CV
OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents
UIUC(伊利诺伊大学香槟分校);Microsoft(微软)
提出OpenWebRL框架,通过在线多轮强化学习在真实网站上训练视觉网络代理,以4B参数模型在基准测试中达到开源最优,并与闭源系统竞争。
2026-06-04 cs.AI cs.CL cs.CV
MIRAGE: Stealthy Visual Prompt Injection for Vulnerability Detection in Web Agents
SDU(山东大学)
提出MIRAGE框架,利用扩散模型在受限区域生成视觉上无害的对抗图像,实现针对多模态大模型Web代理的隐蔽间接提示注入攻击,以检测其视觉漏洞。
2026-10-16 cs.AI cs.CR cs.CV
Webly Supervised Concept Expansion for General Purpose Vision Models
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通用视觉(GPV)系统是设计用于解决各种视觉任务而无需更改架构的模型。今天,GPV主要从大型全监督数据集学习技能和概念。通过获取数据来学习每个技能的每个概念,将GPV扩展到数万个概念,这很快就变得令人望而却步。这项工作提供了一种有效且廉价的替代方案:从监督数据集中学习技能,从网络图像搜索中学习概念,并利用GPV的一个关键特性:跨技能传输视觉知识的能力。我们使用了一个包含10 k+视觉概念的1 M+图像数据集,在3个基准上展示了两个现有GPV(GPV-1和VL-T5)的网络监督概念扩展:5个基于COCO的数据集(80个主要概念),一个基于OpenImages和VisualGenome存储库的新策划的5个数据集系列(约500个概念),以及Web衍生数据集(10 k+概念)。我们还提出了一个新的架构,GPV-2,支持各种任务-从视觉任务,如分类和本地化,到视觉+语言任务,如QA和字幕,再到更多的利基任务,如人机交互检测。GPV-2从Web数据中受益匪浅,在这些基准测试中优于GPV-1和VL-T5。我们的数据、代码和网络演示可在https://prior.allenai.org/projects/gpv2上获得。
2022-07-21 cs.CL cs.CV
Learning Deep Visual Object Models From Noisy Web Data: How to Make it Work
Sapienza Rome University(罗马一大(萨皮恩扎罗马大学));University of Birmingham(伯明翰大学);Department of Computer, Control and Management Engineering(计算机、控制与管理工程系)
深度网络在大规模数据汇集上训练时蓬勃发展。这使得ImageNet在视觉对象分类的深度架构开发中发挥了核心作用。然而,ImageNet是在特定的时间段内创建的,因此它容易老化,以及数据集偏差问题。超越固定的训练数据集将导致更强大的视觉系统,特别是当部署在新环境中的机器人上时,这些机器人必须对它们在那里遇到的物体进行训练。为了实现这一点,摆脱对手动注释器的需求是很重要的。最近的工作已经开始研究如何使用大量的图像在Web上可用的地方手动图像注释。我们通过两个发现为这一研究线索做出了贡献:(1)一项研究将给定水平的噪声标签与两种不同类型噪声的两种深度架构的预期准确性下降相关联,该研究清楚地将GoogLeNet确定为从Web数据中学习的合适架构;(2)基于视觉和自然语言处理概念扩展策略,创建具有最小噪声和最大视觉可变性的Web数据集的配方。通过结合这两个结果,我们获得了一种从Web自动学习强大的深度对象模型的方法。我们确认我们的方法的有效性,通过对象分类实验,使用我们的Web衍生版本的ImageNet上流行的机器人视觉基准数据库,并在移动机器人上的终身对象发现任务。
2017-02-28 cs.CV cs.DB cs.LG
Predicting the Politics of an Image Using Webly Supervised Data
University of Pittsburgh(匹兹堡大学)
新闻媒体塑造了公众舆论,通常,它们所包含的视觉偏见对人类观察者来说是显而易见的。这种偏见可以从不同的媒体来源如何描绘不同的主题或话题中推断出来。在本文中,我们模型视觉政治偏见在当代媒体来源的规模,使用网络监督数据。我们从左倾和右倾新闻来源收集了超过一百万张独特图像和相关新闻文章的数据集,并开发了一种预测图像政治倾向的方法。这个问题特别具有挑战性,因为我们的数据具有巨大的类内视觉和语义多样性。我们提出了一个两阶段的方法来解决这个问题。在第一阶段,模型被迫学习相关的视觉概念,当这些概念与从与图像配对的文章中计算出的文档嵌入相结合时,使模型能够预测偏差。在第二阶段,我们去除了对文本域的要求,并从前一个模型的特征中训练一个视觉分类器。我们表明,这种两阶段的方法有助于学习,并优于几个强大的基线。我们还提出了大量的定性结果,证明了数据的细微差别。
2019-10-31 cs.CV cs.LG
CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data
Apple(苹果公司)
本文提出CatLIP方法,将Web级图文数据预训练重构为分类任务以避免成对相似度计算,在实现2.7倍训练加速的同时,于检测和分割等视觉任务中保持了CLIP级的高表示质量。
2024-04-24 cs.AI cs.CL cs.CV
VIS-iTrack: Visual Intention through Gaze Tracking using Low-Cost Webcam
Islamic University of Technology(伊斯兰技术大学);University of Manitoba(曼尼托巴大学);National University, Bangladesh(孟加拉国国立大学)
人的意图是获取所需信息的内在心理表征。从包含文本或图形信息的交互式界面,感知所需信息的意图是主观的,并与眼睛注视密切相关。在这项工作中,我们确定这样的意图,通过分析实时眼睛凝视数据与低成本的常规摄像头。我们提取了独特的特征(例如,固定计数,眼动比),以生成包含用于感知文本或图形信息的视觉意图的124个样本的数据集,标记为文本或图像,分别具有48.39%和51.61%的分布。使用该数据集,我们分析了5个分类器,包括支持向量机(SVM)(准确率:92.19%)。使用训练好的SVM,我们调查了30名参与者的视觉意图的变化,分布在3个年龄组,发现年轻用户更倾向于图形内容,而老年人对文本内容更感兴趣。这一发现表明,实时眼睛注视数据可以是识别视觉意图的潜在来源,分析可以设计和开发哪些意图感知交互界面以促进人类认知。
2022-02-05 cs.CV cs.HC cs.LG
VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents
University of Arizona(亚利桑那大学);Zoom;Stony Brook University(石溪大学)
提出VISTA基准,通过多维度输入条件和评估指标,衡量基于LLM的智能体从视觉规格生成功能完整、视觉一致的网页应用的能力。
2026-10-09 cs.AI cs.CV cs.SE
CAPro: Webly Supervised Learning with Cross-Modality Aligned Prototypes
Tencent YouTu Lab(腾讯优图实验室);ByteDance(字节跳动);Shanghai Jiao Tong University(上海交通大学);Xiamen University(厦门大学)
提出跨模态对齐原型框架CAPro,利用文本原型和视觉特征空间处理网络数据中的标签噪声,通过集体引导优化原型,在WebVision1k和NUS-WIDE上取得最先进性能。
2023-10-15 cs.AI cs.CV
Web image annotation by diffusion maps manifold learning algorithm
Islamic Azad University(伊斯兰阿扎德大学)
图像自动标注是机器视觉领域最具挑战性的问题之一。该任务的目标是自动预测在真实数据中捕获的图像的关键字数量。许多方法是基于视觉特征,以计算图像样本之间的相似性。但是这些方法的计算成本非常高。这些方法需要将许多训练样本存储在存储器中。为了减轻这种负担,已经开发了许多技术来减少数据集中的特征数量。流形学习是一种流行的非线性降维方法。在本文中,我们研究扩散映射流形学习方法的Web图像自动标注任务。采用扩散映射流形学习方法对部分视觉特征进行降维。在NUS-WIDE-LITE Web图像数据集上进行的大量实验和分析表明,这种流形学习降维方法可以有效地应用于图像标注。
2014-12-08 cs.CV cs.IR cs.LG
MM-WebAgent: A Hierarchical Multimodal Web Agent for Webpage Generation
Shanghai Jiao Tong University(上海交通大学);Xi'an Jiaotong University(西安交通大学);Tongji University(同济大学);Microsoft Corporation(微软公司)
本文提出MM-WebAgent,一种分层多模态网页生成框架,通过分层规划和迭代自反思协调AIGC元素生成,提升网页全局布局与视觉一致性。
2026-04-16 cs.AI cs.CL cs.CV
Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrieval
University of California, Riverside(加州大学河滨分校)
视觉数据和自然语言描述之间的跨模态检索一直是多媒体领域的一个挑战。虽然最近的图像-文本检索方法通过学习跨模态对齐的深度表示提供了很大的希望,但这些方法中的大多数都受到小规模数据集的训练问题的困扰,这些小规模数据集覆盖了有限数量的具有地面真理句子的图像。此外,通过用句子注释数百万张图像来创建更大的数据集是非常昂贵的,并且可能导致有偏见的模型。受最近深度神经网络中Web监督学习的成功启发,我们利用带有噪声注释的现成Web图像来学习鲁棒的图像-文本联合表示。具体来说,我们的主要想法是利用Web图像和相应的标签,以及完全注释的数据集,来训练学习视觉语义联合嵌入。我们提出了一个两阶段的任务,可以增强一个典型的监督成对排序损失为基础的配方与弱注释的网络图像学习更强大的视觉语义嵌入。两个标准的基准数据集上的实验表明,我们的方法实现了显着的性能增益相比,国家的最先进的方法在图像-文本检索。
2018-08-23 cs.CV cs.IR cs.MM
PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation
提出PixelRAG方法,以网页截图替代文本进行检索和阅读,利用视觉嵌入模型和对比学习,在30M截图库上实现端到端RAG,在多项任务中优于文本基线,准确率提升最高18.1%,并通过图像压缩降低3倍token成本。
2026-06-01 cs.AI cs.CL cs.CV