Learning from Large-scale Noisy Web Data with Ubiquitous Reweighting for Image Classification
Beihang University(北京航空航天大学);Shenzhen Cyberspace Laboratory(深圳网络空间实验室);Peking University(北京大学);Baidu(百度)
深度学习技术的许多进步都源于在大规模数据集上解决图像分类任务的努力。然而,这种干净的数据集的建设是昂贵的和耗时的,因为互联网是不堪重负的嘈杂的图像与不充分和不准确的标签。在本文中,我们提出了一个无处不在的重新加权网络(URNet),学习图像分类模型,从大规模的噪声数据。通过观察网络数据,我们发现有五个关键挑战,即,不平衡的类大小、高的类内多样性和类间相似性、不精确的实例、不充分的代表性实例以及模糊的类标签。为了缓解这些挑战,我们假设每个训练实例都有可能通过根据不同的类大小,大实例集群,其置信度,小实例包和标签重新加权每个实例的影响来减轻数据偏差和噪声。通过这种方式,可以逐渐减轻Web数据中的偏差和噪声的影响,从而稳步提高URNet的性能。在WebVision 2018挑战赛中,使用来自5000个类别的1600万张噪声训练图像的实验结果表明,我们的方法优于最先进的模型,并在图像分类任务中排名第一。
2019-04-03 cs.CV
On Deep Representation Learning from Noisy Web Images
CEA LIST(法国原子能与替代能源委员会信息实验室)
不断增长的Web图像内容可能是扩展深度神经网络的下一个重要数据源,最近在ImageNet分类挑战和相关任务中取得了巨大成功。然而,由于其监督机制,这种前景尚未在卷积网络(convnet)上得到验证-这是表现最好的深度模型之一。虽然无监督替代方案在将学习模型推广到新领域方面不如convnet好,但我们使用convnet来利用半监督表示学习。我们的方法是使用大量的未标记和嘈杂的Web图像训练convnets作为一般的特征检测器,尽管来自数据的挑战,如高水平的错误标记的数据,离群值,和数据偏差。在几个数据规模,不同的网络架构和数据重新排序技术进行了广泛的实验。在各种主题的九个公共数据集上评估学习的表示。我们在314万张Web图像上训练的convnets获得的最佳结果优于在ILSVRC 2012的120万张干净图像上训练的AlexNet,并且正在缩小与VGG-16的差距。这些突出的结果表明了在实践中使用深度学习的预算解决方案,并激励了半监督表示学习的更多研究。
2016-07-15 cs.CV cs.MM
Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
Apple(苹果公司)
Weblica提出一种可扩展且可重复的视觉网络代理训练框架,通过HTTP级缓存和LLM环境合成技术,实现大规模多样化的网络环境训练,其最佳模型在多个网络导航基准中表现优异。
2026-05-07 cs.AI cs.CV cs.LG
Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能);Cornell University(康奈尔大学)
在噪声数据上执行受控实验对于理解跨噪声水平的深度学习至关重要。由于缺乏合适的数据集,以前的研究只在受控的合成标签噪声上研究了深度学习,而现实世界的标签噪声从未在受控环境中进行过研究。本文有三个贡献。首先,我们建立了第一个来自网络的受控真实世界标签噪声的基准。这个新的基准测试使我们能够第一次在受控设置中研究Web标签噪声。第二个贡献是一个简单但有效的方法来克服合成和真正的噪声标签。我们表明,我们的方法在我们的数据集以及两个公共基准测试(CIFAR和WebVision)上取得了最佳结果。第三,我们进行了迄今为止最大规模的研究,以了解在不同噪声水平、噪声类型、网络架构和训练设置的噪声标签上训练的深度神经网络。数据和代码发布于以下链接:http://www.lujiang.info/cnlw.html
2020-08-27 cs.CV cs.LG stat.ML
MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Virginia Tech(弗吉尼亚理工大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
MERRIN基准评估搜索增强代理在噪声网络环境中的多模态证据检索与推理能力,通过自然语言查询和多模态证据检索测试,发现现有模型在复杂任务中表现有限,需进一步提升多模态处理能力。
2026-04-15 cs.AI cs.CL cs.CV
On Web-based Visual Corpus Construction for Visual Document Understanding
NAVER CLOVA;Upstage AI
针对视觉文档理解领域公开视觉语料库匮乏的问题,提出数据集生成引擎Webvicob,可基于维基百科HTML转储构建大规模多语言语料,用其百万级数据训练的模型在DocVQA任务3上效果优于千万级的IIT-CDIP数据集。
2023-05-02 cs.AI cs.CV cs.LG
Learning to Generate Diverse Pedestrian Movements from Web Videos with Noisy Labels
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出从网络视频中学习生成多样化行人运动,构建了CityWalkers数据集并提出了PedGen生成模型,通过自动标签过滤、掩码嵌入和3D上下文编码器利用噪声标签与上下文因素,在真实与模拟环境中实现了优于基线方法的性能及零样本泛化。
2024-10-10 cs.CV
Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis
University of Rochester(罗切斯特大学)
视觉情感分析近年来受到越来越多的关注。然而,数据集的质量是一个问题,因为情感标签是众包的,主观的,容易出错,并对数据驱动的模型构成严重威胁,特别是深度神经网络。当被训练为过度拟合带有噪声情感标签的训练样本时,深度模型在测试案例上的泛化能力很差。受噪声标签学习的最新进展的启发,我们提出了一种鲁棒的学习方法来执行鲁棒的视觉情感分析。我们的方法依赖于外部存储器来在训练过程中聚合和过滤噪声标签。存储器由具有相应标签的原型组成,可以在线更新。学习的原型及其标签可以被视为局部区域的去噪特征和标签,并且可以指导训练过程以防止模型过度拟合噪声情况。我们建立了一个基准的视觉情感分析与标签噪声使用公开的数据集。在所提出的基准测试环境下的实验结果全面验证了该方法的有效性。
2022-01-27 cs.CV cs.LG
Fine-grained Classification using Heterogeneous Web Data and Auxiliary Categories
Rice University(莱斯大学)
细粒度分类仍然是一个非常具有挑战性的问题,因为缺乏良好的标记训练数据造成的注释大量的细粒度类别的高成本。在极端情况下,给定一组测试类别,而没有任何标记良好的训练数据,现有的大多数工作可以分为以下两个研究方向:1)抓取测试类别的带噪声标记的Web数据作为训练数据,这被称为Web监督学习; 2)将带有良好标记的训练数据的辅助类别中的知识转移到测试类别中,这对应于零样本学习设置。尽管如此,上述两个研究方向仍有关键问题需要解决。对于第一个方向,web数据具有噪声标签并且与测试数据的数据分布相当不同。对于第二个方向,与传统的监督学习相比,零样本学习正在努力实现令人信服的结果。上述两个方向的问题促使我们开发一种新的方法,该方法可以联合利用来自测试类别的带噪网络训练数据和来自辅助类别的标记良好的训练数据。特别地,一方面,我们抓取测试类别的Web数据作为噪声训练数据。另一方面,我们借助自由语义信息(例如,向量)的所有类别。此外,考虑到web数据通常与附加文本信息(例如,标题和标签),我们通过使用Web数据的周围文本信息作为特权信息来扩展我们的方法。大量的实验表明,我们提出的方法的有效性。
2018-11-19 cs.CV
WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks
Microsoft(微软);UIUC(伊利诺伊大学香槟分校);CMU(卡内基梅隆大学)
WebGym通过大规模现实任务和异步轨迹采样系统提升视觉网络代理训练效果,使基座模型在分布外测试集上的成功率显著提升。
2026-05-02 cs.CV cs.LG
Weakly Supervised Learning with Side Information for Noisy Labeled Images
Machine Intelligence Technology Lab, Damo Academy, Alibaba Group(阿里巴巴达摩院机器智能技术实验室)
在许多现实世界的数据集中,如WebVision,基于DNN的分类器的性能往往受到噪声标记数据的限制。为了解决这个问题,一些与图像相关的辅助信息,如标题和标签,通常会揭示图像之间的潜在关系。在本文中,我们提出了一个有效的弱监督学习,通过使用边信息网络(SINet),其目的是有效地进行大规模的分类与严重的噪音标签。建议SINet由一个视觉原型模块和噪声加权模块。视觉原型模块旨在通过引入辅助信息为每个类别生成紧凑的表示。噪声加权模块旨在估计每个噪声图像的正确性,并在训练过程中产生用于图像排名的置信度得分。提出的SINet算法可以很大程度上缓解图像标签噪声带来的负面影响,有利于训练高性能的CNN分类器.此外,我们还发布了一个名为AliProducts的细粒度产品数据集,其中包含通过使用从50,000个细粒度语义类生成的查询从互联网上抓取的超过250万张嘈杂的Web图像。在几个流行的基准测试(即Webvision,ImageNet和Clothing-1 M)上进行了广泛的实验,我们提出的AliProducts实现了最先进的性能。SINet在WebVision Challenge 2019的分类任务中获得第一名,并大幅超越其他竞争对手。
2020-09-04 cs.CV
WebVision Database: Visual Learning and Understanding from Web Data
Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);Google Switzerland(谷歌瑞士)
在本文中,我们提出了一个研究学习视觉识别模型,从大规模的噪声网络数据。我们构建了一个名为WebVision的新数据库,其中包含通过使用从基准ILSVRC 2012数据集的1,000个语义概念生成的查询从互联网上抓取的超过$2.4$万个Web图像。Meta信息以及那些web图像(例如,标题、描述、标签等)也是爬行的。还提供了包含人类注释图像的验证集和测试集,以促进算法开发。基于我们的新数据库,我们获得了一些有趣的观察结果:1)嘈杂的网络图像足以训练一个良好的深度CNN模型进行视觉识别; 2)从我们的WebVision数据库学习的模型在转移到新的数据集和任务时,表现出与ILSVRC 2012数据集训练的模型相当甚至更好的泛化能力; 3)领域自适应问题(也称为,数据集偏差),这意味着该数据集可以用作视觉领域自适应的最大基准数据集。我们新的WebVision数据库和相关研究将有利于学习最先进的视觉模型,并基于Web数据进行最少的监督。
2017-08-09 cs.CV
Attend in groups: a weakly-supervised deep learning framework for learning from web data
The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
大规模数据集推动了用于视觉识别的深度神经网络的快速发展。然而,注释大量数据集是昂贵且耗时的。相比之下,Web图像及其标签更容易获得,但在这种自动采集的图像上直接训练可能会导致不满意的性能,因为Web图像的嘈杂标签会对学习的识别模型产生不利影响。为了解决这个缺点,我们提出了一个端到端的弱监督深度学习框架,它对Web图像中的标签噪声具有鲁棒性。所提出的框架依赖于两个统一的策略-随机分组和注意-有效地减少嘈杂的Web图像注释的负面影响。具体来说,随机分组将多个图像堆叠到单个训练实例中,从而提高了实例级别的标记准确性。另一方面,注意力抑制来自不正确标记的图像和较少区分的图像区域的噪声信号。通过对两个具有挑战性的数据集进行密集的实验,包括一个新收集的细粒度数据集,其中包含不同车型的Web图像,清楚地证明了所提出的方法优于竞争基线的优越性能。
2016-11-30 cs.CV
Learning without Prejudice: Avoiding Bias in Webly-Supervised Action Recognition
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Padova(帕多瓦大学)
Webly-监督学习最近出现作为传统监督学习的替代范例,其基于具有手动注释的大规模数据集。关键的想法是,像CNN这样的模型可以从网络上的嘈杂视觉数据中学习。在这项工作中,我们的目标是利用网络数据的视频理解任务,如动作识别和检测。网络监督学习的主要问题之一是从网络中清除带噪声的标记数据。最先进的范例依赖于在噪声数据上训练第一分类器,然后用于清理剩余的数据集。我们的关键见解是,这个过程使第二个分类器偏向于第一个分类器理解的样本。在这里,我们训练两个独立的CNN,一个是基于Web图像和视频帧的RGB网络,另一个是使用来自光流的时间信息的网络。我们表明,独立训练网络远远优于使用我们的RGB网络为流分类器选择帧。此外,我们还展示了从异构公共Web数据库中使用不同数据源丰富训练集的好处。我们证明了我们的框架在两个公共基准(UCF-101和Thumos'14)上优于所有其他webly监督方法。
2017-06-14 cs.CV
A Large Visual, Qualitative and Quantitative Dataset of Web Pages
Central University of Ecuador(厄瓜多尔中央大学);Institute for Computer Research(计算机研究所);University of Alicante(阿利坎特大学)
万维网不仅是目前最重要的通信和信息平台之一,而且也是科学研究日益感兴趣的领域。这激发了大量需要大量数据的工作和项目。但是,没有一个数据集可以集成Web页面的参数和视觉外观,因为它的收集在时间和精力方面都是一项昂贵的任务。在各种计算机工具和编程脚本的支持下,我们创建了一个包含49,438个网页的大型数据集。它由视觉,文本和数字数据类型组成,包括全球所有国家,并考虑了广泛的主题,如艺术,娱乐,经济,商业,教育,政府,新闻,媒体,科学和环境,涵盖不同的文化特征和各种设计偏好。在本文中,我们描述了收集,调试和发布的最终产品,这是免费提供的过程。为了证明我们的数据集的有用性,我们暴露了一个二进制分类模型检测错误的网页,和一个多类的Web主题为基础的分类,这两个问题使用卷积神经网络。
2021-05-15 cs.CV cs.LG
Addressing out-of-distribution label noise in webly-labelled data
Dublin City University(都柏林城市大学)
深度学习社区的一个反复关注的焦点是减少标记工作。使用搜索引擎进行数据收集和注释是生成完全人工注释和人工收集的数据集的简单替代方案。虽然网络抓取是非常有时间效率的,但一些检索到的图像是非常嘈杂的,即不正确的标记。设计健壮的算法来训练从网络上收集的噪声数据是一个重要的研究视角,这将使数据集的构建变得更容易。在本文中,我们进行了一项研究,以了解使用搜索引擎构建数据集时预期的标签噪声类型。我们回顾了目前的限制,国家的最先进的方法来处理嘈杂的标签的图像分类任务的情况下,网络噪声分布。我们提出了一个简单的解决方案,使用动态软化分布外样本(DSOS)来弥合完全干净的数据集的差距,我们在CIFAR-100数据集的损坏版本上设计了该解决方案,并与最先进的算法进行了比较网络噪声扰动MiniImageNet和斯坦福数据集以及真实标签噪声数据集:WebVision 1.0和Clothing 1 M。我们的工作是完全可复制的https://git.io/JKGcj
2021-10-26 cs.CV
ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections
UC Merced(加州大学默塞德分校);Google Research(谷歌研究院);Waymo(Waymo公司);Yonsei University(延世大学)
本文提出自监督框架ARTIC3D,利用Stable Diffusion先验和基于骨架的表示,从稀疏含噪野外图像中重建鲁棒、高保真的铰接式3D形状与纹理。
2023-06-07 cs.CV
VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks
Carnegie Mellon University(卡内基梅隆大学)
VisualWebArena 提出一个真实视觉网页任务基准,通过评估多模态 LLM 智能体在图像-文本输入下的规划与执行能力,揭示纯文本与多模态智能体的能力差距,并为构建更强的网页自主智能体提供框架与数据支持。
2024-06-06 cs.CL cs.CV cs.LG
An accurate detection is not all you need to combat label noise in web-noisy datasets
Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);CeADAR: Ireland’s Centre for Applied Artificial Intelligence(CeADAR:爱尔兰应用人工智能中心);Insight Centre for Data Analytics, Dublin City University(都柏林城市大学洞察数据分析中心)
针对网络爬取数据的标签噪声问题,研究发现无监督对比学习下的线性OOD检测无法提升分类精度,提出结合线性分离检测与小损失方法的混合方案,显著提升了真实含噪网络图像分类的SOTA结果。
2024-07-08 cs.CV
Plant identification based on noisy web data: the amazing performance of deep learning (LifeCLEF 2017)
CIRAD, UMR AMAP, France(CIRAD,AMAP联合研究单位,法国);Inria ZENITH team, France(INRIA ZENITH团队,法国);LIRMM, Montpellier, France(LIRMM,蒙彼利埃,法国)
本文介绍LifeCLEF 2017植物识别挑战赛,评估大规模噪声网络数据训练集与专家审核的小型可信数据集在深度学习识别中的性能对比,并总结参赛方法及成果。
2025-09-25 cs.CV
Web-Scale Responsive Visual Search at Bing
Microsoft(微软)
在本文中,我们介绍了一个Web规模的通用视觉搜索系统部署在微软必应。该系统在索引中容纳数百亿张图像,每张图像具有数千个特征,并且可以在不到200 ms内响应。为了克服如此大规模数据的相关性,延迟和可扩展性方面的挑战,我们采用了基于各种最新深度学习视觉特征的级联学习排名框架,并部署在分布式异构计算平台上。定量和定性的实验表明,我们的系统能够支持各种应用程序的Bing网站和应用程序。
2018-02-20 cs.CV
Learning with Neighbor Consistency for Noisy Labels
Google Research(谷歌研究院);University of Adelaide(阿德莱德大学)
深度学习的最新进展依赖于大型标记数据集来训练高容量模型。然而,以节省时间和成本的方式收集大型数据集通常会导致标签噪声。我们提出了一种从噪声标签中学习的方法,该方法利用特征空间中训练样本之间的相似性,鼓励每个样本的预测与其最近的邻居相似。与使用多个模型或不同阶段的训练算法相比,我们的方法采用了一个简单的额外正则化项的形式。它可以被解释为一个归纳版本的经典,转导标签传播算法。我们在评估合成(CIFAR-10,CIFAR-100)和现实(mini-WebVision,WebVision,Clothing 1 M,mini-ImageNet-Red)噪声的数据集上彻底评估了我们的方法,并在所有这些数据集上实现了具有竞争力或最先进的精度。
2022-07-06 cs.CV cs.LG
WebVR: Benchmarking Multimodal LLMs for WebPage Recreation from Videos via Human-Aligned Visual Rubrics
StepFun;Tsinghua University(清华大学)
WebVR通过人类对齐的视觉标准评估多模态大语言模型从视频中重建网页的能力,包含175个多样化网页,展示了模型在细节风格和运动质量上的显著差距。
2026-03-11 cs.CV
WebRPG: Automatic Web Rendering Parameters Generation for Visual Presentation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出WebRPG任务,基于HTML自动生成网页视觉呈现参数,构建新数据集与VAE基线模型,以加速网页设计流程。
2024-07-22 cs.CV
Harnessing Webpage UIs for Text-Rich Visual Understanding
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);University of Waterloo(滑铁卢大学)
本文提出利用文本大模型从网页UI合成多模态指令,构建MultiUI数据集(730万样本)训练多模态模型,显著提升文本丰富视觉理解,并在网页、文档、OCR等任务上表现优异。
2024-11-06 cs.CL cs.CV
OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents
UIUC(伊利诺伊大学香槟分校);Microsoft(微软)
提出OpenWebRL框架,通过在线多轮强化学习在真实网站上训练视觉网络代理,以4B参数模型在基准测试中达到开源最优,并与闭源系统竞争。
2026-06-04 cs.AI cs.CL cs.CV
CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images
Malong Technologies(码隆科技);Shenzhen Malong Artificial Intelligence Research Center(深圳码隆人工智能研究中心)
我们提出了一种简单而有效的方法,能够在大规模弱监督网络图像上训练深度神经网络,这些图像是通过使用文本查询从互联网上原始抓取的,无需任何人工注释。我们通过利用课程学习开发了一个有原则的学习策略,目标是有效地处理大量的噪声标签和数据不平衡。我们设计了一个新的学习课程,通过测量数据的复杂性,使用其在特征空间中的分布密度,并在一个无监督的方式排名的复杂性。这允许在大规模网络图像上有效地实施课程学习,从而产生高性能的CNN模型,其中噪声标签的负面影响被大幅降低。重要的是,我们通过实验表明,那些具有高噪声标签的图像可以通过作为正则化的方式来惊人地提高模型的泛化能力。我们的方法在四个基准测试中获得了最先进的性能:WebVision,ImageNet,Clothing-1 M和Food-101。通过多个模型的集成,我们在WebVision挑战中实现了5.2%的前5名出错率,用于1000个类别的分类。这个结果是最好的表现了很大的差距,超过了近50%的相对出错率第二位。代码和模型可在https://github.com/MalongTech/CurriculumNet上获得。
2018-10-18 cs.CV
Product Image Recognition with Guidance Learning and Noisy Supervision
Southwest Jiaotong University(西南交通大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院);University of Massachusetts at Amherst(马萨诸塞大学阿默斯特分校);Vipshop Inc.(唯品会公司)
本文认为,从日常照片,这是一个重要的问题,在现实世界中的应用程序,但也具有挑战性,由于背景杂乱,类别dilibrium,嘈杂的标签等,我们解决这个问题的两个贡献。首先,我们介绍了一种新的大规模产品图像数据集,称为Product-90。我们利用网络的优势,从几个电子商务网站的评论中下载图像,而不是通过劳动和时间密集型的图像捕获来收集产品图像,这些图像是由消费者随意捕获的。标签由电子商务网站的类别自动分配。Product-90包含90个类别的14万多张图片。由于消费者可能会上传不相关的图像,我们的Product-90不可避免地会引入嘈杂的标签。作为第二个贡献,我们开发了一个简单而有效的\textit{guidance learning}(GL)方法训练卷积神经网络(CNN)与噪声监督。GL方法首先用完整的噪声数据集训练初始教师网络,然后以多任务方式用大规模噪声集和小规模手动验证的干净集训练目标/学生网络。具体而言,在学生网络训练阶段,大规模噪声数据由其指导知识进行监督,该指导知识是其给定的噪声标签和教师网络的软化标签的组合。我们在我们的Products-90和公共数据集上进行了广泛的实验,即Food-101,Food-101 N和Clothing 1 M。我们的指导学习方法在这些数据集上实现了优于最先进方法的性能。
2019-07-26 cs.CV
Confluent-Drawing Parallel Coordinates: Web-Based Interactive Visual Analytics of Large Multi-Dimensional Data
Norwegian University of Science and Technology(挪威科技大学)
平行坐标图是一种最流行和最广泛使用的多维数据可视化技术。它对大规模数据集的主要挑战是视觉混乱和过度绘制,这妨碍了对数据中模式和趋势的识别。本文提出了一种平行坐标汇流绘制方法,以支持基于Web的大型多维数据交互式可视化分析。该方法通过对每个维度进行基于数据分箱的聚类,将多维数据映射到节点链接图。它使用基于密度的融合绘制来可视化集群和边缘,以减少视觉混乱和过度绘制。其呈现时间与数据项的数量无关。它支持大型数据集的交互式可视化,而无需在普通Web浏览器中进行硬件加速。此外,我们设计了交互来控制数据分仓过程,以支持大型多维数据集的交互式可视化分析。基于所提出的方法,我们实现了一个基于Web的可视化分析应用。所提出的方法的效率进行了检查,通过几个数据集上的实验。该方法的有效性进行了评估,通过用户研究,其中两个典型的任务的平行坐标绘图由参与者进行比较,所提出的方法与另一种平行坐标捆绑技术。实验结果表明,该方法显著提高了大型多维数据的基于Web的交互式可视化分析能力。
2019-06-14 cs.CV cs.HC
WebQA: Multihop and Multimodal QA
Carnegie Mellon University(卡内基梅隆大学);Microsoft, Bing Search(微软必应搜索);Microsoft Research(微软研究院)
将视觉问答(VQA)扩展到Web搜索的开放域和多跳性质,需要在视觉表示学习、知识聚合和语言生成方面取得根本性进展。在这项工作中,我们介绍了WebQA,一个具有挑战性的新基准,证明了大规模的国家的最先进的模型,缺乏语言接地的视觉表示新的对象和推理能力,但对人类来说微不足道的困难。WebQA反映了人类使用网络的方式:1)提出问题,2)选择要聚合的来源,3)产生流利的语言响应。这是我们应该期待物联网设备和数字助理的行为。现有的工作更倾向于假设模型可以在图像或文本中推理知识。WebQA包括一个次要的纯文本QA任务,以确保提高视觉性能不会以语言理解为代价。我们对社区的挑战是创建统一的多模态推理模型,无论源模态如何,都能回答问题,使我们更接近数字助理,不仅能查询查询语言知识,还能提供更丰富的视觉在线世界。
2022-03-28 cs.AI cs.CL cs.CV
Web Table Classification based on Visual Features
Hector Research Institute of Education Sciences and Psychology, University of Tübingen(蒂宾根大学赫克托教育科学与心理学研究所);University of Mannheim(曼海姆大学)
网络上的表格构成了许多应用程序的宝贵数据源,如事实搜索和知识库扩充。然而,由于真正的表只占一小部分的表在Web上的关系知识,可靠的真正的Web表分类是至关重要的第一步表提取。以前的作品通常依赖于HTML代码的显式特征构造。相比之下,我们提出了一种Web表格分类的方法,利用完整的视觉外观的表,它的工作原理纯粹是通过应用卷积神经网络的渲染图像的Web表格。由于这些视觉特征可以自动提取,我们的方法规避了显式特征构建的需要。为此任务生成了一个新的手工标记的黄金标准数据集,其中包含13,112个表的HTML源代码和图像。将迁移学习技术应用于众所周知的VGG 16和ResNet 50架构。使用微调的ResNet50(F1 93.29%)对CNN图像分类进行的评估表明,这种方法实现了与使用显式定义的基于HTML代码的特征的先前解决方案相当的结果。通过结合视觉和显式特征,随机森林分类可以实现93.70%的F测量,这击败了当前最先进的方法。
2021-02-25 cs.CV
Learning Visual N-Grams from Web Data
University of Maryland(马里兰大学);Facebook AI Research(Facebook人工智能研究院)
现实世界的图像识别系统需要识别成千上万的类别,这些类别构成了过多的视觉概念。在这种情况下,为每个类标注数千张图像进行训练的传统方法是不可行的,这促使人们使用网络监督数据。本文探讨了图像识别系统在大量图像和相关用户评论上的训练。特别是,我们开发了视觉n-gram模型,可以预测与图像内容相关的任意短语。我们的视觉n-gram模型是使用新的损失函数训练的前馈卷积网络,这些损失函数受到语言建模中常用的n-gram模型的启发。我们展示了我们的模型在短语预测,基于短语的图像检索,相关的图像和字幕,和zero-shot传输的优点。
2017-08-06 cs.CV
Dual-View Visual Contextualization for Web Navigation
The Ohio State University(俄亥俄州立大学)
本文提出利用网页截图中HTML元素的文本与视觉双视图及其邻居元素进行上下文建模,以增强网页导航智能体的动作决策能力,并在Mind2Web数据集上验证了该方法在跨任务、跨网站和跨领域场景下均优于基线。
2024-03-30 cs.AI cs.CL cs.CV
WebVision Challenge: Visual Learning and Understanding With Web Data
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了2017年WebVision挑战赛,这是一个公共图像识别挑战赛,专为基于Web图像的深度学习而设计,没有实例级人工注释。遵循之前的视觉挑战赛的精神,例如ILSVRC,Places2和PASCAL VOC,通过为社区提供用于模型设计和标准化基准测试的大规模注释数据,在计算机视觉的发展中发挥了关键作用,我们为这次挑战赛贡献了一个大规模的网络图像数据集,并与CVPR 2017共同举办了一个公开比赛。WebVision数据集包含超过$2.4$万个Web图像,这些图像是通过使用从基准ILSVRC 2012数据集的$1,000$语义概念生成的查询从互联网上抓取的。还包括Meta信息。还提供了包含人类注释图像的验证集和测试集,以促进算法开发。2017年WebVision挑战赛包括两个轨道,WebVision测试集上的图像分类任务,以及PASCAL VOC 2012数据集上的迁移学习任务。在本文中,我们描述了数据汇集和注释的细节,突出了数据集的特点,并介绍了评估指标。
2017-05-16 cs.CV
CoVA: Context-aware Visual Attention for Webpage Information Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
网页信息抽取是建立知识库的重要步骤。为此,经典的WIE方法利用网站的文档对象模型(DOM)树。然而,DOM树的使用带来了巨大的挑战,因为上下文和外观是以抽象的方式编码的。为了解决这一挑战,我们建议重新制定WIE作为一个上下文感知的网页目标检测任务。具体来说,我们开发了一个上下文感知的基于视觉注意力(CoVA)的检测管道,它结合了外观特征和DOM树的语法结构。为了研究这种方法,我们收集了一个新的大规模电子商务网站数据集,我们用四个标签手动注释每个Web元素:产品价格,产品标题,产品图像和背景。在这个数据集上,我们证明了所提出的CoVA方法是一个新的具有挑战性的基线,它改进了现有的最先进的方法。
2021-10-24 cs.AI cs.CL cs.CV
VaaWIT: Visual-Aware Adaptation of Large Language Models for Multilingual Web Image Translation
The Hong Kong University of Science(香港科技大学);Tianjin University(天津大学);Tsinghua University(清华大学)
针对网页图像翻译中视觉表示差距问题,提出VaaWIT框架,通过双流注意力模块和视觉感知适配器,实现大语言模型对细粒度视觉特征的动态融合,在多个基准上超越开源模型并接近闭源模型性能。
2026-05-23 cs.AI cs.CV
Classifier-Guided Visual Correction of Noisy Labels for Image Classification Tasks
Ulm University(乌尔姆大学)
训练数据在机器学习的现代应用中起着至关重要的作用。然而,收集标记的训练数据是耗时的。因此,标签通常外包给经验不足的用户,或完全自动化。这会引入错误,从而损害有价值的训练数据,并导致次优的训练结果。因此,我们提出了一种新的方法,使用预先训练的分类器的力量,在视觉上引导用户嘈杂的标签,并让他们交互检查错误的候选人,迭代地提高训练数据集。为了系统地调查训练数据,我们提出了一个分类的标签错误分为三种不同类型,标签采集过程中的潜在陷阱的分析的基础上。对于每一种类型,我们提出的方法来检测,原因,并解决错误的候选人,因为我们提出的措施和视觉指导技术,以支持机器学习用户。我们的方法已被用于在著名的机器学习基准数据集中发现错误,我们在用户评估期间测试了其可用性。虽然最初开发的图像,本文提出的技术是独立的分类算法,也可以扩展到许多其他类型的训练数据。
2020-04-06 cs.CV cs.HC cs.LG
CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data
Apple(苹果公司)
本文提出CatLIP方法,将Web级图文数据预训练重构为分类任务以避免成对相似度计算,在实现2.7倍训练加速的同时,于检测和分割等视觉任务中保持了CLIP级的高表示质量。
2024-04-24 cs.AI cs.CL cs.CV
VIS-iTrack: Visual Intention through Gaze Tracking using Low-Cost Webcam
Islamic University of Technology(伊斯兰技术大学);University of Manitoba(曼尼托巴大学);National University, Bangladesh(孟加拉国国立大学)
人的意图是获取所需信息的内在心理表征。从包含文本或图形信息的交互式界面,感知所需信息的意图是主观的,并与眼睛注视密切相关。在这项工作中,我们确定这样的意图,通过分析实时眼睛凝视数据与低成本的常规摄像头。我们提取了独特的特征(例如,固定计数,眼动比),以生成包含用于感知文本或图形信息的视觉意图的124个样本的数据集,标记为文本或图像,分别具有48.39%和51.61%的分布。使用该数据集,我们分析了5个分类器,包括支持向量机(SVM)(准确率:92.19%)。使用训练好的SVM,我们调查了30名参与者的视觉意图的变化,分布在3个年龄组,发现年轻用户更倾向于图形内容,而老年人对文本内容更感兴趣。这一发现表明,实时眼睛注视数据可以是识别视觉意图的潜在来源,分析可以设计和开发哪些意图感知交互界面以促进人类认知。
2022-02-05 cs.CV cs.HC cs.LG
Self-supervised visual learning for analyzing firearms trafficking activities on the Web
Harokopio University of Athens(雅典哈罗科皮奥大学)
该研究针对网络枪支贩运分析中的视觉分类任务,提出采用自监督学习与视觉Transformer进行评估,以弥补现有迁移学习方法的不足,提升分类性能。
2024-02-06 cs.AI cs.CV
Data-driven Meta-set Based Fine-Grained Visual Classification
Nanjing University of Science and Technology(南京理工大学);University of Adelaide(阿德莱德大学)
构建细粒度的图像数据集通常需要特定领域的专家知识,这对于众包平台注释者来说并不总是可用的。因此,直接从Web图像中学习成为细粒度视觉识别的替代方法。然而,网络训练集中的标签噪声会严重降低模型性能。为此,我们提出了一种基于数据驱动元集的方法来处理有噪声的Web图像进行细粒度识别。具体地说,引导少量的清洁元集,我们训练的选择网络在元学习的方式来区分内和外的分布噪声图像。为了进一步提高模型的鲁棒性,我们还学习了一个标签网络来校正分布中噪声数据的标签。通过这种方式,我们提出的方法可以减轻由分布外噪声造成的有害影响,并适当地利用分布内噪声样本进行训练。在三个常用的细粒度数据集上进行的大量实验表明,我们的方法远远优于最先进的噪声鲁棒方法。
2020-08-06 cs.CV cs.MM
Salvage Reusable Samples from Noisy Data for Robust Learning
Nanjing University of Science and Technology(南京理工大学);Alibaba Group(阿里巴巴集团);AnyVision;University of Technology Sydney(悉尼科技大学)
由于Web图像中标签噪声的存在和深度神经网络的高记忆能力,直接通过Web图像训练深度细粒度(FG)模型往往具有较差的识别能力。在文献中,为了缓解这个问题,损失校正方法试图估计噪声转移矩阵,但不可避免的错误校正会导致严重的累积误差。样本选择方法基于小的损失可以减轻累积误差的事实来识别干净(“容易”)样本。然而,可以提高FG模型鲁棒性的“硬”和错误标记的示例也被丢弃。为此,我们提出了一种基于确定性的可重用样本选择和校正方法,称为CRSSC,用于处理使用Web图像训练深度FG模型时的标签噪声。我们的主要想法是额外识别和纠正可重用的样本,然后利用它们与干净的示例一起更新网络。我们从理论和实验的角度证明了所提出的方法的优越性。
2020-08-06 cs.CV cs.MM
UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学)
研究针对现有网页生成基准测试对交互能力评估不足的问题,引入UI2App基准测试,通过设计端到端管道沿四个维度评估工件,实验发现视觉与交互能力不匹配,复杂交互是瓶颈,为相关研究提供了参考。
2026-10-06 cs.AI cs.CV cs.SE
Seeing through the Human Reporting Bias: Visual Classifiers from Noisy Human-Centric Labels
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院);Microsoft Research(微软研究院)
当人类注释者可以选择在图像中标记什么时,他们会对忽略什么和提及什么做出自己的主观判断。我们将这些嘈杂的“以人为中心”的注释称为表现出人类报告偏见。这种注释的示例包括在照片共享网站上或在包含图像标题的数据集中找到的图像标签和关键字。在本文中,我们使用这些嘈杂的注释学习视觉上正确的图像分类器。这样的注释不使用一致的词汇,并错过了大量的信息存在于图像中,但是,我们证明了这些注释中的噪声表现出结构,可以建模。我们提出了一种算法,以解耦人类的报告偏见从正确的视觉接地标签。我们的结果对于报告“图像中的内容”与“值得说的内容”具有高度的可解释性。“我们通过各种指标和数据集证明了该算法的有效性,包括MS COCO和Yahoo Flickr 100M。我们表现出显着的改进,传统算法的图像分类和图像描述,在某些情况下,现有的方法的性能增加一倍。
2016-04-12 cs.CV
STAR: Noisy Semi-Supervised Transfer Learning for Visual Classification
Concordia University(康考迪亚大学);Décathlon(迪卡侬)
半监督学习(SSL)已被证明可以有效地利用大规模未标记数据来减轻对标记数据的依赖,以便学习更好的模型用于视觉识别和分类任务。然而,最近的SSL方法依赖于数十亿规模的未标记图像数据才能很好地工作。这对于在运行时间、存储器和数据采集方面具有相对较少的未标记数据的任务变得不可行。为了解决这个问题,我们提出了嘈杂的半监督迁移学习,一种有效的SSL方法,集成了迁移学习和自我训练与嘈杂的学生到一个单一的框架,这是专为任务,可以利用未标记的图像数据的规模上千。我们评估我们的方法在二进制和多类分类任务,其目标是确定图像是否显示人们练习运动或运动类型,以及从流行的瑜伽姿势池中识别姿势。大量的实验和消融研究表明,通过利用未标记的数据,我们提出的框架显着提高了视觉分类,特别是在多类分类设置相比,国家的最先进的方法。此外,结合迁移学习不仅提高了分类性能,而且还需要减少6倍的计算时间和5倍的内存。我们还表明,我们的方法提高了视觉分类模型的鲁棒性,即使没有专门优化对抗鲁棒性。
2021-08-18 cs.CV
CAVEN: An Embodied Conversational Agent for Efficient Audio-Visual Navigation in Noisy Environments
MERL(三菱电机研究实验室);UC Riverside(加州大学河滨分校)
本文提出CAVEN框架,通过对话式交互和预算感知决策,在嘈杂环境中实现高效视听导航,显著提升成功率。
2023-12-27 cs.AI cs.CL cs.CV
MIRAGE: Stealthy Visual Prompt Injection for Vulnerability Detection in Web Agents
SDU(山东大学)
提出MIRAGE框架,利用扩散模型在受限区域生成视觉上无害的对抗图像,实现针对多模态大模型Web代理的隐蔽间接提示注入攻击,以检测其视觉漏洞。
2026-10-16 cs.AI cs.CR cs.CV
Impact of Visual Context on Noisy Multimodal NMT: An Empirical Study for English to Indian Languages
Indian Institute of Technology Patna India;Indian Institute of Technology Jodhpur \& Indian Institute of Technology Patna India;Indian Institute of Technology Patna;Indian Institute of Technology Jodhpur \& Indian Institute of Technology Patna
本研究探讨视觉上下文对英语到印度语言多模态NMT的影响,发现在高资源无噪声场景下图像冗余,但在不同噪声水平下视觉特征发挥不同作用,为多模态噪声翻译提供新方向。
2025-06-23 cs.AI cs.CL cs.CV
Enhancing Textbooks with Visuals from the Web for Improved Learning
Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院)
研究利用视觉语言模型自动从网络检索图像增强教科书,构建多领域数据集并将图文分配表述为匹配优化问题,验证了自动分配图像的有效性并发布数据集以促进相关研究。
2023-10-20 cs.CL cs.CV
Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach
Google DeepMind(谷歌DeepMind)
针对网络规模视觉实体识别缺乏干净大规模训练数据的问题,提出利用多模态LLM结合上下文信息推理标注并生成补充内容构建数据集的方法,训练模型在OVEN任务上提升6.9%,达当前最优性能。
2024-10-31 cs.CV
Bridging Visual Affective Gap: Borrowing Textual Knowledge by Learning from Noisy Image-Text Pairs
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);TMCC, College of Computer Science, Nankai University(TMCC,南开大学计算机学院)
本文提出通过学习噪声图像-文本对中的文本知识,弥合视觉情感识别中的情感差距,提升预训练视觉模型的情感感知能力。
2025-11-21 cs.CV
Combining Texture and Shape Cues for Object Recognition With Minimal Supervision
Boston University(波士顿大学)
我们提出了一种新的方法,对象的分类和检测,需要最少的监督,并结合视觉纹理线索和形状信息从免费提供的未标记的网络搜索结果。网络上视觉数据的爆炸式增长可能使几乎任何对象的视觉示例都可以通过网络搜索轻松访问。以前的无监督方法利用来自网络的纹理线索的大规模来源,或来自诸如众包CAD模型的数据的形状信息。我们提出了一个双流深度学习框架,它结合了这些线索,其中一个流从图像搜索数据中学习视觉纹理线索,另一个流从3D CAD模型中学习丰富的形状信息。为了对新图像执行分类或检测,使用后期融合方案组合两个流的预测。我们目前的实验和可视化的标准基准PASCAL VOC 2007年的任务,以证明纹理和形状在我们的模型提供补充信息。我们的方法优于以前的基于Web图像的模型,基于3D CAD模型的方法和弱监督模型。
2016-09-14 cs.CV
MolmoWeb: Open Visual Web Agent and Open Data for the Open Web
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本文提出MolmoWeb,一个开放的多模态网络代理,通过公开的浏览器任务演示和网页GUI感知数据,实现状态-of-the-art的网络代理性能,促进开放研究。
2026-04-09 cs.CV
Webly Supervised Concept Expansion for General Purpose Vision Models
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通用视觉(GPV)系统是设计用于解决各种视觉任务而无需更改架构的模型。今天,GPV主要从大型全监督数据集学习技能和概念。通过获取数据来学习每个技能的每个概念,将GPV扩展到数万个概念,这很快就变得令人望而却步。这项工作提供了一种有效且廉价的替代方案:从监督数据集中学习技能,从网络图像搜索中学习概念,并利用GPV的一个关键特性:跨技能传输视觉知识的能力。我们使用了一个包含10 k+视觉概念的1 M+图像数据集,在3个基准上展示了两个现有GPV(GPV-1和VL-T5)的网络监督概念扩展:5个基于COCO的数据集(80个主要概念),一个基于OpenImages和VisualGenome存储库的新策划的5个数据集系列(约500个概念),以及Web衍生数据集(10 k+概念)。我们还提出了一个新的架构,GPV-2,支持各种任务-从视觉任务,如分类和本地化,到视觉+语言任务,如QA和字幕,再到更多的利基任务,如人机交互检测。GPV-2从Web数据中受益匪浅,在这些基准测试中优于GPV-1和VL-T5。我们的数据、代码和网络演示可在https://prior.allenai.org/projects/gpv2上获得。
2022-07-21 cs.CL cs.CV