BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models
Boston University(波士顿大学);Sony Group Corporation(索尼集团公司)
BabyVLM-V2通过纵向多维预训练集、灵活模型和DevCV工具箱,提升婴儿启发式视觉语言模型性能,实验证明其在基准测试中表现优异。
2026-03-29 cs.AI cs.CV
Open-VICO: An Open-Source Gazebo Toolkit for Vision-based Skeleton Tracking in Human-Robot Collaboration
Istituto Italiano di Tecnologia(意大利技术研究院);Politecnico di Milano(米兰理工大学)
仿真工具对于机器人研究至关重要,特别是对于那些安全至关重要的领域,例如人机协作(HRC)。然而,它是具有挑战性的,以模拟人类的行为,现有的机器人模拟器没有集成功能的人类模型。这项工作介绍了Open-VICO,这是一个开源工具包,用于在Gazebo中集成虚拟人体模型,重点关注基于视觉的人体跟踪。特别是,Open-VICO允许在同一个仿真环境中结合逼真的人体运动学模型,多摄像机视觉设置和人体跟踪技术以及众多的机器人和传感器模型,这要归功于Gazebo。将预先记录的人体骨骼运动与运动捕捉系统相结合的可能性拓宽了人机交互(HRI)设置中人类行为分析的前景。为了描述功能并强调工具包的潜力,从该领域的相关文献挑战中选择了四个具体示例,使用我们的模拟工具开发:i)模拟中的3D多RGB-D相机校准,ii)基于OpenPose创建合成人体骨骼跟踪数据集,iii)模拟中人体骨骼跟踪的多相机场景,以及iv)人机交互示例。这项工作的关键是创建一个简单的管道,我们希望这将激励研究新的基于视觉的算法和方法,用于轻量级的人类跟踪和灵活的人机应用。
2022-10-04 cs.CV cs.HC cs.RO
Evolve Vision-Language-Action Model into an Agent with On-the-fly Tool-use
Astribot(星舟机器人);Tsinghua University(清华大学);Juxi Tech(矩芯科技);IntelliFusion Inc.(智融公司);The Chinese University of Hong Kong(香港中文大学)
该研究提出带工具使用的智能体机器人(ART)框架,调优VLA模型以利用工具模块,在模拟及真实任务中成功率较基线高20%,为VLA系统实际部署奠定基础。
2026-09-25 cs.AI cs.CV cs.RO
Vision Based Machine Learning Algorithms for Out-of-Distribution Generalisation
Dublin City University(都柏林城市大学)
该研究针对计算机视觉中模型面临分布外数据时性能下降的问题,对比了域特定与域泛化视觉方法,经PACS、Office-Home基准实验验证,简单CNN深度学习方法域泛化能力弱于其他完善方法。
2023-01-17 cs.CV cs.LG
Thinking with Programming Vision: Towards a Unified View for Thinking with Images
Zhejiang University(浙江大学);ByteDance BandAI(字节跳动BandAI)
CodeVision提出一种灵活的代码作为工具框架,通过两阶段训练提升模型对图像变化和多工具推理的鲁棒性,实验显示显著提升性能并促进新兴能力。
2025-12-03 cs.CL cs.CV
Training Multi-Image Vision Agents via End2End Reinforcement Learning
MeiTuan(美团);University of Science and Technology of China(中国科学技术大学)
本文提出IMAgent,通过端到端强化学习训练视觉代理,解决多图像问答任务中的输入限制问题,通过设计视觉反思和验证工具提升模型注意力,首次从注意力角度揭示工具使用对性能的影响。
2026-04-03 cs.AI cs.CV
Flexible Tool Selection through Low-dimensional Attribute Alignment of Vision and Language
Laboratory of Brain Atlas and Brain-inspired Intelligence, Institute of Automation Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所脑图谱与类脑智能实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);School of Systems Science, Beijing Normal University(北京师范大学系统科学学院);School of Psychological and Cognitive Sciences & Beijing Key Laboratory of Behavior and Mental Health, Peking University(北京大学心理与认知科学学院);IDG/McGovern Institute for Brain Research, Peking University(北京大学IDG/ McGovern脑科学研究院);Institute for Artificial Intelligence & Key Laboratory of Machine Perception (Ministry of Education), Peking University(北京大学人工智能研究所);School of Future Technology, University of Chinese Academy of Sciences (UCAS)(中国科学院大学未来技术学院)
本文提出通过低维属性对齐连接视觉工具感知与语言任务理解,构建ToolNet数据集,以较小模型在工具选择任务上达到74%准确率,接近GPT-4o并显著优于直接匹配和较小多模态模型,实现参数高效且可解释的类人工具认知。
2025-08-21 cs.AI cs.CL cs.CV
Towards predicting Pedestrian Evacuation Time and Density from Floorplans using a Vision Transformer
Technical University of Munich(慕尼黑工业大学)
本研究提出一种基于 Vision Transformer 的深度学习方法,可直接从建筑平面图预测行人密度热力图和总疏散时间,通过构建大型合成数据集进行训练,并集成至 BIM 创作工具实现即时自动生成模拟结果,有效解决传统模拟器耗时的瓶颈。
2023-06-27 cs.AI cs.CV
A Pipeline for Vision-Based On-Orbit Proximity Operations Using Deep Learning and Synthetic Imagery
Texas Spacecraft Laboratory(德克萨斯航天器实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在过去的十年里,深度学习已经成为图像处理的黄金标准。与此同时,我们看到人们对轨道活动的兴趣日益浓厚,如卫星维修和碎片清除,这些活动依赖于航天器之间的近距离操作。然而,目前有两个关键挑战对使用深度学习进行基于视觉的在轨邻近操作构成了主要障碍。首先,这些技术的有效实现依赖于一个有效的模型开发系统,该系统可以简化数据整理、训练和评估。其次,缺乏标记的训练数据(目标航天器的图像)阻碍了创建强大的深度学习模型。本文提出了一个开源的深度学习管道,专门为在轨视觉导航应用程序开发,以解决这些挑战。我们工作的核心由两个构建在云架构之上的定制软件工具组成,该云架构将模型开发过程的所有阶段互连起来。第一个工具利用Blender,一个开源的3D图形工具集,生成标记的合成训练数据与可配置的模型姿势(位置和方向),照明条件,背景,和通常观察到的空间图像像差。第二个工具是一个基于插件的框架,用于有效的数据集管理和模型训练;它为所有项目提供了元数据生成和远程存储访问等通用功能,同时为项目特定的代码提供了完全的独立性。耗时的图形密集型流程(如合成图像生成和模型训练)在基于云的计算资源上运行,这些计算资源可扩展到任何范围和预算,并允许从任何机器开发最大的数据集和模型。该系统已在美国德克萨斯州航天器实验室使用,在开发速度和质量方面具有显著的优势。
2021-01-14 cs.CV cs.LG cs.SE
MultiMedEval: A Benchmark and a Toolkit for Evaluating Medical Vision-Language Models
University of Zürich(苏黎世大学)
MultiMedEval通过23个数据集和11个医学领域,评估六种多模态任务,提供开源工具简化VLM评估,促进公平统一的基准测试。
2026-03-18 cs.CV
Personalization Toolkit: Training Free Personalization of Large Vision Language Models
Toyota Motor Europe(丰田欧洲公司)
本文提出无需训练的LVLM个性化方法,通过预训练视觉基础模型提取特征,结合检索增强生成技术实现多概念个性化,适用于图像和视频。
2026-04-28 cs.CV
Estimating 2D Keypoints of Surgical Tools Using Vision-Language Models with Low-Rank Adaptation
University of Aberdeen(阿伯丁大学)
针对小规模医学数据中传统 CNN/Transformer 易过拟合的问题,本文用 LoRA 微调预训练 VLM 并构建提示对齐视觉与语义信息,仅训练两轮即提升手术工具二维关键点检测性能。
2025-08-28 cs.CV
AgenTeeth: A Model-Agnostic Framework for Suppressing Hallucination in Frozen Vision-Language Models on Dental X-Rays via Tool Evidence Injection
Islamic University of Technology(伊斯兰理工大学);Southeast University(东南大学)
AgenTeeth通过七个牙科视觉专家工具注入证据,无需微调即可抑制冻结VLM在牙科X光片上的幻觉,在MMOral-OPG-Bench上提升12.9-23.0个百分点,并超越OralGPT-Plus。
2026-09-17 cs.CV
Seeing the Evidence, Missing the Answer: Tool-Guided Vision-Language Models on Visual Illusions
Wayne State University(韦恩州立大学);University of Michigan(密歇根大学)
本文提出一种工具引导的推理框架,通过通用图像处理工具和提示系统,解决视觉语言模型在处理视觉错觉时的系统性偏差问题,并展示其在不同结构错觉变体上的跨结构泛化能力。
2026-03-31 cs.CV
Image Captioners Are Scalable Vision Learners Too
Google DeepMind(谷歌DeepMind)
本文公平比较图像描述与对比预训练,发现仅用描述训练视觉编码器在分类上相当、在视觉语言任务上更优,且扩展性更好。
2023-12-21 cs.CV
Seeing Cells Clearly: Evaluating Machine Vision Strategies for Microglia Centroid Detection in 3D Images
CSC 249: Machine Vision University of Rochester(机器视觉课程249:罗切斯特大学)
本文评估了ilastik、3D Morph和Omnipose三种工具在3D图像中检测小胶质细胞质心的表现,发现不同工具的识别方式存在差异,会影响后续从图像中提取的信息。
2025-05-07 cs.CV
Njobvu-AI: An open-source tool for collaborative image labeling and implementation of computer vision models
Oregon State University(俄勒冈州立大学);USDA Forest Service, Pacific Northwest Research Station(美国农业部林务局太平洋西北研究站)
针对现有图像标注软件缺乏协作和自定义模型训练功能的问题,开发了开源工具Njobvu-AI,支持本地/在线标注、项目合并、训练自定义算法并实现新模型,适用于野外研究。
2023-08-31 cs.CV
Image Reconstruction as a Tool for Feature Analysis
AIRI Moscow, Russia(莫斯科AIRI机构);MIPT Dolgoprudny, Russia(多尔戈普鲁德尼 MIPT)
提出利用图像重建解释视觉编码器特征的方法,比较 SigLIP 与 SigLIP2,量化不同编码器的信息保留程度,并发现正交旋转控制颜色编码。
2025-06-09 cs.CV
Prompt-Based Caption Generation for Single-Tooth Dental Images Using Vision-Language Models
Marshall University(马歇尔大学);West Virginia State University(西弗吉尼亚州立大学)
本文提出使用视觉-语言模型生成单牙牙科图像标题,解决现有数据集缺乏和标题描述不全面的问题。
2026-03-08 cs.CV
Seeing Is Not Measuring: Tool-Augmented Metric Spatial Reasoning for Vision-Language Models
Technical University of Munich(慕尼黑工业大学)
提出工具增强框架,将度量计算从VLM权重中移出,通过几何工具提升三维空间推理,在ReVSI-Bench三项任务上显著提升,并分离感知与推理误差。
2026-09-25 cs.CV
LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models
Intel Labs(英特尔实验室);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种名为 LVLM-Interpret 的交互式应用程序,旨在增强大型视觉-语言模型中图像块的可解释性并评估其输出基础,通过案例研究展示了其在揭示模型失败机制和系统局限性方面的作用。
2024-06-24 cs.CV
Color-Coded Symbology and New Computer Vision Tool to Predict the Historical Color Pallets of the Renaissance Oil Artworks
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);City University of New York / CSI(纽约城市大学/史泰登岛学院)
本文讨论了文艺复兴时期油画中可能的色彩搭配,预测和分析了艺术家们在油画中使用的色彩的独创性。这个框架的目的是帮助使用色彩符号学和图像增强工具,预测文艺复兴时期油画作品的历史色彩特征。这项工作只是探索文艺复兴时期油画色彩预测的可能性的开始。我们相信,该框架可能是非常有用的预测文艺复兴时期的油画作品和其他艺术品的色彩色彩。第105号的图像取自三位著名艺术家拉斐尔、列奥纳多·达·芬奇和伦勃朗的画作,这些画作可在奥尔加画廊找到。在频域中处理图像以增强图像的质量,并且通过使用新的颜色比率测量来计算和分析原色的比率。
2021-02-27 cs.CV
IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Rendering
CUHK(香港中文大学);TJU(天津大学);EPFL(瑞士联邦理工学院);HKUST(香港科技大学);XMU(厦门大学);MIT(麻省理工学院)
本文提出 IR3D-Bench 基准,通过要求视觉语言智能体(VLAs)主动使用编程和渲染工具重建输入图像的 3D 结构来评估其场景理解能力,揭示了当前 VLMs 在视觉精度上的局限性。
2025-06-29 cs.CV
REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models
Arizona State University(亚利桑那州立大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
针对视觉-语言模型空间推理不足的问题,提出基于3D渲染的REVISION框架生成空间准确图像,并构建RevQA基准,验证其可免训练提升T2I空间一致性。
2024-08-05 cs.CV
AIGCs Confuse AI Too: Investigating and Explaining Synthetic Image-induced Hallucinations in Large Vision-Language Models
Beijing Jiaotong University(北京交通大学);Pengcheng Laboratory(鹏城实验室)
本文研究AI合成图像在大型视觉语言模型中引发的幻觉现象,发现合成图像会导致对象幻觉数量更多且位置分布更均匀,并揭示其源于视觉投影后的token偏差。
2024-09-03 cs.CV
Vision-Aided Radio: User Identity Match in Radio and Video Domains Using Machine Learning
Federal University of Rio de Janeiro(里约热内卢联邦大学);Nokia Bell Labs(诺基亚贝尔实验室)
5G旨在通过支持对不断增长的数据流量和具有不同要求的各种服务的需求,成为通信技术行业的重要推动者和领先的基础设施提供商。深度学习和计算机视觉工具的使用可以通过视觉数据中的信息来提高网络的环境意识。通过计算机视觉工具提取的信息,如用户位置、移动方向和速度,可以迅速用于网络。然而,网络必须有一种机制来匹配视觉和无线电系统中的用户身份。这种机制在目前的文献中是不存在的。因此,我们提出了一个框架来匹配来自视觉和无线电域的信息。这是计算机视觉工具在通信中实际应用的重要一步。我们详细介绍了所提出的设置的建议框架培训和部署阶段。我们使用在不同类型的环境中收集的数据进行了实际实验。这项工作比较了深度神经网络和随机森林分类器的使用,并表明前者在所有实验中表现更好,分类准确率超过99%。
2020-12-14 cs.CV
Prisma: An Open Source Toolkit for Mechanistic Interpretability in Vision and Video
Mila Quebec(蒙特利尔大学);McGill University(麦吉尔大学);Meta;Université de Montréal(蒙特利尔大学);Imperial College London(伦敦帝国理工学院);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫 Heinrich Hertz 研究所);Technological University Dublin(都柏林技术大学);Apollo Research(Apollo 研究所)
Prisma是一个开源视觉机制可解释性工具包,提供75+视觉视频Transformer、SAE/transcoder/crosscoder训练支持及80+预训练SAE权重,并发现视觉SAE稀疏性低于语言SAE且SAE重建可降低模型损失。
2025-06-03 cs.AI cs.CV cs.LG
From Bounding Boxes to Visual Reasoning: An On-Policy Data Annotation Tool for Vision-Language Models
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);College of Computer Science, Jilin University(吉林大学计算机科学与技术学院);OPPO
提出ScreenAnnotator,通过统一标注原子模式、在线策略循环与贝叶斯验证器,解决现有工具表达力不足、标注-训练脱节和数据复用性差的问题,实现高效多任务数据生成。
2026-06-18 cs.CV
Gym-V: A Unified Vision Environment System for Agentic Vision Research
ModalMinds
Gym-V通过统一的179个程序生成视觉环境,解决了视觉代理研究中缺乏标准化基础设施的问题,发现观察支架比RL算法选择更关键,且跨领域迁移实验显示多样化训练能广泛泛化。
2026-04-08 cs.CV
Towards Vision-Language Mechanistic Interpretability: A Causal Tracing Tool for BLIP
IIT Kharagpur(印度理工学院克勒格布尔分校);Georgetown University(乔治城大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有因果可解释性工具无法适配多模态模型的问题,研究将单模态因果追踪工具适配到BLIP,验证了后层表征的因果相关性,并开源工具以推动视觉-语言机制可解释性研究。
2023-08-27 cs.AI cs.CL cs.CV
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校);Microsoft Research(微软研究院)
基于transformer的模型的突破性进展不仅彻底改变了NLP领域,也改变了视觉和多模态系统。然而,尽管可视化和可解释性工具已经可用于NLP模型,但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功,了解它们的内部工作变得越来越重要,因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索,我们提出了VL-InterpreT,它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具,它(1)跟踪视觉和语言组件所有层中注意力头部的各种统计数据,(2)通过易于阅读的热图可视化跨模态和模态内注意力,(3)绘制视觉和语言标记的隐藏表示,因为它们通过Transformer层。在本文中,我们通过分析KD-VLP,一个端到端的预训练的视觉语言多模态转换器为基础的模型,在视觉常识推理(VCR)和WebQA,两个视觉问答基准的任务中,展示了VL-InterpreT的功能。此外,我们还提出了一些有趣的发现多模态Transformer的行为,通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
LLMC+: Benchmarking Vision-Language Model Compression with a Plug-and-play Toolkit
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院);Beihang University(北京航空航天大学);Hong Kong University of Science and Technology(香港科技大学)
针对现有视觉语言模型压缩方法评估存在的三类局限,研究提出带即插即用工具包的综合基准LLMC+,支持多类算法与两类压缩的系统性研究,通过实验得出关键结论并助力相关研究。
2025-11-17 cs.CV
OmniSCV: An Omnidirectional Synthetic Image Generator for Computer Vision
Instituto de Investigacion en Ingenieria de Aragon(阿拉贡工程研究所);University of Zaragoza(萨拉戈萨大学)
针对全向图像畸变处理算法训练数据不足的问题,提出OmniSCV生成工具,支持多种投影模型的全向图像合成并提供像素级真值信息,经多类视觉算法验证有效。
2024-01-30 cs.CV
Unity Perception: Generate Synthetic Data for Computer Vision
Unity Technologies(Unity科技)
我们介绍Unity Perception包,该包旨在通过提供易于使用和高度可定制的工具集,简化和加速为计算机视觉任务生成合成数据集的过程。这个开源软件包扩展了Unity编辑器和引擎组件,为几个常见的计算机视觉任务生成完美的注释示例。此外,它还提供了一个可扩展的随机化框架,允许用户快速构建和配置随机化模拟参数,以便将变化引入到生成的数据集中。我们提供了所提供的工具及其工作原理的概述,并通过训练2D目标检测模型来展示生成的合成数据集的价值。使用大部分合成数据训练的模型优于仅使用真实数据训练的模型。
2021-07-19 cs.CV
VGSG: Vision-Guided Semantic-Group Network for Text-based Person Search
Nanyang Technological University (NTU)(南洋理工大学);Zhejiang University(浙江大学)
本文提出VGSG网络,通过语义组文本学习和视觉引导知识迁移模块,在视觉线索指导下提取并对齐细粒度跨模态特征,实现高效文本行人搜索,性能超越现有方法。
2023-11-13 cs.CV
Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models
CUNY Graduate Center(纽约大学研究生中心);Borough of Manhattan Community College(曼哈顿社区学院);The City College of New York(纽约城市学院)
该研究针对视觉语言模型空间推理能力不足的问题,通过三种可解释性工具揭示视觉词元范数过大抑制位置嵌入的机制,并通过干预验证可恢复位置敏感度,为多模态模型改进提供指导。
2025-10-01 cs.CV
VIoTGPT: Learning to Schedule Vision Tools in LLMs towards Intelligent Video Internet of Things
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于LLMs的VIoTGPT框架,通过构建VIoT-Tool数据集并采用ReAct指令微调方法,使大模型能够调度视觉工具协同分析视频数据,有效提升了视频物联网的智能感知能力。
2024-12-22 cs.CV cs.MM
Towards Long-horizon Embodied Agents with Tool-Aligned Vision-Language-Action Models
Shanghai Jiao Tong University(上海交通大学);Zhongguancun Academy(中关村学院);Beihang University(北京航空航天大学)
本文提出VLAs-as-Tools方法,通过高阶视觉语言模型与专用工具协作,提升长周期任务的成功率与调用忠实度。
2026-10-14 cs.AI cs.CV cs.RO
Review on Computer Vision in Gastric Cancer: Potential Efficient Tools for Diagnosis
School of Mathematics (Zhuhai), Sun Yat-sen University(中山大学(珠海)数学学院)
胃癌的快速诊断是临床医生面临的巨大挑战。近年来,计算机视觉在胃癌的研究中取得了巨大的进展,本文就近五年来的研究进展作一综述。不同的数据生成和增强方法,并提出了各种方法来提取判别特征进行比较和评估。分类和分割技术进行了仔细讨论,以协助更精确的诊断和及时治疗。对于分类,已经开发了各种方法来更好地处理特定图像,诸如具有旋转和实时估计的图像(内窥镜检查)、高分辨率图像(组织病理学)、低诊断准确度图像(X射线)、具有腔的软组织的对比度差的图像(CT)或具有不充分注释的那些图像。在检测和分割方面,比较了传统方法和机器学习方法。这些方法的应用将大大减少胃癌诊断的人力和时间消耗。
2020-05-31 cs.CV eess.IV
Computer Vision for Autonomous Vehicles
Indian Institute of Space Science and Technology(印度空间科学技术学院)
在这项工作中,我们试图在室内和室外的自动驾驶汽车领域实现图像处理技术。两者面临的挑战不同,应对的方式也不同。我们还展示了深度学习使事情变得更容易和精确。我们还为印度空间科学技术研究所制造自动驾驶汽车时所解决的所有问题制作了基础模型。
2018-12-06 cs.CV
DianJin-OCR-R1: Enhancing OCR Capabilities via a Reasoning-and-Tool Interleaved Vision-Language Model
Qwen DianJin Team, Alibaba Cloud Computing(文心一言团队,阿里云计算)
DianJin-OCR-R1通过推理与工具交替的视觉语言模型框架,提升OCR识别的准确性和上下文理解能力。
2026-03-06 cs.CV
Shuffler: A Large Scale Data Management Tool for ML in Computer Vision
Carnegie Mellon University(卡内基梅隆大学);Pittsburgh Supercomputing Center(匹兹堡超级计算中心)
计算机视觉学术研究社区中的数据集主要是静态的。一旦一个数据集被接受为计算机视觉任务的基准,从事这项任务的研究人员就不会为了使他们的结果具有可重复性而改变它。与此同时,在探索新任务和新应用程序时,数据集往往是一个不断变化的实体。从业者可以组合现有的公共数据集,过滤图像或对象,更改注释或添加新的注释以适应手头的任务,可视化样本图像,或者以文本或图表的形式输出统计数据。事实上,随着从业者对数据和算法的实验,试图充分利用机器学习模型,数据集会发生变化。鉴于ML和深度学习需要大量数据才能产生令人满意的结果,因此与处理实时数据集相关的数据和软件管理可能非常复杂也就不足为奇了。据我们所知,没有灵活的、公开可用的工具来促进在整个ML管道中操作图像数据及其注释。在这项工作中,我们介绍了Shuffler,一个开源工具,可以轻松管理大型计算机视觉数据集。它将注释存储在一个人类可读的关系数据库中。Shuffler定义了40多个数据处理操作,这些操作通常用于应用于计算机视觉的监督学习,并支持一些最知名的计算机视觉数据集。最后,它易于扩展,使得添加新操作和数据集成为一项快速且易于完成的任务。
2021-04-11 cs.CV cs.DC
Agent0-VL: Exploring Self-Evolving Agent for Tool-Integrated Vision-Language Reasoning
UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
Agent0-VL通过工具集成推理实现自我进化,无需人类标注或外部奖励,提升视觉-语言推理能力。
2025-11-26 cs.AI cs.CV
MissingBench-Verified: Probing Vision-Language Models' Inability to Detect Missing Object Parts
University of British Columbia(英属哥伦比亚大学);Weathon Software(威盛软件)
研究视觉语言模型检测缺失物体部分的能力,提出MissingBench-Verified基准,发现十个领先模型在此场景存在高失败率,现有缓解策略效果不佳,揭示当前VLM在检查监测任务中的根本局限,强调架构或训练干预的必要。
2026-08-05 cs.CV
Exploring Adversarial Robustness of Vision Transformers in the Spectral Perspective
Yonsei University(延世大学)
该研究从频谱视角探究视觉Transformer的对抗鲁棒性,构建可实现空间域与频谱域攻击的框架,发现Transformer更依赖相位和低频信息,比CNNs更易受频率选择性攻击,为其特性与鲁棒性研究提供新见解。
2023-12-15 cs.CV
Sim4CV: A Photo-Realistic Simulator for Computer Vision Applications
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们提出了一个逼真的训练和评估模拟器(Sim4CV),广泛应用于计算机视觉的各个领域。建立在虚幻引擎之上,模拟器集成了功能齐全的基于物理的汽车,无人机(UAV),以及不同的城市和郊区3D环境中的动画人类演员。我们展示了两个案例研究的模拟器的多功能性:自主无人机为基础的跟踪移动物体和自主驾驶使用监督学习。该模拟器将几种最先进的跟踪算法与基准评估工具和深度神经网络(DNN)架构完全集成,用于训练车辆自动驾驶。它生成具有自动地面实况注释的合成照片级真实数据集,以轻松扩展现有的真实世界数据集,并通过使用自动世界生成工具动态重新配置合成世界的能力提供广泛的合成数据多样性。补充视频可以在https://youtu.be/SqAxzsQ7qUU上观看
2018-03-24 cs.CV
VisualLeakBench: Reproducible Action-Boundary Propagation Failures in Vision-Language Agents
Nanyang Technological University(南洋理工大学)
提出VisualLeakBench基准,评估视觉语言智能体在截图、文档等场景下将敏感文本从图像复制到工具参数中的动作边界传播失败,发现PII传播率达78.8%,不安全文本传播率达85.5%。
2026-05-29 cs.AI cs.CV cs.IR
REVEAL: Robust Evolution of Vision-Language Models for Explainable AI-Video Detection
Columbia University(哥伦比亚大学)
针对AI生成视频检测研究空白,提出无需训练的智能体式LVLM框架LAVID,通过调用显式知识工具、自改写结构化提示词实现检测,构建新基准VIDFOR,实验显示F1分数较基线提升6.2%至30.2%。
2026-10-02 cs.CV
Computer Vision Toolkit for Non-invasive Monitoring of Factory Floor Artifacts
University of Cincinnati(辛辛那提大学);TechSolve, Inc.(TechSolve公司)
数字化使智能互联技术成为企业、政府和社区不可或缺的一部分。对于制造业数字化,一直在积极研究和开发,重点是云制造(CM)和工业物联网(IIoT)。这项工作提出了一个计算机视觉工具包(CV工具包)的工厂车间的非侵入式数字化符合工业4.0的工厂数据汇集的要求。目前,由于其设计和传感器的变化受到限制,传统系统的数字化仍然存在技术挑战。这种新型工具包的开发旨在促进传统生产机械和工厂车间工件与数字和智能制造环境的轻松集成,而无需对机器进行任何物理更改。开发的系统是模块化的,可以实时监控生产机械。模块化方面允许在CV Toolkit的当前框架中纳入新的软件应用程序。为了以简单、可部署和具有成本效益的方式将该工具包与制造车间连接起来,该工具包与已知的制造数据标准MTConnect集成,以将数字输入“转换”成可由商业状态跟踪和报告软件解决方案读取的数据流。拟议的工具包演示使用模拟面板环境开发的内部在辛辛那提大学,以突出其可用性。
2020-05-12 cs.CV cs.SY eess.SY
Computer Vision Pipeline for Automated Antarctic Krill Analysis
University of East Anglia(东英吉利大学);British Antarctic Survey(英国南极调查局)
本研究利用基于网络的图像标注工具和深度学习模型,构建自动化流水线,实现南极磷虾的实例分割(平均AP 77.28%)、成熟阶段分类(准确率62.99%)和长度估计(误差1.98毫米),以支持生物量评估。
2023-10-12 cs.CV
ArchMap: Arch-Flattening and Knowledge-Guided Vision Language Model for Tooth Counting and Structured Dental Understanding
Xi'an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);Zhejiang University of Technology(浙江工业大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出ArchMap,一种无需训练的知识引导框架,通过几何归一化和本体引导的多模态推理,提升3D口腔扫描的结构化分析能力,实现牙齿计数、解剖分区、牙列阶段分类及临床状况识别。
2025-11-18 cs.CV
VisionPsy-Nano: Improving Accuracy, Efficiency, and Reliability in On-Device Vision-Language Models
针对端侧视觉语言模型在准确性、效率和可靠性上的不足,提出诊断驱动的训练后方案与视觉词元策略,在0.5B模型上达到最高平均分并大幅降低延迟。
2026-09-29 cs.CV
OpenThinkIMG: Learning to Think with Images via Visual Tool Reinforcement Learning
Soochow University(苏州大学);Microsoft(微软);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);University of Electronic Science and Technology of China(电子科技大学);Sun Yat-sen University(中山大学);Huazhong University of Science and Technology(华中科技大学);The Chinese University of Hong Kong(香港中文大学)
OpenThinkIMG提出首个开源端到端框架及V-ToolRL强化学习方法,使LVLMs自适应调用视觉工具,在图表推理任务上显著超越基线。
2025-07-09 cs.CV
CANVAS: A Benchmark for Vision-Language Models on Tool-Based User Interface Design
CANVAS是一个用于评估视觉-语言模型在基于工具的用户界面设计任务中性能的基准,通过复制和修改UI设计任务来测试模型的工具调用能力和设计质量。
2025-11-27 cs.AI cs.CL cs.CV