ZERO: Industry-ready Vision Foundation Model with Multi-modal Prompts
Superb AI Seoul, South Korea(超霸AI首尔韩国)
本文提出工业视觉基础模型 ZERO,通过文本与视觉多模态提示实现无需重训练的零样本泛化,在多个工业数据集和 CVPR 2025 挑战赛中验证了其实际部署能力。
2025-11-07 cs.AI cs.CV
Learning Generative Vision Transformer with Energy-Based Latent Space for Saliency Prediction
Cognitive Computing Lab, Baidu Research(百度研究院认知计算实验室);The Australian National University(澳大利亚国立大学)
视觉Transformer网络在许多计算机视觉任务中显示出优越性。在本文中,我们进一步提出了一种新的生成视觉Transformer的潜变量以下的信息能量为基础的显着目标检测的先验。视觉Transformer网络和基于能量的先验模型通过基于马尔可夫链蒙特卡洛的最大似然估计进行联合训练,其中从潜在变量的难处理的后验和先验分布的采样由Langevin动力学执行。此外,利用生成式视觉Transformer,我们可以很容易地从图像中获得逐像素的不确定性图,这表明了从图像中预测显著性的模型置信度。与现有的生成模型不同,该模型将潜在变量的先验分布定义为简单的各向同性高斯分布,我们的模型使用基于能量的信息先验,可以更有表现力地捕获数据的潜在空间。我们提出的框架,RGB和RGB-D显着的目标检测任务。大量的实验结果表明,我们的框架不仅可以实现准确的显着性预测,而且有意义的不确定性地图,是符合人类的感知。
2021-12-27 cs.CV
Small Object Few-shot Segmentation for Vision-based Industrial Inspection
Xi’an Jiaotong University(西安交通大学);South China University of Technology(华南理工大学)
本文针对视觉工业检测中小缺陷难以定位的问题,提出小目标少样本分割模型SOFS,通过非缩放流程、原型强度下采样、异常先验图和混合正常Dice损失,有效缓解目标语义失真和背景假阳性,实现少样本分割与异常检测。
2024-07-31 cs.AI cs.CV
A Synthetic-Driven Vision System for Assembly Step Recognition
提出一种利用CAD模型和步骤描述自动生成合成数据训练实时检测模型的系统,通过物理模拟、域随机化和目标检测实现92.4%真实装配准确率。
2026-07-02 cs.CV
A Complete System for Automated 3D Semantic-Geometric Mapping of Corrosion in Industrial Environments
Aalborg University(奥尔堡大学);University of Oviedo(奥维耶多大学)
提出一种低成本、便携的半自主多模态系统,结合LiDAR定位与视觉语义分割技术,在工业环境中实现高精度的半自动化腐蚀3D语义-几何映射。
2024-04-21 cs.CV cs.RO
VISION Datasets: A Benchmark for Vision-based InduStrial InspectiON
Apple(苹果公司);Georgia Institute of Technology(佐治亚理工学院);Middle East Technical University(中东技术大学)
针对工业视觉检测中数据不足与复杂生产需求问题,提出含14个数据集、18k图像和44种缺陷类型的VISION基准,提供全分割标注掩码及实例分割,并支持两项挑战赛以推动检测算法发展。
2023-06-18 cs.CV cs.LG
SynGen-Vision: Synthetic Data Generation for training industrial vision models
Accenture Labs(埃森哲实验室)
针对工业磨损检测数据匮乏的问题,提出结合视觉语言模型与3D仿真渲染引擎的SynGen-Vision合成数据生成方法,生成锈蚀数据训练的模型mAP50达0.87,优于现有方法且可扩展。
2025-09-05 cs.CV cs.LG
Controllable Image Synthesis of Industrial Data Using Stable Diffusion
Baker Hughes(贝克休斯)
提出重用预训练生成模型的方法,通过学习新概念和条件控制生成自标注工业缺陷图像,并在数据有限时显著提升裂纹分割性能。
2024-01-06 cs.CV cs.LG
On the Application of Egocentric Computer Vision to Industrial Scenarios
Fraunhofer IPK(弗劳恩霍夫生产技术研究所);Technical University of Berlin(柏林工业大学)
本文探讨第一人称视角的自我中心可穿戴设备如何在数据收集、标注和下游应用中增强工业场景,并提出其作为传统工业机器视觉流程补充的愿景。
2024-06-11 cs.CV
Exploring Large Vision-Language Models for Robust and Efficient Industrial Anomaly Detection
Shangqiu University(商丘大学)
针对工业异常检测问题,提出基于对比跨模态训练的视觉语言异常检测方法CLAD,利用大型视觉语言模型对齐多模态特征,在两个基准数据集上超越现有方法,兼具高性能与可解释性。
2024-12-01 cs.CV
Integration of deep generative Anomaly Detection algorithm in high-speed industrial line
Bonfiglioli Engineering(博内菲奇利工程)
本研究提出了一种基于生成对抗网络的半监督异常检测框架,用于高速生产线中的工业视觉检测,通过残差自编码器和密集瓶颈结构实现高精度检测与空间定位。
2026-03-08 cs.AI cs.CV cs.LG
Industrial Language-Image Dataset (ILID): Adapting Vision Foundation Models for Industrial Settings
Hamburg University of Technology(汉堡工业大学)
本文提出基于网络爬取数据构建工业语言-图像数据集 ILID 的流程,并利用其实现无需人工标注的自监督迁移学习,以推动视觉基础模型适配工业场景。
2024-06-14 cs.CV
Challenges of the Creation of a Dataset for Vision Based Human Hand Action Recognition in Industrial Assembly
Bosch Rexroth AG(博世力士乐股份公司);University of Applied Sciences Darmstadt(达姆施塔特应用科学大学)
这项工作介绍了工业手部动作数据集V1,这是一个工业装配数据集,由12个类组成,基本版本中有459,180张图像,空间增强后有2,295,900张图像。与其他免费提供的测试数据集相比,它具有高于平均水平的持续时间,并且符合工业装配线的技术和法律要求。此外,该数据集包含遮挡,手-物体交互,以及各种细粒度的人手动作,用于工业装配任务,这些任务在检查的数据集中没有发现。在广泛观察真实用例后,选择了记录的地面实况组装类。采用了门控Transformer网络,这是来自Transformer领域的最先进模型,并在通过18,269,959个可训练参数进行超参数调整之前以86.25%的测试准确度证明,可以使用该数据集训练顺序深度学习模型。
2023-03-07 cs.CV
Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision
Spanish Ministry of Science, Innovation and Universities(西班牙科学、创新与大学部);Spanish State Research Agency(西班牙国家研究机构);European Regional Development Fund(欧洲区域发展基金);European Union(欧洲联盟);European Health and Digital Executive Agency(欧洲健康与数字执行机构)
研究工业机器视觉中深度学习模型的边缘推理策略,比较普通PyTorch、ONNX Runtime、OpenVINO和TensorRT四种方法,评估其在多硬件平台及不同模型下的推理时间,得出不同平台上各方法的性能表现。
2026-07-14 cs.CV
A novel integrated industrial approach with cobots in the age of industry 4.0 through conversational interaction and computer vision
Innovation Lab, Exprivia S.p.A.(创新实验室,埃克斯普里维亚股份公司);QuestIT S.r.l.(奎斯特信息技术有限责任公司)
针对机器人自动化新趋势对零部件制造商的挑战,提出集成Cobot、AI与人类的新型工业协作方法,通过精准物理作业、信息分析决策与战略眼光实现紧密协作。
2024-02-16 cs.CL cs.CV cs.LG
Computer Vision on X-ray Data in Industrial Production and Security Applications: A Comprehensive Survey
Aarhus University(奥胡斯大学);University of Jyväskylä(于韦斯屈莱大学)
几十年来,X射线成像技术一直用于临床任务,以揭示不同器官的内部状况,近年来,它在工业、安全和地理等其他领域变得越来越普遍。计算机视觉和机器学习技术的最新发展也使得自动处理X射线图像更容易,并且最近在X射线图像分析中采用了几种基于机器学习的对象(异常)检测、分类和分割方法。由于深度学习在相关图像处理应用中的巨大潜力,它已被用于大多数研究中。该调查回顾了最近在工业生产和安全应用中使用计算机视觉和机器学习进行X射线分析的研究,并涵盖了这些技术的应用,技术,评估指标,数据集以及这些技术在公开数据集上的性能比较。我们还强调了一些缺点,在已发表的研究,并为未来的研究在计算机视觉为基础的X射线分析的建议。
2023-01-02 cs.CV
A Low Cost Vision Based Hybrid Fiducial Mark Tracking Technique for Mobile Industrial Robots
University of Jazan(贾赞大学)
机器人视觉领域发展迅速。机器人可以智能地做出反应,并通过感知计算为用户活动提供帮助。由于工业应用提出了人类无法处理的复杂要求,因此需要一种有效的低成本和鲁棒的技术来跟踪移动工业机器人。现有的基于传感器的移动机器人跟踪技术是昂贵的,部署,配置和维护复杂。其中一些还需要专用且通常昂贵的硬件。本文提出了一种低成本的视觉为基础的技术称为混合基准标记跟踪(HFMT)技术的跟踪移动工业机器人。HFMT技术需要现成的硬件(CCD摄像头)和可打印的2-D圆形标记用作基准,用于跟踪预处理器上的移动工业机器人定义的路径。该技术允许机器人跟踪一个预定义的路径,通过使用基准检测右和左转弯的路径和白色地带跟踪路径。HFMT技术的实现和测试的室内移动机器人在我们的实验室机器人在真实环境中导航的实验结果证实了我们的方法简单而鲁棒,可以在人类无法工作的任何恶劣工业环境中采用。
2012-09-29 cs.CV cs.RO
A Light in the Dark: Deep Learning Practices for Industrial Computer Vision
Friedrich-Alexander University Erlangen-Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
近年来,大型预训练深度神经网络(DNN)彻底改变了计算机视觉(CV)领域。尽管这些DNN已经被证明非常适合一般的图像识别任务,但由于三个原因,通常无法在工业中应用:1)大型预训练DNN是建立在数亿个参数上的,这使得在许多设备上的部署是不可能的,2)用于预训练的底层数据集由一般对象组成,而工业案例通常由非常具体的对象组成,例如太阳能晶片上的结构,3)潜在有偏见的预先训练的DNN为公司提出了法律问题。作为一种补救措施,我们从头开始训练CV的神经网络。为此,我们使用一个来自太阳能硅片制造商的真实案例。我们发现,我们的神经网络实现了与预训练的DNN相似的性能,尽管它们包含的参数少得多,并且不依赖于第三方数据集。
2022-01-06 cs.AI cs.CV cs.LG
Generative Digital Twins: Vision-Language Simulation Models for Executable Industrial Systems
Institute of Artificial Intelligence Innovation(人工智能创新研究所)
本文提出视觉-语言模拟模型VLSM,通过统一视觉与文本理解,实现从布局草图和自然语言提示生成可执行的工业模拟代码,建立首个大规模生成数字孪生数据集并提出三个专用评估指标。
2026-01-13 cs.AI cs.CL cs.CV
Semi-Automated Computer Vision based Tracking of Multiple Industrial Entities -- A Framework and Dataset Creation Approach
TU Dortmund University(多特蒙德工业大学)
本文提出TOMIE框架及数据集,利用六台RGB相机实现工业实体连续跟踪,创建包含超11万帧标注的数据集,并验证三种跟踪算法的有效性。
2023-04-03 cs.CV
Scaling Vision Language Models for Pharmaceutical Long Form Video Reasoning on Industrial GenAI Platform
Roche(罗氏);Accenture(埃森哲);Involead
本文提出工业GenAI框架,解决制药领域长格式视频推理问题,通过多模态架构和实证分析提升效率并揭示现有VLMs的限制。
2026-01-08 cs.CV cs.LG
A Qualitative Review of GenAI-Based Methods for Data Generation and Augmentation in Industrial Computer Vision Applications
Fraunhofer IPK(弗劳恩霍夫研究所);Hamburg University of Applied Sciences (HAW Hamburg)(汉堡应用技术大学);Technical University Berlin (Tu-Berlin)(柏林技术大学)
本文综述了基于GenAI的数据生成与增强方法,旨在解决工业计算机视觉应用中数据获取的“先有鸡还是先有蛋”困境,并评估其在分类用例中的适应性。
2026-06-15 cs.CV
A vision-based framework for human behavior understanding in industrial assembly lines
Institute of Computer Science, Foundation for Research and Technology - Hellas(希腊研究与技术基金会计算机科学研究所);School of Rural Surveying and Geoinformatics Engineering, National Technical University of Athens(雅典国立技术大学乡村测量与地理信息工程学院);Institute of Communication and Computer Systems, National Technical University of Athens(雅典国立技术大学通信与计算机系统研究所)
本文提出一种基于视觉的框架,利用计算机视觉技术估计工人姿态并分析任务进度,同时引入CarDA数据集支持人体姿态与动作分析,实验证明其在姿势分类和监控装配进度上表现有效。
2024-09-25 cs.CV
State of play and future directions in industrial computer vision AI standards
Harokopio University of Athens(雅典哈罗科皮奥大学);K3Y Ltd.(K3Y有限公司);Kingston University(金斯顿大学);University of Western Macedonia(西马其顿大学)
本文调查了工业计算机视觉AI标准的现状,系统分析了ISO/IEC、IEEE等机构发布和制定中的标准,并探讨了模型可解释性、数据质量等关键问题及未来方向。
2025-03-04 cs.AI cs.CV
Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算学部);Pazhou Lab(琶洲实验室)
针对传统工业异常检测方法场景适配性差、大多模态模型因模态鸿沟难以利用相关知识的问题,提出融合视觉专家的Myriad模型,通过异常图引导与特征调制实现更优的检测性能与指令交互能力。
2025-01-17 cs.CV
Generative AI for Industrial Contour Detection: A Language-Guided Vision System
The University of Chicago(芝加哥大学);FabTrack
针对工业视觉受噪声等因素影响的问题,提出含三阶段的语言引导生成式轮廓检测系统,在FabTrack数据集上提升了轮廓精度,且GPT-image-1在精修阶段表现优于Gemini 2.0 Flash,为工业视觉发展提供新路径。
2025-08-29 cs.AI cs.CV
LPM: Industrial-Scale Generative Video Restoration
Kuaishou Technology(快手科技)
研究提出工业规模的LPM用于视频修复,通过统一系统解决UGC退化问题,含数据工程、模型训练和推理。其架构等机制实现高保真修复,已在快手生产应用,节省带宽成本,还能集成产品,证明该方法实用、可扩展且具成本效益。
2026-11-09 cs.CV
Procedural Knowledge Extraction from Industrial Troubleshooting Guides Using Vision Language Models
University of Groningen(Groningen大学)
本文研究如何利用视觉语言模型从工业故障排除指南中提取结构化知识,通过对比两种提示策略评估模型性能,揭示布局敏感性与语义稳健性的权衡。
2026-08-25 cs.AI cs.CV
Generalizable Industrial Visual Anomaly Detection with Self-Induction Vision Transformer
Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学)
工业视觉异常检测在先进智能制造过程中起着至关重要的作用,但在这样的背景下仍然需要解决一些局限性。首先,现有的基于重建的方法与平凡捷径的身份映射斗争,其中重建误差间隙在正常和异常样本之间是清晰的,导致检测能力低下。那么,之前的研究主要集中在卷积神经网络(CNN)模型上,这些模型捕捉对象的局部语义而忽视了全局上下文,也导致性能较差。此外,现有的研究遵循个体学习的方式,检测模型只能检测一类产品,而没有探索多个类别的通用检测。针对上述问题,提出了一种自感应视觉Transformer(SIVT),用于无监督的多类别工业视觉异常检测和定位。所提出的SIVT首先从预训练的CNN中提取歧视性特征作为属性描述符。然后,提出了一种自感应视觉Transformer,通过引入辅助感应词元来感应原始信号的语义,以自监督的方式对提取的特征进行重构。最后,利用语义特征残差检测异常属性。我们在现有的Mvtec AD基准上进行了SIVT实验,结果表明,所提出的方法可以提高最先进的检测性能,在AUROC中提高2.8-6.3,在AP中提高3.3-7.6。
2022-11-29 cs.CV
Anomaly Detection for Industrial Applications, Its Challenges, Solutions, and Future Directions: A Review
Khalifa University of Science and Technology(哈利法科技大学);Advanced Research and Innovation Center(先进研究与创新中心);Sanad Aerotech(Sanad航空技术公司)
本综述回顾自2019年以来的基于视觉的工业异常检测研究,涵盖IAD流水线组件、挑战、解决方案及未来方向,旨在提升工业检测自动化水平。
2025-01-20 cs.CV
AnomalyPainter: Vision-Language-Diffusion Synergy for Zero-Shot Realistic and Diverse Industrial Anomaly Synthesis
Xiamen University(厦门大学);INSPUR DIGI ENT.(浪潮数字企业)
AnomalyPainter通过协同视觉语言大模型、潜在扩散模型和Tex-9K纹理库,实现零样本工业异常合成,在真实性、多样性和泛化性上优于现有方法。
2025-03-11 cs.CV
GenAU: Language-Grounded Industrial Anomaly Understanding with Vision-Language Models
Corporate Research, Robert Bosch GmbH(罗伯特·博世有限公司企业研究部);Otto-von-Guericke-University Magdeburg(马格德堡奥托·冯·格里克大学);University of Southampton(南安普顿大学)
提出GenAU框架,统一图像级检测、像素级分割、多类型异常检测和缺陷分析,通过两个分割标记实现语言引导的定位,在VisA和Real-IAD上取得最优零样本检测性能。
2026-07-02 cs.CV
Adapting Vision-Language Models for Human-Readable XAI in Industrial Object Detection
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Stuttgart(斯图加特大学)
针对工业目标检测中现有XAI方法对非专家用户不友好的问题,提出基于微调视觉-语言模型的解释界面,在专有及公开数据集上较GPT 4o-mini显著提升解释清晰度与上下文感知,增强了AI解释的可访问性。
2026-09-29 cs.AI cs.CV
A Chronological Survey of Theoretical Advancements in Generative Adversarial Networks for Computer Vision
TCS Research(塔塔咨询服务研究院)
本文针对现有GAN综述缺乏编年视角的问题,梳理计算机视觉领域GAN理论与应用的里程碑工作,展示其训练与应用挑战如何随时间被逐步解决。
2023-11-02 cs.CV eess.IV
Vision-based Manipulation of Transparent Plastic Bags in Industrial Setups
Heriot-Watt University(赫瑞瓦特大学);The National Robotarium(国家机器人中心)
本文提出一种基于卷积神经网络和深度感知的视觉操作系统,结合真空抓取与柔顺控制,在FRANKA机器人上实现了工业场景中透明塑料袋的自主识别、拆包与切割。
2024-11-19 cs.AI cs.CV cs.RO
SAEC: Scene-Aware Enhanced Edge-Cloud Collaborative Industrial Vision Inspection with Multimodal LLM
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of AI for Industries(工业人工智能研究所)
SAEC框架通过高效MLLM微调、轻量级场景复杂度估计与自适应边云调度,在工业视觉检测中实现精度与资源效率的协同优化,在MVTec AD和KSDD2上准确率分别达85.11%和82.72%,显著超越Qwen和LLaVA,并降低运行时间与能耗。
2025-09-21 cs.AI cs.CV
An indoor DSO-based ceiling-vision odometry system for indoor industrial environments
Université Paris-Saclay(巴黎-萨克雷大学);ENS Paris-Saclay(巴黎-萨克雷高等师范学校);CNRS(法国国家科学研究中心);ez-Wheel - IDEC Corp.(ez-Wheel - IDEC公司)
针对室内工业环境中传统视觉里程计受动态物体干扰的问题,提出基于直接稀疏里程计的Ceiling-DSO天花板视觉系统,创建自定义数据集评估,通过参数优化实现可靠定位。
2024-12-04 cs.CV cs.RO
AI-Driven Multi-Stage Computer Vision System for Defect Detection in Laser-Engraved Industrial Nameplates
Technische Hochschule Rosenheim(罗森heim应用科学大学);Knorr-Bremse Systeme für Nutzfahrzeuge GmbH(克诺尔商用车系统公司)
本文提出了一种AI驱动的多阶段计算机视觉系统,集成YOLOv7、Tesseract OCR和ResVAE,用于检测激光雕刻工业铭牌中的缺陷,实现91.33%准确率和100%召回率,有效提升制造质量控制。
2025-03-05 cs.AI cs.CV
The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research Cambridge(微软研究院剑桥实验室)
计算机视觉是困难的,因为在照明,形状和纹理的大的可变性;此外,图像信号是非加性的,由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人,但由于后验推理的困难,计算机视觉的生成模型在很大程度上未能实现这一承诺。因此,社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性,但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”,并在仔细的实验中证明它具有挑战性的生成模型,其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题,一种方法,可以被理解为“逆图形”。知情的采样器,使用简单的判别建议的基础上现有的计算机视觉技术,实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
Answer-Conditioned Chain-of-Thought Distillation for Few-Shot Industrial Vision with Small VLMs
Entropy AI Research Labs Private Limited(熵人工智能研究实验室私人有限公司)
针对制造业视觉检测难题,提出答案条件思维链蒸馏法,利用最少标注数据让小型视觉语言模型适应新工业任务,经实验验证该方法在多任务中优于直接微调,提升了推理质量和模型性能。
2026-07-14 cond-mat.mtrl-sci cs.AI cs.CV
Learning-Based Vision Systems for Semi-Autonomous Forklift Operation in Industrial Warehouse Environments
Department of Civil Engineering, Indian Institute of Technology Bombay, India(印度理工学院班加罗尔土木工程系)
本文提出一种基于单目视觉的托盘及托盘孔检测与建图框架,结合YOLOv8/YOLOv11和Optuna超参数优化,实现了低成本、可改装的叉车半自主操作感知方案。
2025-11-09 cs.CV
Computer vision system to count crustacean larvae
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
截至2017年,鱼类产品约占全球人类饮食的16%。计数操作是种植和生产这些产品的重要组成部分。养殖者必须准确地计算鱼的数量,为此需要技术解决方案。开发了两套用于工业池塘中甲壳类幼体自动计数的计算机视觉系统。第一个系统包括一个分辨率为3024X4032的iPhone 11摄像头,它可以在室内条件下从工业池塘中获取图像。利用该系统进行了两个实验,第一个实验包括在特定照明条件下使用iPhone 11相机在生长阶段9、10在一天内采集的200幅图像。在第二个实验中,使用iPhone 11和SONY DSCHX90V相机拍摄了一个幼虫工业池塘11天。对于第一个设备(iPhone 11),测试了两种照明条件。在每种情况下,采集110张图像。该系统的图像检测准确率为88.4%。第二个系统包括具有2000X2000分辨率的数码单反尼康D510相机,使用该相机在工业池塘外进行了七个实验。在幼虫生长阶段的第1天获取图像,从而获得总共700个图像。该系统在密度为50时的准确率为86%。基于YOLOv5 CNN模型,针对这两种情况开发了自动计数幼虫数量的算法。此外,在这项研究中,幼虫生长函数。每天,从工业池塘手动取出几只幼虫并在显微镜下分析。一旦确定了生长阶段,就获得了幼虫的图像。每个幼虫的长度都是从图像中手动测量的。最合适的模型是Gompertz模型,拟合优度指数R平方为0.983。
2022-09-13 cs.CV eess.IV
Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios
ByteDance Inc(字节跳动公司)
由于复杂的注意力机制和模型设计,大多数现有的视觉Transformer(ViT)在现实的工业部署场景中,例如TensorRT和CoreML,不能像卷积神经网络(CNN)那样有效地执行。这提出了一个独特的挑战:视觉神经网络能否被设计成像CNN一样快速地推断,并像ViTs一样强大?最近的作品试图设计CNN-Transformer混合架构来解决这个问题,但这些作品的整体性能远远不能令人满意。为了结束这些,我们提出了下一代视觉Transformer,用于在现实的工业场景中进行有效部署,即Next-ViT,从延迟/准确性权衡的角度来看,它在CNN和ViT中占主导地位。在这项工作中,下一个卷积块(NCB)和下一个Transformer块(NTB)分别开发捕获本地和全局信息与部署友好的机制。然后,下一个混合策略(NHS)的设计堆叠NCB和NTB在一个有效的混合范例,提高性能的各种下游任务。大量的实验表明,Next-ViT在各种视觉任务的延迟/准确性权衡方面明显优于现有的CNN、ViT和CNN-Transformer混合架构。在TensorRT上,Next-ViT在COCO检测上超过ResNet 5.5 mAP(从40.4到45.9),在类似延迟下,在ADE 20 K分割上超过ResNet 7.7% mIoU(从38.8%到46.5%)。同时,它实现了与CSWin相当的性能,而推理速度则加快了3.…
2022-08-16 cs.CV
Towards Total Online Unsupervised Anomaly Detection and Localization in Industrial Vision
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出全在线无监督异常检测方法LeMO,通过正交随机噪声初始化可学习记忆并结合对比学习损失进行在线联合优化,在在线、离线及少样本场景中均表现优异。
2023-05-25 cs.AI cs.CV
Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description
Department of Mechanical and Aerospace Engineering, Michigan Technological University(机械与航空航天工程系,密歇根技术大学)
本文提出VLM-IRIS框架,通过预处理红外图像为RGB兼容输入,利用CLIP编码器实现无监督的零样本工作件存在检测,展示了在热成像中的高精度应用。
2026-03-17 cs.CV cs.RO
Open-vocabulary 3D scene perception in industrial environments
Hamburg University of Technology, Institute of Aircraft Production Technology(汉堡工业大学航空生产技术研究所)
本研究提出了一种无需训练的开放词汇3D感知流程,通过合并预计算超点生成掩码,提升工业环境中的3D场景感知能力。
2026-02-23 cs.CV
Scene Graph-Guided Generative AI Framework for Synthesizing and Evaluating Industrial Hazard Scenarios
Ph.D. Student, Dept. of Civil Eng., University of Texas at Arlington. E-mail;Assistant Professor, Dept. of Computer Sci. \& Eng., University of Texas at Arlington. E-mail;Assistant Professor, Dept. of Civil Eng., University of Texas at Arlington. E-mail
针对工业危险场景数据集获取困难的问题,提出场景图引导的生成式AI框架,基于OSHA事故报告提取危险推理生成场景图,引导扩散模型合成逼真危险图像,并通过VQA框架验证其优于现有指标。
2025-11-17 cs.AI cs.CV
Evaluating Vision Transformer Models for Visual Quality Control in Industrial Manufacturing
iteratec GmbH(iteratec 有限公司);University of Applied Sciences Karlsruhe(卡尔斯鲁厄应用技术大学);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
本文评估视觉Transformer与异常检测方法的组合,在MVTecAD和BTAD上寻找适合工业制造的小型快速高效质检模型,并提供选型指南。
2024-11-22 cs.AI cs.CV cs.LG
Write and Paint: Generative Vision-Language Models are Unified Modal Learners
The Hong Kong University of Science and Technology(香港科技大学);ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
视觉语言预训练的最新进展推动了各种视觉语言任务的最新发展,使机器更有能力进行多模态写作(图像到文本生成)和绘画(文本到图像生成)。然而,很少有研究调查,如果这两个基本能力可以一起学习,并相互促进,使一个通用的和强大的多模态基础模型。在这项工作中,我们揭示了对称生成视觉语言预训练在学习同时写作和绘画方面的潜力,并提出了一种新的统一模态模型,名为DaVinci,使用前缀语言建模和前缀图像建模进行训练,这是一种简单的生成自监督目标。得益于提出的前缀多模态建模框架,DaVinci易于训练,可扩展到巨大的数据,适用于写作和绘画任务,并且在其他视觉,文本和多模态理解任务上也很强大。DaVinci在广泛的27个生成/理解任务上取得了有竞争力的表现,并展示了结合视觉/语言生成预训练的优势。此外,我们仔细地对不同视觉语言预训练目标在不同规模的预训练数据集上的性能进行了基准测试,这些数据集覆盖了异构和广泛的分布范围。我们的研究结果证明了在语言和视觉输入中利用自我监督的潜力,并为未来在不同数据尺度上的比较建立了新的、更强大的基线。代码和预训练模型可在https://github.com/shizhediao/DaVinci上获得。
2023-02-17 cs.CL cs.CV cs.LG
DDPM-MoCo: Advancing Industrial Surface Defect Generation and Detection with Generative and Contrastive Learning
University of Minnesota - Twin Cities(明尼苏达大学双城分校);Henan RunTai Digital Technology Group Co., Ltd.(河南润泰数字科技集团有限公司);University of Toronto(多伦多大学)
本文提出DDPM-MoCo方法,结合扩散概率模型生成缺陷样本与动量对比学习训练无标签数据,提升金属表面缺陷检测效果。
2024-05-09 cs.AI cs.CV
Process Integrated Computer Vision for Real-Time Failure Prediction in Steel Rolling Mill
Indian Institute of Technology(印度理工学院)
我们提出了一个长期的部署研究的机器视觉为基础的异常检测系统的故障预测在轧钢厂。该系统集成了工业摄像机,可沿生产线实时的监控设备运行、对准和热棒运动。实时视频流使用深度学习模型在集中式视频服务器上进行处理,能够及早预测设备故障和流程中断,从而降低计划外故障成本。基于服务器的推理最大限度地减少了工业过程控制系统(PLC)的计算负载,支持以最少的额外资源跨生产线进行可扩展部署。通过联合分析来自数据采集系统和视觉输入的传感器数据,系统可以识别故障的位置和可能的根本原因,为主动维护提供可操作的见解。这种集成方法可提高工业制造环境中的操作可靠性、生产率和盈利能力。
2025-10-30 cs.AI cs.CV
Bilevel Generative Learning for Low-Light Vision
Dalian University of Technology(大连理工大学);Peng Cheng Laboratory(鹏城实验室)
本文提出一种基于双层优化的通用低光视觉方法,通过RAW到RGB的生成块连接增强、检测和分割任务,并设计低成本与高质量两种学习策略,实验验证了其优越性。
2023-08-07 cs.CV
SteelBench: Evaluating Vision-Language Models in Real-World Industrial Environments
Indian Institute of Technology Bhilai(印度理工学院比莱分校);Steel Authority of India Limited(印度钢铁管理局有限公司);VIT Vellore(维洛尔理工学院)
针对现有基准无法适配真实工业监控场景的问题,构建含1345条标注片段的SteelBench基准,评估视觉语言模型的工业活动识别、安全规则推理等能力,发现现有模型性能远低于人类水平。
2026-07-07 cs.CV
Generative One-Shot Learning (GOL): A Semi-Parametric Approach to One-Shot Learning in Autonomous Vision
Elektrobit Automotive(Elektrobit汽车公司);Transilvania University of Brasov(布拉索夫特兰西瓦尼亚大学)
高度自动驾驶(HAD)系统依赖于深度神经网络来实现驾驶环境的视觉感知。这种网络是在大型手动注释数据库上训练的。在这项工作中,提出了一种单次学习的半参数方法,目的是绕过自动驾驶中训练感知系统所需的手动注释步骤。所提出的生成框架称为生成单次学习(GOL),它将单个单次对象或通用模式作为输入,并使用一小部分所谓的正则化样本来驱动生成过程。新的合成数据生成为Pareto最优解从单次对象使用一组泛化功能内置到泛化生成器。GOL已经在自主视觉中遇到的环境感知挑战上进行了评估。
2018-12-19 cs.CV cs.LG cs.RO