VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(智能信息处理重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
提出VL-SAE稀疏自编码器,用统一概念集解释并增强视觉-语言对齐,在CLIP和LLaVA上验证了其提升零样本分类和消除幻觉的能力。
2025-10-24 cs.CV cs.LG
Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens
National University of Defense Technology(国防科技大学);Southeast University(东南大学);Nanyang Technological University(南洋理工大学)
本文通过注意力透镜发现LVLMs中间层是处理视觉信息的关键阶段,并基于真实token与幻觉token的注意力差异提出一种推理时调整方法,无需额外训练即可有效缓解主流模型的对象幻觉。
2025-04-01 cs.CV
Are object detection assessment criteria ready for maritime computer vision?
Carnegie Mellon University(卡内基梅隆大学)
配备有可见光和红外摄像机的海上船只可以补充用于目标检测的其他传统传感器。然而,计算机视觉技术在海事领域的应用只是最近才受到关注。海洋环境有其独特的要求和挑战。检测质量的评估是计算机视觉的一个基本需求。然而,适合于通常的目标检测的常规评估度量在海上环境中是有缺陷的。因此,计算机视觉中的大量相关工作乍一看似乎不适用于海上环境。我们讨论的问题,定义评估指标适用于海上计算机视觉。我们认为新的底部边缘接近度量海上计算机视觉的评估指标。这些指标表明,现有的计算机视觉方法确实是有前途的海上计算机视觉,并可以在新兴的海上计算机视觉领域发挥基础性作用。
2019-11-17 cs.CV
What's Cookin'? Interpreting Cooking Videos using Text, Speech and Vision
Google(谷歌)
我们提出了一种新的方法,用于将指令序列与执行任务的人的视频对齐。特别是,我们专注于烹饪领域,其中的指令对应于食谱。我们的技术依赖于HMM来将配方步骤与(自动生成的)语音转录对齐。然后,我们使用基于深度卷积神经网络的最先进的视觉食物检测器来改进这种对齐。我们表明,我们的技术优于基于关键字定位的简单技术。它还支持有趣的应用程序,例如使用关键帧自动说明食谱,以及在视频中搜索感兴趣的事件。
2015-03-13 cs.CL cs.CV cs.IR
Second Croatian Computer Vision Workshop (CCVW 2013)
University of Zagreb(萨格勒布大学)
第二届克罗地亚计算机视觉研讨会(CCVW 2013,http://www.fer.unizg.hr/crv/ccvw2013)会议记录,2013年9月19日,克罗地亚萨格勒布。研讨会由萨格勒布大学计算机视觉卓越中心组织。
2013-11-03 cs.CV
Residual Quantity in Percentage of Factory Machines Using Computer Vision and Mathematical Methods
自从人工智能发展获得推动力以来,计算机视觉一直在蓬勃发展。使用深度学习技术一直是计算机科学家认为解决方案的最流行的方法。然而,深度学习技术往往表现出比手动处理更低的性能。使用深度学习并不总是解决与计算机视觉相关的问题。
2022-02-14 cs.CV
Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations
University of California, Berkeley(加州大学伯克利分校)
针对视觉-语言模型(VLMs)的幻觉问题,通过分析其内部表征发现真实与幻觉物体的概率差异,提出知识擦除算法正交化相关特征,在COCO2014上减少25.7%幻觉并保留性能,还实现零样本分割等新能力。
2025-02-10 cs.CV cs.LG
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校);Microsoft Research(微软研究院)
基于transformer的模型的突破性进展不仅彻底改变了NLP领域,也改变了视觉和多模态系统。然而,尽管可视化和可解释性工具已经可用于NLP模型,但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功,了解它们的内部工作变得越来越重要,因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索,我们提出了VL-InterpreT,它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具,它(1)跟踪视觉和语言组件所有层中注意力头部的各种统计数据,(2)通过易于阅读的热图可视化跨模态和模态内注意力,(3)绘制视觉和语言标记的隐藏表示,因为它们通过Transformer层。在本文中,我们通过分析KD-VLP,一个端到端的预训练的视觉语言多模态转换器为基础的模型,在视觉常识推理(VCR)和WebQA,两个视觉问答基准的任务中,展示了VL-InterpreT的功能。此外,我们还提出了一些有趣的发现多模态Transformer的行为,通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
Adapting Computer Vision Algorithms for Omnidirectional Video
JOANNEUM RESEARCH(约翰内姆研究所)
全方位(360°)视频已经非常流行,因为它提供了高度沉浸式的观看体验。对于计算机视觉算法,它提出了几个挑战,如通常采用的特殊(等矩形)投影和巨大的图像尺寸。在这项工作中,我们给出了一个高层次的概述,这些挑战和概述策略如何适应计算机视觉算法的全向视频的具体情况。
2019-07-22 cs.CV
Negative Results in Computer Vision: A Perspective
University of Central Florida(中佛罗里达大学)
负结果是指实验或模型的结果与预期不符,或者假设不成立。尽管在科学界经常被忽视,但负面结果是结果,它们具有价值。虽然这个主题在社会科学和生物科学等其他领域已经得到了广泛的讨论,但在计算机视觉界却很少有人关注。计算机视觉的独特性,特别是其实验方面,要求对这一问题进行特殊处理。在本文中,我将讨论是什么让负面结果变得重要,如何传播和激励它们,以及在这方面可以从认知视觉研究中吸取什么教训。此外,我将讨论的问题,如计算机视觉和人类视觉的相互作用,实验设计和统计假设检验,解释与预测建模,性能评估,模型比较,以及计算机视觉的研究文化。
2017-06-06 cs.CV
Towards Interpreting Visual Information Processing in Vision-Language Models
Nanyang Technological University(南洋理工大学);University of Oxford(牛津大学);Tel Aviv University(特拉维夫大学);MILA(蒙特利尔人工智能研究院);ERA-Krueger AI Safety Lab(ERA-Krueger人工智能安全实验室)
本文研究LLaVA视觉语言模型中视觉token的处理机制,发现移除特定token使识别率降超70%,且模型在最后token位置提取信息,为多模态系统可解释性提供见解。
2025-04-26 cs.CV cs.LG
Tuning computer vision models with task rewards
Google Research(谷歌研究院);University of Oxford(牛津大学)
模型预测与预期用途之间的不一致可能对计算机视觉模型的部署有害。当任务涉及复杂的结构化产出时,这一问题就更加严重,因为更难设计程序来解决这种不协调问题。在自然语言处理中,这通常使用将模型与任务奖励对齐的强化学习技术来解决。我们采用这种方法,并在多个计算机视觉任务,如目标检测,全景分割,彩色化和图像描述显示其令人惊讶的有效性。我们相信这种方法有可能广泛用于更好地将模型与各种计算机视觉任务相匹配。
2023-02-16 cs.CV
Computer Vision and Abnormal Patient Gait Assessment a Comparison of Machine Learning Models
University of Connecticut(康涅狄格大学);Saint Johns’ Episcopal Hospital(圣约翰圣公会医院);Plainview Medical Center(普莱恩维尤医疗中心);Northwell Health(诺斯韦尔健康中心)
步态异常及其相关的跌倒和并发症具有较高的患者发病率、死亡率。计算机视觉检测、预测患者步态异常、评估跌倒风险,并作为医生的临床决策支持工具。本文对计算机视觉、机器学习模型如何进行异常患者步态评估进行了系统的综述。计算机视觉在步态分析中是有益的,它有助于捕获患者的姿势。一些文献建议使用不同的机器学习算法,例如SVM、ANN、K-Star、随机森林、KNN等,对提取的特征进行分类,以研究患者步态异常。
2020-03-22 cs.CV
Reconfiguring the Imaging Pipeline for Computer Vision
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
深度学习的进步引发了对嵌入式计算机视觉高效硬件的研究爆炸。然而,硬件视觉加速并没有解决捕获和处理这些算法所需的图像数据的成本问题。我们研究了图像信号处理(ISP)管道在计算机视觉中的作用,以确定减少计算和节省能源的机会。关键的见解是,成像管道应该被设计为可配置的:在传统摄影模式和低功耗视觉模式之间切换,该模式产生仅适用于计算机视觉的低质量图像数据。我们使用八个计算机视觉算法和可逆流水线仿真工具来研究成像系统对视觉性能的影响。对于基于CNN和经典的视觉算法,我们观察到只有两个ISP阶段,去马赛克和伽马压缩,对任务性能至关重要。我们提出了一种新的图像传感器设计,可以弥补跳过这些阶段。传感器设计具有可调分辨率和可调模数转换器(ADC)。我们提出的成像系统的视觉模式完全禁用ISP,并配置传感器产生二次采样,低精度的图像数据。这种视觉模式可以节省约75%的基线摄影模式的平均能量,同时对视觉任务精度的影响很小。
2017-08-01 cs.CV
The possibility of making \$138,000 from shredded banknote pieces using computer vision
Hong Kong Monetary Authority(香港金融管理局)
本文探讨利用计算机视觉技术将香港金管局纪念品中的碎钞片像拼图一样重建,从而理论上从售价100港元的纸镇中回收138,000港元。
2023-11-17 cs.CV
What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior
University of Technology Nuremberg(纽伦堡工业大学);ETH Zürich(苏黎世联邦理工学院);Inria, Ecole Normale Supérieure, CNRS, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学校,法国国家科学研究中心,巴黎文理研究大学)
本研究通过干预度量解释VLN模型依赖的模态,发现其编码进度并保留语义,进而利用激活向量实现零样本迁移,提升分布外场景性能。
2026-09-22 cs.CV cs.RO
Computer Stereo Vision for Autonomous Driving
UC San Diego(加州大学圣地亚哥分校);ATG Robotics(ATG机器人公司);University of Bristol(布里斯托尔大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
作为自动驾驶系统的重要组成部分,自动驾驶汽车感知随着并行计算架构的最新进展而有了很大的飞跃。随着微型但功能齐全的嵌入式超级计算机的使用,计算机立体视觉已被初步应用于自动驾驶汽车的深度感知。计算机立体视觉的两个关键方面是速度和精度。它们都是理想的但相互矛盾的特性,因为具有更好视差精度的算法通常具有更高的计算复杂性。因此,开发一种用于资源有限的硬件的计算机立体视觉算法的主要目的是提高速度和精度之间的权衡。在本章中,我们将介绍用于自动驾驶汽车系统的计算机立体视觉的硬件和软件方面。然后,我们讨论了四个自主汽车感知任务,包括1)视觉特征检测,描述和匹配,2)三维信息获取,3)目标检测/识别和4)语义图像分割。然后详细介绍了计算机立体视觉和多线程CPU和GPU架构上的并行计算的原理。
2020-12-17 cs.CV
Interpreting Neurons in Deep Vision Networks with Language Models
UC San Diego(加州大学圣地亚哥分校);UT Austin(德克萨斯大学奥斯汀分校)
本文提出无训练的Describe-and-Dissect(DnD)方法,利用多模态深度学习生成视觉网络神经元的自然语言描述,无需标记数据或预定义概念,其描述质量优于现有方法,为土地覆盖预测模型等提供关键见解。
2025-02-19 cs.CV cs.LG
Constrained Dominant sets and Its applications in computer vision
在这篇论文中,我们提出了新的计划,利用约束聚类方法来解决几个计算机视觉的任务,从图像检索,图像分割和共分割,人的重新识别。在过去的几十年中,聚类方法在计算机视觉的应用中发挥了至关重要的作用,在这里,我们专注于扩展,重新制定,并集成一个著名的图形和博弈论聚类方法被称为优势集。因此,我们已经证明了所提出的方法的有效性与广泛的实验进行了几个基准数据集。
2020-02-12 cs.CV
NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models
The University of Manchester(曼彻斯特大学);University of Michigan(密歇根大学);Sheffield Hallam University(谢菲尔德哈勒姆大学);Tufts University(塔夫茨大学);ENSTA, Institut Polytechnique de Paris(巴黎综合理工学院国立高等先进技术学校)
研究针对视觉-语言模型数量感知研究的基准缺陷,提出受认知启发的NumerosityVLM基准,评估7个模型发现架构对性能影响最大,数量信号出现在视觉编码器早期,差异主要来自语言模型组件。
2026-08-18 cs.AI cs.CV
From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models
Seoul National University(首尔国立大学)
本文提出一种以iERF为中心的统一框架,通过点特征向量和实例特定的有效感受野,统一了局部、全局和机制可解释性,提高了解释的准确性和鲁棒性。
2026-05-01 cs.CV
Computer Vision-aided Atom Tracking in STEM Imaging
Oak Ridge National Laboratory(橡树岭国家实验室)
为了解决SMC'17数据挑战-“材料属性的原子分辨图像数据采掘”,我们首先使用计算机视觉中开发的经典“斑点检测”算法来识别每个STEM图像帧中的所有原子中心。在最近邻分析的帮助下,我们找到并标记了所有STEM框架共同的每个原子中心,并跟踪了钼或硒原子在给定时间间隔内的运动。
2018-09-13 cs.CV
Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Apertix
本文评估GPT-6 Astra等六个前沿通用系统在34项视觉能力上的表现,发现语义推理任务接近专用模型,而几何精度与保真感知仍具挑战。
2026-09-29 cs.CV
ChainerCV: a Library for Deep Learning in Computer Vision
The University of Tokyo(东京大学);Preferred Networks
尽管深度学习在计算机视觉领域取得了重大进展,但还没有一个软件库以统一的方式涵盖这些方法。我们介绍ChainerCV,一个软件库,旨在填补这一空白。ChainerCV支持许多神经网络模型以及进行计算机视觉研究所需的软件组件。这些实现强调简单性、灵活性和良好的软件工程实践。该库旨在与已发表论文中报告的结果保持一致,其工具可用作计算机视觉未来研究的基线。我们的实现包括更快的R-CNN和SSD等复杂模型,并涵盖目标检测和语义分割等任务。
2017-08-28 cs.CV
Challenges and Opportunities for Computer Vision in Real-life Soccer Analytics
Oxford Brookes University(牛津布鲁克斯大学)
在本文中,我们将探讨计算机视觉在体育分析中的一些应用。体育分析涉及从体育数据语料库中理解和发现模式。分析这些数据为球员提供了重要的表现指标,例如在足球比赛中,这可能有助于估计他们的健康和力量。团队层面的统计数据也可以从这样的分析中估计出来。本文主要讨论了计算机视觉中体育视频分析所面临的挑战和机遇。具体来说,我们使用我们的多摄像头设置作为一个框架来讨论机器学习算法的一些现实挑战。
2020-04-13 cs.CV
siftservice.com - Turning a Computer Vision algorithm into a World Wide Web Service
Department of Computer Science, University of Wisconsin -Milwaukee, WI, USA IEEE Member, Uppsala, Sweden
图像特征的检测和描述是计算机视觉和模式识别领域的一个长期研究课题。尺度不变特征变换(SIFT)可能是最流行和最广泛需求的特征描述符,其促进了各种计算机视觉应用,诸如图像配准、目标跟踪、图像伪造检测和3D表面重建。这项工作介绍了基于软件即服务(SaaS)的SIFT算法的实现,该算法可在http://siftservice.com上免费获得,用于任何学术,教育和研究目的。该服务提供应用程序到应用程序的交互,旨在为世界各地的计算机视觉学生和研究人员提供快速应用程序开发(RAD)和快速原型设计。互联网连接是他们所需要的一切!
2015-04-11 cs.CV
Towards computer vision technologies: Semi-automated reading of automated utility meters
School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院)
在这份报告中,我们分析了使用计算机视觉技术自动读取公用事业仪表的可能性。在我们的研究中,我们专注于两种计算机视觉技术:开源解决方案Tensorflow目标检测(Tensorflow)和商业解决方案Anyline。本报告扩展了我们以前的出版物:我们首先介绍了相关方法的结构化分析。之后,我们提供了两种计算机视觉技术的详细比较,Tensorflow目标检测(Tensorflow)和Anyline,应用于公用事业仪表的半自动读取。在本文中,我们讨论了应用于公用事业抄表的每种解决方案的局限性和优点,特别是侧重于准确性和推理时间等方面。我们的目标是确定最适合此特定应用领域的解决方案,该领域存在多个特定挑战。
2022-11-24 cs.CV
From Behavioral Performance to Internal Competence: Interpreting Vision-Language Models with VLM-Lens
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);University of Michigan(密歇根大学);Stony Brook University(石溪大学);McGill University(麦吉尔大学);Dartmouth College(达特茅斯学院)
本研究推出开源工具包VLM-Lens,支持从16款主流基础VLM及其30余个变体的任意层提取中间输出,提供统一配置接口屏蔽模型差异,可适配新模型,助力VLM的可解释性分析与性能改进。
2025-10-02 cs.CL cs.CV
Image-Based Structural Analysis Using Computer Vision and LLMs: PhotoBeamSolver
gmx [dot] cn(GMX电子邮件服务)
本文提出了一种能够从人工绘制的图纸中解决理想化梁模型的程序,结合计算机视觉和统计学习技术,分析结构元素的检测与视觉解释,并探讨计算机视觉在结构分析中的挑战与应用要求。
2026-03-22 cs.CV
A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships
Huddersfield University(哈德斯菲尔德大学)
本文综述了用于计算机视觉的Transformer架构,探讨其如何通过捕获全局上下文与空间关系在图像分类、目标检测和分割等任务中表现卓越,并分析了其优势、局限及未来研究方向。
2024-08-27 cs.CV
Applications of a Graph Theoretic Based Clustering Framework in Computer Vision and Pattern Recognition
近年来,一些聚类算法已经被用来解决来自不同学科的各种问题。本论文旨在通过将计算机视觉和模式识别中的问题转化为聚类问题来解决这些具有挑战性的问题。我们提出了新的方法来解决多目标跟踪,视觉地理定位和离群点检测问题,使用统一的下划线聚类框架,即,优势集聚类及其扩展,并提出了优于几个国家的最先进的方法的结果。
2018-01-07 cs.CV
Computer Vision Systems in Road Vehicles: A Review
University of Zagreb(萨格勒布大学)
近几十年来,公路车辆的数量显著增加。这一趋势伴随着道路基础设施的建设和各种控制系统的发展,以提高道路交通安全、道路通行能力和旅行舒适度。在交通安全方面已经取得了重大的发展,并且今天的系统越来越多地包括摄像机和计算机视觉方法。摄像头被用作道路基础设施或车辆的一部分。本文从交通工程的角度对车辆计算机视觉系统进行了综述。介绍了道路车辆的安全问题,描述了当前最先进的车载视觉系统,并讨论了未来研究方向的开放问题。
2013-10-01 cs.CV
A Comparative Study of Confidence Calibration in Deep Learning: From Computer Vision to Medical Imaging
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心);Siemens Healthineers(西门子医疗)
尽管深度学习预测模型在区分不同类别方面取得了成功,但它们在包括医疗保健在内的具有挑战性的领域中往往校准不良。此外,长尾分布在包括临床疾病预测在内的深度学习分类问题中带来了巨大挑战。最近提出了一些方法来校准计算机视觉中的深度预测,但没有研究表明代表性模型如何在不同的挑战性环境中工作。在本文中,我们桥梁的置信度校准从计算机视觉医学成像与四个高影响力的校准模型的比较研究。我们的研究是在不同的背景下进行的(自然图像分类和肺癌风险估计),包括平衡与不平衡训练集以及计算机视觉与医学成像。我们的结果支持了关键发现:(1)我们得出了未在不同学习背景下研究的新结论,例如,组合两个校准模型,这两个校准模型都减轻了过度自信的预测,这可能导致不自信的预测,并且来自计算机视觉领域的更简单的校准模型往往更适用于医学成像。(2)我们强调了一般计算机视觉任务和医学成像预测之间的差距,例如,对于一般计算机视觉任务来说理想的校准方法实际上可能损害医学成像预测的校准。(3)我们还在自然图像分类环境中强化了之前的结论。我们相信,这项研究的价值,指导读者选择校准模型和理解之间的差距一般计算机视觉和医学成像领域。
2022-06-17 cs.CV
Kornia: an Open Source Differentiable Computer Vision Library for PyTorch
Computer Vision Center(计算机视觉中心);Czech Technical University in Prague(布拉格捷克理工大学);Arraiy, Inc.(Arraiy公司)
这项工作介绍了Kornia --一个开源的计算机视觉库,它由一组可区分的例程和模块组成,用于解决一般的计算机视觉问题。该软件包使用PyTorch作为其主要后端,以提高效率,并利用反向模式自动微分来定义和计算复杂函数的梯度。受OpenCV的启发,Kornia由一组包含运算符的模块组成,这些运算符可以插入神经网络中以训练模型来执行图像变换、相机校准、对极几何和低级图像处理技术,例如直接对高维张量表示进行操作的滤波和边缘检测。使用我们的框架实现的经典视觉问题的例子,包括一个基准比较现有的视觉库。
2019-10-09 cs.CV
Hyperbolic Deep Learning in Computer Vision: A Survey
University of Amsterdam(阿姆斯特丹大学);TU Dresden(德累斯顿工业大学);Stanford University(斯坦福大学)
本文综述了计算机视觉中的双曲深度学习,分类梳理监督与无监督方法,概述其嵌入层级结构等优势,并指出开放研究问题。
2023-05-11 cs.CV
Evaluation Framework for Computer Vision-Based Guidance of the Visually Impaired
Faculty of Electrical Engineering, Computer Science and Information Technology Osijek(奥西耶克电气工程、计算机科学与信息技术学院)
视力受损者在日常活动中存在严重问题。因此,我们以前的一些工作涉及计算机视觉,用于开发在危急情况下指导视力受损者的辅助系统。这些情况中的一些包括道路交叉口上的人行横道和室内和室外环境中的楼梯。本文提出了一个评估框架,计算机视觉为基础的指导视障人士在这种关键的情况下。所提出的框架包括用于标记和存储用于指导方向的参考人类决策的接口,并将它们与基于计算机视觉的决策进行比较。由于在这一研究领域中没有明确定义严格的评估方法,并且由于向视障者传递信息的具体情况,提出了具体的简化引导指令的评估标准。
2022-09-20 cs.CV
Computer Vision and Its Relationship to Cognitive Science: A perspective from Bayes Decision Theory
本文从贝叶斯决策理论视角探讨计算机视觉与认知科学的关系,提出贝叶斯框架与深度神经网络方法的结合可能性。
2026-01-30 cs.CV
Vision-based inspection system employing computer vision & neural networks for detection of fractures in manufactured components
R.V. College of Engineering(R.V.工程学院)
我们正在迈向生产线自动化和机器人集成时代[5]。必须建立有效的质量控制系统,以保持制造部件的质量。在不同的质量控制系统中,由于计算能力和图像处理技术的发展,基于视觉的检测系统已经获得了相当大的普及[8]。在本文中,我们提出了一种基于视觉的检测系统(VBI)作为质量控制系统,它不仅检测缺陷的存在,如在传统的VBI,但也利用机器学习的发展,以预测表面断裂和磨损的存在。我们使用OpenCV,一个开源的计算机视觉框架,和Tensorflow,一个由谷歌公司开发的开源机器学习框架,以完成检测和预测所制造的齿轮的表面缺陷(例如断裂)的存在的任务。
2019-01-25 cs.CV
On the closed-form solution of the rotation matrix arising in computer vision problems
Oregon Health and Science University(俄勒冈健康与科学大学)
给出了迹最大化(A ′ R)的封闭解,其中A是已知的,R是未知的旋转矩阵。这个问题发生在许多涉及最佳旋转矩阵估计的计算机视觉任务中。作为具体问题的一部分,该解决方案在不同领域不断被重新发明。我们总结了问题的历史演变,并给出了解决方案的一般证明。我们通过考虑A的退化情形和讨论R的唯一性来证明。
2009-04-09 cs.CV
Computer Vision with a Superpixelation Camera
Portland State University(波特兰州立大学);Willamette University(威拉米特大学)
本文提出SuperCam相机,通过实时超级像素分割处理数据,在内存受限情况下提升图像分割、目标检测和单目深度估计性能。
2026-03-27 cs.CV
Embedded Platforms for Computer Vision-based Advanced Driver Assistance Systems: a Survey
Vicomtech-IK4
计算机视觉,无论是单独使用还是与雷达或激光雷达等其他技术相结合,都是高级驾驶辅助系统(ADAS)中使用的关键技术之一。它在理解和分析驾驶场景方面的作用非常重要,因为使用该技术的ADAS应用的数量可以说明这一点。然而,将视觉算法移植到嵌入式汽车系统仍然是非常具有挑战性的,因为必须在几种设计方法之间进行权衡。此外,没有标准的实施平台,因此科学界和工业界都提出了不同的替代方案。本文旨在回顾可用于基于计算机视觉的ADAS的嵌入式系统和不同的嵌入式实现平台,并对未来趋势进行了批判性分析和展望。
2015-04-28 cs.CV
WiCV 2020: The Seventh Women In Computer Vision Workshop
University of Bristol(布里斯托大学);Zalando SE(Zalando公司);Occidental College(西方学院);Cornell University(康奈尔大学);Sandia National Laboratories(桑迪亚国家实验室);Microsoft(微软);University of Oxford(牛津大学);Simon Fraser University(西蒙弗雷泽大学)
在本文中,我们详细介绍了计算机视觉研讨会中的女性- WiCV 2020,与虚拟CVPR 2020一起组织。该活动旨在鼓励计算机视觉领域的女性研究人员。它为计算机视觉社区的少数群体(女性)提供了一个声音,并越来越多地关注这些研究人员在学术界和工业界的知名度。WiCV认为,这样的活动可以在降低计算机视觉领域的性别失衡方面发挥重要作用。WiCV每年都会组织一次,它提供一个。研究人员之间的合作机会b.)对女性初级研究人员的指导c.)为演讲者提供财政支持,以克服经济负担,以及d.)大量多样的榜样选择,他们可以作为年轻研究人员在职业生涯开始时的榜样。在本文中,我们提出了一份报告的研讨会计划,在过去几年的趋势,统计数据的摘要有关的演讲者,与会者和赞助商为当前的研讨会。
2021-01-11 cs.CV
Recent Advances of Local Mechanisms in Computer Vision: A Survey and Outlook of Recent Work
Shandong University(山东大学)
本文系统综述了面向细粒度识别、重识别、少/零样本、多模态、自监督学习及Vision Transformers等任务的计算机视觉局部机制,归纳分类、分析优劣并展望方向。
2023-06-02 cs.CV
Total Variation Optimization Layers for Computer Vision
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深层网络层内的优化已经成为深层网络层设计的新方向。然而,当将这些层应用于计算机视觉任务时,存在两个主要挑战:(a)层内的哪个优化问题有用?; (b)如何确保层内的计算保持高效?为了研究问题(a),在这项工作中,我们提出了全变差(TV)最小化作为计算机视觉的一个层。受图像处理中全变分成功的启发,我们假设TV作为一个层也为深网提供了有用的归纳偏置。我们在五个计算机视觉任务上研究了这一假设:图像分类、弱监督对象定位、边缘保持平滑、边缘检测和图像去噪,并在现有基线上进行了改进。为了实现这些结果,我们必须解决问题(b):我们开发了一种基于GPU的投影牛顿法,它比现有的解决方案快$37\times$。
2022-04-07 cs.CV
Designing High-Performing Networks for Multi-Scale Computer Vision
Universiteit van Amsterdam(阿姆斯特丹大学)
本论文研究面向多尺度计算机视觉任务的新网络架构设计,旨在公平比较下超越现有基线模型,并公开了代码。
2024-02-19 cs.CV
When ChatGPT for Computer Vision Will Come? From 2D to 3D
KAIST(韩国科学技术院);Kyung Hee University(庆熙大学)
本文探讨了ChatGPT在计算机视觉领域缺失的问题,回顾了深度学习在文本、图像和3D领域的发展,并从数据角度展望了AIGC在3D领域的发展前景。
2023-05-10 cs.CV
Binary Image Features Proposed to Empower Computer Vision
Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
该文献提出了三种快速且容易计算的图像特征,以通过提供更像人类的视觉能力来改善计算机视觉。这些特征不基于图像像素的绝对或相对强度;也不基于形状或颜色。因此,不需要复杂的逐像素计算。对于人眼来说,逐像素计算就像是看到一幅具有最大缩放的图像,只有在需要更高级别的细节时才进行这种计算。通常情况下,我们首先看一张图像,以了解它的整体概念,以知道它是否值得进一步研究。这种能力得到一个想法在一瞥进行了分析,并提出了三个基本特征,使计算机视觉。通过不同的医疗数据集测试和建立拟议功能的潜力。实现的分类精度证明了在图像处理中使用所提出的特征的可能性和潜力。
2018-08-14 cs.CV
Situated Cameras, Situated Knowledges: Towards an Egocentric Epistemology for Computer Vision
Indiana University(印第安纳大学)
本文将Donna Haraway的情境化知识隐喻与以自我为中心的计算机视觉结合,提出“以自我为中心的认识论”框架,主张采用定性、以人为中心的方法作为性能基准的补充,将众包工作者的视角置于CV核心。
2023-06-30 cs.CV
A Survey on Recent Advances of Computer Vision Algorithms for Egocentric Video
Indiana University(印第安纳大学)
最近的技术进步使得轻便的头戴式摄像头既实用又实惠,像谷歌眼镜这样的产品首次将以自我为中心(第一人称)的视频引入主流。有趣的是,计算机视觉社区直到最近才开始探索这个以自我为中心的视觉的新领域,其中的研究可以大致分为三个领域:对象识别,活动检测/识别,视频摘要。在本文中,我们试图对已经解决的不同问题进行广泛的概述,并收集和比较评估结果。此外,随着这个新领域的出现,引入了许多新的和通用的基准数据集,我们也对它们进行了总结和比较。
2015-01-12 cs.CV
WiCV 2019: The Sixth Women In Computer Vision Workshop
University of Florence(佛罗伦萨大学);Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Occidental College(occidental学院);University of Oxford(牛津大学);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
在本文中,我们介绍了与CVPR 2019联合举办的计算机视觉研讨会- WiCV 2019中的女性。该活动旨在提高计算机视觉领域女性研究人员的知名度和参与度。在过去的几年里,计算机视觉和机器学习取得了令人难以置信的进步,但无论是在学术界还是在工业界,女性研究人员的数量仍然很低。WiCV的组织特别是出于以下原因:提高女性研究人员的知名度,增加她们之间的合作,并为该领域的女性初级研究人员提供指导。在本文中,我们提出了一份报告的趋势,在过去几年中,随着统计数据的摘要有关的演讲者,与会者,和赞助商为当前的研讨会。
2019-09-23 cs.CV
Toward Designing Intelligent PDEs for Computer Vision: An Optimal Control Approach
Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong(香港中文大学)
许多计算机视觉和图像处理问题都可以归结为求解偏微分方程。然而,设计偏微分方程系统通常需要很高的数学技能和对问题的良好洞察力。在本文中,我们考虑设计的偏微分方程中出现的各种问题,在计算机视觉和图像处理的懒惰的方式:\emph{learning PDEs from real data via data-based optimal control}。我们首先提出了一个通用的智能PDE系统,它拥有大多数视觉问题的基本平移和旋转不变性规则。通过引入PDE约束的最优控制框架,可以使用多种方式产生的训练数据(地面实况,其他方法的结果和人类的手动结果)来学习不同计算机视觉任务的PDE。所提出的基于最优控制的训练框架旨在学习基于偏微分方程的回归量来近似不同视觉任务的未知(通常是非线性)映射。实验结果表明,学习的偏微分方程可以合理地解决不同的视觉问题。特别是,我们不仅可以获得传统偏微分方程工作良好的问题,而且还可以获得基于偏微分方程的方法从未尝试过的问题,由于难以用数学方式描述这些问题。
2011-09-06 cs.CV
Towards a Better Understanding of the Computer Vision Research Community in Africa
University of California, Davis(加州大学戴维斯分校);German University in Cairo(开罗德国大学);Nile University(尼罗河大学);University College London(伦敦大学学院);University of Angers(昂热大学);University of Sfax(斯法克斯大学);Ashesi University(阿希西大学)
本文通过实证分析2012-2022年间约63,000篇Scopus索引的非洲计算机视觉出版物,揭示非洲研究占比仅0.06%且顶级发表缺乏持续增长,指出北非和南非主导、东非和西非增长潜力及国际合作主导等现状。
2024-02-04 cs.CV
Computer Vision for Autonomous Vehicles
Indian Institute of Space Science and Technology(印度空间科学技术学院)
在这项工作中,我们试图在室内和室外的自动驾驶汽车领域实现图像处理技术。两者面临的挑战不同,应对的方式也不同。我们还展示了深度学习使事情变得更容易和精确。我们还为印度空间科学技术研究所制造自动驾驶汽车时所解决的所有问题制作了基础模型。
2018-12-06 cs.CV
AI Learns to Recognize Bengali Handwritten Digits: Bengali.AI Computer Vision Challenge 2018
Apurba Technologies(阿普尔巴科技公司)
在孟加拉国和孟加拉语社区,以竞争的方式解决人工智能问题的做法长期以来一直没有出现。另一方面,还没有一个结构良好的孟加拉文手写数字数据库供大众使用。为了吸引机器学习领域的精英,并利用他们的专业知识创建一个可以轻松识别孟加拉语手写数字的模型,我们组织了孟加拉语.人工智能计算机视觉挑战赛。该挑战赛吸引了本地和国际团队参与,他们付出了前所未有的努力。
2018-10-10 cs.CV