I Find Your Lack of Uncertainty in Computer Vision Disturbing
German Research Center for Artificial Intelligence（德国人工智能研究中心）
神经网络被用于许多现实世界的应用，但通常它们在估计自己的置信度时存在问题。这对于旨在与人类及其生活做出高风险决策的计算机视觉应用来说尤其成问题。在本文中，我们对文献进行了荟萃分析，表明大多数（如果不是所有的话）计算机视觉应用程序没有使用适当的认知不确定性量化，这意味着这些模型忽略了自己的局限性。我们描述了使用模型没有适当的不确定性量化的后果，并激励社区采用他们使用的模型，有适当的校准认知不确定性的版本，以使分布外检测。最后，我们总结了计算机视觉应用中估计不确定性的挑战和建议。
2021-04-16 cs.CV cs.LG
Are object detection assessment criteria ready for maritime computer vision?
Carnegie Mellon University（卡内基梅隆大学）
配备有可见光和红外摄像机的海上船只可以补充用于目标检测的其他传统传感器。然而，计算机视觉技术在海事领域的应用只是最近才受到关注。海洋环境有其独特的要求和挑战。检测质量的评估是计算机视觉的一个基本需求。然而，适合于通常的目标检测的常规评估度量在海上环境中是有缺陷的。因此，计算机视觉中的大量相关工作乍一看似乎不适用于海上环境。我们讨论的问题，定义评估指标适用于海上计算机视觉。我们认为新的底部边缘接近度量海上计算机视觉的评估指标。这些指标表明，现有的计算机视觉方法确实是有前途的海上计算机视觉，并可以在新兴的海上计算机视觉领域发挥基础性作用。
2019-11-17 cs.CV
gvnn: Neural Network Library for Geometric Computer Vision
Imperial College London（伦敦帝国理工学院）；ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
我们介绍了Torch中的神经网络库gvnn，旨在弥合经典几何计算机视觉和深度学习之间的差距。受空间Transformer网络最近成功的启发，我们提出了几个新的层，这些层通常用作几何计算机视觉中数据的参数化变换。这些层可以在原始空间Transformers的精神下插入神经网络中，并允许反向传播，以实现涉及几何计算机视觉中任何领域知识的网络的端到端学习。这打开了在学习不变性到3D几何变换中的应用，用于位置识别、端到端视觉里程计、深度估计和无监督学习，通过针对图像重建误差的参数变换进行翘曲。
2016-08-12 cs.CV cs.LG
Second Croatian Computer Vision Workshop (CCVW 2013)
University of Zagreb（萨格勒布大学）
第二届克罗地亚计算机视觉研讨会（CCVW 2013，http：//www.fer.unizg.hr/crv/ccvw2013）会议记录，2013年9月19日，克罗地亚萨格勒布。研讨会由萨格勒布大学计算机视觉卓越中心组织。
2013-11-03 cs.CV
Meta-learning algorithms for Few-Shot Computer Vision
少样本学习是用少量数据训练模型的挑战。这个问题的许多解决方案使用Meta学习算法，即学习学习的算法。通过从更大的数据集中采样Few-Shot任务，我们可以教这些算法解决新的、看不见的任务。本文档报告了我在Few-Shot计算机视觉的Meta学习算法方面的工作。这项工作是我在Sicara实习期间完成的，Sicara是一家为企业提供图像识别解决方案的法国公司。它包含：1.广泛回顾了Few-Shot计算机视觉的最新发展; 2.用于Few-Shot图像分类的Meta学习算法的基准; 3.介绍了一种新的用于Few-Shot目标检测的Meta学习算法，该算法仍在开发中。
2019-09-30 cs.CV cs.LG
Residual Quantity in Percentage of Factory Machines Using Computer Vision and Mathematical Methods
自从人工智能发展获得推动力以来，计算机视觉一直在蓬勃发展。使用深度学习技术一直是计算机科学家认为解决方案的最流行的方法。然而，深度学习技术往往表现出比手动处理更低的性能。使用深度学习并不总是解决与计算机视觉相关的问题。
2022-02-14 cs.CV
Multiband NFC for High-Throughput Wireless Computer Vision Sensor Network
视觉传感器是计算机视觉的核心。在许多计算机视觉应用中，例如AR/VR，需要具有高吞吐量的非接触式近场通信（NFC）来将信息传输到算法。在这项工作中，我们提出了一种新的NFC系统，利用多个频段，以实现高吞吐量。
2017-05-28 cs.CV cs.NI
CloudCV: Large Scale Distributed Computer Vision as a Cloud Service
Virginia Tech（弗吉尼亚理工大学）；Imperial College London（帝国理工学院）
我们正在目睹大量视觉数据的扩散。不幸的是，将现有的计算机视觉算法扩展到大型数据集会让研究人员反复解决相同的算法，物流和基础设施问题。我们的目标是使计算机视觉民主化;人们不应该成为计算机视觉、大数据和分布式计算专家，才能访问最先进的分布式计算机视觉算法。我们提出了CloudCV，一个全面的系统，通过Web接口和API提供对最先进的分布式计算机视觉算法的访问，作为云服务。
2017-02-13 cs.CV cs.DC
Leveling Down in Computer Vision: Pareto Inefficiencies in Fair Deep Classifiers
Amazon Web Services（亚马逊云科技）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Rice University（莱斯大学）
算法公平性通常是在权衡方面被激励的，在权衡中，整体性能被降低，以便改善对处于不利地位的群体的性能，否则算法将不太准确。与此相反，我们发现，将现有的公平性方法应用于计算机视觉，通过降低所有组中分类器的性能来提高公平性（其中表现最好的组的性能下降幅度更大）。将分类的偏差方差分解扩展到公平性，我们从理论上解释了为什么大多数为低容量模型设计的公平分类器不应该用于涉及高容量模型的设置中，这是计算机视觉常见的情况。我们证实了这一分析与广泛的实验支持，表明在计算机视觉中使用的许多公平性算法也降低了最弱势群体的性能。基于这些见解，我们提出了一种自适应增强策略，独特的，所有的方法测试，提高性能的弱势群体。
2022-03-31 cs.CV cs.LG
MNIST-C: A Robustness Benchmark for Computer Vision
Google Inc.（谷歌公司）
我们介绍了MNIST-C数据集，这是一个适用于MNIST测试集的15种损坏的综合套件，用于对计算机视觉中的分布鲁棒性进行基准测试。通过几个实验和可视化，我们证明了我们的腐败显着降低性能的最先进的计算机视觉模型，同时保留测试图像的语义内容。与对抗性鲁棒性的流行概念相反，我们的模型不可知的腐败不寻求最坏情况下的性能，而是被设计为广泛和多样化，捕获现代模型的多种故障模式。事实上，我们发现，根据MNIST-C的测量，之前发布的几种对抗性防御显著降低了鲁棒性。我们希望我们的基准作为一个有用的工具，在未来的工作中设计的系统，能够学习强大的功能表示，捕捉输入的底层语义。
2019-06-05 cs.CV cs.LG
Teaching Computer Vision for Ecology
Caltech（加州理工学院）；MIT（麻省理工学院）；Wild Me；Yale University（耶鲁大学）
计算机视觉可以通过自动分析来自相机陷阱、无人机和卫星等传感器的原始图像来加速生态学研究。然而，计算机视觉是一门新兴的学科，生态学家很少学习。这项工作讨论了我们的经验，教一个不同的生态学家组原型和评估计算机视觉系统的背景下，密集的动手夏季研讨会。我们解释研讨会的结构，讨论共同的挑战，并提出最佳实践。本文档适用于跨学科教授计算机视觉的计算机科学家，但对于正在学习使用计算机视觉的生态学家或其他领域专家也可能有用。
2023-01-05 cs.CV cs.CY
CVNets: High Performance Library for Computer Vision
Apple（苹果公司）
我们介绍CVNets，这是一个高性能的开源库，用于训练深度神经网络，以完成视觉识别任务，包括分类、检测和分割。CVNets支持图像和视频理解工具，包括数据加载、数据转换、新颖的数据采样方法，以及实现几种标准网络，其性能与以前的研究相似或更好。我们的源代码可在以下网址获得：\url{https://github.com/apple/ml-cvnets}。
2022-06-04 cs.CV cs.LG
A Taxonomy of Deep Convolutional Neural Nets for Computer Vision
Indian Institute of Science（印度科学学院）
解决计算机视觉问题的传统架构及其成功程度严重依赖于手工制作的功能。然而，最近，深度学习技术提供了一种引人注目的替代方案-自动学习特定问题的特征。有了这种新的范式，计算机视觉中的每一个问题现在都在从深度学习的角度重新审视。因此，了解什么样的深度网络适合特定问题变得非常重要。虽然存在对这种快速发展的范式（即深度网络）的一般调查，但缺少针对计算机视觉的调查。我们特别考虑了广泛用于计算机视觉的一种形式的深度网络-卷积神经网络（CNN）。我们从“AlexNet”作为我们的基础CNN开始，然后研究随着时间的推移提出的广泛变化，以适应不同的应用。我们希望我们的食谱式调查将作为指导，特别是对于打算将深度学习技术用于计算机视觉的新手从业者。
2016-01-25 cs.CV cs.LG cs.MM
Implications of Computer Vision Driven Assistive Technologies Towards Individuals with Visual Impairment
Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；University of Waterloo（滑铁卢大学）
基于计算机视觉的技术在社会中变得无处不在。计算机视觉增长的一个应用领域是辅助技术，特别是针对那些有视觉障碍的人。研究表明，计算机视觉模型能够实现提供场景字幕、检测物体和识别人脸等任务。虽然协助视力障碍者完成这些任务增加了他们的独立性和自主性，但对偏见、隐私和潜在有用性的担忧也随之产生。本文讨论了基于计算机视觉的辅助技术对视力障碍者的积极和消极影响，以及计算机视觉研究人员和开发人员的考虑因素，以减轻负面影响。
2019-05-20 cs.CV cs.CY
Adapting Computer Vision Algorithms for Omnidirectional Video
JOANNEUM RESEARCH（约翰内姆研究所）
全方位（360°）视频已经非常流行，因为它提供了高度沉浸式的观看体验。对于计算机视觉算法，它提出了几个挑战，如通常采用的特殊（等矩形）投影和巨大的图像尺寸。在这项工作中，我们给出了一个高层次的概述，这些挑战和概述策略如何适应计算机视觉算法的全向视频的具体情况。
2019-07-22 cs.CV
Negative Results in Computer Vision: A Perspective
University of Central Florida（中佛罗里达大学）
负结果是指实验或模型的结果与预期不符，或者假设不成立。尽管在科学界经常被忽视，但负面结果是结果，它们具有价值。虽然这个主题在社会科学和生物科学等其他领域已经得到了广泛的讨论，但在计算机视觉界却很少有人关注。计算机视觉的独特性，特别是其实验方面，要求对这一问题进行特殊处理。在本文中，我将讨论是什么让负面结果变得重要，如何传播和激励它们，以及在这方面可以从认知视觉研究中吸取什么教训。此外，我将讨论的问题，如计算机视觉和人类视觉的相互作用，实验设计和统计假设检验，解释与预测建模，性能评估，模型比较，以及计算机视觉的研究文化。
2017-06-06 cs.CV
VisionISP: Repurposing the Image Signal Processor for Computer Vision Applications
Intel Corporation, Santa Clara, CA, USA（美国加利福尼亚州圣克拉拉市英特尔公司）
传统的图像信号处理器（ISP）主要设计和优化，以提高人类感知的图像质量。然而，最佳感知图像质量并不总是转化为计算机视觉应用的最佳性能。我们提出了一组方法，我们统称为VisionISP，重新利用ISP的机器消费。VisionISP通过降低位深度和分辨率，同时保留相关信息，显著降低了数据传输需求。VisionISP中的块简单、内容感知且可训练。实验结果表明，VisionISP提高了后续计算机视觉系统的性能，该系统经过训练，可以在自动驾驶环境中检测物体。结果表明VisionISP在计算机视觉应用中的潜力和实用性。
2019-11-14 cs.CV eess.IV
Literature Review: Computer Vision Applications in Transportation Logistics and Warehousing
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本文对计算机视觉在运输物流与仓储中的应用进行结构化文献综述，按任务与技术分类，梳理监测与操作研究、未来方向、数据集及工业方案。
2023-06-07 cs.CV cs.LG
Domain Adaptations for Computer Vision Applications
University of California, San Diego（加州大学圣地亚哥分校）
统计学习理论的一个基本假设是，训练和测试数据来自相同的底层分布。不幸的是，这个假设在许多应用中并不成立。相反，充足的标记数据可能存在于一个特定的“源”域，而推理需要在另一个“目标”域。领域自适应方法利用来自两个领域的标记数据来改进对目标领域中的不可见数据的分类。在这项工作中，我们调查域迁移学习方法的各种应用领域的重点是最近的工作在计算机视觉。
2012-11-20 cs.CV cs.LG stat.ML
The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research Cambridge（微软研究院剑桥实验室）
计算机视觉是困难的，因为在照明，形状和纹理的大的可变性;此外，图像信号是非加性的，由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人，但由于后验推理的困难，计算机视觉的生成模型在很大程度上未能实现这一承诺。因此，社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性，但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”，并在仔细的实验中证明它具有挑战性的生成模型，其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题，一种方法，可以被理解为“逆图形”。知情的采样器，使用简单的判别建议的基础上现有的计算机视觉技术，实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
Tuning computer vision models with task rewards
Google Research（谷歌研究院）；University of Oxford（牛津大学）
模型预测与预期用途之间的不一致可能对计算机视觉模型的部署有害。当任务涉及复杂的结构化产出时，这一问题就更加严重，因为更难设计程序来解决这种不协调问题。在自然语言处理中，这通常使用将模型与任务奖励对齐的强化学习技术来解决。我们采用这种方法，并在多个计算机视觉任务，如目标检测，全景分割，彩色化和图像描述显示其令人惊讶的有效性。我们相信这种方法有可能广泛用于更好地将模型与各种计算机视觉任务相匹配。
2023-02-16 cs.CV
Democratisation of Usable Machine Learning in Computer Vision
Ulster University（阿尔斯特大学）；University of Nottingham（诺丁汉大学）；Swansea University（斯旺西大学）；University of Waterloo（滑铁卢大学）；Auromind（Auromind公司）；DarwinAI（达尔文AI公司）
许多行业现在正在大力投资数据科学和自动化，以取代手动任务和/或帮助决策，特别是在利用计算机视觉自动化许多监控，检查和监视任务的领域。这导致了精通统计思维、机器学习（ML）、计算机视觉和计算机编程的“数据科学家”的出现。然而，随着ML变得越来越容易被公众使用，ML的更多方面变得自动化，利用计算机视觉的应用程序越来越多地由非专家创建，受到监管监督的机会越来越少。这表明，总体上需要为这些可用ML工具的非专业用户提供更多的教育责任，以减轻潜在的不道德后果。在本文中，我们进行了SWOT分析，以研究在利用ML的重要领域（如计算机视觉）构建可用的ML工具以供大规模采用的优势，劣势，机会和威胁。本文提出了一套数据科学素养标准，用于教育和支持非专业用户负责开发和部署ML应用程序。
2019-02-18 cs.AI cs.CV cs.LG
The iCub multisensor datasets for robot and computer vision applications
Humboldt-Universität zu Berlin（柏林洪堡大学）；The BioRobotics Institute, Scuola Superiore Sant’Anna（圣安娜高等学校生物机器人研究所）；Adaptive Systems Group, Department of Computer Science（计算机科学系自适应系统组）
本文介绍了新的数据集，通过采用配备额外的深度传感器和彩色摄像头的iCub机器人构建。我们使用机器人在不同的采集场景中采集了210个物体的颜色和深度信息。最后，结果是机器人和计算机视觉应用的大规模数据集：对象表示，对象识别和分类，以及动作识别。
2020-03-04 cs.CV cs.LG cs.RO
Computer Vision and Abnormal Patient Gait Assessment a Comparison of Machine Learning Models
University of Connecticut（康涅狄格大学）；Saint Johns’ Episcopal Hospital（圣约翰圣公会医院）；Plainview Medical Center（普莱恩维尤医疗中心）；Northwell Health（诺斯韦尔健康中心）
步态异常及其相关的跌倒和并发症具有较高的患者发病率、死亡率。计算机视觉检测、预测患者步态异常、评估跌倒风险，并作为医生的临床决策支持工具。本文对计算机视觉、机器学习模型如何进行异常患者步态评估进行了系统的综述。计算机视觉在步态分析中是有益的，它有助于捕获患者的姿势。一些文献建议使用不同的机器学习算法，例如SVM、ANN、K-Star、随机森林、KNN等，对提取的特征进行分类，以研究患者步态异常。
2020-03-22 cs.CV
Adversarial Examples that Fool both Computer Vision and Time-Limited Humans
Google Brain（谷歌大脑）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）；Pennsylvania State University（宾夕法尼亚州立大学）
机器学习模型容易受到对抗性例子的影响：图像的微小变化可能导致计算机视觉模型犯错误，例如将校车识别为鸵鸟。然而，人类是否容易犯类似的错误仍然是一个悬而未决的问题。在这里，我们解决这个问题，利用最近的技术，从计算机视觉模型与已知的参数和架构的对抗性的例子转移到其他模型与未知的参数和架构，并通过匹配人类视觉系统的初始处理。我们发现，在计算机视觉模型之间强烈传递的对抗性例子会影响时间有限的人类观察者所做的分类。
2018-05-22 cs.CV cs.LG q-bio.NC
Reconfiguring the Imaging Pipeline for Computer Vision
Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
深度学习的进步引发了对嵌入式计算机视觉高效硬件的研究爆炸。然而，硬件视觉加速并没有解决捕获和处理这些算法所需的图像数据的成本问题。我们研究了图像信号处理（ISP）管道在计算机视觉中的作用，以确定减少计算和节省能源的机会。关键的见解是，成像管道应该被设计为可配置的：在传统摄影模式和低功耗视觉模式之间切换，该模式产生仅适用于计算机视觉的低质量图像数据。我们使用八个计算机视觉算法和可逆流水线仿真工具来研究成像系统对视觉性能的影响。对于基于CNN和经典的视觉算法，我们观察到只有两个ISP阶段，去马赛克和伽马压缩，对任务性能至关重要。我们提出了一种新的图像传感器设计，可以弥补跳过这些阶段。传感器设计具有可调分辨率和可调模数转换器（ADC）。我们提出的成像系统的视觉模式完全禁用ISP，并配置传感器产生二次采样，低精度的图像数据。这种视觉模式可以节省约75%的基线摄影模式的平均能量，同时对视觉任务精度的影响很小。
2017-08-01 cs.CV
The possibility of making \$138,000 from shredded banknote pieces using computer vision
Hong Kong Monetary Authority（香港金融管理局）
本文探讨利用计算机视觉技术将香港金管局纪念品中的碎钞片像拼图一样重建，从而理论上从售价100港元的纸镇中回收138,000港元。
2023-11-17 cs.CV
Computer Stereo Vision for Autonomous Driving
UC San Diego（加州大学圣地亚哥分校）；ATG Robotics（ATG机器人公司）；University of Bristol（布里斯托尔大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
作为自动驾驶系统的重要组成部分，自动驾驶汽车感知随着并行计算架构的最新进展而有了很大的飞跃。随着微型但功能齐全的嵌入式超级计算机的使用，计算机立体视觉已被初步应用于自动驾驶汽车的深度感知。计算机立体视觉的两个关键方面是速度和精度。它们都是理想的但相互矛盾的特性，因为具有更好视差精度的算法通常具有更高的计算复杂性。因此，开发一种用于资源有限的硬件的计算机立体视觉算法的主要目的是提高速度和精度之间的权衡。在本章中，我们将介绍用于自动驾驶汽车系统的计算机立体视觉的硬件和软件方面。然后，我们讨论了四个自主汽车感知任务，包括1）视觉特征检测，描述和匹配，2）三维信息获取，3）目标检测/识别和4）语义图像分割。然后详细介绍了计算机立体视觉和多线程CPU和GPU架构上的并行计算的原理。
2020-12-17 cs.CV
Florence: A New Foundation Model for Computer Vision
Microsoft Cloud and AI（微软云与人工智能部门）；Microsoft Research Redmond（微软雷德蒙德研究院）
对我们多样化和开放世界的自动视觉理解要求计算机视觉模型能够很好地泛化，并对特定任务进行最小化的定制，类似于人类视觉。计算机视觉基础模型是在各种大规模数据集上训练的，可以适应广泛的下游任务，对于解决现实世界的计算机视觉应用至关重要。虽然现有的视觉基础模型，如CLIP，ALIGN和Wu Dao 2.0主要集中在将图像和文本表示映射到跨模态共享表示，但我们引入了一个新的计算机视觉基础模型Florence，将表示从粗（场景）扩展到细（对象），从静态（图像）扩展到动态（视频），从RGB扩展到多模态（标题，深度）。通过将通用的视觉语言表示从Web规模的图像-文本数据，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，如分类，检索，目标检测，VQA，图像字幕，视频检索和动作识别。此外，Florence在许多类型的迁移学习中表现出色：完全采样微调，线性探测，Few-Shot迁移和新颖图像和对象的zero-shot迁移。所有这些属性对于我们的视觉基础模型服务于通用视觉任务来说都是至关重要的。Florence在44个代表性基准中的大多数中取得了新的最先进的结果，例如，ImageNet-1 K zero-shot分类，top-1精度为83.74，top-5精度为97.18，COCO微调为62.4 mAP，VQA为80.36，Kinetics-600为87.8。
2021-11-22 cs.AI cs.CV cs.LG
From Structured to Unstructured:A Comparative Analysis of Computer Vision and Graph Models in solving Mesh-based PDEs
University of Kassel（卡塞尔大学）
本文对比了计算机视觉与图模型在高性能计算中求解网格偏微分方程的表现，发现以U-Net为代表的计算机视觉模型在结构化、分级及非结构化网格上均展现出优越性，为数据驱动方法提供了新视角。
2024-05-31 cs.CE cs.CV cs.LG
Does computer vision matter for action?
Intel Labs（英特尔实验室）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
计算机视觉产生场景内容的表示。许多计算机视觉研究都是基于这样一个假设，即这些中间表示对动作有用。最近在机器学习和机器人学交叉领域的研究对这一假设提出了质疑，他们直接为手头的任务训练感觉运动系统，从像素到动作，没有显式的中间表示。因此，我们工作的中心问题是：计算机视觉对行动重要吗？我们通过沉浸式模拟来探索这个问题及其分支，这使我们能够进行大规模的可控可重复实验。我们的仪器沉浸式三维环境，以模拟挑战，如城市驾驶，越野步道穿越和战斗。我们的主要发现是计算机视觉确实很重要。配备中间表示的模型训练更快，实现更高的任务性能，并更好地推广到以前看不到的环境。一个视频，总结了工作，并说明了结果可以在https://youtu.be/4MfWa2yZ0Jc找到
2019-10-22 cs.AI cs.CV cs.LG
Constrained Dominant sets and Its applications in computer vision
在这篇论文中，我们提出了新的计划，利用约束聚类方法来解决几个计算机视觉的任务，从图像检索，图像分割和共分割，人的重新识别。在过去的几十年中，聚类方法在计算机视觉的应用中发挥了至关重要的作用，在这里，我们专注于扩展，重新制定，并集成一个著名的图形和博弈论聚类方法被称为优势集。因此，我们已经证明了所提出的方法的有效性与广泛的实验进行了几个基准数据集。
2020-02-12 cs.CV
Gender Slopes: Counterfactual Fairness for Computer Vision Models by Attribute Manipulation
UCLA（加州大学洛杉矶分校）
自动化计算机视觉系统已应用于许多领域，包括安全、执法和个人设备，但最近的报告表明，这些系统可能会产生有偏见的结果，歧视某些人口群体。然而，诊断和理解模型偏差的潜在真正原因是一项具有挑战性的任务，因为现代计算机视觉系统依赖于复杂的黑箱模型，其行为难以解码。我们建议使用一个编码器-解码器网络开发的图像属性操作，以合成不同的性别和种族的尺寸，同时保持其他信号完好无损的面部图像。我们使用这些合成图像来测量商业计算机视觉分类器的反事实公平性，方法是检查这些分类器受图像中控制的性别和种族线索影响的程度，例如，女性面孔可能会导致护士概念的得分较高，而STEM相关概念的得分较低。我们还报告了在线搜索服务中与专业相关的关键词的性别代表性，这可能解释了模型中编码的偏见的起源。
2020-05-21 cs.AI cs.CV cs.LG
3DB: A Framework for Debugging Computer Vision Models
MIT（麻省理工学院）；Microsoft Research（微软研究院）
我们介绍3DB：一个可扩展的，统一的框架，用于测试和调试视觉模型，使用真实感仿真。我们通过广泛的用例证明，3DB允许用户发现计算机视觉系统中的漏洞，并深入了解模型如何做出决策。3DB从以前的工作中捕获和概括了许多鲁棒性分析，并使人们能够研究它们之间的相互作用。最后，我们发现，由系统产生的见解转移到物理世界。我们将3DB作为一个库（https：//github.com/3db/3db）发布，同时发布一组示例分析、指南和文档：https://3db.github.io/3db/。
2021-06-07 cs.CV cs.LG stat.ML
Computer Vision-aided Atom Tracking in STEM Imaging
Oak Ridge National Laboratory（橡树岭国家实验室）
为了解决SMC'17数据挑战-“材料属性的原子分辨图像数据采掘”，我们首先使用计算机视觉中开发的经典“斑点检测”算法来识别每个STEM图像帧中的所有原子中心。在最近邻分析的帮助下，我们找到并标记了所有STEM框架共同的每个原子中心，并跟踪了钼或硒原子在给定时间间隔内的运动。
2018-09-13 cs.CV
Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Apertix
本文评估GPT-6 Astra等六个前沿通用系统在34项视觉能力上的表现，发现语义推理任务接近专用模型，而几何精度与保真感知仍具挑战。
2026-09-29 cs.CV
ChainerCV: a Library for Deep Learning in Computer Vision
The University of Tokyo（东京大学）；Preferred Networks
尽管深度学习在计算机视觉领域取得了重大进展，但还没有一个软件库以统一的方式涵盖这些方法。我们介绍ChainerCV，一个软件库，旨在填补这一空白。ChainerCV支持许多神经网络模型以及进行计算机视觉研究所需的软件组件。这些实现强调简单性、灵活性和良好的软件工程实践。该库旨在与已发表论文中报告的结果保持一致，其工具可用作计算机视觉未来研究的基线。我们的实现包括更快的R-CNN和SSD等复杂模型，并涵盖目标检测和语义分割等任务。
2017-08-28 cs.CV
Challenges and Opportunities for Computer Vision in Real-life Soccer Analytics
Oxford Brookes University（牛津布鲁克斯大学）
在本文中，我们将探讨计算机视觉在体育分析中的一些应用。体育分析涉及从体育数据语料库中理解和发现模式。分析这些数据为球员提供了重要的表现指标，例如在足球比赛中，这可能有助于估计他们的健康和力量。团队层面的统计数据也可以从这样的分析中估计出来。本文主要讨论了计算机视觉中体育视频分析所面临的挑战和机遇。具体来说，我们使用我们的多摄像头设置作为一个框架来讨论机器学习算法的一些现实挑战。
2020-04-13 cs.CV
siftservice.com - Turning a Computer Vision algorithm into a World Wide Web Service
Department of Computer Science, University of Wisconsin -Milwaukee, WI, USA IEEE Member, Uppsala, Sweden
图像特征的检测和描述是计算机视觉和模式识别领域的一个长期研究课题。尺度不变特征变换（SIFT）可能是最流行和最广泛需求的特征描述符，其促进了各种计算机视觉应用，诸如图像配准、目标跟踪、图像伪造检测和3D表面重建。这项工作介绍了基于软件即服务（SaaS）的SIFT算法的实现，该算法可在http://siftservice.com上免费获得，用于任何学术，教育和研究目的。该服务提供应用程序到应用程序的交互，旨在为世界各地的计算机视觉学生和研究人员提供快速应用程序开发（RAD）和快速原型设计。互联网连接是他们所需要的一切！
2015-04-11 cs.CV
DAD vision: opto-electronic co-designed computer vision with division adjoint method
Tsinghua University（清华大学）
计算机视觉系统的小型化和移动性受到计算负担和光学透镜尺寸的限制。在这里，我们提出使用超薄衍射光学元件来实现无源光学卷积。提出了分块伴随光电协同设计方法。在我们的模拟实验中，神经网络的前几个卷积层可以在CIFAR-10数据集上的分类任务中被光学卷积取代，而没有功耗，同时可以获得类似的性能。
2022-11-04 cs.CV eess.IV physics.optics
Towards computer vision technologies: Semi-automated reading of automated utility meters
School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）
在这份报告中，我们分析了使用计算机视觉技术自动读取公用事业仪表的可能性。在我们的研究中，我们专注于两种计算机视觉技术：开源解决方案Tensorflow目标检测（Tensorflow）和商业解决方案Anyline。本报告扩展了我们以前的出版物：我们首先介绍了相关方法的结构化分析。之后，我们提供了两种计算机视觉技术的详细比较，Tensorflow目标检测（Tensorflow）和Anyline，应用于公用事业仪表的半自动读取。在本文中，我们讨论了应用于公用事业抄表的每种解决方案的局限性和优点，特别是侧重于准确性和推理时间等方面。我们的目标是确定最适合此特定应用领域的解决方案，该领域存在多个特定挑战。
2022-11-24 cs.CV
Towards computer vision powered color-nutrient assessment of pureed food
University of Waterloo（滑铁卢大学）；Schlegel-UW Research Institute for Aging（Schlegel-UW老龄研究所）
由于四分之一的人患有营养不良，计算机视觉可以提供一种方法，在营养领域引入新的自动化水平，以可靠地监测食物和营养摄入。在这项研究中，我们提出了一种新的方法来建模颜色和维生素A含量之间的联系，使用透射率成像的泥食品稀释系列在计算机视觉供电的营养传感系统通过微调深度自动编码器网络，在这种情况下，训练预测甘薯泥的相对浓度。实验结果表明，深度自动编码器网络可以在初级（6个月）和中级（8个月）商业制备的甘薯泥样品上达到80%的准确度。预测误差可以解释为进一步讨论的光学性质的根本差异。
2019-05-01 cs.CV cs.NE eess.IV
The Chow Form of the Essential Variety in Computer Vision
计算了计算机视觉中基本变量的Chow形式。我们的推导使用割线簇，乌尔里希层和表示论。数值实验表明，我们的公式可以检测两幅图像之间的噪声点对应。
2016-07-14 cs.CV math.AC math.AG
FedCV: A Federated Learning Framework for Diverse Computer Vision Tasks
University of Southern California（南加州大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯AI Lab）
联邦学习（FL）是一种分布式学习范式，可以从边缘设备上的分散数据集学习全局或个性化模型。然而，在计算机视觉领域，由于缺乏统一的FL框架在不同任务中的探索，FL中的模型性能远远落后于集中训练。FL在高级计算机视觉任务中，如目标检测和图像分割中很少被有效地证明。为了弥合差距，促进FL的计算机视觉任务的发展，在这项工作中，我们提出了一个联邦学习库和基准测试框架，名为FedCV，评估FL的三个最具代表性的计算机视觉任务：图像分类，图像分割，和目标检测。我们提供非身份证。基准测试数据集、模型和各种参考FL算法。我们的基准研究表明，有多种挑战值得未来探索：集中式训练技巧可能不会直接应用于FL;非I.I.D.在不同的任务中，数据集实际上在一定程度上降低了模型的准确性;考虑到大量的参数和每个客户端的内存成本，提高联邦训练的系统效率是一项挑战。我们相信，这样的库和基准，以及可比较的评估设置，是必要的，以取得有意义的进展，在FL的计算机视觉任务。FedCV是公开的：https://github.com/FedML-AI/FedCV。
2021-11-22 cs.AI cs.CV cs.LG
Proceedings of the ICLR Workshop on Computer Vision for Agriculture (CV4A) 2020
这是农业计算机视觉（CV 4A）研讨会的会议记录，该研讨会与2020年国际学习代表会议（ICLR）一起举行。农业计算机视觉（CV 4A）2020研讨会定于2020年4月26日在埃塞俄比亚亚的斯亚贝巴举行。由于COVID-19疫情，会议几乎于同日举行。该研讨会与2020年国际学习代表会议（ICLR）同时举行。
2020-05-17 cs.AI cs.CV
Image-Based Structural Analysis Using Computer Vision and LLMs: PhotoBeamSolver
gmx [dot] cn（GMX电子邮件服务）
本文提出了一种能够从人工绘制的图纸中解决理想化梁模型的程序，结合计算机视觉和统计学习技术，分析结构元素的检测与视觉解释，并探讨计算机视觉在结构分析中的挑战与应用要求。
2026-03-22 cs.CV
A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships
Huddersfield University（哈德斯菲尔德大学）
本文综述了用于计算机视觉的Transformer架构，探讨其如何通过捕获全局上下文与空间关系在图像分类、目标检测和分割等任务中表现卓越，并分析了其优势、局限及未来研究方向。
2024-08-27 cs.CV
Does Image Anonymization Impact Computer Vision Training?
Norwegian University of Science Technology（挪威科技大学）
该研究探究图像匿名化对计算机视觉模型训练的影响，对比传统与真实感匿名化在多任务上的效果，发现真实感匿名化可在保护隐私的同时大幅降低性能损耗。
2023-06-08 cs.AI cs.CV
Applications of a Graph Theoretic Based Clustering Framework in Computer Vision and Pattern Recognition
近年来，一些聚类算法已经被用来解决来自不同学科的各种问题。本论文旨在通过将计算机视觉和模式识别中的问题转化为聚类问题来解决这些具有挑战性的问题。我们提出了新的方法来解决多目标跟踪，视觉地理定位和离群点检测问题，使用统一的下划线聚类框架，即，优势集聚类及其扩展，并提出了优于几个国家的最先进的方法的结果。
2018-01-07 cs.CV
Computer Vision Systems in Road Vehicles: A Review
University of Zagreb（萨格勒布大学）
近几十年来，公路车辆的数量显著增加。这一趋势伴随着道路基础设施的建设和各种控制系统的发展，以提高道路交通安全、道路通行能力和旅行舒适度。在交通安全方面已经取得了重大的发展，并且今天的系统越来越多地包括摄像机和计算机视觉方法。摄像头被用作道路基础设施或车辆的一部分。本文从交通工程的角度对车辆计算机视觉系统进行了综述。介绍了道路车辆的安全问题，描述了当前最先进的车载视觉系统，并讨论了未来研究方向的开放问题。
2013-10-01 cs.CV
A Comparative Study of Confidence Calibration in Deep Learning: From Computer Vision to Medical Imaging
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）；Siemens Healthineers（西门子医疗）
尽管深度学习预测模型在区分不同类别方面取得了成功，但它们在包括医疗保健在内的具有挑战性的领域中往往校准不良。此外，长尾分布在包括临床疾病预测在内的深度学习分类问题中带来了巨大挑战。最近提出了一些方法来校准计算机视觉中的深度预测，但没有研究表明代表性模型如何在不同的挑战性环境中工作。在本文中，我们桥梁的置信度校准从计算机视觉医学成像与四个高影响力的校准模型的比较研究。我们的研究是在不同的背景下进行的（自然图像分类和肺癌风险估计），包括平衡与不平衡训练集以及计算机视觉与医学成像。我们的结果支持了关键发现：（1）我们得出了未在不同学习背景下研究的新结论，例如，组合两个校准模型，这两个校准模型都减轻了过度自信的预测，这可能导致不自信的预测，并且来自计算机视觉领域的更简单的校准模型往往更适用于医学成像。(2)我们强调了一般计算机视觉任务和医学成像预测之间的差距，例如，对于一般计算机视觉任务来说理想的校准方法实际上可能损害医学成像预测的校准。(3)我们还在自然图像分类环境中强化了之前的结论。我们相信，这项研究的价值，指导读者选择校准模型和理解之间的差距一般计算机视觉和医学成像领域。
2022-06-17 cs.CV
SCENIC: A JAX Library for Computer Vision Research and Beyond
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
Scenic是一个开源JAX库，专注于基于transformer的模型，用于计算机视觉研究及其他领域。该工具包的目标是促进新视觉架构和模型的快速实验、原型设计和研究。Scenic支持各种视觉任务（例如，分类，分割，检测），并促进多模态问题的工作，以及GPU/TPU支持多主机，多设备的大规模训练。Scenic还提供最先进的研究模型的优化实施，涵盖广泛的模式。Scenic已成功用于许多项目和发表的论文，并继续作为快速原型设计和发表新研究想法的首选库。
2021-10-18 cs.AI cs.CL cs.CV
Kornia: an Open Source Differentiable Computer Vision Library for PyTorch
Computer Vision Center（计算机视觉中心）；Czech Technical University in Prague（布拉格捷克理工大学）；Arraiy, Inc.（Arraiy公司）
这项工作介绍了Kornia --一个开源的计算机视觉库，它由一组可区分的例程和模块组成，用于解决一般的计算机视觉问题。该软件包使用PyTorch作为其主要后端，以提高效率，并利用反向模式自动微分来定义和计算复杂函数的梯度。受OpenCV的启发，Kornia由一组包含运算符的模块组成，这些运算符可以插入神经网络中以训练模型来执行图像变换、相机校准、对极几何和低级图像处理技术，例如直接对高维张量表示进行操作的滤波和边缘检测。使用我们的框架实现的经典视觉问题的例子，包括一个基准比较现有的视觉库。
2019-10-09 cs.CV
Hyperbolic Deep Learning in Computer Vision: A Survey
University of Amsterdam（阿姆斯特丹大学）；TU Dresden（德累斯顿工业大学）；Stanford University（斯坦福大学）
本文综述了计算机视觉中的双曲深度学习，分类梳理监督与无监督方法，概述其嵌入层级结构等优势，并指出开放研究问题。
2023-05-11 cs.CV
