Does Explainable Machine Learning Uncover the Black Box in Vision Applications?
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
一般来说,机器学习(ML)和深度学习(DL)已经成为几种视觉应用(如目标检测、超分辨率、分割、对象跟踪等)中非常流行的工具。几乎与此同时,视觉中ML的可解释性问题(即解释/阐述经过训练的ML模型做出决策的方式的能力)也受到了各方的极大关注。然而,我们认为,当前可解释ML背后的哲学存在一定的局限性,由此产生的解释可能无法有意义地揭示黑盒ML模型。为了阐述我们的主张,我们首先提出了一些在相应文献中没有充分讨论的基本问题。我们还提供了关于ML中的可解释性如何通过依赖相关领域中更严格的原则而受益的观点。
2021-12-18 cs.CV cs.LG
Dis-AE: Multi-domain & Multi-task Generalisation on Real-World Clinical Data
University of Cambridge(剑桥大学);Addenbrooke’s Hospital, Cambridge University Hospitals(剑桥大学医院阿登布鲁克医院);Barts Health NHS Trust(巴茨健康国民保健服务信托基金);NHSBT(英国国民保健署血液与移植部门)
针对临床数据多域偏移导致ML模型泛化差的问题,提出基于对抗训练的解耦自编码器Dis-AE,可学习域不变表示,在多类临床及合成数据上验证了其多域泛化提升效果且保留临床信息。
2023-06-15 cs.LG
Vector Quantization for Machine Vision
Ocean Logic Pty Ltd(Ocean Logic 有限公司)
本文展示了如何通过直接在压缩域中操作来降低各种常见机器视觉任务的计算成本,特别是在硬件加速的背景下。金字塔矢量量化(PVQ)是首选的压缩技术,其特性被用来简化支持向量机(SVM)、卷积神经网络(CNN)、方向直方图(HOG)特征、兴趣点匹配和其他算法。
2016-03-30 cs.CV
Surface Analysis with Vision Transformers
King’s College London(伦敦国王学院);Imperial College London(伦敦帝国学院)
将卷积神经网络(CNN)扩展到非欧几里得几何,导致了研究流形的多种框架。这些方法中的许多已经显示出设计限制,导致长距离关联的建模不佳,因为将卷积推广到不规则表面是不平凡的。最近视觉Transformer(ViTs)的最新性能表明,实现自注意力的通用架构可以取代CNN的局部特征学习操作。受计算机视觉中注意力建模成功的启发,我们将ViTs扩展到表面,将表面学习任务重新定义为序列到序列问题,并提出了表面网格的修补机制。我们验证了所提出的表面视觉Transformer(SiT)在开发中的人类连接组项目(dHCP)数据集的两个大脑年龄预测任务上的性能,并研究了预训练对模型性能的影响。实验表明,SiT优于许多表面CNN,同时表明了一般变换不变性的一些证据。代码可在https://github.com/metrics-lab/surface-vision-transformers获得
2022-05-31 cs.CV cs.LG q-bio.NC
Adversarial Machine Learning for Cybersecurity and Computer Vision: Current Developments and Challenges
Purdue University(普渡大学)
我们提供了对抗性机器学习的全面概述,重点关注两个应用领域,即,网络安全和计算机视觉。对抗性机器学习的研究解决了机器学习技术广泛应用的重大威胁-它们容易受到恶意对手精心设计的攻击。例如,深度神经网络无法正确分类对抗性图像,这些图像是通过向干净图像添加不可感知的扰动而生成的。我们首先讨论针对机器学习技术的三大类攻击--中毒攻击、规避攻击和隐私攻击。然后介绍了相应的防御方法以及现有防御方法的不足和局限性。我们注意到网络安全和计算机视觉中的对抗性样本是根本不同的。虽然网络安全中的对抗性样本与训练数据相比通常具有不同的属性/分布,但计算机视觉中的对抗性图像是通过微小的输入扰动创建的。这进一步使鲁棒学习技术的开发复杂化,因为鲁棒学习技术必须承受不同类型的攻击。
2021-06-30 cs.CR cs.LG
Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision
Spanish Ministry of Science, Innovation and Universities(西班牙科学、创新与大学部);Spanish State Research Agency(西班牙国家研究机构);European Regional Development Fund(欧洲区域发展基金);European Union(欧洲联盟);European Health and Digital Executive Agency(欧洲健康与数字执行机构)
研究工业机器视觉中深度学习模型的边缘推理策略,比较普通PyTorch、ONNX Runtime、OpenVINO和TensorRT四种方法,评估其在多硬件平台及不同模型下的推理时间,得出不同平台上各方法的性能表现。
2026-07-14 cs.CV
Advancing Vision-based Human Action Recognition: Exploring Vision-Language CLIP Model for Generalisation in Domain-Independent Tasks
Central University of Haryana(哈里亚纳中央大学);University of New South Wales(新南威尔士大学);Østfold University College(东福尔大学学院);Norwegian University of Science and Technology(挪威科技大学)
本研究针对传统动作识别模型泛化能力不足的问题,在UCF-101数据集上评估CLIP模型在三类掩码策略下的性能,发现其存在误分类问题,进而提出引入类别特定噪声的改进方法,提升了准确率与置信度并降低偏差,为医疗场景动作识别泛化研究提供方向。
2025-07-30 cs.CV cs.LG
Advancing Cucumber Disease Detection in Agriculture through Machine Vision and Drone Technology
East West University(东井大学)
本研究结合机器视觉与无人机技术,利用真实田间高光谱图像数据集和增强方法,以87.5%的准确率自动检测八种黄瓜病害,助力精准农业与可持续发展。
2024-09-18 cs.AI cs.CV
Resilience of Vision Transformers for Domain Generalisation in the Presence of Out-of-Distribution Noisy Images
School of Computing, Dublin City University(都柏林城市大学计算学院)
本文通过网格遮挡和零样本分割生成OOD基准,评估BEIT视觉Transformer的域泛化能力,证明MIM和自注意力机制通过学习不变特征增强鲁棒性,并在多个基准上显著超越CNN和其他视觉Transformer。
2025-04-05 cs.CV
Green Screen Augmentation Enables Scene Generalisation in Robotic Manipulation
Dyson Robot Learning Lab(戴森机器人学习实验室)
针对机器人操作策略难以跨视觉场景泛化的问题,本文提出在绿幕环境采集演示并用GreenAug替换背景,实验证明其优于多种现有增强方法。
2024-09-08 cs.AI cs.CV cs.LG
Protocol generalisation for brain tissue microstructure estimation via hypernetwork-controlled geometric deep learning
Hawkes Institute(霍克斯研究所);University College London(伦敦大学学院)
本文提出一种融入b-值依赖的超网络控制SCNN架构,实现b-值与b-向量泛化及旋转等变性,提升了脑组织微结构估计的鲁棒性与临床适用性。
2026-08-04 cs.CV eess.IV
Your time series is worth a binary image: machine vision assisted deep framework for time series forecasting
City University of Hong Kong(香港城市大学)
时间序列预测(TSF)一直是一个具有挑战性的研究领域,已经开发了各种模型来解决这一任务。然而,几乎所有这些模型都是用数值时间序列数据训练的,这些数据不像视觉信息那样被神经系统有效地处理。为了应对这一挑战,本文提出了一种新的机器视觉辅助深度时间序列分析(MV-DTSA)框架。MV-DTSA框架通过分析新的二进制机器视觉时间序列度量空间中的时间序列数据来操作,该度量空间包括从数值时间序列空间到二进制机器视觉空间的映射和逆映射函数,以及设计用于在二进制空间中解决TSF任务的深度机器视觉模型。一个全面的计算分析表明,所提出的MV-DTSA框架优于国家的最先进的深度TSF模型,而不需要复杂的数据分解或模型定制。我们框架的代码可以在https://github.com/IkeYang/ machine-vision-assisted-deep-time-series-analysis-MV-DTSA-上访问。
2023-02-28 cs.CV cs.LG
Deep Learning and Machine Vision for Food Processing: A Survey
University of Guelph(圭尔夫大学);University of Toronto(多伦多大学)
食品质量安全是关系到人类健康、社会发展和稳定的重大社会问题。确保食品质量和安全是一个复杂的过程,必须考虑食品加工的所有阶段,从种植,收获和储存到准备和消费。然而,这些过程往往是劳动密集型的。如今,机器视觉的发展可以极大地帮助研究人员和行业提高食品加工的效率。因此,机器视觉已广泛应用于食品加工的各个方面。同时,图像处理又是机器视觉的重要组成部分。图像处理可以利用机器学习和深度学习模型来有效识别食物的类型和质量。随后,机器视觉系统中的后续设计可以解决食品分级、检测缺陷点或异物位置以及去除杂质等任务。本文综述了传统的机器学习和深度学习方法,以及可应用于食品加工领域的机器视觉技术。我们提出了当前的方法和挑战,以及未来的趋势。
2021-03-30 cs.CV cs.LG
Vision Mamba-based autonomous crack segmentation on concrete, asphalt, and masonry surfaces
The University of Sydney(悉尼大学);Hohai University(河海大学)
针对CNNs泛化性弱、Transformer计算复杂度高的问题,本文提出基于Vision Mamba的裂缝分割框架,在精度相当的前提下大幅降低参数量与浮点运算量。
2024-06-24 cs.CV
The Immersion of Directed Multi-graphs in Embedding Fields. Generalisations
Jiratech
本文的目的是概述了一个通用的模型,用于表示混合的关系分类,符号,感知感知和感知潜在的数据,从而体现,在同一个架构的数据层,表示的输入,输出和潜在的张量。这种表示的多样性目前被计算机视觉、NLP/NLU、强化学习中的各种机器学习模型所使用,这些模型允许直接应用跨域查询和函数。这是通过赋予有向张量类型多图至少一些表示来自各种潜在空间的嵌入的边属性来实现的,以便定义、构建和计算张量形式之间和跨张量形式的新的相似性和距离关系,包括视觉、语言、听觉潜在表示,从而将观察到的宇宙的逻辑分类视图缝合到贝叶斯/统计视图。
2020-04-28 cs.AI cs.CV cs.LG
BMVC 2019: Workshop on Interpretable and Explainable Machine Vision
BMVC 2019可解释和可解释机器视觉研讨会论文集,英国加的夫,2019年9月12日。
2019-09-16 cs.AI cs.CV cs.LG
ViT-MUL: A Baseline Study on Recent Machine Unlearning Methods Applied to Vision Transformers
Seoul National University(首尔大学)
本文针对视觉Transformer开展机器遗忘算法的全面基线研究,系统评估近期MUL方法在ViT上的效果,为后续研究提供实证参考。
2024-02-07 cs.CV cs.LG
Improved prediction of soil properties with Multi-target Stacked Generalisation on EDXRF spectra
State University of Londrina (UEL)(隆德里纳州立大学);University of São Paulo (USP)(圣保罗大学)
机器学习(ML)算法已被用于评估土壤质量参数以及非破坏性的方法。在光谱分析方法中,能量色散X射线荧光(EDXRF)与传统方法相比是更快速,环保和更便宜的方法之一。然而,EDXRF光谱数据分析中的一些挑战仍然需要能够提供准确结果的更有效的方法。使用多目标回归(MTR)方法,可以预测多个参数,并且还可以利用相互关联的参数来提高整体预测性能。在这项研究中,我们提出了多目标堆叠概括(MTSG),这是一种新的MTR方法,它依赖于从堆叠结构中排列的不同回归变量中学习,以获得提升的结果。比较了MTSG和5种MTR方法对10个土壤肥力参数的预测效果。随机森林和支持向量机(具有线性和径向核)被用作嵌入到每个MTR方法中的学习算法。结果表明,MTR方法优于单目标回归(传统的ML方法),减少了5个参数的预测误差。尤其是MTSG对磷、总有机碳和阳离子交换量的误差最小。径向核支持向量机的相对性能,碱饱和度的预测提高了19%。最后,所提出的方法能够将分析所有目标的平均误差从0.67(单目标)降低到0.64,代表了4.48%的全局改进。
2020-02-11 cs.CV cs.LG stat.AP
Rock Hunting With Martian Machine Vision
PeopleTec, Inc.(PeopleTec公司)
火星毅力漫游者将计算机视觉应用于导航和危险规避。机载物体识别的挑战突出了对低功耗、定制训练的需求,通常包括低对比度背景。我们研究了用于火星岩石分类和检测的深度学习方法。我们报告了大于97%的准确率为二进制分类(岩石与漫游者)。我们微调了一个探测器,在计算岩石的同时渲染地理位置的边界框。为了让这些模型在微控制器上运行,我们缩小和放大了神经网络的权重,并演示了一个低功耗的岩石猎人,它具有更快的帧速率(每秒1帧),但准确率较低(37%)。
2021-04-09 cs.CV cs.LG
Revolutionizing Traffic Management with AI-Powered Machine Vision: A Step Toward Smart Cities
University of Isfahan(伊斯法罕大学);Ilam University(伊拉姆大学)
本研究提出一种基于AI、机器视觉与深度学习的实时交通检测系统,集成环境数据动态适应条件,利用YOLOv8和YOLOv11模型实现高精度车辆与异常检测,优化交通流并提升道路安全,助力智慧城市建设。
2025-03-04 cs.CV cs.LG
Machine Learning Computer Vision Applications for Spatial AI Object Recognition in Orange County, California
County of Orange(奥兰治县);Orange County Public Works(奥兰治县公共工程局)
我们为加利福尼亚州奥兰治县提供了一种集成和系统的自动化方法,用于使用AI机器学习和计算机视觉算法进行空间对象识别和位置检测。我们描述了一个全面的方法,多传感器,高分辨率的现场数据采集,以及现场后处理和预分析处理任务。我们开发了一系列算法公式和工作流程,将卷积深度神经网络学习与360°等矩形光球图像中的检测对象定位估计相结合。我们提供的应用程序处理超过80万个主要方向的光球图像在两个地区在奥兰治县的例子,并提出停止标志和消防栓物体识别的检测结果。我们讨论了我们的方法的效率和有效性,以及与这种方法的性能和对未来技术创新的影响有关的更广泛的推论,包括空间数据和公共资产库存的自动化,以及近实时人工智能现场数据系统。
2023-03-14 cs.CV cs.LG
Machines Serve Human: A Novel Variable Human-machine Collaborative Compression Framework
School of Electronic and Information Engineering, Beihang University(北京航空航天大学电子与信息工程学院);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室);Department of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学与技术系)
针对现有基于人类视觉 pipeline 的人机协作压缩在整合机器视觉压缩时的复杂度和比特率缺陷,本文首次提出以机器视觉为基础的协作压缩方法Diff-FCHM,结合可变比特率策略与扩散先验,在两类视觉压缩任务中均实现优越性能。
2025-11-12 cs.CV
Enabling energy efficient machine learning on a Ultra-Low-Power vision sensor for IoT
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
物联网(IoT)和智慧城市范例包括无处不在的技术,用于提取上下文信息,以便向用户和公民返回有用的服务。在这种情况下,计算机视觉应用通常扮演重要角色,需要从特定设备获取图像。对高端相机的需求通常会对这一过程造成不利影响,因为它们非常耗电,并且需要大量的计算资源来处理。因此,实现硬件内运动检测等高级功能的新型低功耗视觉传感器的可用性对于物联网领域的计算机视觉至关重要。不幸的是,为了高度节能,这些传感器可能会恶化感知性能(例如,分辨率、帧速率、颜色)。因此,通常提供特定于域的管道,以充分利用这些相机的潜力。本文介绍了一个实时检测,分类和跟踪流水线的开发,分析和嵌入式实现,能够充分利用背景过滤智能视觉传感器(SVS)的潜力。推断所获得的功耗(需要8ms)为7.5 mW。
2021-02-02 cs.CV cs.LG
Generative AI in Industrial Machine Vision -- A Review
RWTH Aachen University(亚琛工业大学);Universidade Federal de Santa Catarina(圣卡塔琳娜联邦大学)
本综述基于PRISMA指南分析1200余篇论文,总结生成式AI在工业机器视觉中的主要应用(数据增强、分类、检测),并指出数据多样性、计算需求等挑战及未来研究方向。
2024-08-21 cs.CV cs.LG eess.IV
Deep Domain-Adversarial Image Generation for Domain Generalisation
University of Surrey(萨里大学);University of Edinburgh(爱丁堡大学);Samsung AI Center, Cambridge(三星人工智能中心(剑桥))
机器学习模型在源数据集上进行训练并在不同分布的目标数据集上进行评估时,通常会遇到域偏移问题。为了克服这个问题,域泛化(DG)方法旨在利用来自多个源域的数据,以便经过训练的模型可以泛化到看不见的域。在本文中,我们提出了一种基于\emph{Deep Domain-Adversarial Image Generation}(DDAIG)的新型DG方法。具体而言,DDAIG由三个组件组成,即标签分类器,域分类器和域转换网络(DoTNet)。DoTNet的目标是将源训练数据映射到看不见的域。这是通过制定学习目标来实现的,以确保生成的数据可以被标签分类器正确分类,同时欺骗域分类器。通过用生成的不可见域数据扩充源训练数据,我们可以使标签分类器对未知域变化更鲁棒。在四个DG数据集上的实验证明了该方法的有效性。
2020-03-12 cs.CV
Attention mechanisms and deep learning for machine vision: A survey of the state of the art
University of Kashmir(克什米尔大学);Institute of Technology, University of Kashmir(克什米尔大学理工学院)
随着最先进的自然启发的纯注意力模型(即Transformers)的出现,以及它们在自然语言处理(NLP)中的成功,它们扩展到机器视觉(MV)任务是不可避免的,也是非常重要的。随后,引入了视觉Transformer(ViTs),这对基于深度学习的机器视觉技术提出了相当大的挑战。然而,像Transformers这样的纯注意力模型/架构需要大量的数据,大量的训练时间和大量的计算资源。最近的一些工作表明,这两个不同的领域的组合可以证明建立具有这两个领域的优势的系统。因此,这一国家的最先进的调查文件介绍,希望能帮助读者获得有用的信息,这个有趣的和潜在的研究领域。对注意力机制进行了简单的介绍,然后讨论了流行的基于注意力的深层体系结构。随后,讨论了基于机器视觉(MV)的注意力机制和深度学习交叉的主要类别。之后,主要的算法,问题和趋势的范围内的文件进行了讨论。
2021-06-03 cs.AI cs.CV cs.LG
Sparse All-Layer Connector for Domain Generalised Semantic Segmentation
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
针对现有多模型领域泛化语义分割方法深度对齐融合的局限,提出稀疏全层连接器(SALC),结合候选丢弃正则化实现自适应稀疏层选择,在多设置下泛化性能优于传统方法。
2026-11-09 cs.CV
Residual Quantity in Percentage of Factory Machines Using Computer Vision and Mathematical Methods
自从人工智能发展获得推动力以来,计算机视觉一直在蓬勃发展。使用深度学习技术一直是计算机科学家认为解决方案的最流行的方法。然而,深度学习技术往往表现出比手动处理更低的性能。使用深度学习并不总是解决与计算机视觉相关的问题。
2022-02-14 cs.CV
Computer Vision and Abnormal Patient Gait Assessment a Comparison of Machine Learning Models
University of Connecticut(康涅狄格大学);Saint Johns’ Episcopal Hospital(圣约翰圣公会医院);Plainview Medical Center(普莱恩维尤医疗中心);Northwell Health(诺斯韦尔健康中心)
步态异常及其相关的跌倒和并发症具有较高的患者发病率、死亡率。计算机视觉检测、预测患者步态异常、评估跌倒风险,并作为医生的临床决策支持工具。本文对计算机视觉、机器学习模型如何进行异常患者步态评估进行了系统的综述。计算机视觉在步态分析中是有益的,它有助于捕获患者的姿势。一些文献建议使用不同的机器学习算法,例如SVM、ANN、K-Star、随机森林、KNN等,对提取的特征进行分类,以研究患者步态异常。
2020-03-22 cs.CV
An Efficient Adaptive Compression Method for Human Perception and Machine Vision Tasks
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Information and Physical Sciences, University of Newcastle(纽卡斯尔大学信息与物理科学学院);Department of Computer Science, University of Hong Kong(香港大学计算机科学系)
本文提出EAC方法,通过自适应潜在特征选择与delta-tuning任务适配器,在兼容现有NIC/NVC框架的同时平衡人类视觉质量和分割、检测等机器视觉性能。
2025-01-08 cs.CV
An Image Processing based Object Counting Approach for Machine Vision Application
Ardahan University(阿尔达汉大学);Firat University(菲拉特大学)
机器视觉应用是生产线上经常使用的低成本和高精度测量系统。通过这些提供非接触式控制和测量的系统,生产设施能够在没有错误的情况下达到高产量。机器视觉操作,如产品计数,误差控制,尺寸测量可以通过相机进行。在本文中,提出了一种机器视觉应用程序,它可以执行对象无关的产品计数。该方法基于Otsu阈值和Hough变换,并独立于产品类型和颜色进行自动计数。系统中基本上使用一个摄像头。通过该照相机,拍摄通过输送机的产品的图像,并对这些图像应用各种图像处理算法。在这种方法中,使用从真实实验装置获得的图像,安装了实时机器视觉应用程序。作为进行的实验研究的结果,它已被确定,所提出的方法给出了快速,准确和可靠的结果。
2018-02-16 cs.CV
Ensemble-Based Deepfake Detection using State-of-the-Art Models with Robust Cross-Dataset Generalisation
Centre for Visual Computing and Intelligent Systems, University of Bradford, Bradford, UK(视觉计算与智能系统研究中心,布拉德福德大学,布拉德福德,英国)
本研究提出基于多种最先进非对称模型集成的深度伪造检测方法,在跨数据集场景下实现更稳定可靠的泛化性能,优于任何单一模型。
2025-07-08 cs.CV
1000x Faster Camera and Machine Vision with Ordinary Devices
Peking University(北京大学)
在数码相机中,我们发现了一个主要的限制:从胶片相机继承的图像和视频形式阻碍了它捕捉快速变化的光子世界。在这里,我们提出了vidar,一个比特序列阵列,其中每个比特表示光子的积累是否已经达到阈值,以记录和重建场景的辐射在任何时刻。通过仅采用消费级CMOS传感器和集成电路,我们开发出了比传统相机快1,000倍的视频雷达相机。通过将Vidar视为生物视觉中的尖峰序列,我们进一步开发了一种基于脉冲神经网络的机器视觉系统,该系统结合了机器的速度和生物视觉的机制,实现了比人类视觉快1,000倍的高速目标检测和跟踪。我们演示了在助理裁判和目标指向系统中的视频摄像机和超级视觉系统的实用性。我们的研究有望从根本上彻底改变图像和视频概念以及相关行业,包括摄影,电影和视觉媒体,并开启一个新的脉冲神经网络-使能无速度机器视觉时代。
2022-01-23 cs.CV
Towards Coding for Human and Machine Vision: A Scalable Image Coding Approach
Peking University(北京大学)
在过去的几十年里,大数据时代的图像和视频编码技术得到了快速发展。然而,信号一致性驱动的编码流水线设计限制了现有图像/视频编码框架满足机器和人类视觉需求的能力。在本文中,我们提出了一种新的图像编码框架,利用压缩和生成模型,以支持机器视觉和人类感知任务联合。给定一幅输入图像,首先应用特征分析,然后采用生成模型来执行具有特征和附加参考像素的图像重建,其中在这项工作中提取紧凑的边缘图,以可伸缩的方式连接两种视觉。紧凑的边缘图作为机器视觉任务的基本层,参考像素作为一种增强层,以保证人类视觉的信号保真度。通过引入先进的生成模型,我们训练一个灵活的网络,从紧凑的特征表示和参考像素重建图像。实验结果表明,我们的框架在人类视觉质量和面部标志检测的优越性,这对新兴的标准化工作的MPEG VCM(视频编码机器)提供了有用的证据。
2020-01-10 cs.CV
Statistical Foundation Behind Machine Learning and Its Impact on Computer Vision
International Digital Economy Academy(国际数字经济研究院)
本文回顾了统计学习中的一致收敛原理,讨论了它如何作为机器学习背后的基础,并试图更好地理解当前深度学习算法正在解决的基本问题。使用计算机视觉作为机器学习中的示例领域,讨论表明,最近的研究趋势是利用越来越大规模的数据来执行表示学习的预训练,这在很大程度上是为了减少实际上易于处理的经验损失与其最终期望但难以处理的预期损失之间的差异。此外,本文提出了未来的研究方向,预测了数据的持续增长,并认为需要对结合结构和知识的机器学习的鲁棒性、可解释性和推理能力进行更多的基础研究。
2022-09-06 cs.CV
Democratisation of Usable Machine Learning in Computer Vision
Ulster University(阿尔斯特大学);University of Nottingham(诺丁汉大学);Swansea University(斯旺西大学);University of Waterloo(滑铁卢大学);Auromind(Auromind公司);DarwinAI(达尔文AI公司)
许多行业现在正在大力投资数据科学和自动化,以取代手动任务和/或帮助决策,特别是在利用计算机视觉自动化许多监控,检查和监视任务的领域。这导致了精通统计思维、机器学习(ML)、计算机视觉和计算机编程的“数据科学家”的出现。然而,随着ML变得越来越容易被公众使用,ML的更多方面变得自动化,利用计算机视觉的应用程序越来越多地由非专家创建,受到监管监督的机会越来越少。这表明,总体上需要为这些可用ML工具的非专业用户提供更多的教育责任,以减轻潜在的不道德后果。在本文中,我们进行了SWOT分析,以研究在利用ML的重要领域(如计算机视觉)构建可用的ML工具以供大规模采用的优势,劣势,机会和威胁。本文提出了一套数据科学素养标准,用于教育和支持非专业用户负责开发和部署ML应用程序。
2019-02-18 cs.AI cs.CV cs.LG
Smart Headset, Computer Vision and Machine Learning for Efficient Prawn Farm Management
了解对虾的生长和分布对于优化饲料和收获策略至关重要。对对虾生长的不充分了解可能导致经济收益减少,例如过早收获作物。保持对对虾生长的良好了解的关键是经常取样。然而,最常用的抽样方法,即撒网法,由于昂贵和费力,无法对对虾进行高频率的抽样。另一种方法是从农场工人每天检查的饲料盘中取样对虾。这将允许以高频率(每天)收集生长数据汇集。但每天手动测量对虾是一项艰巨的任务。在这篇文章中,我们提出了一种新的方法,利用智能眼镜,深度相机,计算机视觉和机器学习来检测对虾的分布和生长从饲料托盘。一个智能耳机的建立,让农民收集虾数据,同时进行日常饲料托盘检查。开发了一个计算机视觉+机器学习的流水线,并在4个对虾养殖池的生长季节检测对虾的生长趋势。
2022-10-14 cs.CV cs.HC cs.LG
Generalisation in humans and deep neural networks
University of Tübingen(蒂宾根大学);Centre for Integrative Neuroscience, University of Tübingen(蒂宾根大学整合神经科学中心);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究院);Graduate School of Neural and Behavioural Sciences, University of Tübingen(蒂宾根大学神经与行为科学研究生院);University of Potsdam(波茨坦大学);Bernstein Center for Computational Neuroscience Tübingen(蒂宾根伯恩斯坦计算神经科学中心);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们比较了人类和当前卷积深度神经网络(DNN)在12种不同类型的图像退化下对对象识别的鲁棒性。首先,使用三个众所周知的DNN(ResNet-152,VGG-19,GoogLeNet),我们发现人类视觉系统对几乎所有测试的图像操作都更鲁棒,并且当信号变弱时,我们观察到人类和DNN之间逐渐发散的分类错误模式。其次,我们表明,直接在失真图像上训练的DNN在训练的确切失真类型上始终优于人类的表现,但在其他失真类型上测试时,它们的泛化能力非常差。例如,在椒盐噪声上训练并不意味着对均匀白噪声的鲁棒性,反之亦然。因此,训练和测试之间噪声分布的变化对深度学习视觉系统构成了至关重要的挑战,可以通过终身机器学习方法系统地解决。我们的新数据集由83 K仔细测量的人类心理物理试验组成,为人类视觉系统设置的图像退化的终身鲁棒性提供了有用的参考。
2020-10-23 cs.AI cs.CV cs.LG
Improve accessibility for Low Vision and Blind people using Machine Learning and Computer Vision
本项目提出构建一款结合机器学习与计算机视觉的移动应用,通过文本朗读、物体检测与触觉反馈以及货币识别三项功能,为盲人和低视力人群提供实时空间定向与无障碍辅助。
2024-03-24 cs.CV cs.HC cs.LG
Matlab Implementation of Machine Vision Algorithm on Ballast Degradation Evaluation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
美国拥有庞大的铁路系统。截至2006年,美国货运铁路拥有140,490英里标准轨距路线,但维持如此庞大的系统并消除任何危险,例如因铁路道碴退化而导致的轨道稳定性降低和排水不畅,需要大量劳动力。量化道碴退化的传统方法是通过道碴取样和筛分析使用称为污垢指数(FI)的指数。然而,在实验室中确定FI值是非常耗时和费力的,但是借助于计算机视觉领域的最新发展,可以采用一种用于潜在的基于机器视觉的道碴检测系统的新方法,该方法有望取代传统的机械方法。新的机器视觉方法对在役道砟图像进行分析,然后利用图像分割算法得到道砟段。通过比较分割结果及其对应的FI值,该方法产生了一个基于机器视觉的指数,具有最佳的拟合关系FI。本报告讨论了该算法如何工作的实现细节。
2018-04-24 cs.CV
Machine learning of microstructure--property relationships in materials leveraging microstructure representation from foundational vision transformers
Graduate Interdisciplinary Program in Applied Mathematics, University of Arizona, Tucson, AZ 85721, USA(应用数学联合交叉学科硕士项目,亚利桑那大学,图森,亚利桑那州,85721,美国);Department of Materials Science and Engineering, University of Arizona, Tucson, AZ 85721, USA(材料科学与工程系,亚利桑那大学,图森,亚利桑那州,85721,美国)
提出利用预训练基础视觉Transformer提取任务无关的微结构特征,并结合轻量级机器学习预测材料性能,无需昂贵的特定任务训练即可实现稳健的微结构表征与高效的性能预测。
2025-06-26 cond-mat.mtrl-sci cs.CV cs.LG
A machine vision meta-algorithm for automated recognition of underwater objects using sidescan sonar imagery
CIDCO - Development Center for Ocean Mapping(CIDCO——海洋测绘开发中心)
本文详细介绍了一种新的方法来识别和检测实时侧扫声纳数据图像流中的水下物体,与水下考古的应用程序的案例研究,和幽灵渔具检索。我们首先从侧扫数据合成图像,应用几何和辐射校正,然后使用2D特征检测算法来识别点云的描述性视觉微观特征,如角和边缘的声纳图像。然后,我们在特征点云上应用聚类算法,将特征集分组为感兴趣的区域,拒绝误报,产生对象的地理参考库存。
2019-09-17 cs.CV cs.LG eess.IV
Machine vision-aware quality metrics for compressed image and video assessment
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文针对自动驾驶等机器视觉场景,探讨了压缩对检测与识别算法的影响,提出了专为机器视觉定制的全参考图像/视频质量指标,实验证明其比现有指标相关性更好。
2024-11-11 cs.AI cs.CV
ColorSense: A Study on Color Vision in Machine Visual Recognition
IBM Research(IBM研究院)
为探究色觉对机器视觉识别的影响,构建多用途数据集ColorSense(含11万条人类注释),通过颜色辨别水平分析其对模型性能的影响,发现色觉偏差影响显著且现有缓解技术效果有限。
2025-02-13 cs.CV
Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds
Flordia International University(佛罗里达国际大学);University of Notre Dame(圣母大学);Northeastern University(东北大学);Guangdong General Hospital(广东省人民医院)
由于各种基于深度神经网络(DNN)的框架的高计算复杂度以及需要处理的医学图像的体积越来越大,基于云的医学图像分析最近变得流行。已经证明,对于医学图像,从本地到云的传输比云本身的计算要昂贵得多。为此,3D图像压缩技术已被广泛应用以减少数据流量。然而,大多数现有的图像压缩技术是围绕人类视觉开发的,即,它们被设计成使人眼可感知的失真最小化。在本文中,我们将使用基于深度学习的医学图像分割作为工具,并证明有趣的是,机器和人类对压缩质量的看法不同。高质量的医学图像压缩。人类视觉可能导致较差的分割精度。然后,我们设计了一个面向机器视觉的3D图像压缩框架,用于使用DNN进行分割。我们的方法自动提取和保留的图像特征是最重要的分割。在HVSMR 2016挑战数据集上对广泛采用的分割框架进行的综合实验表明,与现有的JPEG 2000方法相比,我们的方法可以在相同的压缩率下实现更高的分割精度,或者在相同的分割精度下实现更好的压缩率。据作者所知,这是第一个用于云中分割的机器视觉引导的医学图像压缩框架。
2019-04-09 cs.CV cs.LG stat.ML
Survey of Computer Vision and Machine Learning in Gastrointestinal Endoscopy
本文试图为读者提供一个开始研究计算机视觉和机器学习在胃肠道(GI)内窥镜检查中的应用的地方。它们被分为18类。读者应该注意到,这是一个前深度学习时代的评论。许多基于深度学习的应用在本文中没有涉及。
2019-04-26 cs.CV eess.IV physics.med-ph
Rule-Based Reinforcement Learning for Document Image Classification with Vision Language Models
University of Applied Sciences and Arts Western Switzerland(西瑞士应用艺术大学);University of Fribourg(弗里堡大学)
本文提出基于规则的强化学习方法,用于提升文档图像分类任务的泛化能力,通过不同场景验证其在处理超出分布数据时的优势。
2025-09-26 cs.CV
Model-based Influence Diagrams for Machine Vision
Advanced Decision Systems(高级决策系统公司);Stanford University(斯坦福大学)
我们展示了一种基于增量创建和评估一个特定的家庭的影响图,代表假设的图像解释和可能的后续处理决策的机器视觉系统的自动控制方法。在我们的方法中,基于模型的机器视觉技术与分层贝叶斯推理相结合,提供了一个框架,用于表示和匹配图像中的对象和关系的实例,并用于累积概率来排序冲突的场景解释。我们扩展了Tatman和Shachter的结果,表明在每个阶段从评估图得出的处理决策序列与通过评估包含视觉系统运行期间创建的所有随机变量的最终影响图得出的序列相同。
2013-03-27 cs.AI cs.CV
What Can Machine Vision Do for Lymphatic Histopathology Image Analysis: A Comprehensive Review
University of New South Wales(新南威尔士大学);University of Luebeck(吕贝克大学);Northeastern University(东北大学);China Medical University(中国医科大学)
近十年来,机器视觉(MV)的计算能力不断提高,图像分析算法发展迅速。同时,组织病理切片可以存储为数字图像。因此,MV算法可以为医生提供诊断参考。特别是深度学习算法的不断改进,进一步提高了MV在疾病检测和诊断中的准确性。本文综述了近年来基于MV的图像处理技术在淋巴瘤病理组织图像中的应用,包括分割、分类和检测。最后,对现有的方法进行了分析,提出了一些更有潜力的方法,并对进一步的研究进行了展望。
2022-05-08 cs.CV
High Throughput Soybean Pod-Counting with In-Field Robotic Data Collection and Machine-Vision Based Data Analysis
EarthSense Inc.(EarthSense公司);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们报告了有希望的结果,高通量的田间大豆豆荚计数与小型移动机器人和机器视觉算法。我们的研究结果表明,基于机器视觉的大豆荚果数与大豆产量密切相关。虽然荚果计数与大豆产量有很强的相关性,但荚果计数是极其劳动密集型的,并且难以自动化。我们的研究结果表明,配备视觉传感器的自主机器人可以自主收集大豆成熟时的数据。机器视觉算法可用于以高通量、自动化的方式估计种植在实验单元(EU或地块)上的大型多样性面板上的豆荚计数。我们报告我们的自动豆荚计数和大豆产量之间的相关性为0.67。这些数据是在一项实验中收集的,该实验由伊利诺伊大学大豆育种计划在2020年生长季节维护的1463个单行地块组成。我们还报告了一个较小的数据集的16个地块的自动豆荚计数和手动豆荚计数之间的相关性为0.88。
2021-05-27 cs.CV cs.RO
LL-ICM: Image Compression for Low-level Machine Vision via Large Vision-Language Model
School of Computer Science, City University of Hong Kong(香港城市大学计算机科学学院);Peking University(北京大学);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对现有ICM聚焦高阶任务、未考虑低级机器视觉压缩需求的问题,提出LL-ICM框架,联合优化压缩与低级任务并集成大视觉语言模型生成通用特征,实现编解码器与任务模型适配,较最优方法BD率降低22.65%。
2024-12-05 cs.AI cs.CV
From Vision to Text: A Compact Multimodal Approach for Robust, Cross-Domain Presentation Attack Detection on ID Cards
da/sec-Biometrics and Security Research Group, Hochschule Darmstadt(da/sec生物安全研究组,达姆施塔特应用技术大学);Technical University of Denmark (DTU)(丹麦技术大学(DTU))
针对身份证件演示攻击检测中的跨域迁移问题,提出一种结合视觉与文本数据的紧凑多模态模型,发现监督微调后泛化强但零样本设置下失效,强调模型容量和真实数据的重要性。
2026-06-05 cs.CV
Enhancing the machine vision performance with multi-spectral light sources
Fudan University(复旦大学);HES Technology Group Co., Ltd(杭州华普永明光电股份有限公司)
本研究通过35种多光谱光源下用AlexNet和VGG19识别彩色铅笔图像,发现非纯白光源可提升机器视觉准确率,且VGG19性能低于AlexNet,凸显光源与模型选择的重要性。
2023-10-20 cs.CV eess.IV
Openmv: A Python powered, extensible machine vision camera
Arab Academy for Science & Technology(阿拉伯科学技术学院)
半导体制造工艺和大规模集成的进步不断推动要求苛刻的应用远离集中式处理,更接近网络边缘(即边缘计算)。使用低功耗嵌入式智能相机执行复杂的网络内图像处理已经成为可能,从而实现了大量新的协作图像处理应用。本文介绍了OpenMV,一种新的低功耗智能相机,适合于无线传感器网络和机器视觉应用。该平台的独特之处在于运行嵌入式Python3解释器,允许其外围设备和机器视觉库使用Python编写脚本。此外,它的硬件可通过模块进行扩展,这些模块为平台增加了新的功能,例如热成像和网络模块。
2017-11-01 cs.CV cs.DC