arXiv 2102.122562021-02cs.CV

一种增强的违禁物品识别模型

An Enhanced Prohibited Items Recognition Model

Tianze Rong, Hongxiang Cai, Yichao Xiong

摘要：

提出了一种新的建模方法来提高X射线图像违禁物品识别的性能。我们分析了违禁物品和X线图像的特点。我们发现，一些项目的规模太小，无法识别的事实，阻碍了模型的性能。然后采用一组数据增强的方法对模型进行修正，使其适用于违禁物品识别领域。卷积块注意模块（CBAM）和重新评分机制已组装到模型中。通过修改，我们的模型在SIXray 10上实现了89.9%的mAP，mAP为74.8%。

英文摘要：

We proposed a new modeling method to promote the performance of prohibited items recognition via X-ray image. We analyzed the characteristics of prohibited items and X-ray images. We found the fact that the scales of some items are too small to be recognized which encumber the model performance. Then we adopted a set of data augmentation and modified the model to adapt the field of prohibited items recognition. The Convolutional Block Attention Module(CBAM) and rescoring mechanism has been assembled into the model. By the modification, our model achieved a mAP of 89.9% on SIXray10, mAP of 74.8%.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

面向现实世界的违禁品检测：大规模X射线基准测试

Towards Real-World Prohibited Item Detection: A Large-Scale X-ray Benchmark

State Key Laboratory of Computer Science, ISCAS（中国科学院软件研究所计算机科学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Institute for Advanced Study, UCAS（中国科学院大学杭州高等研究院）；JD Finance America Corporation（京东金融美国公司）；Beihang University（北京航空航天大学）

在真实场景中，由于类内差异、类不平衡和遮挡等因素的影响，利用计算机视觉技术进行自动安全检测是一项具有挑战性的任务。由于缺乏大规模的数据集，以往的方法很少解决违禁物品故意隐藏在杂乱物体中的情况，限制了其在现实场景中的应用。针对现实世界中的违禁物品检测，我们收集了一个大规模的数据集，命名为PIDray，它涵盖了现实世界中违禁物品检测的各种情况，特别是故意隐藏的物品。经过大量的努力，我们的数据集包含$47,677$ X射线图像中的$12$类别的违禁物品，具有高质量的注释分割掩模和边界框。据我们所知，这是迄今为止最大的违禁物品检测数据集。同时，我们设计了选择性密集注意网络（SDANet）来构建一个强基线，它由密集注意模块和依赖细化模块组成。密集注意力模块由空间和通道密集注意力组成，用于学习区分性特征以提高性能。依赖细化模块用于利用多尺度特征的依赖性。在收集的PIDray数据集上进行的大量实验表明，所提出的方法对最先进的方法，特别是对故意隐藏的项目进行检测。

2021-08-16cs.CV

基于遮挡感知双层建模的违禁品分割

Prohibited Items Segmentation via Occlusion-aware Bilayer Modeling

Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）；Research Institute of Multiple Agents and Embodied Intelligence（多智能体与具身智能研究院）；Pengcheng Laboratory（鹏城实验室）

针对安检X射线图像违禁品分割中外观差异大、物体重叠严重的问题，提出集成SAM、含遮挡感知双层掩码解码器的分割流水线，构建带遮挡标注的数据集并验证了方法有效性。

2025-06-13cs.CV

面向现实世界的X射线安全检查：用于违禁物品检测的高质量基准和侧抑制模块

Towards Real-world X-ray Security Inspection: A High-Quality Benchmark and Lateral Inhibition Module for Prohibited Items Detection

State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；iFLYTEK Research（科大讯飞研究院）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）

X射线图像中的违禁物品检测在保障公共安全方面发挥着重要作用，但其检测对象往往颜色单调、亮度不足，检测效果不理想。到目前为止，由于缺乏专门的高质量数据集，很少有研究涉及这一主题。在这项工作中，我们首先提出了一个高质量的X射线（HiXray）安全检查图像数据集，其中包含8类102，928个常见的违禁物品。它是最大的高质量的违禁物品检测数据集，从真实的机场安检中收集，并由专业的安检人员进行注释。此外，为了准确的违禁物品检测，我们进一步提出了侧抑制模块（LIM）的启发，人类认识到这些项目忽略不相关的信息，并专注于可识别的特征，特别是当对象相互重叠。具体来说，LIM，精心设计的灵活的附加模块，抑制噪音的信息流最大的双向传播（BP）模块和激活的边界激活（BA）模块，从四个方向激活最可识别的魅力，边界。我们在HiXray和OPIXray上对我们的方法进行了广泛的评估，结果表明它优于SOTA检测方法。

2021-08-23cs.CV

PIDray：一种用于实际违禁物品检测的大规模X射线基准

PIDray: A Large-scale X-ray Benchmark for Real-World Prohibited Item Detection

Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of North Texas（北德克萨斯大学）

由于类内差异、类间不平衡、遮挡等因素的影响，基于计算机视觉技术的自动安检在实际应用中是一项具有挑战性的任务。由于大规模数据集的缺乏，以往的方法很少涉及到将违禁物品故意隐藏在杂乱物体中的情况，阻碍了它们的应用。为了解决这个问题，并促进相关的研究，我们提出了一个大规模的数据集，命名为PIDray，它涵盖了各种情况下，在现实世界的场景中的违禁物品检测，特别是故意隐藏的物品。具体而言，PIDray收集了124，486张$12$类别违禁物品的X射线图像，每张图像都经过仔细检查手动注释，据我们所知，这是迄今为止最大的违禁物品检测数据集。同时，我们提出了一个通用的分治流水线来开发PIDray上的基线算法。具体来说，我们采用树状结构来抑制PIDray数据集中长尾问题的影响，其中第一个粗粒度节点负责二进制分类以减轻头部类别的影响，而随后的细粒度节点则专用于尾部类别的特定任务。基于这个简单而有效的方案，我们为目标检测、实例分割和多标签分类任务提供了强大的特定于任务的基线，并验证了常见数据集的泛化能力（例如，COCO和PASCAL VOC）。PIDray上的大量实验表明，该方法对当前最先进的方法，特别是故意隐藏的项目表现良好。我们的基准和代码将在https://github.com/lutao2021/PIDray上发布。

2022-11-19cs.CV

DERA：用于违禁品检测的分离式边缘残差自适应

DERA: Detached Edge-Residual Adaptation for Prohibited item Detection

针对X射线违禁品检测中物体叠加与纹理弱的问题，提出DERA框架，通过分离式边缘残差自适应注入边界先验，仅用14.7K参数在三个数据集上提升基线AP 1.6-3.1点。

2026-09-14cs.CV

过采样去遮挡注意网络在X射线图像违禁品检测中的应用

Over-sampling De-occlusion Attention Network for Prohibited Items Detection in Noisy X-ray Images

Beihang University（北京航空航天大学）；Shen Yuan Honors College, Beihang University（北航沈元荣誉学院）；Beijing Advanced Innovation Center for Big Data-Based Precision Medicine（北京大数据精准医学高精尖创新中心）

安检是对行李箱中的个人物品进行X射线扫描，这对公共安全非常重要，但对人类检查人员来说非常耗时。幸运的是，深度学习极大地促进了计算机视觉的发展，为自动安检提供了一种可能的方式。然而，行李内的物品随机重叠，导致具有严重遮挡的噪声X射线图像。因此，通过常见图像识别数据集训练的传统基于CNN的模型在这种情况下无法达到令人满意的性能。为了解决这些问题，我们贡献了第一个高质量的禁止X射线目标检测数据集OPIXray，其中包含来自5类广泛发生的禁止物品“刀具”的8885张X射线图像。这些图像是从机场收集的，这些违禁物品由专业检查人员手动注释，可以作为模型训练的基准，进一步促进未来的研究。为了更好地提高X射线遮挡目标检测的性能，提出了一种过采样去遮挡注意力网络（DOAM-O），该网络由一个新的去遮挡注意力模块和一种新的过采样训练策略组成。具体来说，我们的去遮挡模块，即DOAM，同时利用了禁止项目的不同外观信息;过采样训练策略迫使模型更多地强调由这些高遮挡水平项目组成的硬样本，这更适合这种情况。我们在OPIXray数据集上对DOAM-O进行了综合评估，证明了我们的模型能够稳定地提高SSD、YOLOv 3和FCOS等著名检测模型的性能，并且优于许多广泛使用的注意力机制。

2021-03-01cs.CV

更多相关论文收起更多论文

遮挡违禁品检测：X射线安检基准与去遮挡注意模块

Occluded Prohibited Items Detection: an X-ray Security Inspection Benchmark and De-occlusion Attention Module

State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；Beijing Advanced Innovation Center for Big Data-Based Precision Medicine, Beihang University（北京航空航天大学大数据精准医疗北京高精尖创新中心）

安全检查通常处理一件行李或手提箱，其中物体彼此严重重叠，导致X射线图像中的违禁物品检测的性能不令人满意。在文献中，很少有研究和数据集涉及这一重要主题。在这项工作中，我们贡献了第一个高质量的目标检测数据集的安全检查，命名为遮挡违禁物品X射线（OPIXray）图像基准。OPIXray侧重于国际机场专业检查员人工标注的广泛出现的违禁物品“切割器”。为了更好地理解检测器的性能，将测试集进一步划分为三个遮挡水平。此外，为了处理X射线图像检测中的遮挡，我们提出了去遮挡注意模块（DOAM），一个即插即用的模块，可以很容易地插入，从而促进最流行的检测器。尽管在X射线成像中存在严重的遮挡，但可以很好地保留物体的形状外观，同时不同的材料在视觉上呈现不同的颜色和纹理。受这些观察的启发，我们的DOAM同时利用违禁物品的不同外观信息来生成注意力图，这有助于改进一般检测器的特征图。我们在OPIXray数据集上全面评估了我们的模块，并证明我们的模块可以持续提高最先进的检测方法（如SSD，FCOS等）的性能，并显着优于几种广泛使用的注意力机制。特别是，DOAM的优势是更显着的场景中具有较高的闭塞，这表明其潜在的应用在现实世界中的检查。OPIXray基准测试和我们的模型在https://github.com/OPIXray-author/OPIXray上发布。

2020-08-13cs.CV

BCR-Net：用于基于点的弱半监督X射线违禁物品检测的边界-类别细化网络

BCR-Net: Boundary-Category Refinement Network for Weakly Semi-Supervised X-Ray Prohibited Item Detection with Points

针对X射线违禁物品检测中标注成本与性能的平衡问题，提出BCR-Net，利用少量框标注和大量点标注，通过边界与类别细化模块提升定位和分类精度，在公开数据集上超越现有方法。

2025-10-27cs.CV

SIXray：大规模安检X射线重叠图像违禁品发现基准

SIXray : A Large-scale Security Inspection X-ray Benchmark for Prohibited Item Discovery in Overlapping Images

University of Chinese Academy of Sciences（中国科学院大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）；Kingsoft（金山公司）

在本文中，我们提出了一个大规模的数据集，并建立了一个基线的安检X射线图像中的违禁物品发现。我们的数据集名为SIXray，由1，059，231张X射线图像组成，其中6类8，929件违禁物品被手动注释。它提出了一个全新的挑战，重叠的图像数据，同时与现有的数据集共享相同的属性，包括复杂但无意义的上下文和类不平衡。我们提出了一种名为类平衡层次细化（class-balanced hierarchical refinement，简称EHF）的方法来处理这些困难。深度网络假设每个输入图像都是从混合分布中采样的，并且深度网络需要迭代过程来准确地推断图像内容。为了加快速度，我们将反向连接插入到不同的网络主干，提供高级视觉提示来帮助中级功能。此外，设计了一个类平衡的损失函数，以最大限度地减轻容易负样本引入的噪声。我们用不同比例的阳性/阴性样品对SIX射线进行了评价。与基线相比，SVM具有更好的区分对象的能力，特别是使用中级特征，这提供了使用弱监督方法实现精确对象定位的可能性。特别是在正训练样本较少的情况下，神经网络的优势更加明显，这表明了其在实际安全检测中的潜在应用。

2019-01-02cs.CV

双视角X光检测：AI能否像人类一样从双视角X光图像中检测违禁物品？

Dual-view X-ray Detection: Can AI Detect Prohibited Items from Dual-view X-ray Images like Humans?

Beijing Jiaotong University（北京交通大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）

针对现有X光数据集单视角或样本多样性不足的问题，提出含353,646个实例的LDXray双视角数据集及辅助视角增强网络AENet，模拟人类双视角检测方式，显著提升检测性能且泛化能力强。

2024-11-27cs.CV

BGM：用于 X 射线违禁物品检测的背景混合（Background Mixup）

BGM: Background Mixup for X-ray Prohibited Items Detection

Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；Nuctech Company Limited（核tech公司）

针对 X 射线安检检测忽视背景信息的问题，提出基于透射成像与材料伪彩色特性的 Background Mixup 背景增强，可兼容前景增强并在多个基准上稳定提升性能。

2025-07-25cs.CV

体三维CT行李安检图像中违禁品分类与检测的评价

On the Evaluation of Prohibited Item Classification and Detection in Volumetric 3D Computed Tomography Baggage Security Screening Imagery

Durham University（杜伦大学）

基于X射线计算机断层扫描（CT）的3D成像被广泛用于机场的航空安全检查，而之前关于违禁物品检测的工作主要集中在2D X射线图像上。在本文中，我们的目的是评估的可能性，从二维X射线图像的体积三维CT行李安检图像的自动违禁品检测。为此，我们在工作中利用了3D卷积神经网络（CNN）和流行的目标检测框架，如RetinaNet和Faster R-CNN。作为第一次尝试使用三维CNN的体积三维CT行李安检，我们首先评估不同的CNN架构上的孤立的违禁物品体积的分类，并与传统的方法，使用手工制作的功能进行比较。随后，我们评估体积三维CT行李图像上的不同架构的目标检测性能。我们在Bottle和Handgun数据集上的实验结果表明，3D CNN模型可以实现与传统方法相当的性能（98%的真阳性率和1.5%的假阳性率），但推理所需的时间显著减少（每卷0.014秒）。此外，扩展的3D目标检测模型在检测体积3D CT行李图像中的违禁物品方面实现了有希望的性能，其中瓶子的mAP为76%，手枪的mAP为88%，这显示了3D CT X射线安全图像中的这种威胁检测的挑战和前景。

2020-03-27cs.CVcs.LG

PAD-F：面向长尾X-ray违禁品检测的先验感知去偏框架

PAD-F: Prior-Aware Debiasing Framework for Long-Tailed X-ray Prohibited Item Detection

针对X-ray违禁品检测的长尾分布问题，提出先验感知去偏框架PAD-F，结合显式材质感知增强（EMAA）与隐式共现聚合器（ICA），在数据和特征层面双管齐下，显著提升尾部类别检测性能。

2025-08-13cs.CV

面向X射线违禁物品检测的生成式合成数据治理方法

Taming Generative Synthetic Data for X-ray Prohibited Item Detection

Institute of Information Science, Beijing Jiaotong University（信息科学学院，北京交通大学）；Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学）；Nuctech Company Limited（NuTech公司）

针对X射线违禁物品检测数据标注成本高、现有两阶段合成方法效率低的问题，提出单阶段文本生成式合成流程Xsyn，通过CAR和BOM策略提升合成数据质量，无需额外人力即可提升检测性能。

2025-11-19cs.CV

AO-DETR: 用于X光违禁品检测的抗重叠DETR

AO-DETR: Anti-Overlapping DETR for X-Ray Prohibited Items Detection

College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Foshan Graduate School of Innovation, Northeastern University（东北大学佛山创新研究生院）

针对X光违禁品图像的重叠导致的特征耦合与边缘模糊问题，提出基于DINO的AO-DETR检测器，通过CSA策略和LFD机制提升检测性能，在两个数据集上超越现有SOTA，适用于安检场景。

2024-03-07cs.AIcs.CV

I$^2$OL-Net：面向点监督X射线违禁品检测的模态内-模态间目标性学习网络

I$^2$OL-Net: Intra-Inter Objectness Learning Network for Point-Supervised X-Ray Prohibited Item Detection

本文提出I$^2$OL-Net，通过模态内与模态间目标性学习，在点监督下实现高效X射线违禁品检测，显著降低标注成本并提升性能。

2025-01-03cs.CV

增强至关重要：一种用于噪声标注下X光违禁品检测的混合粘贴方法

Augmentation Matters: A Mix-Paste Method for X-Ray Prohibited Item Detection under Noisy Annotations

Xiamen University（厦门大学）；University College London（伦敦大学学院）

本文提出Mix-Paste标签感知混合粘贴增强方法及大损失抑制策略，通过在噪声标注下混合同类X光图像块模拟物品重叠，提升违禁品检测鲁棒性，并在X光数据集和噪声MS-COCO上验证了有效性。

2025-01-03cs.AIcs.CV

好的、坏的和丑陋的：评估卷积神经网络用于使用真实和综合合成的X射线图像进行违禁物品检测

The Good, the Bad and the Ugly: Evaluating Convolutional Neural Networks for Prohibited Item Detection Using Real and Synthetically Composited X-ray Imagery

Durham University（杜伦大学）；Cranfield University（克兰菲尔德大学）

在X光安全图像中检测违禁物品对于维护边境和运输安全以应对各种威胁至关重要。具有大量数据支持的卷积神经网络（CNN）已经在这种自动化禁止目标检测和分类中带来了进步。然而，整理如此大量的X射线安全图像仍然是一个重大挑战。这项工作开辟了使用合成合成图像的可能性，避免了整理大量手工注释的真实世界图像的需要。在这里，我们研究了使用真实和合成的X射线训练图像用于CNN架构的检测性能的差异，该架构在杂乱和复杂的X射线安全行李图像中检测三种典型的违禁物品，{枪支，枪支零件，手枪}。我们使用更快的R-CNN和ResNet-101 CNN架构实现了0.88的平均精度（mAP），用于使用真实X射线图像的3类目标检测。虽然性能与合成合成X射线图像（0.78 mAP）相当，但我们的扩展评估表明了使用合成合成图像来多样化X射线安全训练图像以进行自动检测算法训练的挑战和前景。

2019-09-25cs.CVcs.LGeess.IV

CSPCL：基于类别语义先验对比学习的Deformable DETR违禁物品检测器

CSPCL: Category Semantic Prior Contrastive Learning for Deformable DETR-Based Prohibited Item Detectors

College of Information Science and Engineering, Northeastern University（信息科学与工程学院，东北大学）；State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University（过程工业综合自动化国家重点实验室，东北大学）

针对X射线图像违禁物品检测中前景-背景特征耦合导致通用检测器性能差的问题，提出类别语义先验对比学习机制，通过特定对比损失增强模型对前景特征的敏感性，在多个数据集上显著提升性能且不增加推理复杂度。

2025-11-11cs.CV

X-Adv：针对X射线违禁品检测的物理对抗目标攻击

X-Adv: Physical Adversarial Object Attacks against X-ray Prohibited Item Detection

Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Chinese Academy of Sciences（中国科学院）；University of Science and Technology of China（中国科学技术大学）；iFLYTEK（科大讯飞）；JD Explore Academy（京东探索研究院）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）

对抗攻击对于评估深度学习模型的鲁棒性很有价值。现有的攻击主要在可见光谱上进行（例如，逐像素纹理扰动）。然而，针对无纹理X射线图像的攻击仍然没有得到充分研究，尽管X射线成像在安全关键场景中得到广泛应用，例如X射线检测违禁物品。在本文中，我们采取了第一步的对抗攻击针对X射线违禁品检测的研究，并揭示了这种攻击在这个安全关键的情况下所构成的严重威胁。具体来说，我们认为，在这种情况下，成功的物理对抗攻击应该专门设计，以规避颜色/纹理褪色和复杂的重叠所带来的挑战。为此，我们提出了X-adv来生成物理可打印的金属，这些金属可以作为一种对抗剂，在放置在行李中时能够欺骗X射线探测器。为了解决与颜色/纹理褪色相关的问题，我们开发了一种可微分转换器，该转换器使用代理模型的梯度而不是直接生成对抗性纹理，从而便于生成具有对抗性形状的3D可打印对象。为了将打印的3D对抗对象放置在具有复杂重叠实例的行李中，我们设计了一种基于策略的强化学习策略，以在最坏情况下找到引发强攻击性能的位置，即禁止物品被其他物品严重遮挡。为了验证所提出的X-Adv的有效性，我们在数字和物理世界中进行了广泛的实验（后者采用商业X射线安全检查系统）。此外，我们提出了物理世界的X射线对抗攻击数据集XAD。

2023-02-19cs.AIcs.CRcs.CV

第二视角图像可以成为一种语言吗？用于X射线禁止物品检测的几何和语义跨模态推理

Can a Second-View Image Be a Language? Geometric and Semantic Cross-Modal Reasoning for X-ray Prohibited Item Detection

Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院）；State Key Laboratory of Complex & Critical Software Environment, Beihang University（北航复杂与关键软件环境国家重点实验室）

本文提出GSR模型，通过几何与语义跨模态推理，利用双视角图像作为语言模态，提升X射线禁止物品检测的准确性。

2025-11-23cs.AIcs.CV

通过微调 CLIP 实现开放词汇 X 射线违禁物品检测

Open-Vocabulary X-ray Prohibited Item Detection via Fine-tuning CLIP

College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Foshan Graduate School of Innovation, Northeastern University（东北大学佛山创新研究院）

针对 X 射线安检中新增违禁品类别识别难题，本文提出带瓶颈适配器的 OVXD 模型，通过微调 CLIP 对齐 X 射线图像与文本，并在 PIXray、PIDray 上显著提升新类别检测性能。

2024-06-16cs.AIcs.CVcs.CY

在自助式餐厅中使用的单个照片中的多个食物项目的识别

Recognition of Multiple Food Items in a Single Photo for Use in a Buffet-Style Restaurant

The University of Tokyo（东京大学）；Japan Institute of Sports Sciences（日本体育科学研究所）

我们研究了在一张照片中的多个食物项目的图像识别，重点是自助餐厅应用程序，其中菜单在每顿饭的变化，每个类只有几个图像可用。在检测食物区域后，我们进行分层识别。我们评估我们的结果，比较两个基线方法。

2019-03-03cs.CV

用于X射线图像中禁止目标检测的操作化卷积神经网络结构

Operationalizing Convolutional Neural Network Architectures for Prohibited Object Detection in X-Ray Imagery

Durham University（杜伦大学）

深度卷积神经网络（CNN）的最新进展为航空安全及其他领域的X射线安全筛查自动化带来了新的见解。在这里，我们探讨了两个最近的端到端的目标检测CNN架构，级联R-CNN和FreeAnchor的可行性，通过平衡处理时间和图像数据压缩的影响，从操作的角度来看，禁止项目检测。总的来说，我们使用具有ResNet 50主干的FreeAnchor架构实现了最大的检测性能，使用OPIXray和SIXray基准数据集获得了87.7和85.8的平均精度（mAP），显示出优于先前工作的性能。FreeAnchor具有更少的参数和更短的训练时间，可实现最高的检测推理速度，约为13 fps（每幅图像3.9 ms）。此外，我们评估了有损图像压缩对检测器性能的影响。CNN模型显示出对有损压缩的相当大的弹性，导致在50的JPEG压缩水平下mAP仅降低1.1%。此外，提供了对数据增强技术的全面评估，包括MixUp和CutMix策略以及其他标准转换的适应，进一步提高了检测精度。

2021-10-10cs.AIcs.CVcs.LG

用于商店货架上产品识别的深度学习管道

A deep learning pipeline for product recognition on store shelves

DISI, University of Bologna（博洛尼亚大学DISI（信息工程与自动化系））

识别商店货架上的杂货产品带来了特殊的挑战。首先，该任务要求识别数量极多的不同物品，对于中小型商店来说大约有数千种，其中许多具有小的类间和类内变异性。然后，可用的产品数据库通常每个产品仅包括一个或几个工作室质量的图像（在本文中称为参考图像），而在测试时，对显示包含若干产品的货架的一部分并且在商店中由廉价相机拍摄的图片（称为查询图像）执行识别。此外，由于商店中出售的物品以及它们的外观随着时间的推移而频繁变化，因此实用的识别系统应该无缝地处理新产品/包装。受目标检测和图像检索的最新进展的启发，我们建议利用基于深度学习的最先进的对象检测器来获得初始的产品无关项目检测。然后，我们追求的产品识别通过参考和裁剪查询图像计算的全局描述符之间的相似性搜索。为了最大限度地提高性能，我们通过基于图像嵌入损失在参考图像上训练的CNN来学习ad-hoc全局描述符。我们的系统在训练时计算量很大，但在测试时可以快速准确地进行识别。

2019-01-27cs.CV

MMCL：修正内容查询分布以改进抗重叠X射线目标检测

MMCL: Correcting Content Query Distributions for Improved Anti-Overlapping X-Ray Object Detection

College of Information Science and Engineering, Northeastern University, Shenyang, 110819, China（信息科学与工程学院，东北大学，沈阳，110819，中国）；State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University, Shenyang, 110819, China（过程工业综合自动化国家重点实验室，东北大学，沈阳，110819，中国）；Lee Kong Chian School of Medicine, Nanyang Technological University, 639798, Singapore（李光前医学院，南洋理工大学，639798，新加坡）

针对X射线图像深度诱导叠加的抗重叠目标检测问题，提出多类最小边际对比学习（MMCL）框架修正内容查询分布，通过分组和两个互补损失提升类内多样性与类间可分性，在三个数据集上取得最优性能。

2025-11-11cs.CV

RAFA-Net：用于食品项目和农业胁迫识别的区域注意力网络

RAFA-Net: Region Attention Network For Food Items And Agricultural Stress Recognition

Birla Institute of Technology and Science, Pilani（比拉理工与科学学院皮拉尼分校）；University of Hradec Kralove（赫拉德茨-克拉洛韦大学）；Skoda Auto University（斯柯达汽车大学）；Malaysia Japan International Institute of Technology (MJIIT), Universiti Teknologi Malaysia（马来西亚理工大学马来西亚日本国际理工学院）；Jadavpur University（贾达普大学）

本文提出RAFA-Net，通过区域注意力机制建模长距离依赖并融合池化与上下文门控优化特征，在食品与农业胁迫数据集上取得领先的分类准确率，证明了其泛化能力。

2024-10-16cs.CV

SuPEr-SAM：基于位姿估计的监控信号训练用于个人防护装备识别的空间注意力模块

SuPEr-SAM: Using the Supervision Signal from a Pose Estimator to Train a Spatial Attention Module for Personal Protective Equipment Recognition

SecurifAI；University of Bucharest（布加勒斯特大学）

我们提出了一种深度学习的方法来自动检测个人防护设备（PPE），如头盔，外科口罩，反光背心，靴子等，在人的图像。基于深度学习的PPE检测的典型方法是（i）针对诸如上面列出的那些物品的物品训练对象检测器，或者（ii）训练人检测器和分类器，该分类器采用由检测器预测的边界框并且在穿戴和未穿戴对应PPE物品的人之间进行区分。我们提出了一种新的和准确的方法，使用三个组成部分：一个人的检测器，一个身体姿势估计和分类。我们的新颖之处在于只在训练时使用姿态估计器，以提高分类器的预测性能。我们通过添加空间注意力机制来修改分类器的神经架构，该空间注意力机制使用来自姿势估计器的监督信号来训练。通过这种方式，分类器学习专注于PPE项目，使用来自姿势估计器的知识，在推理期间几乎没有计算开销。

2020-11-02cs.CV

物体识别对每个人都有效吗？

Does Object Recognition Work for Everyone?

Facebook AI Research（脸书人工智能研究院）

本文分析了公开的对象识别系统在地理上不同的数据集的准确性。该数据集包含家庭用品，其设计目的是比对象识别中常用的图像数据集具有更有代表性的地理覆盖范围。我们发现，这些系统在家庭收入较低的国家中常见的家庭用品上表现相对较差。定性分析表明，性能下降主要是由于对象类内的外观差异（例如，洗碗皂）以及由于出现在不同上下文中的物品（例如，牙刷出现在浴室外面）。我们的研究结果表明，需要进一步的工作，使物体识别系统同样适用于不同国家和收入水平的人。

2019-06-18cs.CVcs.LG

用于位置识别的全景到全景匹配

Panorama to panorama matching for location recognition

Inria（法国国家信息与自动化研究所）；CTU in Prague（布拉格捷克理工大学）

位置识别通常被视为“街景”图像上的视觉实例检索。数据集项目和查询是全景视图，即在单个位置拍摄的图像组。这项工作介绍了一种新的全景图到全景图的匹配过程，无论是通过聚合功能的个人图像在一个组中，或通过明确地构建一个更大的全景。在这两种情况下，都使用多个视图作为查询。我们达到接近完美的位置识别的标准基准只有四个查询视图。

2017-04-21cs.CV

我的衣柜里有什么？：基于模糊逻辑的图像分类

What's in my closet?: Image classification using fuzzy logic

University of Michigan（密歇根大学）

在MATLAB中创建了一个模糊系统，用于从一系列输入图像中识别一件衣服是连衣裙、衬衫还是裤子。系统初始化时，使用每件衣服的高对比度矢量图像作为最接近直接解的状态。其他九个用户输入的图像（每个项目三个）也被用来确定每个项目的特征函数和识别每个模式。Mamdani推理系统用于边缘定位和识别每件衣服的特征感兴趣区域。基于这些无量纲的趋势，第二个Mamdani模糊推理系统被用来表征每个图像包含一件衬衫，一条连衣裙，或一条裤子。一个轮廓的模糊推理系统和图像处理技术用于创建一个图像模式识别系统进行了讨论。

2017-12-05cs.CV

基于级联结构张量框架的X射线包裹物品鲁棒识别

Cascaded Structure Tensor Framework for Robust Identification of Heavily Occluded Baggage Items from X-ray Scans

Khalifa University（哈利法大学）；Durham University（杜伦大学）；COSMONiO AI；The University of Western Australia（西澳大学）；Inception Institute of Artificial Intelligence（人工智能研究院）

在过去的二十年里，行李扫描已成为全球航空安全的主要问题之一。人工检查行李物品是繁琐的、容易出错的，并且损害隐私。因此，许多研究人员开发了基于X射线成像的自主系统来解决这些缺点。本文提出了一种级联结构张量框架，可以自动提取和识别严重遮挡和混乱的行李中的可疑物品。所提出的框架是独特的，因为它智能地提取每个对象，通过迭代地从不同的方向挑选基于轮廓的过渡信息，只使用一个前馈卷积神经网络的识别。使用来自公开可用的GDXray和SIXray数据集的总共1，067，381次X射线扫描对所提出的框架进行了严格的评估，其中GDXray和SIXray的平均精度得分分别为0.9343和0.9595，用于识别高度混乱和重叠的可疑物品。此外，与现有的基于公共对象检测器的解决方案相比，该框架在计算上实现了4.76%的运行时性能

2020-04-14cs.CV

Sparsey：基于深度层次稀疏分布码的事件识别

Sparsey: Event Recognition via Deep Hierarchical Spare Distributed Codes

Neurithmic Systems LLC（Neurithmic Systems 有限责任公司）

视觉皮层的分层、多级组织在许多生物学启发的计算视觉模型中被捕获，一般的想法是，逐渐更大规模、更复杂的时空特征在逐渐更高的区域中被表示。然而，大多数早期的模型在每个代表性领域中使用局部主义表示（代码），我们将其等同于每个级别的皮质宏柱（mac）。在地方主义中，每个表示的特征/事件（项目）由单个单元编码。我们的模型Sparsey也是分层的，但至关重要的是，在所有级别的每个MAC中使用稀疏分布式编码（SDC）。在SDC中，每个表示的项目由mac单元的一个小子集编码。不同项目的SDC可以重叠，项目之间重叠的大小可以表示它们的相似性。局部性和SDC之间的区别是至关重要的，因为SDC允许关联记忆的两个基本操作，存储新项和检索最匹配的存储项，在模型的生命周期内在固定时间内完成。由于该模型的核心算法同时进行存储和检索（推理），在每个时间步上对所有mac进行一次遍历，因此整个模型的存储/检索操作也是固定时间的，这是我们认为对大型数据集的可扩展性至关重要的标准。2010年的一篇论文在纯粹的空间模式处理的背景下描述了这个模型的非层次版本。在这里，我们阐述了一个完全分层的模型（任意数量的水平和MAC每级），描述新的模型原则，如渐进的关键期，动态调制的主细胞的激活功能的基础上的MAC级熟悉的措施，表示多个同时活跃的假设，一种新的方法的时间扭曲不变的识别，我们报告的结果显示学习/识别的时空模式。

2016-11-12cs.CVcs.NEq-bio.NC

VISTA：通过U-Net和图像色彩框架过滤增强的视觉Transformer，用于自动零售结账

VISTA: Vision Transformer enhanced by U-Net and Image Colorfulness Frame Filtration for Automatic Retail Checkout

Giga Tech Ltd.（千兆科技有限公司）；Concordia University（康考迪亚大学）；North South University（北南大学）

多类别产品计数和识别从图像或视频中识别产品项目，以实现自动零售结账。该任务是具有挑战性的，因为现实世界的场景中，产品项目重叠，传送带中的快速移动，被扫描项目的整体外观的巨大相似性，新产品，以及错误识别项目的负面影响。此外，在训练集和测试集之间存在域偏差，具体地，所提供的训练数据集由合成图像组成，并且测试集视频由诸如手和托盘的异物组成。为了解决上述问题，我们建议从视频序列中分割和分类各个帧。分割方法包括一个统一的单一产品项目和手分割，然后熵掩蔽，以解决域偏差问题。多类分类方法基于视觉Transformer（ViT）。为了识别具有目标对象的帧，我们利用几种图像处理方法，并提出一种自定义度量来丢弃不具有任何产品项目的帧。结合所有这些机制，我们最好的系统在2022年AI城市挑战赛第四赛道中获得第三名，F1得分为0.4545。代码将在

2022-04-23cs.CV

自由分拣中的单次服装类别识别及其在服装自动分拣中的应用

Single-Shot Clothing Category Recognition in Free-Configurations with Application to Autonomous Clothes Sorting

University of Glasgow（格拉斯哥大学）；University of Birmingham（伯明翰大学）

本文提出了一种从2.5D特征中识别服装类别的单次方法。我们提出了两个视觉特征，BSP（B样条补丁）和TSD（拓扑空间距离）的这项任务。该方法采用LLC（Locality-constrained Linear Coding）对BSP局部特征进行编码，并与三种不同的全局特征进行融合。我们的视觉功能是强大的可变形的形状，我们的方法是能够识别类别的未知服装在无约束和随机配置。我们将类别识别流水线与立体视觉系统、服装实例检测和双臂机械手相集成，以实现自主分拣系统。为了验证我们提出的方法的性能，我们构建了一个高分辨率的RGBD服装数据集，其中包含以随机配置采样的5个类别的50件服装（总共2，100个服装样本）。实验结果表明，该方法对训练过程中未发现的服装分类正确率达到83.2%.这比以前的最先进水平提高了36.2%。最后，我们评估所提出的方法在一个自主的机器人分拣系统，其中的机器人认识到一个服装项目从一个不受约束的桩，抓住它，并将其分类到一个盒子根据其类别。我们提出的分拣系统实现了合理的分拣成功率与单发感知。

2017-07-22cs.CVcs.RO

深关节人脸幻觉与识别

Deep Joint Face Hallucination and Recognition

Sun Yat-sen University（中山大学）

深度模型在面部幻觉任务中取得了令人印象深刻的性能。然而，我们观察到，直接将幻觉面部图像馈送到识别模型中甚至会降低识别性能，尽管可视化质量要好得多。在本文中，我们通过联合学习两个任务的深度模型来解决这个问题，即人脸幻觉和识别。特别地，我们设计了一个端到端的深度卷积网络，其中识别子网络级联了幻觉子网络。识别子网络负责使用超分辨率图像作为由超分辨率子网络生成的输入来产生有区别的特征表示。在训练过程中，我们将LR面部图像馈送到网络中，并通过最小化两个损失项来优化参数，即1）通过地面真实HR图像和网络生成图像之间的像素差异测量的面部幻觉损失;以及2）通过分类错误和类内距离测量的验证损失。我们广泛评估我们的方法LFW和YTF数据集。实验结果表明，该方法在4x下采样LFW测试集上的识别准确率达到97.95%，优于传统人脸识别模型的96.35%的准确率。在更具挑战性的YTF数据集上，我们实现了90.65%的识别准确率，超过了传统人脸识别模型在4倍下采样版本上获得的89.45%的识别准确率。

2016-11-24cs.CV

基于区域不变层次嵌入的食品类产品识别

Domain invariant hierarchical embedding for grocery products recognition

DISI, University of Bologna（博洛尼亚大学DISI学院(DISI, University of Bologna)（注：DISI是博洛尼亚大学的信息工程与计算机科学系，此处按原文提取））

由于特殊的挑战，仅基于外观识别包装杂货产品对于现代计算机视觉系统仍然是一个悬而未决的问题。首先，要识别的不同项目的数量是巨大的（即，数以千计）并且随时间快速变化。此外，在测试时应该识别的图像（在商店中由廉价相机拍摄）与可用于训练的图像（通常每个产品只有一个或几个工作室质量的图像）之间存在显著的域偏移。我们提出了一种端到端架构，包括一个GAN来解决训练时的域偏移，以及一个在GAN生成的样本上训练的深度CNN，以学习产品图像的嵌入，从而在产品类别之间实施层次结构。在测试时，我们通过K-NN搜索对每个产品只包含一个参考图像的数据库进行识别。针对训练数据集中存在的产品以及训练时看不到的不同产品的识别的实验表明，我们的方法在杂货店识别任务上与最先进的方法相比具有优势，并且可以很好地推广到类似的方法。

2019-02-02cs.CV

端到端食品图像分析系统

An End-to-End Food Image Analysis System

Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）

现代深度学习技术使基于图像的饮食评估（如食物识别和食物份量估计）取得了进展。关于食物种类和消费量的宝贵信息对于预防许多慢性疾病至关重要。然而，现有的基于图像的自动食物分析方法既不是端到端的，也不能处理多个任务（例如，识别和部分估计）在一起，使得难以应用于现实生活中的应用。在本文中，我们提出了一个基于图像的食品分析框架，集成了食品定位，分类和部分大小估计。我们提出的框架是端到端的，即，输入可以是包含多个食物项目的任意食物图像，并且我们的系统可以用其对应的预测食物类型和份量来定位每个单个食物项目。我们还通过将定位结果与由条件GAN获得的食物能量分布图合并来改进单个食物部分估计，以生成四通道RGB分布图像。我们的端到端框架是在从营养喂养研究中收集的真实食物图像数据集上进行评估的。

2021-02-01cs.CV

弥合目录与现实的差距：通过多阶段对比学习实现可扩展的产品识别

Bridging the Catalog-to-Real Gap: Scalable Product Recognition via Multi-Stage Contrastive Learning

Walmart Global Tech（沃尔玛全球技术公司）

针对自动产品识别中现实与目录匹配的可扩展性瓶颈，提出将任务转为跨域检索问题，引入目录到现实多阶段对比学习范式，利用项目和图像级相似性微调视觉主干，能无缝扩展到未见产品和类别，有出色零样本泛化性能。

2026-07-14cs.CV

FoodAI：通过深度学习进行食品图像识别，实现智能食品记录

FoodAI: Food Image Recognition via Deep Learning for Smart Food Logging

Salesforce Research Asia（Salesforce亚洲研究院）

健康监测的一个重要方面是有效记录食物消费。这可以帮助管理与饮食有关的疾病，如肥胖，糖尿病，甚至心血管疾病。此外，食物记录可以帮助健身爱好者，以及想要达到目标体重的人。然而，食物记录是麻烦的，并且不仅需要花费额外的努力来记录定期食用的食物项目，而且需要对所食用的食物项目有足够的了解（由于各种各样的美食的可用性，这是困难的）。随着对智能设备的依赖越来越大，我们利用智能手机提供的便利，提出了一种智能食品记录系统：FoodAI，它提供了最先进的基于深度学习的图像识别功能。FoodAI是在新加坡开发的，特别专注于新加坡常见的食品。FoodAI模型在来自756个不同类别的40万个食物图像的语料库上进行了训练。在本文中，我们提出了广泛的分析和见解，这个系统的发展。FoodAI已被部署为API服务，并且是由新加坡健康促进委员会开发的移动应用程序Healthy 365的组件之一。我们有超过100个注册组织（大学、公司、初创企业）订阅了这项服务，每天都会收到多个API请求。FoodAI使食物记录变得方便，有助于智能消费和健康的生活方式。

2019-09-26cs.CVcs.LGcs.MM

基于深度卷积目标检测的机场X射线行李安检威胁自动识别

Toward Automatic Threat Recognition for Airport X-ray Baggage Screening with Deep Convolutional Object Detection

Duke University（杜克大学）；Rapiscan Systems（瑞源系统公司）

为了旅客的安全，运输安全管理局（TSA）在美国的机场设有安全检查站，试图将危险物品从飞机上带走。在这些检查站，TSA使用了一批X光扫描仪，如Rapiscan 620DV，因此运输安全官员（TSO）可以检查随身物品的内容。然而，识别和定位所有潜在威胁可能是一项具有挑战性的任务。因此，TSA最近对基于深度学习的自动检测算法产生了兴趣，这些算法可以帮助TSO。在TSA资助的一项合作中，我们收集了一个相当大的新X射线扫描数据集，其中包含各种背景下的各种威胁，训练了几个深度卷积目标检测模型，并将这些模型集成到Rapiscan 620 DV中，从而产生了能够实时的操作的功能原型。我们展示了我们的模型的性能举行了评估集，分析了几个设计参数，并展示了这种系统的自动检测威胁，可以在机场发现的潜力。

2019-12-13cs.CV

张量池驱动的行李威胁识别实例分割框架

Tensor Pooling Driven Instance Segmentation Framework for Baggage Threat Recognition

Khalifa University（哈利法大学）；Durham University（杜伦大学）；The University of Western Australia（西澳大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）

设计用于从X射线图像中筛选违禁品的自动化系统仍然面临着高杂波、隐蔽性和极端遮挡的困难。在本文中，我们解决了这一挑战，使用一种新的多尺度轮廓实例分割框架，有效地识别行李X射线扫描内的杂乱违禁品数据。与采用基于区域或基于关键点的技术来生成对象周围的多个框的标准模型不同，我们建议根据轮廓定义的区域的层次结构来获得建议。该框架在三个公共数据集上进行了严格的验证，分别称为GDXray，SIXray和OPIXray，其平均精度得分分别为0.9779，0.9614和0.8396，优于最先进的方法。此外，据我们所知，这是第一个轮廓实例分割框架，利用多尺度信息来识别混乱和隐藏的违禁品数据从彩色和灰度安全X射线图像。

2021-09-21cs.CV

用于多供应商X射线扫描中严重遮挡行李物品鲁棒识别的级联结构张量框架

Cascaded Structure Tensor Framework for Robust Identification of Heavily Occluded Baggage Items from Multi-Vendor X-ray Scans

Center for Cyber-Physical Systems (C2PS)（网络物理系统中心（C2PS））；Inception Institute of Artificial Intelligence（inception人工智能研究所）；Abu Dhabi University（阿布扎比大学）；Department of Computer Science, Durham University（杜伦大学计算机科学系）

在过去的二十年里，行李扫描已成为全球航空安全的主要问题之一。人工检查行李物品是一个繁琐、主观和低效的过程。因此，许多研究人员开发了基于X射线成像的自主系统来解决这些缺点。然而，据我们所知，到目前为止，还没有一个框架可以从多供应商X射线扫描中识别出严重遮挡和杂乱的行李物品。本文提出了一种级联结构张量框架，它可以自动提取和识别可疑物品，无论其位置和方向的多供应商X射线扫描。所提出的框架是独特的，因为它智能地提取每个对象，通过迭代地挑选基于轮廓的过渡信息从不同的方向，并使用只有一个前馈卷积神经网络的识别。所提出的框架已经在公开的GDXray和SIX射线数据集上进行了严格的测试，这些数据集总共包含1，067，381个X射线扫描，通过分别实现0.9343和0.9595的平均精度得分，从GDXray和SIX射线扫描中提取和识别可疑物品，它显着优于最先进的解决方案。此外，建议的框架实现了15.78%的时间改善

2020-01-21cs.CVcs.LG

人脸识别算法的准确性比较：我们在哪里测量种族偏见？

Accuracy comparison across face recognition algorithms: Where are we on measuring race bias?

The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National Institute of Standards and Technology（美国国家标准与技术研究院）；University of Maryland（马里兰大学）

前几代人脸识别算法对不同种族图像的准确性不同（种族偏见）。在这里，我们提出了可能的潜在因素（数据驱动和场景建模）和评估算法种族偏见的方法考虑。我们讨论数据驱动因素（例如，图像质量、图像总体统计和算法体系结构），以及考虑算法的“用户”角色的场景建模因素（例如，阈值决定和人口限制）。为了说明这些问题是如何应用的，我们提出了来自东亚和高加索面孔的四种人脸识别算法（上一代算法和三种深度卷积神经网络，DCNN）的数据。首先，数据集难度影响整体识别准确性和种族偏见，种族偏见随着项目难度的增加而增加。其次，对于所有四种算法，偏差的程度取决于识别决策阈值。为了实现相等的错误接受率（FAR），东亚面孔需要比高加索面孔更高的识别阈值，对于所有算法。第三，在测试中使用的分布公式的人口限制，影响算法准确性的估计。我们的结论是，种族偏见需要衡量个人的应用程序，我们提供了一个清单来衡量这种偏见的人脸识别算法。

2020-06-04cs.CVcs.LG

Places：一个用于深度场景理解的图像数据库

Places: An Image Database for Deep Scene Understanding

Massachusetts Institute of Technology（麻省理工学院）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）

数百万项数据集计划的兴起使数据饥渴的机器学习算法能够在对象和场景识别等任务中达到接近人类的语义分类。在这里，我们描述的地方数据库，一个存储库的1000万个场景的照片，标记与场景的语义类别和属性，包括一个准详尽的列表中遇到的环境类型的世界。使用最先进的卷积神经网络，我们提供了令人印象深刻的基线性能在场景分类。凭借其高覆盖率和高多样性的样本，地方数据库提供了一个生态系统，以指导当前棘手的视觉识别问题的未来进展。

2016-10-06cs.AIcs.CV

FashionFAE：细粒度属性增强的时尚视觉语言预训练

FashionFAE: Fine-grained Attributes Enhanced Fashion Vision-Language Pre-training

Southeast University（东南大学）；Advanced Ocean Institute of Southeast University（东南大学先进海洋研究院）；Northwestern Polytechnical University（西北工业大学）；Binjiang Institute of Artificial Intelligence, ZJUT（浙江工业大学滨江人工智能研究院）；Alibaba Group（阿里巴巴集团）

针对时尚领域现有视觉语言预训练模型难以利用细粒度属性的问题，提出FashionFAE方法，通过属性强化文本预测和属性促进图像重建任务增强细粒度能力，在检索和识别任务上均优于SOTA方法。

2025-01-12cs.CV

单属性颜色模型及其在食品外观中的应用

Modeling Colors of Single Attribute Variations with Application to Food Appearance

University of Maryland, College Park（马里兰大学帕克分校）

本文认为，图像内的颜色空间的对象或场景时，这些都受到一个占主导地位的单一来源的变化。变化源可以是内在的或外在的（即，成像条件）。我们观察到，这些对象的量化颜色通常位于RGB的平面子空间上，并且在某些情况下，该平面上的线性或多项式曲线在捕获这些颜色变化方面是有效的。我们还观察到，只要不涉及剧烈的光照变化，图像间颜色子空间是鲁棒的。我们说明了使用这种分析：区分阴影变化和反射率变化的补丁，和目标检测，分割和识别的基础上，一个单一的样本。我们专注于食品的图像来说明所提出的方法的有效性。

2015-12-18cs.CV

RAR：用于视觉识别的检索与排序增强多模态大语言模型

RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition

Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；MThreads, Inc.（MThreads公司）；Nanyang Technological University（南洋理工大学）

RAR结合CLIP的检索与MLLM的排序，提升细粒度识别精度，增强少样本和零样本任务表现。

2026-05-15cs.AIcs.CVcs.LG

视觉-语言模型是否准备好进行饮食评估？探索AI驱动的食品图像识别的下一个前沿

Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition

Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid（生物度量与数据模式分析实验室，马德里自治大学）；IMDEA Food, CEI UAM+CSIC（IMDEA食品，CEI UAM+CSIC）

本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力，提出了一个新的评估指标，并展示了FoodNExTDB数据库在饮食评估中的应用潜力。

2025-04-09cs.AIcs.CV

RF-Annotate：上下文中常见对象的自动RF监督图像注释

RF-Annotate: Automatic RF-Supervised Image Annotation of Common Objects in Context

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

无线标签越来越多地用于跟踪和识别感兴趣的常见物品，例如零售商品、食品、药品、服装、书籍、文档、钥匙、设备等。在同一时间，有必要标记的视觉数据，具有这样的项目为目的的训练目标检测和识别模型的机器人在家庭，仓库，商店，图书馆，药店，在本文中，我们问：我们可以利用跟踪和识别能力的标签作为基础的大规模自动图像注释系统的机器人感知任务？我们提出了RF-Annotate，这是一个用于自主像素图像注释的管道，它使机器人能够在环境中遇到感兴趣的对象时收集标记的视觉数据。我们的管道使用未经修改的商品RFID阅读器和RGB-D相机，并利用移动机器人平台提供的任意小规模运动，将RFID空间映射到场景中的相应对象。我们唯一的假设是，环境中感兴趣的对象预先标记了廉价的无电池RFID，每个RFID售价3-15美分。我们展示了我们的管道在几个RGB-D序列的桌面场景具有常见的对象在各种室内环境中的功效。

2022-11-16cs.CVcs.RO

无监督异常实例分割的行李威胁识别

Unsupervised Anomaly Instance Segmentation for Baggage Threat Recognition

识别隐藏在行李中的潜在威胁是安全人员的首要任务。许多研究人员已经开发出可以从X射线扫描中检测行李威胁的框架。然而，据我们所知，所有这些框架都需要在大规模和注释良好的数据集上进行广泛的培训，这在现实世界中很难获得。本文提出了一种新的无监督异常实例分割框架，识别行李的威胁，在X射线扫描，异常，而不需要任何地面真值标签。此外，由于其风格化能力，该框架只训练一次，在推理阶段，它可以检测和提取违禁品，而不管它们的扫描仪规格如何。我们的一个阶段的方法最初学习重建正常的行李内容，通过编码器-解码器网络利用建议的风格化损失函数。该模型随后通过分析原始扫描和重建扫描中的差异来识别异常区域。然后对异常区域进行聚类和后处理，以适合用于其定位的限界框。此外，一个可选的分类器也可以附加到所提出的框架，以识别这些提取的异常的类别。在四个公共行李X射线数据集上对所提出的系统进行的彻底评估，没有任何重新训练，表明与传统的完全监督方法相比，它实现了有竞争力的性能（即，SIXray的平均精度得分为0.7941，GDXray为0.8591，OPIXray为0.7483，COMPASS-XP数据集为0.5439），同时在SIXray，GDXray，OPIXray，和COMPASS-XP数据集。

2021-07-16cs.CVeess.IV