Impact of Action Unit Occurrence Patterns on Detection
University of South Florida（南佛罗里达大学）
动作单元的检测是人脸分析，特别是表情识别中的一个重要任务。这部分是由于表达式可以分解为多个动作单元的想法。在本文中，我们调查的影响，动作单元的出现模式检测的动作单元。为了便于这项调查，我们回顾了最先进的文献，AU检测，2个国家的最先进的人脸数据库，通常用于这项任务，即DISFA和BP 4D。我们的研究结果，从这篇文献综述，表明行动单位发生模式强烈影响评价指标（如F1-二进制）。除了文献回顾，我们还进行多个和单个动作单元检测，以及提出了一种新的方法来显式训练深度神经网络使用的发生模式，以提高动作单元检测的准确性。这些实验验证了动作单元模式直接影响评估指标。
2020-10-15 cs.CV
Detecting and Learning the Unknown in Semantic Segmentation
University of Wuppertal（伍珀塔尔大学）
语义分割是自动驾驶中感知的关键组成部分。深度神经网络（DNN）通常用于此任务，并且它们通常在出现在封闭操作域中的对象类的封闭集合上进行训练。然而，这与DNN部署到自动驾驶中的开放世界假设形成对比。因此，DNN必须面对以前从未遇到过的数据，也称为异常，这对于正确处理非常安全。在这项工作中，我们首先从信息论的角度对异常进行了概述。接下来，我们回顾了在语义分割中检测语义未知对象的研究。我们证明了对异常物体的高熵响应的训练优于其他最近的方法，这与我们的理论研究结果一致。此外，我们研究了一种方法来评估异常的发生频率，以选择异常类型，包括到一个模型的一组语义类别。我们证明了这些异常可以以无监督的方式学习，这特别适合基于深度学习的在线应用程序。
2022-02-17 cs.CV cs.LG
Deep Morphing: Detecting bone structures in fluoroscopic X-ray images with prior knowledge
Paderborn University（帕德博恩大学）；Klinikum Augsburg（奥格斯堡医院）
我们提出了基于深度学习的方法来定位图像中的对象，当只有一个小的训练数据集可用，图像质量低。这适用于医学图像处理中的许多问题，并且特别适用于透视（低剂量）X射线图像的分析，其中图像具有低对比度。我们通过结合有关对象的高级信息来解决这个问题，这些信息可以是简单的几何模型，如圆形轮廓，也可以是更复杂的统计模型。一个简单的几何表示可以充分描述一些对象，只需要最少的标记。统计形状模型可用于表示更复杂的对象。我们提出了计算效率高的两阶段方法，我们称之为深度变形，通过将表示拟合到深度分割网络的输出来实现这两种表示。
2018-11-19 cs.CV cs.LG stat.ML
PSC-Net: Learning Part Spatial Co-occurrence for Occluded Pedestrian Detection
Tianjin University（天津大学）；Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
检测行人，特别是在严重遮挡下，是一个具有挑战性的计算机视觉问题与许多现实世界的应用。本文介绍了一种新的方法，称为PSC网络，用于遮挡行人检测。所提出的PSC网络包含一个专用模块，该模块被设计为通过图卷积网络（GCN）明确捕获不同行人身体部位的部分间和部分内同现信息。部分间和部分内共现信息都有助于改善处理不同程度的遮挡（从部分遮挡到严重遮挡）的特征表示。我们的PSC网络利用行人的拓扑结构，不需要基于部件的注释或额外的可见边界框（VBB）信息来学习部件空间同现。在两个具有挑战性的数据集上进行了全面的实验：CityPersons和Caltech数据集。所提出的PSC-Net在两者上都实现了最先进的检测性能。在CityPerosns测试集的重闭塞（\textbf{HO}）集上，我们的PSC-Net在具有相同骨干、输入规模且不使用额外VBB监督的情况下，在对数平均未命中率方面获得了4.0%的绝对增益。此外，PSC-Net将Caltech（\textbf{HO}）测试集上的对数平均未命中率从37.9提高到34.8。
2020-03-10 cs.CV
Holistic Image Manipulation Detection using Pixel Co-occurrence Matrices
Mayachitra Inc（Mayachitra公司）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
数字图像取证旨在检测已被数字处理的图像。真实感图像的生成涉及到拼接、恢复、区域去除、平滑等多种处理方法的结合。虽然文献中的大多数检测方法集中在检测特定类型的操纵，但识别涉及大量操纵的篡改图像是具有挑战性的。在本文中，我们提出了一种新的方法来整体检测篡改图像使用像素共生矩阵和深度学习的组合。我们在像素域中的三个颜色通道上提取水平和垂直共生矩阵，并使用深度卷积神经网络（CNN）框架训练模型。我们的方法是不可知的类型的操纵和分类的图像篡改或未篡改。我们在超过86，000张图像的数据集上训练和验证我们的模型。实验结果表明，我们的方法是有前途的，并实现了超过0.99的曲线下面积（AUC）的评价指标的训练和验证子集。此外，我们的方法也很好地推广，并在一个看不见的测试数据集上实现了约0.81 AUC，该测试数据集包括作为媒体取证挑战（MFC）2020的一部分发布的19，740多张图像。在宣布挑战赛结果时，我们的得分是参加挑战赛的所有其他球队中最高的。
2021-04-12 cs.CV
Surface abnormality detection in medical and inspection systems using energy variations in co-occurrence matrixes
Online Computer Vision Research center（在线计算机视觉研究中心）
表面缺陷检测是图像处理和机器视觉领域的重要课题之一。提出了一种基于共生矩阵能量变化的表面缺陷检测方法。该方法包括训练和测试两个阶段。在训练阶段，共生矩阵算子首先应用于健康图像，然后计算输出能量的量。在下文中，根据能量的量的变化，定义合适的特征向量，并且在其帮助下，获得用于图像的健康的合适阈值。然后，在测试阶段，在计算的法定人数的帮助下，有缺陷的部分区分健康的。在实验结果部分，将该方法应用于石材和陶瓷图像，计算了其检测精度，并与以往的一些方法进行了比较。在所提出的方法的优点，我们可以提到高精度，低计算和兼容性与所有类型的水平，由于使用的培训阶段。所提出的方法可用于医疗应用中，以检测异常，如疾病。因此，在2d-hela数据集上评估分类细胞表型的性能。所提出的方法提供了约89.56%的2d-hela的准确性。
2022-10-14 cs.CV
Deep Domain Adaptation for Detecting Bomb Craters in Aerial Images
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
空袭的后果在毁灭性事件发生后的几十年里仍然可以看到。未爆弹药对人类生命和环境构成巨大危险。通过对战时图像的评估，专家们可以推断出哑弹的发生。目前的人工分析过程既昂贵又耗时，因此利用深度学习自动检测弹坑是改善UXO处置过程的一种有前途的方法。然而，这些方法需要大量的手动标记的训练数据。本文利用月球表面图像的领域自适应，在有限的训练数据约束下，利用深度学习解决自动弹坑检测问题。本文有助于学术界和实践（1）通过提供一个解决方案的方法，自动炸弹弹坑检测有限的训练数据和（2）通过演示的可用性和相关的挑战，使用合成图像的领域自适应。
2022-09-22 cs.CV
MonoGround: Detecting Monocular 3D Objects from the Ground
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Lab（上海人工智能实验室）
单目三维目标检测以其简单、成本低等优点引起了人们的广泛关注。由于单目成像过程中的不适定2D到3D映射本质，单目3D目标检测遭受不准确的深度估计，从而具有较差的3D检测结果。为了解决这个问题，我们提出在单目3d目标检测中引入地平面作为先验。地平面先验作为不适定映射的附加几何条件和深度估计中的额外源。这样，我们就可以得到离地面更精确的深度估计。同时，为了充分利用地平面先验，我们提出了一种深度对齐训练策略和一种精确的两阶段深度推理方法。值得注意的是，引入的地平面先验不需要额外的数据源，如LiDAR，立体图像和深度信息。在KITTI基准上的大量实验表明，与其他方法相比，我们的方法可以实现最先进的结果，同时保持非常快的速度。我们的代码和模型可以在https://github.com/cfzd/MonoGround上找到。
2022-06-15 cs.CV
RethNet: Object-by-Object Learning for Detecting Facial Skin Problems
lululab Inc（露露实验室公司）
语义分割是计算机视觉领域的一个热点问题，语义分割方法的成功解决了目标检测和识别中最具挑战性的任务。我们提出了一个逐对象学习技术的概念，使用语义分割方法检测11种面部皮肤病变。由于视觉数据的外观模糊，在密集组中检测单个皮肤病变是一项具有挑战性的任务。我们观察到对象类之间存在共现的视觉关系（例如，皱纹和老年斑，或丘疹和白头等）。事实上，丰富的上下文信息对处理这个问题有很大帮助。因此，我们提出了由本地构造的convLSTM/Conv 3D层和SE模块组成的REthinker块作为一次性注意力机制，其责任是增加网络在本地和全局上下文表示中的敏感性，支持捕获模糊出现的对象和对象类之间的共现交互。实验表明，我们提出的模型在测试准备好的数据集时达到了79.46%的MIoU，比Deeplab v3+提高了15.34%（MIoU为64.12%）。
2021-01-11 cs.CV
Mitigating Simplicity Bias in OOD Detection through Object Co-occurrence Analysis
The University of Hong Kong（香港大学）；Shenzhen University（深圳大学）；Shenzhen Loop Area Institute（深圳河套学院）
提出基于对象共现的OOD检测框架，通过解耦表示和分治策略区分近OOD，缓解简单性偏差，在多种设置下取得竞争结果。
2026-06-19 cs.AI cs.CV
PAD-F: Prior-Aware Debiasing Framework for Long-Tailed X-ray Prohibited Item Detection
针对X-ray违禁品检测的长尾分布问题，提出先验感知去偏框架PAD-F，结合显式材质感知增强（EMAA）与隐式共现聚合器（ICA），在数据和特征层面双管齐下，显著提升尾部类别检测性能。
2025-08-13 cs.CV
Magic Layouts: Structural Prior for Component Detection in User Interface Designs
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出了魔术布局，一种方法，用于解析屏幕截图或手绘草图的用户界面（UI）布局。我们的核心贡献是扩展现有的检测器，以利用UI设计的结构先验知识，实现UI组件的鲁棒检测;按钮，文本框等。具体来说，我们学习了移动UI布局的先验知识，对不同UI组件之间的常见空间同现关系进行编码。调节区域的建议，使用此之前导致性能增益的UI布局解析手绘UI和应用程序截图，我们展示了在上下文中的交互式应用程序，快速获取数字原型的用户体验（UX）设计。
2021-06-14 cs.CV cs.HC cs.LG
Detecting Human-Object Interactions with Object-Guided Cross-Modal Calibrated Semantics
Zhejiang University（浙江大学）；State Key Laboratory of Industrial Control Technology, Zhejiang University（浙江大学工业控制技术国家重点实验室）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
人-物交互（HOI）检测是从细粒度角度理解以人为中心的图像的一项重要任务。虽然端到端的HOI检测模型蓬勃发展，但它们的并行人类/目标检测和动词类预测的范例失去了两阶段方法的优点：对象指导的层次结构。一个HOI三联体中的宾语给出了要预测的动词的直接线索。在本文中，我们的目标是用对象指导的统计先验来提升端到端模型。具体来说，我们建议利用动词语义模型（VSM），并使用语义聚合，从这个对象指导的层次结构的利润。提出了相似性KL（SKL）损失来优化VSM，以与HOI数据集的先验知识保持一致。为了克服静态语义嵌入问题，我们提出了跨模态校准（CMC）生成跨模态感知的视觉和语义特征。以上模块的组合构成了目标引导的跨模态校准网络（OCN）。在两个流行的HOI检测基准上进行的实验证明了将统计先验知识结合起来的重要性，并产生了最先进的性能。更详细的分析表明，所提出的模块作为一个更强大的动词预测和更优越的方法，利用先验知识。代码可在\url{https://github.com/JacobYuan7/OCN-HOI-Benchmark}上获得。
2022-02-01 cs.CV
Learning to Refactor Action and Co-occurrence Features for Temporal Action Localization
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
时间动作定位的主要挑战是从各种共同发生的成分中检索微妙的人类动作，例如，上下文和背景，在一个未经修剪的视频。虽然先前的方法通过设计先进的动作检测器已经取得了实质性的进展，但是它们仍然受到这些共同出现的成分的影响，这些成分通常主导视频中的实际动作内容。在本文中，我们探讨了视频片段的两个正交但互补的方面，即，动作特征和同现特征。特别是，我们开发了一种新的辅助任务，通过解耦这两种类型的视频片段内的功能，并将它们重新组合，以生成一个新的功能表示更显着的动作信息，准确的动作定位。我们将我们的方法称为RefactorNet，它首先显式分解动作内容并规则化其同现特征，然后合成一个新的动作主导的视频表示。在THUMOS 14和ActivityNet v1.3上的大量实验结果和消融研究表明，我们的新表示与简单的动作检测器相结合，可以显着提高动作定位性能。
2022-06-23 cs.CV
ABBSPO: Adaptive Bounding Box Scaling and Symmetric Prior based Orientation Prediction for Detecting Aerial Image Objects
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Kyungpook National University (KNU)（庆北国立大学（KNU））
ABBSPO通过自适应边界框缩放和对称先验角度损失，提升弱监督定向对象检测的准确性和效率。
2025-12-10 cs.AI cs.CV
CornerNet: Detecting Objects as Paired Keypoints
Princeton University（普林斯顿大学）
我们提出了CornerNet，这是一种新的目标检测方法，我们使用单个卷积神经网络将对象限界框检测为一对关键点，即左上角和右下角。通过将对象检测为成对的关键点，我们消除了设计在先前的单级检测器中常用的一组锚框的需要。除了我们的新公式，我们还引入了角点池，这是一种新型的池化层，可以帮助网络更好地定位角点。实验表明，CornerNet在MS COCO上实现了42.2%的AP，优于所有现有的一级检测器。
2019-03-18 cs.CV
Detecting out-of-context objects using contextual cues
Rochester Institute of Technology（罗切斯特理工学院）；SRI International（斯坦福国际研究院）；Paige；Cornell Tech（康奈尔科技校区）
本文提出了一种方法来检测图像中的背景外（OOC）对象。我们的目标是确定一个对象是否与场景上下文不一致，并使用限界框检测OOC对象。在这项工作中，我们考虑共同探索的上下文关系，如同现关系，相对于其他对象的对象的相对大小，以及对象在场景中的位置。我们认为，上下文线索是有用的，以确定对象标签的上下文对象和不一致的上下文线索是有害的，以确定对象标签的上下文对象。为了实现这一假设，我们提出了一个图上下文推理网络（GCRN）检测OOC对象。GCRN由两个单独的图组成，用于根据图像中的上下文线索预测对象标签：1）表示图，用于根据相邻对象学习对象特征; 2）上下文图，用于从相邻对象中显式捕获上下文线索。GCRN显式地捕获上下文线索，以提高对上下文对象的检测，并识别违反上下文关系的对象。为了评估我们的方法，我们通过向COCO图像添加OOC对象实例来创建大规模数据集。我们还评估了最近的OCD基准。我们的研究结果表明，GCRN在检测OOC对象和正确检测上下文对象方面优于竞争基线。
2022-02-11 cs.AI cs.CV
Wildfire Smoke Detection with Computer Vision
野火变得越来越频繁，其影响每天都更具破坏性。气候变化直接和间接地影响了这些事件的发生，社会现象也增加了人们的脆弱性。因此，鉴于这些事件不可避免地会发生，必须建立预警系统，以便作出及时和有效的反应。人工智能、机器学习和计算机视觉为及时发现野火提供了一种有效且可实现的替代方案，从而降低了灾害风险。YOLOv7提供了一种简单、快速、高效的目标检测模型训练算法，可用于火灾初期烟柱的早期检测。所开发的模型显示出有希望的结果，在置信水平为0.298时，F1曲线中的得分为0.74，即在较低置信水平下获得较高得分。这意味着当条件有利于假阳性时。这些指标表明了该模型在检测烟柱方面的弹性和有效性。
2023-01-12 cs.AI cs.CV
Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition
Kyung Hee University（庆熙大学）；NAVER Cloud（NAVER云）
本文针对零样本组合动作识别中对象驱动的快捷方式问题，提出RCORE方法，通过引入共现先验正则化和时间顺序正则化提升组合泛化能力。
2026-07-03 cs.AI cs.CV
