Towards Real-Time Fast Unmanned Aerial Vehicle Detection Using Dynamic Vision Sensors
ETH Zürich（苏黎世联邦理工学院）
本文提出基于动态视觉传感器的嵌入式系统F-UAV-D，实现低功耗（<15W）和实时（<50ms）的快速无人机检测，在低照度等条件下优于RGB方法。
2024-03-18 cs.CV eess.IV
UAV Images Dataset for Moving Object Detection from Moving Cameras
Sakarya University（萨卡里亚大学）
本文提出了一种新的高分辨率航空影像数据集，其中移动物体的标记手动。它的目的是有助于运动摄像机的运动目标检测方法的评价。航空图像中运动目标的识别问题是计算机视觉的重要研究课题之一。无人机拍摄的图像中最大的问题是，由于相机的运动，背景不断变化。在文献中有各种数据集，其中对所提出的运动检测方法进行了评估。准备好的数据集包括与其他数据集相比包含小目标的具有挑战性的图像。文献中的两种方法已被测试的准备数据集。此外，本文还提出了一种简单的方法相比，这些方法已被提出的移动对象对象。
2021-03-24 cs.CV eess.IV
Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
为了弥合监督语义分割和获取一个模型来识别任意新概念的实际应用之间的差距，最近的zero-shot分割通过探索看不见的和看到的对象类别之间的关系而吸引了很多关注，但需要大量具有不同基类的密集注释数据。在本文中，我们提出了一个新的开放世界的语义分割管道，使第一次尝试学习分割语义对象的各种开放世界的类别，没有任何努力密集的注释，纯粹利用自然存在于互联网上的图像标题数据。我们的方法，视觉语言驱动的语义分割（ViL-Seg），采用图像和文本编码器为图像标题数据生成视觉和文本嵌入，具有两个核心组件，赋予其分割能力：首先，使用基于视觉的对比和跨模态对比联合训练图像编码器，这鼓励视觉嵌入保留对于分割任务至关重要的细粒度语义和高级类别信息。此外，在图像编码器上设计了一个在线聚类头，它允许动态地将视觉嵌入分割成不同的语义组，以便通过与各种文本嵌入进行比较来对它们进行分类，以完成我们的分割管道。实验表明，该方法不需要使用任何具有密集注释的数据，就能直接分割任意类别的对象，优于需要在三个基准数据集上进行数据标注的zero-shot分割方法。
2022-10-29 cs.CV
TCFormer: Visual Recognition via Token Clustering Transformer
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）
针对固定令牌分布忽略图像语义的问题，提出基于语义生成动态令牌的TCFormer，通过聚类相似区域并细化细节区域，在多项视觉任务中验证了有效性。
2024-07-16 cs.CV
Optical Flow Based Online Moving Foreground Analysis
Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）
通过运动目标检测得到的前景掩模结果是不成形的，不能直接用于大多数后续处理。在本文中，我们专注于这个问题，并通过构建一个基于光流的运动前景分析框架来解决这个问题。在处理过程中，通过两种互补的聚类算法对前景掩模进行分析和分割。因此，我们获得了实例级的信息，如移动对象的数量，位置和大小。实验结果表明，该方法能够很好地解决这一问题，具有较好的实用价值。
2018-11-18 cs.CV
Human-like Clustering with Deep Convolutional Neural Networks
University of Central Florida（中佛罗里达大学）；Purdue University（普渡大学）
分类和聚类分别在机器学习和计算机视觉中进行了研究。受最近深度学习模型在解决各种视觉问题方面的成功启发（例如，对象识别、语义分割）以及人类充当评估聚类算法的黄金标准的事实，在此，我们主张对这两个问题进行统一处理，并建议在较简单的模式之上逐步构建复杂模式的分层框架（例如，卷积神经网络）提供了一种有前景的解决方案。我们没有过多地讨论这些框架中的学习机制，因为它们仍然是一个有争议的问题，关于生物学的限制。相反，我们强调现实世界的结构和对象的组合性。特别是，我们证明了使用带有噪声标签的反向传播进行端到端训练的CNN能够对属于几个重叠形状的数据点进行聚类，并且比最先进的算法做得更好。从我们的研究中得到的主要教训是，在聚类算法中应该考虑人类视觉的机制，特别是视觉腹侧流的层次组织（例如，用于以无监督的方式或以最少的监督来学习表示），以达到人类级别的聚类性能。这决不意味着其他方法没有优点。例如，依赖于成对亲和力的方法（例如，谱聚类）在许多情况下非常成功但在某些情况下仍然失败（例如，重叠簇）。
2017-12-11 cs.CV cs.LG
ClusterFormer: Clustering As A Universal Visual Learner
Rochester Institute of Technology（罗切斯特理工学院）；University of Florida（佛罗里达大学）；Meta AI；University of Rochester（罗切斯特大学）；Zhejiang University（浙江大学）
本文提出基于聚类与Transformer的通用视觉模型CLUSTERFORMER，通过循环交叉注意力聚类和特征分派设计，以不同聚类粒度处理多类视觉任务，在多个基准上性能优于专用架构，有望推动通用视觉模型范式转变。
2023-10-06 cs.CV
Reversible Image Merging for Low-level Machine Vision
St. Petersburg Institute for Informatics and Automation of RAS（俄罗斯科学院圣彼得堡信息学与自动化研究所）
本文提出了一种用于像素聚类和图像分割的层次模型。在该模型中，图像是分层结构的。原始图像被视为一组嵌套的图像，这些图像能够可逆地彼此合并。将对象定义为图像的结构元素，从而将图像视为最大对象。研究了用层次聚类法模拟非层次最优像元聚类。为了生成一个层次的优化的分段常数图像近似，估计从图像的近似的标准偏差，任何层次的近似到层次的转换描述的强度水平的数量由凸序列的总平方误差。
2016-04-13 cs.CV
Real-time clustering and multi-target tracking using event-based sensors
University of Maryland, College Park（马里兰大学帕克分校）
聚类对于鲁棒跟踪、目标检测和分割等计算机视觉应用至关重要。这项工作提出了一种实时的【形】聚类技术，利用基于事件的视觉传感器的独特属性。由于基于事件的传感器仅在强度变化时触发事件，因此数据稀疏，冗余度低。因此，我们的方法重新定义了著名的均值漂移聚类方法使用异步事件，而不是传统的框架。在多目标跟踪应用中，使用卡尔曼滤波器来平滑轨迹，证明了我们的方法的潜力。我们在现有的具有不同形状和速度的模式的数据集以及我们收集的新数据集上评估了我们的方法。该传感器被连接到Baxter机器人上，在一个手眼通天的设置中，在一个动作操作任务中监视现实世界的物体。聚类精度达到了0.95的F-测量，减少了88%的计算成本相比，基于帧的方法。跟踪的平均误差为2.5个像素，聚类实现了一致数量的集群随着时间的推移。
2018-07-08 cs.CV cs.RO
MINSU (Mobile Inventory And Scanning Unit):Computer Vision and AI
MINSU（移动库存和扫描单元）算法使用计算视觉分析方法来记录橱柜的剩余量/满度。要做到这一点，它经历了五个步骤：目标检测，前景减法，K均值聚类，百分比估计和计数。输入图像经过目标检测方法，以分析坐标方面的机柜的具体位置。在这样做之后，它通过前景减法，通过去除背景使图像更容易聚焦到橱柜本身（可能必须完成一些手动工作，例如选择算法没有抓取的部分）。在K-means聚类方法中，多色图像变成3色单调图像，以便更快更准确地分析。最后对图像进行百分比估计和计数。在这两种方法中，以百分比的形式发现橱柜内的材料的比例，然后用于近似内部材料的数量。如果这一项目取得成功，剩余数量管理可以解决前面介绍中提到的问题。
2022-07-27 cs.AI cs.CV
Event-based Moving Object Detection and Tracking
University of Maryland（马里兰大学）；Institute for Advanced Computer Studies（高级计算机研究所）
动态视觉传感器（DVS）等基于事件的视觉传感器非常适合实时运动分析。这种传感器的读数所包含的独特性质提供了高时间分辨率、对光的卓越灵敏度和低延迟。这些特性为在最复杂的场景中非常可靠地估计运动提供了基础，但它们是有代价的-现代基于事件的视觉传感器具有极低的分辨率并产生大量噪声。此外，事件流的异步性质要求新颖的算法。本文提出了一种新的，有效的方法来跟踪目标与异步相机。我们提出了一种新的事件流表示，使我们能够利用信息的动态（时间）组件的事件流，而不仅仅是空间组件，在每一个时刻的时间。这是通过用参数模型近似事件流的3D几何形状来完成的;因此，该算法能够产生运动补偿的事件流（有效地近似自运动），并且在极低光和噪声条件下不使用任何形式的外部传感器，而不使用任何形式的特征跟踪或显式光流计算。我们展示了我们的框架上的任务，独立的运动检测和跟踪，在那里我们使用的时间模型的不一致性，以定位不同的移动对象在具有挑战性的情况下，非常快速的运动。
2020-01-12 cs.CV
Clustering Approach Towards Image Segmentation: An Analytical Study
Barkatullah University（巴尔卡图拉大学）
图像处理是计算机视觉的一个重要研究领域。图像分割在图像处理研究中起着至关重要的作用。图像分割的方法很多。聚类是一种无监督的研究。聚类也可以用于图像分割。本文深入研究了用于图像分割的各种聚类技术及其优缺点，并通过一个基于K-Means聚类算法的彩色图像分割实验，观察了聚类技术对图像分割的准确性。
2014-07-30 cs.CV
A Lightweight Clustering Framework for Unsupervised Semantic Segmentation
The University of Hong Kong（香港大学）
提出轻量级聚类框架，利用自监督ViT注意力特征区分前景背景，通过多级聚类生成伪掩码，在PASCAL VOC和MS COCO上达到最先进性能。
2023-12-29 cs.CV
Unsupervised Automated Event Detection using an Iterative Clustering based Segmentation Approach
Shell Technology Centre（壳牌技术中心）
一类研究较少的视觉问题包括从基于物理的实验中获得的图像中检测物体。这些对象可以在4D（x，y，z，t）中跨越，并且在背景分布近似均匀的图像中作为干扰（由于物理现象引起）可见。这种物体有时被称为“事件”，可以被认为是图像中的高能斑点。与传统视觉问题中分析的图像不同，与这些事件相关的特征非常有限，它们的形状，大小和数量可能会有很大差异。这对使用从监督方法获得的预训练模型提出了挑战。在本文中，我们提出了一种无监督的方法，涉及基于迭代聚类的分割（ICS），可以检测目标对象（事件）的实时。在这种方法中，测试图像在几个周期内进行分析，并且每个周期识别一个事件。每个循环包括以下步骤：（1）使用改进的k均值聚类方法进行图像分割，（2）基于每个片段的统计分析消除空（无事件）片段，（3）合并重叠（对应于相同事件）的片段，以及（4）选择最强事件。重复这四个步骤，直到识别出所有事件。ICS方法由几个超参数组成，这些超参数是基于对一组测试图像进行的统计研究而选择的。ICS方法的适用性证明了几个2D和3D的测试例子。
2019-01-22 cs.AI cs.CV cs.LG
ClustViT: Clustering-based Token Merging for Semantic Segmentation
Department of Electrical and Photonics Engineering, DTU - Technical University of Denmark（电气与光子工程系，丹麦技术大学）
ClustViT通过聚类模块和再生模块优化视觉Transformer，减少计算量并提升分割性能，实现更高效的语义分割。
2026-05-01 cs.CV
MOR-UAV: A Benchmark Dataset and Baselines for Moving Object Recognition in UAV Videos
Malaviya National Institute of Technology Jaipur（斋浦尔马拉维亚国家理工学院）
从无人机（UAV）收集的视觉数据开辟了计算机视觉的新领域，需要对航空图像/视频进行自动分析。然而，现有的UAV数据集主要集中在目标检测上。物体检测器不区分移动物体和非移动物体。给定一个实时的无人机视频流，我们如何才能既定位和分类的移动对象，即执行移动对象识别（MOR）？MOR是支持无人机视觉应用（包括空中监视、搜索救援、事件识别、城市和农村场景理解）的重要任务之一。因此，在本文中，我们介绍了MOR-UAV，一个大规模的视频数据集MOR在航空视频。我们实现这一点，通过标记轴对齐的边界框移动对象，需要更少的计算资源比产生像素级的估计。我们对从30个无人机视频中收集的89，783个移动对象实例进行了注释，其中包括10，948帧，这些场景包括天气条件，遮挡，飞行高度变化和多个相机视图。我们为两类车辆（汽车和重型车辆）分配了标签。此外，我们提出了一个深度统一的框架MOR-UAVNet在无人机视频MOR。由于这是无人机视频中MOR的首次尝试，因此我们通过定量和定性实验在MOR-UAV数据集上提出了基于所提出的框架的16个基线结果。我们还通过多层可视化来分析网络中的运动显著区域。MOR-UAVNet在推理时在线工作，因为它只需要很少的过去帧。此外，它不需要预定义的目标初始化从用户。实验还表明，MOR-UAV数据集是相当具有挑战性的。
2020-08-08 cs.CV
Break a Lag: Triple Exponential Moving Average for Enhanced Optimization
The School of Computer Science, Ariel University（阿里尔大学计算机学院）；Ariel University（阿里尔大学）；Department of Mathematics, Ariel University（阿里尔大学数学系）；University College London（伦敦大学学院）
针对现有一阶EMA优化器追踪复杂梯度趋势滞后、优化效果欠佳的问题，提出基于三重指数移动平均的FAME优化器，在30种CV架构的多任务基准测试中准确率和鲁棒性更优且可扩展性强。
2024-12-09 cs.CV cs.LG
Use Image Clustering to Facilitate Technology Assisted Review
Ankura Consulting Group, LLC（Ankura 咨询集团有限责任公司）
在过去的十年中，GPU硬件和深度神经网络技术的突破彻底改变了计算机视觉领域，使图像分析潜力可用于一系列现实世界的应用。电子证据开示中的技术辅助审查（TAR）虽然传统上主要处理文本内容，但越来越需要将多媒体内容纳入范围。在过去的几年里，我们为TAR开发了创新的图像分析应用程序，如图像分类，图像聚类和目标检测等。在本文中，我们讨论了使用图像聚类应用程序，以促进TAR的基础上，我们在服务客户的经验。我们描述了在任务中利用图像聚类的一般工作流程，并使用来自实际项目的统计数据来展示在TAR中使用图像聚类的有效性。我们还总结了在TAR中使用图像聚类的经验教训和最佳实践。
2021-12-16 cs.CV cs.IR
Expediting Large-Scale Vision Transformer for Dense Prediction without Fine-tuning
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；ETH Zurich（苏黎世联邦理工学院）
视觉Transformer最近在各种视觉任务中取得了有竞争力的结果，但在处理大量令牌时仍然存在计算成本高的问题。已经开发了许多先进的方法来减少大规模视觉Transformer中的标记总数，特别是对于图像分类任务。通常情况下，他们根据与类标记的相关性选择一小组基本标记，然后微调视觉Transformer的权重。由于计算和GPU存储器成本比图像分类重得多，这种微调对于密集预测不太实用。在本文中，我们专注于一个更具挑战性的问题，即，加速大规模视觉Transformer的密集预测，而无需任何额外的重新训练或微调。针对高分辨率表示对于密集预测是必要的这一事实，我们提出了两个非参数算子，一个令牌聚类层以减少令牌的数量，一个令牌重构层以增加令牌的数量。执行以下步骤来实现这一点：（i）我们使用令牌聚类层将相邻令牌聚类在一起，从而产生维持空间结构的低分辨率表示;（ii）我们仅将以下Transformer层应用于这些低分辨率表示或聚类的令牌;以及（iii）我们使用令牌重构层来从细化的低分辨率表示重新创建高分辨率表示。通过我们的方法获得的结果是有前途的五个密集的预测任务，包括目标检测，语义分割，全景分割，实例分割，和深度估计。
2022-10-03 cs.CV cs.LG
Applications of a Graph Theoretic Based Clustering Framework in Computer Vision and Pattern Recognition
近年来，一些聚类算法已经被用来解决来自不同学科的各种问题。本论文旨在通过将计算机视觉和模式识别中的问题转化为聚类问题来解决这些具有挑战性的问题。我们提出了新的方法来解决多目标跟踪，视觉地理定位和离群点检测问题，使用统一的下划线聚类框架，即，优势集聚类及其扩展，并提出了优于几个国家的最先进的方法的结果。
2018-01-07 cs.CV
Doppler velocity-based algorithm for Clustering and Velocity Estimation of moving objects
Zhejiang University（浙江大学）
针对FMCW激光雷达的特点，提出了一种基于多普勒速度的聚类和速度估计算法，实现了高精度、单扫描、实时的运动状态检测和速度估计。我们证明了同一物体上多普勒速度的连续性。基于这一原理，我们通过区域生长聚类算法实现了运动目标和静止背景的区分。利用所得到的静止背景，采用最小二乘法对FMCW激光雷达的速度进行估计。然后，我们估计的LiDAR速度和多普勒速度的运动物体通过聚类得到的运动物体的速度。为了确保实时处理，我们设置了适当的最小二乘参数。同时，为了验证算法的有效性，在自动驾驶仿真平台CARLA上建立了FMCW激光雷达模型，进行数据的生成。实验结果表明，该算法在Ryzen 3600 x CPU的运算能力下，每秒至少可以处理450万个点，估计150个运动物体的速度，运动状态检测精度超过99%，速度估计精度为0.1 m/s。
2021-12-24 cs.CV cs.RO
Clustering Learning for Robotic Vision
Purdue University（普渡大学）；University of Seville（塞维利亚大学）；New York University（纽约大学）
我们提出了应用于多层前馈深度神经网络的聚类学习技术。我们表明，这种无监督学习技术可以计算网络过滤器，只有几分钟和一个大大减少的参数集。本文的目的是促进通用机器人视觉系统技术的发展。我们报告它的使用在静态图像数据集和对象跟踪数据集。我们证明，使用聚类学习训练的网络可以在复杂数据集上训练数小时的大型网络中表现出色。
2013-03-13 cs.CV
ClusterVO: Clustering Moving Instances and Estimating Visual Odometry for Self and Surroundings
Tsinghua University（清华大学）；Alibaba Inc.（阿里巴巴公司）
我们提出了一种立体视觉里程计，它同时聚类和估计自我和周围刚性集群/对象的运动。与以往依赖于批量输入或对场景结构或动态对象模型施加先验知识的解决方案不同，QuanterVO是在线的、通用的，因此可以用于包括室内场景理解和自动驾驶在内的各种场景。在我们的系统的核心在于一个多层次的概率关联机制和异构条件随机场（CRF）聚类方法结合语义，空间和运动信息，共同推断聚类分割在线每帧。摄像机和动态对象的姿态通过滑动窗口优化立即解决。我们的系统在Oxford Multimotion和KITTI数据集上进行了定量和定性评估，在里程计和动态轨迹恢复方面达到了与最先进的解决方案相当的结果。
2020-03-29 cs.CV cs.RO
Delving into Spectral Clustering with Vision-Language Representations
本文提出基于预训练视觉语言模型的神经切线核谱聚类方法，通过跨模态对齐提升图像聚类性能，实验表明在16个基准数据集上显著优于现有方法。
2026-03-15 cs.CV
VLM4Cluster: Benchmarking Deep Clustering In the Era of Vision-Language Pre-training
University College London（伦敦大学学院）；The University of Queensland（昆士兰大学）；Southeast University（东南大学）；University of Science and Technology of China（中国科学技术大学）；Auckland University of Technology（奥克兰理工大学）
针对语言辅助图像聚类研究缺乏统一基准的问题，提出VLM4Cluster，涵盖17种方法、20个数据集，从有效性、鲁棒性、泛化与效率多维度评估，发现LaIC显著提升性能但存在局限。
2026-09-30 cs.CV
Constrained Dominant sets and Its applications in computer vision
在这篇论文中，我们提出了新的计划，利用约束聚类方法来解决几个计算机视觉的任务，从图像检索，图像分割和共分割，人的重新识别。在过去的几十年中，聚类方法在计算机视觉的应用中发挥了至关重要的作用，在这里，我们专注于扩展，重新制定，并集成一个著名的图形和博弈论聚类方法被称为优势集。因此，我们已经证明了所提出的方法的有效性与广泛的实验进行了几个基准数据集。
2020-02-12 cs.CV
Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models
Kyushu University（九州大学）；IBM Research（IBM研究院）
该研究提出用k*分布直接分析视觉模型潜在空间的概念聚类情况，发现泛化性、鲁棒性提升与概念分布拆分程度降低正相关，为视觉模型潜在空间的解读与对比提供了新方法。
2024-08-17 cs.AI cs.CV cs.LG
SAC-ViT: Semantic-Aware Clustering Vision Transformer with Early Exit
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；Swiss Data Science Center（瑞士数据科学中心）；School of Cyber Engineering, Xidian University（西安电子科技大学网络工程学院）
针对ViT注意力机制计算复杂度高的问题，提出两阶段非迭代架构SAC-ViT，通过提前退出与语义感知聚类减少空间冗余，在保持性能的同时大幅降低DeiT的62% FLOPs并提升1.98倍吞吐量。
2025-02-27 cs.AI cs.CV
Vision-based Discovery of Nonlinear Dynamics for 3D Moving Target
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Engineering Science, University of Chinese Academy of Sciences（中国科学院大学工程科学学院）
提出一种基于视觉的方法，通过相机原始视频自动发现三维运动目标的非线性动力学控制方程，包含目标跟踪、坐标变换重建和稀疏回归三个模块，有效应对噪声和数据缺失挑战。
2024-04-27 cs.AI cs.CV nlin.CD
QClusformer: A Quantum Transformer-based Framework for Unsupervised Visual Clustering
University of Arkansas（阿肯色大学）；Wells Fargo（富国银行）；Mississippi State University（密西西比州立大学）
本文提出QClusformer，一种基于量子Transformer的无监督视觉聚类框架，通过量子化设计自注意力和Transformer块，在MS-Celeb-1M和DeepFashion等基准上超越经典方法。
2024-08-07 cs.CV
Unsupervised Document and Template Clustering using Multimodal Embeddings
BNP Paribas Cardif Nanterre（BNP巴黎银行卡迪夫纳特尔尔分校）；BNP Paribas Paris（BNP巴黎银行巴黎）
本研究利用冻结多模态编码器和经典聚类算法，系统评估了八种编码器在五个文档语料库上的类别与模板聚类性能，揭示了模态特定失败模式与鲁棒性-准确性权衡，并提出了可复现的调优协议。
2025-10-26 cs.AI cs.CL cs.CV
Deep Structure and Attention Aware Subspace Clustering
School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院）
提出DSASC方法，结合视觉变换器提取内容与结构特征，用于子空间聚类，显著优于现有方法。
2023-12-25 cs.AI cs.CV
Vision Transformer for Contrastive Clustering
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
视觉Transformer（ViT）已显示出其优于卷积神经网络（CNN）的优势，其能够捕获全局长程依赖性以进行视觉表示学习。除了ViT之外，对比学习也是近年来研究的热点。虽然以前的对比学习工作大多基于CNN，但最近的一些研究试图将ViT和对比学习结合起来，以增强自监督学习。尽管取得了相当大的进展，但这些ViT和对比学习的组合大多集中在实例级对比度上，这往往忽视了全局对比度，并且也缺乏直接学习聚类结果的能力（例如，图像）。鉴于此，本文提出了一种新的深度聚类方法，称为对比聚类的视觉Transformer（VTCC），据我们所知，它首次将Transformer和对比学习结合起来用于图像聚类任务。具体来说，在每个图像上执行两个随机增强，我们利用具有两个权重共享视图的ViT编码器作为骨干。为了弥补ViT的潜在不稳定性，我们引入了一个卷积干，将每个增强的样本分割成一个补丁序列，它使用多个堆叠的小卷积，而不是补丁投影层中的大卷积。通过经由主干学习补丁序列的特征表示，进一步利用实例投影器和聚类投影器来分别执行实例级对比学习和全局聚类结构学习。在八个图像数据集上的实验证明了我们的VTCC方法的稳定性（从头开始训练期间）和优越性（聚类性能）。
2022-07-10 cs.CV cs.LG
Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment
Tsinghua University（清华大学）；Panasonic AI Lab（松下人工智能实验室）；Panasonic DX-CPS（松下DX-CPS）；UC Berkeley（伯克利大学）
本文提出Proxy3D方法，通过语义和几何编码器提取场景特征并进行语义感知聚类，生成紧凑且全面的3D代理表示，提升视觉-语言模型在3D视觉问答、视觉定位和空间智能任务中的性能。
2026-05-08 cs.CV
Quantum Vision Clustering
University of Arkansas（阿肯色大学）；Mississippi State University（密西西比州立大学）
本文提出首个面向绝热量子计算的视觉聚类形式，通过Ising模型表示分配优化问题，并在真实量子硬件上验证小规模可解性。
2025-02-17 cs.CV quant-ph
Efficient Clustering on Riemannian Manifolds: A Kernelised Random Projection Approach
The University of Queensland（昆士兰大学）；University of Maryland（马里兰大学）
黎曼流形上的计算机视觉问题的重构在各种计算机视觉应用中表现出优越的性能。这是因为视觉数据经常形成位于嵌入在高维空间中的低维空间上的特殊结构。然而，由于这些流形属于非欧几里德拓扑空间，因此利用它们的结构在计算上是昂贵的，特别是当考虑大量数据的聚类分析时。为此，我们提出了一个有效的框架来解决黎曼流形上的聚类问题。该框架通过核空间实现流形点的随机投影，可以保持原始空间的几何结构，但计算效率很高。在这里，我们介绍了遵循我们框架的三种方法。然后，我们验证了我们的框架上的几个计算机视觉应用比较流行的聚类方法黎曼流形。实验结果表明，我们的框架保持聚类的性能，同时大大降低计算复杂性超过两个数量级，在某些情况下。
2015-09-18 cs.CV
Not All Tokens Are Equal: Human-centric Visual Analysis via Token Clustering Transformer
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）
视觉Transformer在许多计算机视觉任务中取得了巨大的成功。大多数方法通过将图像分割成规则和固定的网格并将每个单元格视为令牌来生成视觉令牌。然而，并非所有区域在以人为中心的视觉任务中都同样重要，例如，人体需要具有许多标记的精细表示，而图像背景可以由几个标记来建模。为了解决这个问题，我们提出了一种新的视觉Transformer，称为令牌聚类Transformer（TCFormer），它通过渐进聚类合并令牌，其中令牌可以从不同的位置合并，具有灵活的形状和大小。TCFormer中的标记不仅可以聚焦于重要区域，还可以调整标记形状以适应语义概念，并对包含关键细节的区域采用精细分辨率，这有利于捕获详细信息。大量的实验表明，TCFormer在不同的具有挑战性的以人为中心的任务和数据集上始终优于其同行，包括COCO-WholeBody上的全身姿势估计和3DPW上的3D人体网格重建。代码可在https://github.com/zengwang430521/TCFormer.git上获得
2022-04-21 cs.CV
Meta-Learning for Data-Efficient Plant Growth Estimation via Vision Transformers and Fuzzy Clustering
Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Photosynthetic AS（Photosynthetic 公司）
提出结合ViT嵌入、模糊聚类任务构建与梯度元学习的少样本回归框架，实现标签稀缺下可靠的植物生长估计。
2026-09-11 cs.CV cs.LG
A new approach for pedestrian density estimation using moving sensors and computer vision
University of São Paulo（圣保罗大学）；New York University（纽约大学）；Carmera Inc.（卡默拉公司）
对行人动态的理解对于许多城市应用是必不可少的，包括交通网络的设计和商业发展规划。行人计数通常需要利用手动或技术手段来计数每个感兴趣位置中的个人。然而，这样的方法不扩展到一个城市的大小，并提出了一种新的方法来填补这一空白。在这个项目中，我们使用了一个大的密集数据集的图像，纽约市与计算机视觉技术来构建一个时空地图的相对人口密度。由于现有技术的计算机视觉方法的限制，这种人的自动检测固有地受到误差的影响。我们将这些错误建模为概率过程，为此我们提供了理论分析和彻底的数值模拟。我们证明，在我们的假设，我们的方法可以提供一个合理的估计人口密度，并提供理论界所产生的误差。
2020-07-03 cs.CV
ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers
The University of Adelaide（阿德莱德大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Northwestern Polytechnical University（西北工业大学）
尽管Transformers已经成功地从其语言建模起源过渡到基于图像的应用，但其二次计算复杂性仍然是一个挑战，特别是对于密集预测。在本文中，我们提出了一个基于内容的稀疏注意力方法，作为一种替代密集的自我注意力，旨在降低计算复杂度，同时保留建模的能力，远程依赖。具体来说，我们先聚类，然后聚合键和值令牌，作为减少令牌总数的基于内容的方法。所得到的聚类令牌序列保留了原始信号的语义多样性，但可以以较低的计算成本进行处理。此外，我们进一步将聚类引导的注意力从单尺度扩展到多尺度，这有利于密集预测任务。我们标记建议的Transformer架构的WITTR，并证明它实现了各种视觉任务的最先进的性能，但在较低的计算成本和较少的参数。例如，我们的具有22.7M参数的WITTR小模型在ImageNet上达到了83.2%的Top-1准确率。源代码和ImageNet模型将公开提供。
2022-08-28 cs.CV
HEDGE: Hallucination Estimation via Dense Geometric Entropy for VQA with Vision-Language Models
Simula Metropolitan Center for Digital Engineering (SimulaMet)（Simula数字工程研究中心）；Oslo Metropolitan University (OsloMet)（奥斯陆 Metropolitan 大学）；Simula Research Laboratory（Simula研究实验室）
针对视觉语言模型（VLMs）在视觉问答中的幻觉问题，提出HEDGE框架，结合受控视觉扰动、语义聚类和鲁棒不确定性度量，在多个数据集和模型上验证了其有效性，为多模态可靠性评估提供基础并发布基准库。
2025-11-16 cs.AI cs.CV
Zero-Shot Wildlife Sorting Using Vision Transformers: Evaluating Clustering and Continuous Similarity Ordering
Animal Detect
本研究在Animal Detect平台中评估零样本野生动物图像组织方法，发现DINOv2结合UMAP和GMM聚类达到88.6%准确率，连续一维排序在鱼类上达95.2%一致性，并已部署到生产环境以加速生物多样性监测的标注流程。
2025-10-16 cs.CV
Self-supervised Multi-view Clustering in Computer Vision: A Survey
Inner Mongolia University of Technology（内蒙古工业大学）；OPPO Research Institute（OPPO研究院）；Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；InnoPeak Technology, Inc（InnoPeak科技公司）
本文综述了计算机视觉中自监督多视图聚类的研究进展，系统梳理其兴起原因、数据集、表示学习与自监督学习方法分类及内在联系，并指出未来开放问题。
2023-09-18 cs.CV
Local Adaptive Clustering Based Image Matching for Automatic Visual Identification
Beijing University of Chemical Technology（北京化工大学）
本文提出一种视觉辅助识别系统，通过ORB和GMS算法进行图像特征提取与误匹配剔除，并建立局部自适应聚类（LAC）方法优化标签定位，有效减少了标签漂移。
2024-01-03 cs.CV
Moving by Looking: Towards Vision-Driven Avatar Motion Generation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
本文提出CLOPS，首个仅依赖第一人称视觉感知环境并导航的虚拟化身，通过解耦低级运动技能学习与高级视觉控制策略训练，证明第一人称视觉能产生类人运动行为。
2025-09-23 cs.CV
Unsupervised 4D LiDAR Moving Object Segmentation in Stationary Settings with Multivariate Occupancy Time Series
Telekooperation Lab, Technical University Darmstadt（达姆施塔特工业大学远程协作实验室）
在这项工作中，我们解决了从固定传感器记录的4D LiDAR数据中的无监督运动对象分割（MOS）问题，其中不涉及地面实况注释。用于LiDAR MOS的基于深度学习的最先进方法强烈依赖于注释的地面实况数据，这是昂贵的获得和稀缺的存在。为了缩小固定设置中的这一差距，我们提出了一种新的基于多变量时间序列的4D LiDAR表示，该表示将无监督MOS的问题放松为时间序列聚类问题。更具体地说，我们提出了一个多变量占用时间序列（MOTS），它捕捉体素水平上的时空占用变化及其周围的邻居的体素的占用率的变化建模。为了执行无监督MOS，我们训练一个神经网络在一个自我监督的方式编码MOTS到体素级的特征表示，它可以通过聚类算法分为移动或静止。在来自原始KITTI数据集的静止场景上的实验表明，我们的完全无监督方法的性能与有监督的最先进方法相当。
2023-01-12 cs.CV
LVLM_CSP: Accelerating Large Vision Language Models via Clustering, Scattering, and Pruning for Reasoning Segmentation
University of California, Irvine（加州大学欧文分校）
针对LVLMs在推理分割任务中的计算开销问题，提出无需训练的LVLM_CSP方法，通过聚类、散射和剪枝三阶段减少图像token，在7B模型上实现65%FLOPs降低且精度几乎无损，70%降低仅失1%精度。
2025-04-15 cs.CV
Text-Guided Alternative Image Clustering
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学学院）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学UniVie计算机科学博士学院）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学语言与文化学院）
本文提出文本引导的替代图像共识聚类方法TGAICC，利用大型视觉-语言模型和用户提示发现多样化图像聚类，并在基准数据集上优于基线方法，同时提供文本解释。
2024-06-07 cs.CV cs.LG
Hypergraph Vision Transformers: Images are More than Nodes, More than Edges
University of Virginia（弗吉尼亚大学）
本文提出超图视觉Transformer（HgVT），通过分层二分超图结构、种群与多样性正则化及专家边池化，在无需聚类的情况下高效建模高阶语义关系，提升图像分类与检索性能。
2025-04-11 cs.CV
Upsampling DINOv2 features for unsupervised vision tasks and weakly supervised materials segmentation
Department of Materials（材料系）；Department of Design Engineering（设计工程系）；Imperial College London（伦敦帝国理工学院）；Finden Limited（Finden公司）
该研究利用上采样的DINOv2特征，结合聚类和标准分类器，分别实现无监督目标定位分割和弱监督材料分割，在基准上表现优异，有望加速材料表征。
2025-08-06 cond-mat.mtrl-sci cs.CV eess.IV
Multiple Moving Object Recognitions in video based on Log Gabor-PCA Approach
Dayananda Sagar College of Engineering（达亚南达·萨加尔工程学院）
视频序列或图像中的目标识别是计算机视觉的一个分支。从视频序列中识别运动目标是一个很有吸引力的课题，在机场安全，入侵监视，视频监控，智能高速公路等领域的应用。运动目标识别是智能视频监控系统中最具挑战性的任务。在这方面，已经基于不同的方法提出了许多技术。尽管它的重要性，在复杂环境中的运动目标识别仍然远远没有完全解决低分辨率视频，雾视频，也暗淡的视频序列。总而言之，这些使得有必要开发非常强大的技术。本文介绍了多个运动目标识别的视频序列的基础上LoG的Gabor-PCA方法和角度的距离相似性措施的技术，用于识别对象作为一个人，车辆等进行了实验的数量为室内和室外的视频序列的标准数据集，也是我们自己收集的视频序列，包括部分夜视视频序列。实验结果表明，我们提出的方法取得了良好的识别率。所得结果令人满意且合格。
2014-07-03 cs.CV
Control-oriented Clustering of Visual Latent Representation
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；ETH Zürich（苏黎世联邦理工学院）
本文研究基于图像控制中视觉表示空间的聚类规律，发现其按控制导向类别形成聚类，并提出用神经坍缩正则化预训练视觉编码器，在有限专家演示下将测试性能提升10%至35%。
2025-02-05 cs.CV cs.LG cs.RO
Motion Segmentation from a Moving Monocular Camera
University of Waterloo（滑铁卢大学）
本文提出在物体层面融合点轨迹与光流线索，通过对极几何构建亲和矩阵并用协同正则化多视图谱聚类实现移动单目相机的运动分割，在 KT3DMoSeg 上达到先进水平。
2023-09-24 cs.CV
Adaptively Clustering Neighbor Elements for Image-Text Generation
School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学）；DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
本文提出ACF模型，通过自适应聚类视觉图像块和语言单词，在Transformer中隐式学习层次化对象-短语对齐，在图像描述和视觉问答任务上优于大多数SOTA模型。
2025-08-16 cs.CV
