Unsupervised Place Recognition with Deep Embedding Learning over Radar Videos
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
我们学习，在一个无监督的方式，从序列的雷达图像，适合于解决使用复杂的雷达数据的位置识别问题的嵌入。我们在280公里的数据上进行了实验，并显示出超过最先进的监督方法的性能，当只使用最近的数据库候选时，正确定位的时间为98.38%。
2021-06-12 cs.CV cs.RO
Multi-Technique Sequential Information Consistency For Dynamic Visual Place Recognition In Changing Environments
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）；University of Southampton（南安普顿大学）
本文提出 MuSIC 系统，通过分析各 VPR 技术顶部匹配候选的帧间序列一致性，在在线逐帧基础上选择最优技术，从而在无需额外真值信息的情况下提升变化环境中的视觉地点识别性能。
2024-01-16 cs.CV
SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning
JD AI Research（京东人工智能研究院）
创新和突破的稳定势头令人信服地推动了无监督图像表示学习的极限。与静态2D图像相比，视频多了一个维度（时间）。这种序列结构中存在的内在监督机制为建立无监督学习模型提供了肥沃的土壤。本文从空间、时空和序列三个角度探讨了序列中的基本监督和一般监督。我们通过确定一对样本是来自一个帧还是来自一个视频，以及样本的三元组是否处于正确的时间顺序来实现监控信号。我们独特地将信号作为对比学习的基础，并由此衍生出一种特殊的形式--序列对比学习（SeCo）。SeCo在动作识别（Kinetics）、未修剪活动识别（ActivityNet）和对象跟踪（OTB-100）的线性协议下显示出优异的结果。更值得注意的是，SeCo比最近的无监督预训练技术有了相当大的改进，在UCF 101和HMDB 51上的动作识别任务中，与完全监督的ImageNet预训练相比，准确率分别提高了2.96%和6.47%。源代码可从\url{https://github.com/YihengZhang-CV/SeCo-Sequence-Contrastive-Learning}获得。
2021-01-27 cs.CV
Prototypical Contrast and Reverse Prediction: Unsupervised Skeleton Based Action Recognition
在本文中，我们专注于无监督的表示学习为基础的动作识别。现有的方法通常通过顺序预测来学习动作表示，但它们无法完全学习语义信息。为了解决这个限制，我们提出了一个名为原型对比和反向预测（PCRP）的新框架，它不仅创建反向顺序预测来学习低级信息（例如，每帧的身体姿势）和高级模式（例如，运动顺序），而且还设计动作原型来隐式地编码序列之间共享的语义相似性。在一般情况下，我们把动作原型作为潜在变量，并制定PCRP作为一个期望最大化的任务。具体来说，PCRP迭代地运行（1）E步骤，通过聚类来自编码器的动作编码来确定原型的分布，以及（2）M步骤，通过最小化所提出的ProtoMAE损失来优化编码器，这有助于同时将动作编码拉得更接近其分配的原型并执行反向预测任务。在N-UCLA、NTU 60和NTU 120数据集上的大量实验表明，PCRP的性能优于最先进的无监督方法，甚至优于某些有监督方法。代码可在https://github.com/Mikexu007/PCRP上获得。
2020-11-14 cs.CV
Flexible and Efficient Spatio-Temporal Transformer for Sequential Visual Place Recognition
Center for Robotics and Embodied Intelligence (CREO)（机器人与具身智能中心）
本文提出Adapt-STformer，通过递归可变形Transformer编码器提升序列视觉地点识别的灵活性、效率和性能，实验表明其在召回率、提取时间和内存使用上均优于现有方法。
2026-03-17 cs.CV
Merging Classification Predictions with Sequential Information for Lightweight Visual Place Recognition in Changing Environments
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
低开销视觉位置识别（VPR）是一个非常活跃的研究课题。移动机器人应用通常在低端硬件下运行，甚至更多的硬件支持系统仍然可以从释放机载系统资源用于其他导航任务中受益。这项工作通过提出一种基于二进制加权分类器网络与一维卷积网络（称为合并）相结合的新系统来解决轻量级VPR。最近融合多种VPR技术的工作主要集中在提高VPR性能上，计算效率没有得到高度优先考虑。相比之下，我们设计我们的技术优先考虑低推理时间，从机器学习文献中获得灵感，其中分类器的有效组合是一个深入研究的主题。我们的实验表明，合并实现的推理时间低至1毫秒，明显快于其他成熟的轻量级VPR技术，同时实现相当或优越的VPR性能的几个视觉变化，如季节变化和视点横向位移。
2022-10-03 cs.CV
MuPNet: Multi-modal Predictive Coding Network for Place Recognition by Unsupervised Learning of Joint Visuo-Tactile Latent Representations
Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；Centrum Wiskunde & Informatica（数学与计算机科学研究中心）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
从不同的感觉模态中提取和绑定显著信息以确定环境中的共同特征是机器人技术中的一个重大挑战。在这里，我们提出了MuPNet（多模态预测编码网络），一个生物学上合理的网络架构，用于从仿生移动机器人收集的视觉触觉传感数据中提取关节潜在特征。在这项研究中，我们评估MuPNet应用于地方识别作为一个模拟的仿生机器人平台探索视觉锯齿环境。F1分数表明，其性能优于现有的手工制作的感觉特征提取技术是在受控条件下等效的，当在新的环境中操作时具有显著的改善。
2019-09-16 cs.CV cs.RO
JIST: Joint Image and Sequence Training for Sequential Visual Place Recognition
Politecnico di Torino（都灵理工大学）
本文提出JIST协议，通过多任务学习利用大规模无标注图像训练序列视觉地点识别，并引入SeqGeM聚合层生成紧凑嵌入，在速度、描述符大小和架构轻量性上均优于现有方法。
2024-03-28 cs.CV
SeqOT: A Spatial-Temporal Transformer Network for Place Recognition Using Sequential LiDAR Data
Beijing Institute of Technology（北京理工大学）；National University of Defense Technology（国防科技大学）
位置识别是自主车辆实现闭环或全局定位的重要组成部分。在本文中，我们解决了基于机载LiDAR传感器获得的顺序3D LiDAR扫描的位置识别问题。我们提出了一个基于变换的网络SeqOT利用激光雷达数据生成的序列范围图像提供的时间和空间信息。它使用多尺度Transformers以端到端的方式为每个LiDAR范围图像序列生成全局描述符。在在线操作过程中，我们的SeqOT通过匹配当前查询序列和存储在地图中的描述符来找到相似的地方。我们评估了我们的方法在不同环境中使用不同类型的LiDAR传感器收集的四个数据集。实验结果表明，我们的方法优于最先进的基于激光雷达的位置识别方法，并在不同的环境中推广良好。此外，我们的方法比传感器的帧速率更快地在线操作。我们的方法的实现在https://github.com/BIT-MJY/SeqOT上作为开源发布。
2022-09-16 cs.CV cs.RO
T-UDA: Temporal Unsupervised Domain Adaptation in Sequential Point Clouds
Czech Technical University in Prague（布拉格捷克理工大学）
提出T-UDA方法，结合时序与跨传感器几何一致性及均值教师方法，在Waymo、nuScenes和SemanticKITTI上实现驾驶场景3D语义分割的显著性能提升。
2023-09-15 cs.CV cs.RO
Contrastive Learning for Unsupervised Radar Place Recognition
Mobile Robotics Group (MRG), University of Oxford（牛津大学移动机器人小组（MRG））
我们学习，在一个无监督的方式，从序列的雷达图像，是适合于解决复杂的雷达数据的位置识别问题的嵌入。我们的方法是基于不变的实例特征学习，但专为重新定位的任务，通过利用数据增强的时间连续性的数据收集的移动平台移动通过场景顺利。我们在两个突出的城市雷达数据集的实验，总共超过400公里的驾驶，并表明我们实现了一个新的雷达位置识别国家的最先进的。具体来说，该系统证明正确的98.38%的查询，它是提出了一个具有挑战性的重新定位序列，只使用单个最近的邻居在学习度量空间。我们还发现，我们的学习模型比非学习的雷达扫描描述符更好地理解了任意方向的车道外环路闭合。
2021-10-06 cs.CV cs.IR cs.RO
Unsupervised Learning Methods for Visual Place Recognition in Discretely and Continuously Changing Environments
Chemnitz University of Technology（开姆尼茨工业大学）
在变化的环境中的视觉位置识别是在两组观察（查询集和参考集）之间找到匹配的问题，尽管外观发生了严重的变化。最近，使用基于CNN的描述符的图像比较显示出非常有希望的结果。然而，来自文献的现有实验通常假设每个集合内的单个独特条件（例如，参考：白天，查询：夜晚）。我们证明，只要条件在一个集合内变化（例如，参考文献：日，查询：遍历白天-黄昏-夜晚-黎明），相同条件下的不同地点可能突然看起来比不同条件下的相同地点更相似，并且像基于CNN的描述符这样的现有技术方法失败。本文讨论了这一实际上非常重要的顺序条件变化问题，并定义了一个层次的问题设置从（1）没有顺序变化，（2）离散的顺序变化，（3）连续的顺序变化。我们将通过实验评估这些变化对两个最先进的CNN描述符的影响。我们的实验强调了描述符的统计标准化的重要性，并显示了其在连续变化的情况下的局限性。为了解决这个实际上最相关的设置，我们调查和实验评估的应用程序的无监督学习方法使用两个可用的PCA为基础的方法，并提出了一种新的聚类为基础的扩展的统计归一化。
2020-01-24 cs.CV cs.RO
Place recognition survey: An update on deep learning approaches
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）
自动驾驶汽车（AV）越来越能够在具有动态和变化条件的复杂环境中导航。使这些智能车辆能够克服这些条件并变得更加自主的一个关键组成部分是感知和定位系统的复杂性。作为定位系统的一部分，地点识别受益于其他感知任务（如地点分类或对象识别）的最新发展，即深度学习（DL）框架的出现。本文综述了最近用于位置识别的方法和途径，特别是那些基于深度学习的方法。这项工作的贡献是双重的：调查最新的传感器，如3D LiDAR和雷达，应用于位置识别;并将各种基于DL的位置识别工作分类为监督，无监督，半监督，并行和分层类别。首先，本调查介绍了关键的地方识别概念，以上下文的读者。然后，解决传感器特性。本次调查的收益，详细阐述了各种基于DL的作品，每个框架的摘要。从这次调查中吸取的一些经验教训包括：NetVLAD对于监督式端到端学习的重要性;无监督方法在位置识别中的优势，即跨领域应用;或者最近的作品越来越倾向于寻求更高的性能，而且更高的效率。
2022-03-01 cs.CV
Sequential Place Learning: Heuristic-Free High-Performance Long-Term Place Recognition
近十年来，使用手工制作的序列分析的顺序匹配一直是基于路线的位置识别的标准实践，用于增强成对相似性结果。然而，这些算法的精度召回性能显着下降时，搜索短时间窗口（TW）的长度，同时要求高的计算和存储成本的大型机器人数据集的自主导航研究。在这里，受生物系统的影响，即使没有视觉，也能稳健地导航时空尺度，我们通过顺序过程开发了一种联合视觉和位置表示学习技术，并设计了一种基于学习的CNN+LSTM架构，可通过时间反向传播进行训练，用于视点和外观不变的位置识别。我们的方法，顺序位置学习（SPL），是基于一个CNN函数，从一个单一的遍历视觉编码的环境，从而减少存储容量，而LSTM时间融合每个视觉嵌入与相应的位置数据-从任何来源的运动估计-直接顺序推理。与经典的两级流水线相反，例如，match-then-temporally-filter，我们的网络直接消除了误报率，同时联合学习从单个单目图像序列进行序列匹配，即使使用短TW。因此，我们证明了我们的模型优于15种经典方法，同时在4个具有挑战性的基准数据集上设置了新的最先进的性能标准，其中一个可以被认为以100%的召回率和100%的精度解决，正确匹配极端阳光-黑暗变化下的所有地方。此外，我们还表明，在729公里的路线上，SPL的部署速度比经典方法快70倍，其中包括35，768个连续帧。大量的实验表明，…基线代码可在https://github.com/…
2021-03-02 cs.AI cs.CV cs.LG
Learning to Track Objects from Unlabeled Videos
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
在本文中，我们建议从头开始学习无监督单对象跟踪器（USOT）。我们确定了三个主要挑战，即，运动目标发现、丰富的时间变化利用和在线更新是现有无监督跟踪器性能瓶颈的主要原因。为了缩小无监督跟踪器和有监督跟踪器之间的差距，我们提出了一种有效的无监督学习方法，包括三个阶段。首先，我们用无监督光流和动态规划对连续移动的物体进行采样，而不是随机裁剪。其次，我们训练一个天真的暹罗跟踪从头开始使用单帧对。第三，我们继续用一种新的周期记忆学习方案训练跟踪器，该方案在更长的时间跨度内进行，并且还使我们的跟踪器能够在线更新。大量的实验表明，从未标记视频中学习的USOT在很大程度上优于最先进的无监督跟踪器，并且与最近的监督深度跟踪器相当。代码可在https://github.com/VISION-SJTU/USOT上获得。
2021-08-28 cs.CV
Unsupervised Image to Sequence Translation with Canvas-Drawer Networks
Massachusetts Institute of Technology（麻省理工学院）；Autodesk（欧特克）；Autodesk Research（欧特克研究院）
将图像编码为一系列高级结构，如画笔笔划或离散形状，通常是人类和机器理解的关键。然而，在许多情况下，数据仅以像素形式提供。我们提出了一种方法，直接在一个高层次的域（如画笔），而不需要真正的成对数据生成图像。具体来说，我们训练一个“画布”网络来模仿高级结构到像素的映射，然后是一个高级“绘图”网络，该网络通过这种映射来优化，以解决所需的图像重建或翻译任务。我们成功地发现了符号，大型草图和3D对象的顺序矢量表示，仅利用像素数据。我们展示了我们的方法在图像分割中的应用，并提出了几个消融研究比较各种配置。
2018-09-26 cs.CV
TAEC: Unsupervised Action Segmentation with Temporal-Aware Embedding and Clustering
Graz University of Technology（格拉茨技术大学）；Christian Doppler Laboratory for Semantic 3D Computer Vision（克里斯蒂安·多普勒语义三维计算机视觉实验室）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Goethe University Frankfurt（法兰克福歌德大学）
最近，未修剪视频中的时间动作分割得到了越来越多的关注。然而，注释动作类和框架边界非常耗时且成本密集，尤其是在大规模数据集上。为了解决这个问题，我们提出了一种无监督的方法来学习动作类从未经修剪的视频序列。特别是，我们提出了一个时间嵌入网络，它结合了相对时间预测，特征重建和序列到序列学习，以保持视频特征的空间布局和顺序性质。对这些嵌入式特征表示的两步聚类管道允许我们在视频内以及跨视频执行时间一致性。基于所识别的聚类，我们将视频解码成对应于语义上有意义的动作类的连贯的时间段。我们对三个具有挑战性的数据集的评估显示了每个组件的影响，并进一步展示了我们最先进的无监督动作分割结果。
2023-03-09 cs.CV
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute of CUHK（香港中文大学汤申机器人研究所）
学习良好的3D人体姿态表示对于人体姿态相关任务（例如，人体3D姿态估计和动作识别）是重要的。在所有这些问题中，保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中，我们提出了一种新的Siamese去噪自动编码器，通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性，本文进一步提出了一种序列双向递归网络（SeBiReNet）来对人体骨骼数据进行建模。大量的实验表明，学习的表示1）保留了人体姿势的内在信息，2）显示出良好的跨数据集和任务的可移植性。值得注意的是，我们的方法在两个本质上不同的任务上实现了最先进的性能：姿态去噪和无监督动作识别。代码和型号可从以下网址获得：\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Queen Mary University of London（伦敦玛丽女王大学）
视频摘要旨在通过生成简短、简洁的摘要来促进大规模视频浏览，这些摘要是多样化的，并且具有原始视频的代表性。在本文中，我们将视频摘要制定为一个顺序决策过程，并开发了一个深度摘要网络（DSN）来总结视频。DSN为每个视频帧预测一个概率，该概率指示帧被选择的可能性，然后根据概率分布采取措施来选择帧，形成视频摘要。为了训练我们的DSN，我们提出了一个端到端的，基于强化学习的框架，在那里我们设计了一个新的奖励函数，该函数联合考虑了生成的摘要的多样性和代表性，并且完全不依赖于标签或用户交互。在训练过程中，奖励函数判断生成的摘要的多样性和代表性，而DSN则通过学习生成更多样、更有代表性的摘要来争取获得更高的奖励。由于不需要标签，我们的方法可以完全无监督。在两个基准数据集上的大量实验表明，我们的无监督方法不仅优于其他最先进的无监督方法，而且与大多数已发表的监督方法相当，甚至优于它们。
2018-02-13 cs.CV
DeepfakeUCL: Deepfake Detection via Unsupervised Contrastive Learning
Deakin University（迪肯大学）；University of Fukui（福井大学）
最近，面部深度伪造检测取得了令人印象深刻的结果。几乎所有现有的用于人脸deepfake检测的深度学习技术都是完全监督的，并且在训练期间需要标签。在本文中，我们通过无监督对比学习设计了一种新的deepfake检测方法。我们首先生成图像的两个不同的变换版本，并将它们馈送到两个顺序的子网络中，即，编码器和投影头。通过最大化投影头输出的对应度来实现无监督训练。为了评估我们的无监督方法的检测性能，我们进一步使用的无监督功能训练一个有效的线性分类网络。大量的实验表明，我们的无监督学习方法能够在数据集内和数据集间设置中实现与最先进的监督技术相当的检测性能。我们还对我们的方法进行了消融研究。
2021-04-23 cs.CV cs.LG
Unsupervised Primitive Discovery for Improved 3D Generative Modeling
Inception Institute of Artificial Intelligence（起点人工智能研究院）；National University of Defense Technology（国防科技大学）；Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；University of Canberra（堪培拉大学）；Data61, Commonwealth Scientific and Industrial Research Organization（联邦科学与工业研究组织Data61）
三维形状生成是一个具有挑战性的问题，由于高维的输出空间和复杂的部分配置的现实世界中的对象。因此，现有的算法在3D形状的精确生成建模中遇到困难。在这里，我们提出了一种新的因式分解生成模型的3D形状生成，依次从粗过渡到细尺度的形状生成。为此，我们引入了一个无监督的原始发现算法的基础上高阶条件随机场模型。在第一阶段中，使用形状的基本部分作为属性，对参数化的3D表示进行建模。在下一阶段，通过向形状添加精细比例细节来进一步细化该表示。我们的研究结果表明，改进的表示能力的生成模型和新生成的3D形状更好的质量样本。此外，我们的原语生成方法可以准确地解析到一个简化的表示常见的对象。
2019-06-09 cs.CV
Unsupervised Multi-label Dataset Generation from Web Data
Vilynx Inc.（Vilynx公司）
本文提出了一个系统，以无监督的方式从Web数据中生成多标签数据集。为了实现这一目标，这项工作包括两个主要贡献，即：a）从Web数据生成低噪声无监督单标签数据集，以及b）在这样的数据集中增加标签（从单标签到多标签）。单标签数据集的生成使用无监督降噪阶段（使用锚点进行聚类和选择聚类），获得85%的正确标记图像。然后执行无监督标签增强过程，以使用类别激活图和与每个类别相关联的不确定性将新标签分配给数据集中的图像。将该过程应用于本文生成的数据集和公共数据集（Places365），每个数据集中分别实现了9.5%和27%的额外标签，因此证明了所提出的系统可以鲁棒地丰富初始数据集。
2020-05-12 cs.CV
UVAGaze: Unsupervised 1-to-2 Views Adaptation for Gaze Estimation
Beihang University（北京航空航天大学）
针对单视图视线估计在头部大角度下不准确的问题，提出UVAGaze框架，通过无监督双视图相互监督适应，利用视线方向一致性，使单视图估计器适应灵活放置的双摄像头，跨数据集精度提升47%。
2023-12-25 cs.CV
Learning Knowledge-Rich Sequential Model for Planar Homography Estimation in Aerial Video
San Diego State University（圣地亚哥州立大学）
提出一种无监督的富知识序列模型，通过时空正则化直接处理航空视频帧序列以批量估计平面单应变换，有效缓解过拟合并显著提升性能。
2023-04-05 cs.CV
Multi-Head Distillation for Continual Unsupervised Domain Adaptation in Semantic Segmentation
Sorbonne Université（索邦大学）；Heuritech（赫瑞科技）
无监督领域自适应（UDA）是一种迁移学习任务，旨在通过利用标记的源域在未标记的目标域上进行训练。除了具有单一源域和单一目标域的传统UDA范围之外，现实世界的感知系统面临着各种各样的场景，从不同的照明条件到世界各地的许多城市。在这种情况下，具有多个域的UDA由于在不同靶域内增加了分布偏移而增加了挑战。这项工作的重点是一个新的框架，学习UDA，连续UDA，其中模型操作顺序发现的多个目标域，没有访问以前的目标域。我们提出了MuHDi，多头蒸馏，一种方法，解决了灾难性遗忘问题，固有的持续学习任务。MuHDi从以前的模型以及辅助目标专家分割头中进行多层次的蒸馏。我们报告了具有挑战性的多目标UDA语义分割基准的广泛消融和实验，以验证所提出的学习方案和架构。
2022-04-25 cs.CV
TRAIL: Trajectory-Aware Visual Place Recognition against Unordered Databases
Visual Geometry Group (VGG), University of Oxford（牛津大学视觉几何组（VGG））；Helsing（赫尔辛公司）
TRAIL提出一种基于条件随机场的轨迹感知视觉地点识别框架，利用查询序列上下文在无序数据库中定位图像，无需数据库序列结构，作为轻量级后处理层可将基线性能提升高达8.3个百分点。
2026-09-09 cs.CV
SeqNet: Learning Descriptors for Sequence-based Hierarchical Place Recognition
QUT Centre for Robotics（昆士兰科技大学机器人中心）；School of Electrical Engineering and Robotics, QUT（昆士兰科技大学电气工程与机器人学院）；Queensland University of Technology (QUT)（昆士兰科技大学）
视觉位置识别（VPR）是将来自相机的当前视觉图像与存储在环境的参考地图中的图像进行匹配的任务。虽然最初的VPR系统使用简单的直接图像方法或手工制作的视觉功能，但最近的工作集中在学习更强大的视觉功能，并通过某种形式的顺序匹配器/过滤器或分层匹配过程进一步提高性能。在这两种情况下，基于初始单图像的系统的性能仍然远远不够完美，对序列匹配或（在分层系统的情况下）姿态细化阶段施加了巨大的压力。在本文中，我们提出了一种新的混合系统，创建一个高性能的初始匹配假设生成器，使用短的学习顺序描述符，使选择性控制顺序分数聚合使用单个图像学习描述符。序列描述符是使用称为SeqNet的时间卷积网络生成的，使用一维卷积对短图像序列进行编码，然后将其与参考数据集的相应时间描述符进行匹配，以提供位置匹配假设的有序列表。然后，我们使用来自单独管道的入围单个图像学习描述符进行选择性顺序分数聚合，以产生整体位置匹配假设。在具有挑战性的基准数据集上进行的综合实验表明，该方法在使用相同数量的序列信息的情况下优于最近的最先进的方法。源代码和补充材料可以在https://github.com/oravus/seqNet上找到。
2021-02-24 cs.AI cs.CV cs.IR
A Hierarchical Dual Model of Environment- and Place-Specific Utility for Visual Place Recognition
Indian Institute of Technology (ISM) Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）；Queensland University of Technology (QUT)（昆士兰科技大学）
视觉地点识别（VPR）方法通常试图通过识别在识别特定地点时具有高“效用”的视觉线索、图像区域或地标来匹配地点。但效用的概念并不是单一的，它可以有多种形式。在本文中，我们提出了一种新的方法来推导两个关键类型的实用VPR：实用的视觉线索的“特定”的环境，并在一个特定的地方。我们采用对比学习原则，以无监督的方式估计局部聚集描述符向量（VLAD）聚类的环境和位置特定的效用，然后用于通过关键点选择来指导局部特征匹配。通过结合这两个效用度量，我们的方法在三个具有挑战性的基准数据集上实现了最先进的性能，同时减少了所需的存储和计算时间。我们提供了进一步的分析表明，无监督的聚类选择结果在语义上有意义的结果，细粒度的分类往往具有更高的效用VPR比高层次的语义分类（如建筑物，道路），以及这两个效用的措施如何在不同的地方和环境。源代码可在https://github.com/Nik-V9/HEAPUtil上公开获取。
2021-07-06 cs.CV cs.RO
Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
在本报告中，我们介绍了我们提交给EPIC-KITCHENS-100无监督领域自适应（UDA）2022年行动识别挑战赛的技术细节。该任务旨在将在标记的源域上训练的动作识别模型适应于未标记的目标域。为了实现这一目标，我们提出了一个动作感知的领域自适应框架，利用先验知识诱导的动作识别任务在适应。具体来说，我们使用学习的动作分类器将源特征分解为动作相关特征和动作无关特征，然后将目标特征与动作相关特征对齐。为了进一步提高动作预测性能，我们利用动词-名词共现矩阵来约束和细化动作预测。我们最终提交的作品在top-1动作识别准确率方面取得了第一名的成绩。
2023-01-29 cs.CV
Unsupervised Sampling Promoting for Stochastic Human Trajectory Prediction
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
针对随机轨迹预测中蒙特卡洛采样因长尾效应难以覆盖真实路径的问题，提出无监督方法BOsampler，利用贝叶斯优化与高斯过程自适应挖掘长尾区域的潜在路径，无需重训练即可提升现有模型的预测效果。
2023-04-09 cs.CV
Place Recognition under Occlusion and Changing Appearance via Disentangled Representations
Xi’an Jiaotong University（西安交通大学）；McMaster University（麦克马斯特大学）
位置识别是移动机器人的一项关键而具有挑战性的任务，其目的是从数据库中检索与查询图像相同的位置捕获的图像。现有的方法往往在机器人在遮挡下自主移动时失败（例如，汽车、公共汽车、卡车）和改变外观（例如，光照变化、季节变化）。因为它们只将图像编码为一个代码，将位置特征与外观和遮挡特征纠缠在一起。为了克服这一限制，我们提出了PROCA，一个无监督的方法分解成三个代码的图像表示：一个地方代码作为一个描述符检索图像，一个外观代码捕捉外观属性，和一个闭塞代码编码闭塞内容。大量的实验表明，我们的模型优于国家的最先进的方法。我们的代码和数据可在https://github.com/rover-xingyu/PROCA上获得。
2023-02-18 cs.CV
VDNA-PR: Using General Dataset Representations for Robust Sequential Visual Place Recognition
University of Oxford（牛津大学）；Mobile Robotics Group (MRG)（移动机器人学组（MRG））
本文提出VDNA-PR方法，利用通用数据集表示VDNA生成鲁棒视觉位置识别描述符，通过轻量编码器提升对室内和航拍等严重域偏移的鲁棒性。
2024-03-14 cs.CV cs.RO
Key Instance Selection for Unsupervised Video Object Segmentation
SK T-Brain（SK T-Brain研究院）
提出了一种基于视频显著性、覆盖对象性和动态性的无监督视频对象分割（UVOS）关键实例选择方法。我们的方法依次帧和提取对象的建议与相应的面具为每一帧。我们根据对象的相似性将它们链接到第M帧，然后为它们分配唯一的ID（即，实例）。相似性度量考虑了ReID描述符、预期轨迹和语义共分割结果等多个属性。在第M帧之后，我们基于视频显著性和出现频率选择K个ID;然后在剩余帧中仅跟踪这些关键ID。由于这些技术贡献，我们的结果在UVOS DAVIS挑战排行榜上排名第三。
2019-07-26 cs.CV cs.LG eess.IV
An Unsupervised Approach for Automatic Activity Recognition based on Hidden Markov Model Regression
University Paris-Est Créteil (UPEC)（巴黎东克雷泰伊大学）；University Sud Toulon-Var（南土伦瓦尔大学）；University Paris-Est（巴黎东大学）；IFSTTAR（法国交通发展与网络科学研究院）
使用有监督的机器学习方法来从身体上可穿戴加速度计识别人类活动通常需要大量的标记数据。当地面真相信息不可用，太昂贵，耗时或难以收集时，人们必须依赖于无监督的方法。本文提出了一种新的无监督的方法，从使用惯性可穿戴传感器测量的原始加速度数据的人体活动识别。所提出的方法是基于联合分割的多维时间序列使用隐马尔可夫模型（HMM）在多元回归的背景下。该模型是在无监督框架中使用期望最大化（EM）算法学习的，其中不需要活动标签。所提出的方法考虑到数据的顺序出现。因此，它适用于时间加速度数据，以准确地检测活动。它允许对人类活动进行分割和分类。实验结果表明，相对于标准的监督和无监督分类方法，所提出的方法的效率
2013-12-25 cs.CV cs.LG stat.ML
Local Aggregation for Unsupervised Learning of Visual Embeddings
Stanford University（斯坦福大学）
神经网络中的无监督学习方法对于促进人工智能具有重大意义，这既是因为它们可以在不需要大量昂贵注释的情况下训练网络，也是因为它们是人类部署的那种通用学习的更好模型。然而，无监督网络的性能长期落后于有监督网络，特别是在大规模视觉识别领域。最近在训练深度卷积嵌入以最大限度地提高非参数实例分离和聚类目标方面的发展表明，有希望缩小这一差距。在这里，我们描述了一种方法，该方法训练嵌入函数以最大化局部聚合的度量，使相似的数据实例在嵌入空间中一起移动，同时允许不同的实例分离。这种聚合度量是动态的，允许出现不同规模的软集群。我们在几个大规模视觉识别数据集上评估了我们的过程，在ImageNet中的对象识别，Places 205中的场景识别和PASCAL VOC中的目标检测上实现了最先进的无监督迁移学习性能。
2019-04-10 cs.AI cs.CV
MRS-VPR: a multi-resolution sampling based global visual place recognition method
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所机器人学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Biorobotics Lab, Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所生物机器人实验室）
地点识别和环路闭合检测对于长期视觉导航任务来说具有挑战性。SeqSLAM被认为是在变化的环境条件和变化的视角下实现长期本地化的最成功的方法之一。它依赖于一个蛮力，耗时的顺序匹配方法。本文提出了一种多分辨率、基于采样的地点识别方法MRS-VPR，该方法可以显著提高顺序匹配的匹配效率和准确性。该方法的新颖之处在于由粗到细的搜索流水线和基于粒子滤波的全局采样方案，能够在长期导航任务中平衡匹配效率和精度。此外，当测试序列的规模比参考序列小得多时，我们的模型比SeqSLAM好得多。我们的实验表明，所提出的方法是有效的定位短期内的长期参考轨迹，而不会失去准确性相比，SeqSLAM。
2019-02-26 cs.CV cs.RO
Pose-Graph Attentional Graph Neural Network for Lidar Place Recognition
CSIRO（联邦科学与工业研究组织）；Queensland University of Technology（昆士兰科技大学）；The University of Queensland（昆士兰大学）
本文提出P-GAT位姿图注意力图神经网络，通过比较序列与非序列子图节点并利用时空信息进行激光雷达位置识别，在域适应等场景下显著优于现有SOTA方法。
2023-11-23 cs.CV cs.RO
Shuffle and Learn: Unsupervised Learning using Temporal Order Verification
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook AI研究院）
在本文中，我们提出了一种方法来学习的原始时空信号在视频中的视觉表示。我们的表示是在没有语义标签监督的情况下学习的。我们将我们的方法制定为无监督的顺序验证任务，即，我们确定来自视频的帧序列是否处于正确的时间顺序。通过这个简单的任务，没有语义标签，我们使用卷积神经网络（CNN）学习了一个强大的视觉表示。该表示包含从ImageNet等监督图像数据集学习的补充信息。定性结果表明，我们的方法捕获的信息是随时间变化的，如人体姿势。当用作动作识别的预训练时，我们的方法在没有外部数据的情况下在基准数据集（如UCF101和HMDB51）上进行学习时获得了显着的收益。为了证明其对人体姿态的敏感性，我们展示了FLIC和MPII数据集上的姿态估计结果，这些数据集具有竞争力，或者比使用更多监督的方法更好。我们的方法可以与监督表示相结合，以进一步提高准确性。
2016-07-26 cs.AI cs.CV cs.LG
Sequential Attend, Infer, Repeat: Generative Modelling of Moving Objects
University of Oxford（牛津大学）
我们提出了顺序参与，推断，重复（SQAIR），这是一种可解释的深度生成模型，用于移动对象的视频。它可以在整个帧序列中可靠地发现和跟踪对象，并且还可以根据当前帧生成未来帧，从而模拟对象的预期运动。这是通过在模型的潜变量中显式编码对象的存在、位置和外观来实现的。SQAIR保留了其前身的所有优势，参加，推断，重复（AIR，Eslami等。例如，2016），包括以无监督的方式学习，并解决其缺点。我们使用一个移动的多MNIST数据集来显示AIR在检测重叠或部分遮挡对象时的局限性，并展示SQAIR如何通过利用对象的时间一致性来克服这些局限性。最后，我们还将SQAIR应用于现实世界的行人CCTV数据，在那里它学会了在没有监督的情况下可靠地检测、跟踪和生成步行行人。
2018-11-21 cs.CV cs.LG stat.ML
Unsupervised Discovery of Mid-Level Discriminative Patches
Carnegie Mellon University（卡内基梅隆大学）
本文的目标是发现一组有区别的补丁，可以作为一个完全无监督的中级视觉表示。所需的补丁需要满足两个要求：1）具有代表性，它们需要在视觉世界中出现足够频繁; 2）具有区分性，它们需要与视觉世界的其他部分足够不同。补丁可以对应于部件、对象、“视觉短语”等，但不限于它们中的任何一个。我们把这作为一个无监督的判别聚类问题的图像补丁的一个巨大的数据集。我们使用一个迭代过程，在聚类和训练判别分类器之间交替进行，同时在每一步都应用仔细的交叉验证来防止过拟合。本文通过实验证明了判别补丁作为无监督的中级视觉表示的有效性，这表明它可以用于代替视觉词的许多任务。此外，判别补丁也可以用于监督机制，如场景分类，其中它们在MIT Indoor-67数据集上展示了最先进的性能。
2012-08-18 cs.AI cs.CV cs.LG
OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds
The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们研究的问题，三维物体分割的原始点云。与所有现有的方法，通常需要大量的人类注释的全面监督，我们提出了第一个无监督的方法，称为OGC，同时识别多个3D对象在一个单一的向前通过，而不需要任何类型的人类注释。我们的方法的关键是充分利用连续点云上的动态运动模式作为监督信号来自动发现刚性物体。我们的方法由三个主要部分组成，1）对象分割网络直接从单个点云帧估计多对象掩模，2）辅助自监督场景流估计器，以及3）我们的核心对象几何一致性组件。通过精心设计一系列损失函数，有效地考虑了多目标的刚性一致性和目标在时间和空间尺度上的形状不变性。这使得我们的方法能够真正发现对象的几何形状，即使在没有注释的情况下。我们广泛地评估我们的方法在五个数据集上，展示了在室内和具有挑战性的室外场景中对象部分实例分割和一般对象分割的优越性能。
2022-10-10 cs.AI cs.CV cs.LG
