Beyond Viewpoint: Robust 3D Object Recognition under Arbitrary Views through Joint Multi-Part Representation
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）
针对任意视角下三维物体识别因输入未对齐而性能下降的问题，提出基于部件表示的PANet，利用视角不变性和旋转鲁棒性，在基准上超越视图聚合基线及多数固定视角方法。
2024-07-17 cs.CV
Scene Text Recognition with Semantics
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）
场景文本识别（STR）模型近年来在基准数据集上取得了很高的性能，其中文本图像以最小的噪声呈现。传统的STR识别管道将裁剪的图像作为唯一输入，并尝试识别存在的字符。在输入图像有噪声或文本部分模糊的情况下，这种基础设施可能会失败。本文提出了使用语义信息从更大的场景上下文化预测。我们使用对象标签生成语义向量，并将此信息融合到基于transformer的架构中。结果表明，我们的多模态方法产生更高的性能比传统的基准模型，特别是在嘈杂的情况下。
2022-10-19 cs.CV cs.LG
Hypergraph-based Multi-View Action Recognition using Event Cameras
Tsinghua University（清华大学）；BNRist；THUIBCS；BLBCI；School of Software, Tsinghua University（清华大学软件学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Department of Automation, Tsinghua University（清华大学自动化系）；the Second Affiliated Hospital of Xi’an Jiaotong University（西安交通大学第二附属医院）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
针对事件相机多视角动作识别中信息不足与语义错位问题，提出HyperMV框架，通过超图神经网络融合多视角时空特征，并构建了规模超现有数据集十倍以上的THU^MV-EACT-50数据集，实验表明其在跨主体和跨视角场景下均显著优于现有方法。
2024-03-28 cs.AI cs.CV cs.LG
Learning Canonical View Representation for 3D Shape Recognition with Arbitrary Views
Tencent Youtu Lab（腾讯优图实验室）
在本文中，我们专注于从任意视图中识别3D形状，即，任意数量和位置的观点。这是一个具有挑战性和现实的设置为基于视图的三维形状识别。我们提出了一个规范的视图表示来应对这一挑战。我们首先将任意视图的原始特征转换为固定数量的视图特征，称为规范视图表示，通过将任意视图特征对齐到一组使用最佳传输的可学习参考视图特征。以这种方式，具有任意视图的每个3D形状由固定数量的规范视图特征表示，这些特征被进一步聚合以生成用于形状识别的丰富且鲁棒的3D形状表示。我们还提出了一个规范的视图特征分离约束，强制规范视图表示中的视图特征可以嵌入到欧氏空间中的散乱点。在ModelNet40、ScanObjectNN和RGBD数据集上的实验表明，该方法在固定视点设置下取得了有竞争力的结果，在任意视点设置下显著优于现有方法.
2021-08-17 cs.AI cs.CV
Weather-Aware Domain Adaptation for Street-View Weather Recognition
University of Central Florida（中佛罗里达大学）
针对自动驾驶街景天气识别中的域偏移问题，提出天气感知对抗性判别域适应（WA-ADDA），统一多数据集基准，显著提升多种骨干网络在不利天气下的识别性能。
2026-10-02 cs.CV cs.LG
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University（国立阳明交通大学）
最近，基于变换器的方法已被用于提高人类动作识别的性能。然而，大多数这些研究假设多视图数据是完整的，这可能并不总是在现实世界的情况下。因此，本文提出了一种新的多视图知识蒸馏Transformer（MKDT）框架，由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言，多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明，我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
Pornographic Image Recognition via Weighted Multiple Instance Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Megvii Inc. (Face++)（旷视科技（Face++））
在互联网时代，识别色情图像对于保护儿童身心健康具有重要意义。然而，这项任务是非常具有挑战性的，因为关键的色情内容（例如，乳房和私处）通常位于小尺寸的局部区域中。在本文中，我们将每个图像建模为一个区域袋，并遵循多实例学习（MIL）的方法来训练一个通用的基于区域的识别模型。具体来说，我们考虑到该地区的色情程度，并作出三个主要贡献。首先，我们表明，基于训练图像中的关键色情内容的很少的注释，我们可以生成一个适当大小的区域，其中潜在的积极区域通常包含有用的上下文，可以帮助识别。其次，我们提出了一个简单的定量测量一个地区的色情程度，它可以用来衡量不同地区的重要性，在一个积极的形象。第三，我们将识别任务表示为卷积神经网络框架下的加权MIL问题，并引入袋概率函数来结合不同区域的重要性。在我们新收集的大规模数据集上的实验证明了该方法的有效性，在10万张色情图像和10万张正常图像上的测试结果表明，该方法的正确率为97.52%，假阳性率为1%。
2019-02-11 cs.CV
View-Invariant Recognition of Action Style Self-Dissimilarity
University of Central Florida（中佛罗里达大学）
自相似性最近被引入作为一种衡量类间一致性的分类行动。在这里，我们调查的对偶问题的类内相异度分类的动作风格。我们引入了自相异性矩阵，区分不同的主体进行相同的动作，而不管观看方向和相机参数。我们研究了两个框架，使用这些不变的风格相异性措施的基础上，主成分分析（PCA）和Fisher判别分析（FDA）。在IXMAS数据集上进行的大量实验表明，所提出的用于视频数据性别识别的不变测度具有非常好的判别特性。
2017-05-22 cs.CV
Compound Interference Recognition for LR-FHSS Satellite IoT Uplinks via Multi-Domain Instance Fusion
College of Electronic Science and Technology, National University of Defense Technology（电子科学与技术学院，国防科技大学）
针对LR-FHSS卫星物联网上行链路复合干扰识别难题，提出多域实例融合方法，将其作为多实例多标签学习问题，融合不同域局部实例预测。开发数据集模拟实际条件，考虑特殊场景，实验表明该方法在相关场景下相比基线显著提升准确率。
2026-07-14 cs.IT cs.LG math.IT
Auto-MVCNN: Neural Architecture Search for Multi-view 3D Shape Recognition
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
在三维形状识别中，基于多视图的方法利用人类的视角来分析三维形状，并取得了显著的成果。现有的大多数深度学习研究工作都采用手工网络作为骨干，因为它们具有很高的特征提取能力，并且也受益于ImageNet预训练。然而，这些网络架构是否适合3D分析仍不清楚。在本文中，我们提出了一种神经结构搜索方法Auto-MVCNN，它是专门为优化多视图3D形状识别中的结构而设计的。Auto-MVCNN扩展了基于梯度的框架来处理多视图图像，通过自动搜索融合单元来探索视图特征之间的内在相关性。此外，我们开发了一个端到端的计划，以提高检索性能，通过权衡参数搜索。大量的实验结果表明，搜索的架构显着优于手动设计的同行在各个方面，我们的方法达到了最先进的性能在同一时间。
2020-12-10 cs.CV
Instance-based Max-margin for Practical Few-shot Recognition
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文提出实用少样本学习设定pFSL及基于实例的最大间隔方法IbM2，利用高斯环面定理将随机噪声转化为最大间隔机制，在多种预训练和FSL任务中显著优于基线方法。
2023-05-27 cs.AI cs.CV
Milmer: a Framework for Multiple Instance Learning based Multimodal Emotion Recognition
本文提出Milmer框架，结合面部表情分析与EEG信号，采用Transformer融合方法提升多模态情感识别性能，通过细调Swin Transformer和交叉注意力机制实现高效特征融合，实验显示在DEAP数据集上达到96.72%的四类情感识别准确率。
2025-02-01 cs.AI cs.CV cs.HC
Multi-view Laplacian Eigenmaps Based on Bag-of-Neighbors For RGBD Human Emotion Recognition
Dalian University of Technology（大连理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Liaoning Normal University（辽宁师范大学）
人类情感识别是生物识别和信息取证领域的一个重要研究方向。然而，现有的大多数人类情感研究都是基于单一的RGB视图。在本文中，我们介绍了一个RGBD视频情感数据集和RGBD人脸情感数据集的研究。据我们所知，这可能是第一个RGBD视频情感数据集。提出了一种新的监督非线性多视角拉普拉斯特征映射（MvLE）方法和多隐层样本外网络（MHON）用于RGB-D人类情感识别。为了得到更好的RGB视图和深度视图的表示，MvLE被用来将两个视图的训练集从原始空间映射到公共子空间。由于RGB视图和深度视图位于不同的空间，一个新的距离度量袋的邻居（BON）中使用的MvLE可以得到类似的分布的两个视图。最后，利用MHON算法得到测试数据的低维表示并预测其标签。MvLE可以处理RGB视图和深度视图具有不同大小的特征，甚至不同数量的样本和类的情况。我们的方法可以很容易地扩展到两个以上的视图。实验结果表明，我们的方法比一些国家的最先进的方法的有效性。
2018-11-08 cs.CV
Fine-grained Hand Gesture Recognition in Multi-viewpoint Hand Hygiene
Willogy；AIOZ；Blood Transfusion Hematology Hospital（输血血液病医院）
本文提供了一个新的高质量的数据集，手卫生系统中的手势识别，命名为“MFH”。一般来说，目前的数据集并不集中在：（i）细粒度的动作;（ii）不同视点之间的数据不匹配，这是在现实的设置下可用。为了解决上述问题，建议MFH数据集包含由6个非重叠位置中的不同相机视图获得的总共731147个样本。此外，每个样本都属于世界卫生组织（WHO）提出的七个步骤之一。作为一个小小的贡献，受到细粒度图像识别和分布自适应的启发，本文建议使用自监督学习方法来处理这些问题。在基准MFH数据集上的大量实验表明，所介绍的方法在准确性和宏F1分数方面都具有竞争力的性能。代码和MFH数据集可在https://github.com/willogy-team/hand-gesture-recognition-smc2021上获得。
2021-09-07 cs.CV
Transportation mode recognition based on low-rate acceleration and location signals with an attention-based multiple-instance learning network
Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校）；Karolinska Institutet（卡罗林斯卡学院）
本文针对交通方式识别任务，提出一种基于注意力的多示例学习网络，通过双子网络处理低采样率的加速度与位置信号并嵌入同一空间，实现了低功耗且鲁棒的分类。
2024-04-05 cs.LG eess.SP
License Plate Recognition Based On Multi-Angle View Model
Thuyloi University（水利大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）
本文提出一种基于多角度视角模型的车牌识别方法，通过融合三个视角下的角点和面积特征恢复车牌文本组件，并结合CnOCR进行识别，在PTITPlates和Stanford Cars Dataset上验证了其优越性。
2023-09-22 cs.CV
MessyTable: Instance Association in Multiple Camera Views
SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）
我们提供了一个有趣且具有挑战性的数据集，其中包含从多个相机视图捕获的大量场景和凌乱的表格。此数据集中的每个场景都非常复杂，包含多个对象实例，这些对象实例可能是相同的，堆叠的和被其他实例遮挡的。关键的挑战是在给定所有视图的RGB图像的情况下关联所有实例。这个看似简单的任务令人惊讶地失败了许多流行的方法或算法，我们假设在对象关联中具有良好的性能。该数据集挑战了现有的方法，挖掘细微的外观差异，基于上下文的推理，并融合外观与几何线索建立关联。我们报告了一些有趣的发现和一些流行的基线，并讨论了这个数据集如何帮助激发新的问题，并催化更强大的公式来解决现实世界的实例关联问题。项目页面：$\href{https://caizhongang.github.io/projects/MessyTable/}{\text{MessyTable}}$
2020-07-29 cs.CV
SHANDS: A Multi-View Dataset and Benchmark for Surgical Hand-Gesture and Error Recognition Toward Medical Training
MIRALab；Quality of Life Technologies Lab (QoL Lab), University of Geneva（日内瓦大学生活质量技术实验室（QoL实验室））
本文提出SHANDS数据集，用于医疗培训中的手术手势和错误识别，包含15种手势基本元素和8种训练者错误类型，通过多视角视频和标准化评估协议推动深度学习模型发展。
2026-03-27 cs.CV
Adaptive Template Enhancement for Improved Person Recognition using Small Datasets
Swansea University（斯旺西大学）；University of Kent（肯特大学）
提出了一种基于实例的脑电信号分类方法。EEG信号的非平稳性质，加上有限的训练数据以及潜在的噪声信号采集条件下的模式识别的苛刻任务，激发了本研究中报告的工作。所提出的自适应模板增强机制通过单独对待每个特征维度来转换特征级实例，从而改善了类分离和更好的查询类匹配。所提出的新的基于实例的学习算法进行了比较，与一些相关的算法在一些情况下。临床级64-电极EEG数据库，以及低质量（高噪声水平）EEG数据库获得了一个低成本的系统，使用一个单一的干传感器已被用于生物特征的人识别的评价。所提出的方法表明，显着提高了识别和验证的情况下的分类精度。特别是，这种新方法被认为是提供了一个良好的分类性能嘈杂的EEG数据，表明其潜在的适用范围广泛的应用。
2022-01-03 cs.LG eess.SP
FACE: Few-shot Adapter with Cross-view Fusion for Cross-subject EEG Emotion Recognition
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
针对跨被试脑电情绪识别中被试差异大和过拟合问题，提出少样本适配器与跨视角融合方法FACE，通过动态多视角融合和元学习增强适配器，在三个基准上取得领先泛化性能。
2025-03-24 cs.AI cs.CV eess.IV
Visual Recognition by Counting Instances: A Multi-Instance Cardinality Potential Kernel
Simon Fraser University（西蒙弗雷泽大学）
许多视觉识别问题可以通过计算实例来解决。为了确定一个事件是否存在于一个长的互联网视频中，人们可以计算有多少帧似乎包含该活动。对一群人的活动进行分类可以通过计算个人的行动来完成。对这些基数关系进行编码可以降低对杂乱的敏感性，这些杂乱的形式是不相关的框架或不参与群体活动的个体。学习参数可以编码在感兴趣的类中倾向于出现多少实例。为此，本文开发了一个强大而灵活的框架来推断多实例模型中潜在标签之间的任何基数关系。可以对硬或软基数关系进行编码，以解决不同级别的模糊性。在人体活动识别、视频事件检测和视频摘要等任务上的实验证明了使用基数关系提高识别结果的有效性。
2015-04-09 cs.CV
SimpleDet: A Simple and Versatile Distributed Framework for Object Detection and Instance Recognition
目标检测和实例识别在自动驾驶、视频监控和医学图像分析等许多人工智能应用中发挥着核心作用。然而，在大规模数据集上训练目标检测模型仍然在计算上昂贵且耗时。本文提出了一种高效的开源目标检测框架SimpleDet，它可以在大规模的消费级硬件上训练最先进的检测模型。SimpleDet支持最新的检测模型和最佳实践。SimpleDet还支持分布式训练，开箱即用，接近线性扩展。SimpleDet的代码、示例和文档可以在https://github.com/tusimple/simpledet上找到。
2019-03-14 cs.CV cs.LG
Joint Image-Instance Spatial-Temporal Attention for Few-shot Action Recognition
Shanghai Jiao Tong University（上海交通大学）；The University of Tokyo（东京大学）；E-surfing Vision Technology Co., Ltd.（天翼视觉科技有限公司）
针对少样本动作识别中图像级特征含背景噪声、忽视动作相关实例的问题，提出I2ST，通过实例感知与联合图像-实例时空注意力增强特征表达。
2025-03-11 cs.CV
Not All Instances Contribute Equally: Instance-adaptive Class Representation Learning for Few-Shot Visual Recognition
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）；JD Explore Academy（京东探索研究院）；Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）
Few-Shot视觉识别是指从少量标记实例中识别新的视觉概念。许多Few-Shot视觉识别方法采用基于度量的元学习范式，通过比较查询表示和类表示来预测查询实例的类别。然而，目前的基于度量的方法通常平等地对待所有实例，因此经常获得有偏见的类表示，考虑到不是所有的实例都同样重要时，总结类级表示的实例级表示。例如，某些实例可能包含不具有代表性的信息，例如太多的背景和不相关概念的信息，这会扭曲结果。为了解决上述问题，我们提出了一种新的基于度量的元学习框架称为实例自适应类表示学习网络（ICRL-Net）的Few-Shot视觉识别。具体来说，我们开发了一个自适应的实例重估网络的能力，以解决有偏见的代表性问题时，产生的类表示，通过学习和分配自适应的权重为不同的实例，根据其相对重要性在相应的类的支持集。此外，我们设计了一个改进的双线性实例表示，并纳入两个新的结构损失，即，类内实例聚类损失和类间表示区分损失，以进一步规范实例重估过程，细化类表示。我们对四个常用的Few-Shot基准测试进行了广泛的实验：miniImageNet，tieredImageNet，CIFAR-FS和FC 100数据集。实验结果表明，我们的ICRL-Net与国家的最先进的方法相比的优越性。
2022-09-07 cs.CV
Instance Retrieval at Fine-grained Level Using Multi-Attribute Recognition
Cortexica Vision Systems Limited（Cortexica视觉系统有限公司）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；the University of Adelaide（阿德莱德大学）
在本文中，我们提出了一种方法，例如排名和检索细粒度级别的基础上提取的多属性识别模型，这是不依赖于地标信息或部分基于注释的全局特征。此外，我们通过采用双线性CNN使多属性识别模型更小（在参数数量方面），使这种架构适合于移动设备应用。在DeepFashion In-Shop Clothes Retrieval和CUB 200数据集的Dress类别上进行的实验表明，细粒度级别的实例检索结果对于这些数据集是有希望的，特别是在纹理和颜色方面。
2018-11-07 cs.CV
SeekNet: Improved Human Instance Segmentation and Tracking via Reinforcement Learning Based Optimized Robot Relocation
Purdue University（普渡大学）
非模态识别是系统检测被遮挡物体的能力。大多数SOTA视觉识别系统缺乏执行非模态识别的能力。很少有研究通过被动预测或具体识别方法实现非模态识别。然而，这些方法在现实世界的应用中受到挑战，例如动态障碍。我们提出了SeekNet，一种改进的优化方法，通过具体的视觉识别进行非模态识别。此外，我们为社交机器人实施SeekNet，在社交机器人中，与拥挤的行人进行多种交互。我们还证明了我们的算法在其他基线上对遮挡人体检测和跟踪的好处。此外，我们还使用SeekNet建立了一个多机器人环境，以识别和跟踪拥挤地区空气传播疾病的视觉疾病标记。我们在模拟的室内环境中进行实验，结果表明，我们的方法提高了非模态识别任务的整体准确性，并且与基线方法相比，随着时间的推移，检测准确性得到了最大的提高。
2023-03-08 cs.CV cs.RO
Pairwise Decomposition of Image Sequences for Active Multi-View Recognition
Imperial College London（伦敦帝国理工学院）
多视角图像序列提供了比来自单个图像的更丰富的对象识别能力。然而，大多数现有的多视图识别解决方案通常采用手工制作的基于模型的几何方法，这些方法不容易接受深度学习的最新趋势。我们建议将卷积神经网络用于通用多视图识别，通过将图像序列分解为一组图像对，独立地对每一对进行分类，然后通过加权每一对的贡献来学习对象分类器。这允许在任意相机轨迹上进行识别，而不需要在潜在的无限数量的相机路径和长度上进行显式训练。建立这些成对的关系，然后自然地扩展到下一个最佳视图问题的主动识别框架。为了实现这一点，我们训练第二个卷积神经网络，以直接从观察到的图像映射到下一个视点。最后，我们将其纳入一个轨迹优化任务，从而寻求最佳的识别信心，为一个给定的轨迹长度。我们在ModelNet数据集上展示了引导和非引导多视图识别的最新结果，并展示了我们的方法如何用于深度图像、灰度图像或两者。
2016-05-26 cs.CV cs.RO
IIR-VLM: In-Context Instance-level Recognition for Large Vision-Language Models
Northeastern University（东北大学）；Wyze Labs, Inc.（Wyze实验室）
IIR-VLM通过整合预训练的ILR专家模型，提升大视觉-语言模型在上下文实例识别中的性能，有效解决细粒度辨别问题。
2026-01-20 cs.CV
Template-Instance Loss for Offline Handwritten Chinese Character Recognition
Institute of Artificial Intelligence, Shanghai Em-Data Technology Co., Ltd.（上海Em-Data科技有限公司人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）
脱机手写汉字识别（HCCR）长期以来面临的挑战是双重的：汉字可能非常多样和复杂，但外观相似，而草书手写（由于书写速度加快和不频繁的提笔）使笔划甚至字符以流畅的方式连接在一起。本文提出了脱机手写体汉字识别中相关机器学习任务的模板和实例损失函数。首先，设计了汉字模板，以处理汉字之间的内在相似性。第二，实例损失可以根据分类难度降低类别方差，对手写体汉字的离群实例给予较大的惩罚。使用我们的深度网络架构HCCR 14层模型（由简单层组成），使用新的损失函数进行训练，我们的大量实验表明，它可以产生最先进的性能，甚至超越离线HCCR。
2019-10-12 cs.CV
Low-Resolution Face Recognition via Adaptable Instance-Relation Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出自适应实例-关系蒸馏方法，将知识迁移拆分为蒸馏与自适应两步，在实例和关系层面从高分辨率教师模型迁移知识，并结合推理时自适应批归一化提升低分辨率人脸识别的适应性与性能。
2024-09-03 cs.AI cs.CV cs.LG
Multi-view Gait Recognition based on Siamese Vision Transformer
Yunnan Normal University（云南师范大学）
虽然视觉Transformer已被用于步态识别，但其在多视角步态识别中的应用仍然有限。不同视角对步态轮廓特征的提取和识别精度有显著影响。为了解决这个问题，本文提出了一个暹罗移动视觉Transformer（SMViT）。该模型不仅关注了人体步态空间的局部特征，而且考虑了远距离注意关联的特征，能够提取多维步态状态特征。此外，它描述了不同的视角如何影响步态特征，并生成可靠的视角特征关系因子。SMViT在CASIA B数据集上的平均识别率达到96.4%。实验结果表明，与步态GAN、多视角GAN、Posegait等先进的步态识别模型相比，SMViT具有更好的识别性能。
2022-10-19 cs.CV cs.LG
Object-conditioned Bag of Instances for Few-Shot Personalized Instance Recognition
Samsung Research UK（三星英国研究院）；Samsung Research Korea（三星韩国研究院）
本文提出基于多阶统计量的对象条件实例包 OBoI，使通用目标检测模型无需反向传播即可在少样本条件下识别个人实例，并在 18 个实例上取得 77.1% 准确率，相对提升约 12%。
2024-04-01 cs.AI cs.CV cs.RO
Learning and aggregating deep local descriptors for instance-level recognition
Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一种有效的方法来学习用于实例级识别的深度局部描述符。训练仅需要正和负像对的示例，并且作为和池化全局图像描述符的度量学习来执行。在推理时，本地描述符由网络的内部组件的激活提供。我们演示了为什么这样的方法学习本地描述符，以及经典的高效匹配核方法的图像相似性估计。实验验证研究的性能和内存要求的国家的最先进的图像搜索方法的基础上匹配内核之间的权衡。与现有的局部描述符相比，所提出的局部描述符在两个实例级识别任务中表现更好，并且保持较低的内存需求。我们的实验表明，全球描述符是不够有效的，在大规模和本地描述符是必不可少的。我们实现了最先进的性能，在某些情况下，即使是像ResNet18这样小的骨干网络。
2020-07-26 cs.CV
Enhancing Traffic Sign Recognition with Tailored Data Augmentation: Addressing Class Imbalance and Instance Scarcity
SDU University（SDU大学）
本文针对交通标志识别中的类别不平衡和实例稀缺问题，提出包括合成图像生成、几何变换和基于障碍物的增强方法在内的定制化数据增强技术，有效提升了模型鲁棒性与准确性。
2024-06-05 cs.AI cs.CV
Systematic Evaluation of Novel View Synthesis for Video Place Recognition
系统评估合成新视角对视频地点识别的影响，发现少量合成视角可提升识别性能，且视角变化幅度不如添加数量和图像类型重要。
2026-06-16 cs.CV cs.RO
Deep Models for Multi-View 3D Object Recognition: A Review
本文综述多视图3D目标识别的深度模型，系统梳理基于深度学习与Transformer的分类、检索方法、数据集、视图配置、融合策略及应用，并指出关键发现与未来方向。
2024-04-23 cs.AI cs.CV cs.LG
Towards Balanced Learning for Instance Recognition
Zhejiang University（浙江大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）
实例识别随着各种深度卷积神经网络的发展而迅速发展。与网络架构相比，训练过程对检测器的成功也至关重要，但受到的关注相对较少。在这项工作中，我们仔细回顾了检测器的标准训练实践，发现检测性能往往受到训练过程中的不平衡的限制，这通常包括三个级别-样本级别，特征级别和目标级别。为了减轻由此造成的不利影响，我们提出了Libra R-CNN，这是一个简单而有效的框架，用于平衡学习，例如识别。它集成了IoU平衡采样，平衡特征金字塔和目标重新加权，分别减少样本，特征和目标水平的不平衡。在MS COCO、LVIS和Pascal VOC数据集上进行的大量实验证明了整体平衡设计的有效性。
2021-08-23 cs.CV
G2IA: Geometry-Guided Instance-Aware Retrieval and Refinement for Cross-Modal Place Recognition
Shanghai Jiao Tong University（上海交通大学）；National University of Defense Technology（国防科技大学）
提出G2IA框架，通过几何引导的实例感知检索和跨模态局部形状与空间布局验证，解决图像到点云地点识别中的模态差异和感知混淆问题。
2026-06-16 cs.CV
Diverse Instance Discovery: Vision-Transformer for Instance-Aware Multi-Label Image Recognition
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
以前关于多标签图像识别（MLIR）的工作通常使用CNN作为研究的起点。本文以纯视觉Transformer（ViT）为研究基础，充分利用Transformer具有长程依赖建模的优势，克服了CNN局限于局部感受野的缺点。然而，对于包含来自不同类别、尺度和空间关系的多个对象的多标签图像，单独使用全局信息并不是最佳的。我们的目标是利用ViT的补丁令牌和自我注意力机制来挖掘多标签图像中的丰富实例，称为多样性实例发现（DiD）。为此，我们提出了一个语义类别感知模块和空间关系感知模块，分别，然后结合两者的重新约束策略，以获得实例感知的注意力地图。最后，我们提出了一种基于弱监督目标定位的方法来提取多尺度局部特征，以形成多视图管道。我们的方法只需要弱监督信息在标签级别，没有额外的知识注入或其他强监督信息是必需的。在三个基准数据集上的实验表明，我们的方法显着优于以前的作品，并在公平的实验比较下达到最先进的结果。
2022-04-22 cs.CV
Consistent Instance False Positive Improves Fairness in Face Recognition
Tencent（腾讯）；Nanjing University of Science and Technology（南京理工大学）
人口统计偏差是实际人脸识别系统中的一个重大挑战。现有的方法严重依赖于准确的人口统计注释。然而，这样的注释通常在真实场景中不可用。此外，这些方法通常是为特定的人口群体设计的，不够普遍。在本文中，我们提出了假阳性率惩罚损失，通过提高实例假阳性率（FPR）的一致性来减轻人脸识别偏差。具体地说，我们首先定义的实例FPR之间的比率的非目标相似性高于一个统一的阈值和非目标相似性的总数。统一的阈值估计为一个给定的总FPR。然后，一个额外的惩罚项，这是成比例的实例FPR总FPR的比率，被引入到基于软最大值的损失的分母。实例FPR越大，惩罚越大。通过这种不相等的惩罚，实例FPR应该是一致的。与以前的去偏方法相比，我们的方法不需要人口统计学的注释。因此，它可以减轻由各种属性划分的人口统计组之间的偏差，并且这些属性不需要在训练期间预先预定义。在流行的基准上进行的大量实验结果表明，我们的方法优于最先进的竞争对手。代码和训练模型可在https://github.com/Tencent/TFace上获得。
2021-06-10 cs.CV
Cross-view Action Modeling, Learning and Recognition
Northwestern University（西北大学）；University of California at Los Angles（加州大学洛杉矶分校）
现有的基于视频的动作识别方法通常是依赖于视图的，即，从训练数据中看到的相同视图执行识别。提出了一种新的多视点时空与或图（MST-AOG）表示方法，用于跨视点动作识别，对来自未知和不可见视图的视频执行识别。作为一种组合模型，MST-AOG组合模型通过明确地建模几何、外观和运动变化来表示跨视图动作的层次组合结构。本文提出了有效的方法来学习MST-AOG的结构和参数。基于MST-AOG的推理使动作识别从新的角度。MST-AOG的训练利用了从Kinect摄像机获得的3D人体骨架数据，以避免注释大量的多视图视频帧，这是容易出错和耗时的，但识别不需要3D信息，并且基于2D视频输入。一个新的多视图3D数据集已经创建并将发布。大量的实验表明，这种新的动作表示显着提高了2D视频上的跨视图动作识别的准确性和鲁棒性。
2014-05-12 cs.CV
A Holistic Visual Place Recognition Approach using Lightweight CNNs for Significant ViewPoint and Appearance Changes
University of Essex（埃塞克斯大学）；ETH Zurich（苏黎世联邦理工学院）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
本文提出了一种轻量级的视觉位置识别方法，能够实现高性能，低计算成本，和可行的移动机器人下显着的观点和外观的变化。在几个基准数据集上的结果证实，相对于最先进的方法，准确率平均提高了13%，平均加速了12倍。
2019-10-27 cs.CV cs.RO
Generalized Multi-view Embedding for Visual Recognition and Cross-modal Retrieval
在本文中，从不同的视觉线索和模态的多视图嵌入的问题被认为是。我们提出了一个统一的解决方案，子空间学习方法使用瑞利商，这是可扩展的多视图，监督学习，和非线性嵌入。许多方法，包括典型相关分析，偏最小二乘回归和线性判别分析研究使用特定的内在和惩罚图在同一框架内。基于核和（深）神经网络的非线性扩展的推导，实现了更好的性能比线性的。在此基础上，提出了一种新的多视角模块化判别分析方法（MvMDA）。我们证明了所提出的多视图嵌入方法在视觉对象识别和跨模态图像检索上的有效性，并且与相关方法相比，在这两个应用中获得了优异的结果。
2017-08-31 cs.CV cs.LG
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research（百度研究院）；University of Amsterdam（阿姆斯特丹大学）
受CNN在图像识别中取得的巨大成功的启发，基于视图的方法应用CNN对投影视图进行建模，以实现3D对象理解，并取得了优异的性能。然而，多视图CNN模型不能对来自不同视图的块之间的通信进行建模，从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发，我们提出了一种用于三维物体识别的多视角视觉Transformer（MVT）。由于Transformer块中的每个补丁特征具有全局接收场，因此它自然地实现了来自不同视图的补丁之间的通信。同时，与CNN相比，它需要更少的归纳偏差。考虑到有效性和效率，我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试，ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
A Large-scale Varying-view RGB-D Action Dataset for Arbitrary-view Human Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）
目前的动作识别研究主要集中在单视角和多视角的动作识别上，难以满足人机交互（HRI）应用对任意视角动作识别的需求。数据集的缺乏也设置了障碍。为了为任意视角动作识别提供数据，我们新收集了一个用于任意视角动作分析的大规模RGB-D动作数据集，包括RGB视频，深度和骨架序列。该数据集包括在8个固定视点和覆盖整个360度视角的变化视图序列中捕获的动作样本。总共邀请了118人表演40个动作类别，收集了25，600个视频样本。我们的数据集涉及更多的参与者，更多的观点和大量的样本。更重要的是，它是第一个包含整个360度可变视图序列的数据集。该数据集为多视图、跨视图和任意视图的动作分析提供了充足的数据。此外，我们提出了一个视图引导骨架CNN（VS-CNN）来解决任意视图动作识别问题。实验结果表明，VS-CNN具有优越的性能。
2019-04-24 cs.CV
Prototype Instance-semantic Disentanglement with Low-rank Regularized Subspace Clustering for WSIs Explainable Recognition
Columbia University（哥伦比亚大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出PID-LRSC框架，通过低秩正则化子空间聚类和增强对比学习解决WSI中实例与语义耦合问题，提升模型可解释性和诊断可靠性。
2026-02-16 cs.CV
Simultaneous multi-view instance detection with learned geometric soft-constraints
IRISA（法国国家信息与自动化研究所/雷恩信息与系统研究所（注：IRISA常见译名为雷恩信息、信号与自动化研究所，属于法国国家科研中心与布列塔尼大学等共建的研究机构，标准常用译名为「IRISA研究所」或直译「信息与自动化系统研究所」，此处采用通用常用名：IRISA研究所））；Université Bretagne Sud（南布列塔尼大学）；ETH Zurich（苏黎世联邦理工学院）
我们建议共同学习多视图几何和变形之间的视图相同的对象实例的强大的跨视图目标检测。使多视图对象实例检测困难的是视点、光照条件、相邻对象的高相似性和尺度的强可变性的强烈变化。通过将不同视图中的目标检测和实例重新识别变成一个联合学习任务，我们能够将图像外观和几何软约束结合到一个可学习的端到端的单个多视图检测过程中。我们验证了我们的方法在一个新的，大的数据集的街道级的城市物体的mumamas和各种基线相比，表现出优越的性能。我们的贡献有三个方面：用于多视图实例检测和重新识别的大规模、公开可用的数据集;为多视图实例检测定制的注释工具;以及新颖的、整体的多视图实例检测和重新识别方法，其联合地对跨视图的几何形状和外观进行建模。
2019-07-25 cs.CV cs.LG stat.ML
MVTN: Multi-View Transformation Network for 3D Shape Recognition
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
多视图投影方法已经证明了它们在3D形状识别上达到最先进性能的能力。这些方法学习从多个视图中聚合信息的不同方法。然而，对于所有形状，这些视图的摄像机视点往往是逐行设置和固定的。为了避免目前的多视图方法缺乏动态性，我们建议学习这些观点。特别是，我们介绍了多视图转换网络（MVTN），回归最佳视点的3D形状识别，建立在可微渲染的进步。因此，MVTN可以与任何多视图网络一起进行端到端训练，以进行3D形状分类。我们将MVTN集成到一个新的自适应多视图管道中，该管道可以渲染3D网格或点云。MVTN在3D形状分类和3D形状检索任务中表现出明显的性能增益，而无需额外的训练监督。在这些任务中，MVTN在ModelNet40、ShapeNet Core55和最新的真实ScanObjectNN数据集上实现了最先进的性能（最多提高6%）。有趣的是，我们还证明了MVTN可以在3D域中提供对旋转和遮挡的网络鲁棒性。该代码可在https://github.com/ajhamdi/MVTN上获得。
2021-08-17 cs.CV cs.LG
Multiple Instance Learning Convolutional Neural Networks for Object Recognition
University of Missouri（密苏里大学）；Sony Electronics Inc（索尼电子公司）
卷积神经网络（CNN）在计算机视觉、语音识别和自然语言处理等领域有着广泛的应用。对于对象识别，CNN可能受到其严格的标签要求和图像应该是目标对象主导的最佳解决方案的隐含假设的限制。然而，需要布置目标对象的位置的标记过程是非常繁琐的，使得高质量的大规模数据集过于昂贵。当深度网络遭受训练数据不足的问题时，数据增强方案被广泛使用。通过数据增强产生的所有图像共享相同的标签，这可能是有问题的，因为并非所有数据增强方法都是标签保留的。在本文中，我们提出了一个弱监督的CNN框架命名为多实例学习卷积神经网络（MILCNN）来解决这个问题。我们将MILCNN框架应用于对象识别，并在三个基准数据集上报告了最先进的性能：CIFAR10，CIFAR100和ILSVRC2015分类数据集。
2016-10-11 cs.CV
Multipartite Ranking-Selection of Low-Dimensional Instances by Supervised Projection to High-Dimensional Space
Australian National University（澳大利亚国立大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
删除冗余或不相关的数据实例是模式识别每个成功解决方案的关键。在本文中，我们提出了一种新的排序选择框架的长度短，但高度相关的情况下。我们不是在低维实例空间中工作，而是学习到由所研究的数据集中的类数量所跨越的高维空间的监督投影。通过将标签的概念暴露给实例来施加更高的区别，让我们为每个单独的类部署一个与所有的排名，并通过对整体分数的自适应阈值来选择质量实例。为了证明我们的范例的效率，我们采用它的纹理理解的目的，这是一个很难识别的挑战，由于纹理像素的高相似性和低维度的颜色特征。我们的实验表明，在几个公开的数据集上，识别性能比其他本地描述符有相当大的提高。
2016-06-24 cs.CV cs.LG stat.ML
PromptGAR: Flexible Promptive Group Activity Recognition
University of Southern California, Institute for Creative Technologies（美国南加州大学，创意技术研究所）；Army Research Laboratory（军队研究实验室）
针对现有群体活动识别方法依赖完整提示标注、固定帧和实例数量且缺乏演员一致性的问题，提出首个无需重新训练即可在提示、帧和实例间提供输入灵活性的PromptGAR框架，通过统一多视觉提示为点提示、交叉更新类别与提示令牌及引入相对实例注意力机制，提升识别精度与实际泛化能力。
2025-08-25 cs.CV
View Based Methods can achieve Bayes-Optimal 3D Recognition
PARC（帕洛阿尔托研究中心）
本文证明了视觉对象识别系统只使用2D欧几里德相似性测量比较对象视图对以前看到的意见，可以实现相同的识别性能的观察者有机会获得所有的坐标信息，并能够使用任意的3D模型内部。此外，它表明，这样的系统不需要更多的训练视图比贝叶斯优化的基于3D模型的系统。对于构建计算机视觉系统，这些结果意味着使用基于视图或基于外观的技术与精心构建的证据机制相结合，相对于基于3D模型的系统可能不会处于不利地位。对于人类视觉的计算方法，他们表明，仅仅通过比较人类和基于3D模型的系统可实现的性能来区分基于视图和基于3D模型的3D对象识别技术是不可能的。
2007-12-02 cs.CV
Semantic-Aware Graph Matching Mechanism for Multi-Label Image Recognition
Beijing Jiaotong University（北京交通大学）；University of Manitoba（曼尼托巴大学）
本文将多标签图像识别建模为实例-标签匹配选择问题，提出ML-SGM框架，通过实例空间图、标签语义图与分配图建模类别及实例-标签关系，在通用、部分标签和少样本场景中取得先进性能。
2023-04-21 cs.CV
View-invariant action recognition
CRCV University of Central Florida（中佛罗里达大学计算机视觉研究中心）
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态，以学习人类行为的视觉表示。然而，大多数动作识别的研究都集中在一些共同的观点，这些方法并没有表现出良好的时，有一个改变的观点。人类动作在三维环境中执行，并且当从给定视点捕获为视频时被投影到二维空间。因此，一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题，主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
