Attention-based Iterative Decomposition for Tensor Product Representation
Kyungpook National University（庆北国立大学）；ALI Co., Ltd.（ALI有限公司）
针对张量积表示（TPR）在系统泛化任务中分解不完整的问题，提出基于注意力的迭代分解（AID）模块，通过竞争性注意力机制增强结构表示的分解，显著提升了基于TPR模型的泛化性能与表示质量。
2024-06-03 cs.AI cs.LG
Perceiver: General Perception with Iterative Attention
DeepMind（深度思维）
生物系统通过同时处理来自视觉、听觉、触觉、本体感受等不同模态的高维输入来感知世界。另一方面，深度学习中使用的感知模型是为个体模态设计的，通常依赖于特定领域的假设，例如几乎所有现有视觉模型所利用的局部网格结构。这些先验引入了有益的归纳偏差，但也将模型锁定在个体模态上。在本文中，我们介绍了Perceiver -一个建立在Transformers基础上的模型，因此对其输入之间的关系做了一些架构假设，但也可以扩展到数十万个输入，如ConvNets。该模型利用不对称的注意力机制来迭代地将输入提取到紧密的潜在瓶颈中，从而使其能够扩展以处理非常大的输入。我们表明，这种架构在各种形式的分类任务上具有竞争力或优于强大的专业模型：图像，点云，音频，视频和视频+音频。Perceiver通过直接处理50，000个像素，在没有2D卷积的情况下获得了与ResNet-50和ImageNet上的ViT相当的性能。它在AudioSet的所有模式中也具有竞争力。
2021-06-23 cs.AI cs.CV cs.LG
Iterative SE(3)-Transformers
University of Oxford（牛津大学）；University of Washington（华盛顿大学）
在处理三维数据时，可以通过应用所谓的SE（3）-等变模型来确保旋转和平移对称性。蛋白质结构预测是显示这些对称性的任务的一个突出例子。最近在这一领域的工作已经成功地利用了SE（3）-等变模型，应用了迭代SE（3）-等变注意力机制。受此应用程序的启发，我们实现了SE（3）-Transformer的迭代版本，这是一个用于图形数据的SE（3）-等变基于注意力的模型。我们解决了在迭代方式中应用SE（3）-Transformer时出现的额外复杂性，比较了玩具问题上的迭代和单遍版本，并考虑为什么迭代模型在某些问题设置中可能是有益的。我们将实现的代码提供给社区。
2021-03-16 cs.LG stat.ML
Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling
Iran University of Science & Technology（伊朗科技大学）
提出用低秩瓶颈自编码器堆叠替代注意力实现上下文混合，结合迭代拉取与校正精化，在掩码语言建模中以约1.9倍更少FLOPs接近注意力性能，并匹配BERT基线。
2026-09-28 cs.CL cs.LG
FlashVGGT: Efficient and Scalable Visual Geometry Transformers with Compressed Descriptor Attention
The Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出FlashVGGT，通过压缩描述符注意力机制解决传统自注意力的可扩展性问题，实现高效多视角图像三维重建，实验表明其在精度和效率上优于VGGT。
2026-03-25 cs.CV
SMILES-X: autonomous molecular compounds characterization for small datasets without descriptors
National Institute for Materials Science（国立材料科学研究所）；University of Tsukuba（筑波大学）
越来越多的证据表明，机器学习可以成功应用于材料科学及相关领域。但是，这些字段中的数据集通常非常小（$\ll1000$样本）。这使得最先进的机器学习技术仍然被忽视，因为它们被认为只适用于大数据。此外，材料信息学方法通常依赖于人类工程描述符，这些描述符应该仔细选择，甚至创建，以适应人们想要预测的物理化学性质。在这篇文章中，我们提出了一种新的方法，既解决了小数据集的问题，又解决了特定于任务的描述符开发的困难。SMILES-X是一种基于嵌入-编码-参与-预测神经架构的分子化合物表征自主管道，具有数据特定的贝叶斯超参数优化。架构的唯一输入-SMILES字符串-被去规范化，以有效地增加数据。该架构的关键特征之一是注意力机制，它可以在不增加额外计算成本的情况下解释输出预测。SMILES-X在分子化合物的水溶解度（$\overline{RMSE}_{test} \simeq 0.57 \pm 0.07$ mol/L）、水合自由能（$\overline{RMSE}_{test} \simeq 0.81 \pm 0.22$ kcal/mol，$\sim 24.5\%$优于分子动力学模拟）和辛醇/水分配系数（pH 7.4下LogD的$\overline{RMSE}_{test} \simeq 0.59 \pm 0.02$）的推断方面显示了最新的结果。SMILES-X旨在成为材料科学家和化学家工具包中的重…
2019-07-04 cs.LG physics.chem-ph physics.comp-ph
A Streamlined Attention-Based Network for Descriptor Extraction
Graz University of Technology（格拉茨技术大学）；Sony（索尼公司）
SANDesc通过改进的注意力网络提升关键点描述效果，实现高效的局部表示与稳定的训练性能。
2026-01-19 cs.CV
A Novel Multi-Attention Driven System For Multi-Label Remote Sensing Image Classification
本文提出了一种新的多注意力驱动的系统，联合利用卷积神经网络（CNN）和递归神经网络（RNN）的背景下，多标签遥感（RS）图像分类。拟议的系统包括四个主要模块。第一个模块的目的是提取初步的本地描述符的遥感图像波段，可以与不同的空间分辨率。为此，我们引入了K分支CNN，其中每个分支提取具有相同空间分辨率的图像带的描述符。第二个模块的目的是建立本地描述符之间的空间关系模型。这是通过双向RNN架构实现的，其中长短期记忆节点通过考虑局部区域（图像块）的空间关系来丰富局部描述符。第三个模块旨在为本地描述符定义多个注意力分数。这是通过一种新的基于块的多注意力机制，考虑到联合出现的多个土地覆盖类，并提供了基于注意力的本地描述符。最后一个模块利用这些描述符进行多标签RS图像分类。BigEarthNet是一个大规模的哨兵-2基准存档上获得的实验结果表明，所提出的方法相比，最先进的方法的有效性。
2019-05-29 cs.CV
DRTAM: Dual Rank-1 Tensor Attention Module
本文提出DRTAM（双秩1张量注意力模块），通过RTAM和RDEM生成初始与补充注意力图，在大型和移动网络上均实现自适应特征细化，性能优于现有注意力模块。
2023-09-07 cs.CV
Learning Sequence Descriptor based on Spatio-Temporal Attention for Visual Place Recognition
Tongji University（同济大学）；Institute of Intelligent Vehicles, Tongji University（同济大学智能车辆研究所）
针对现有基于序列的视觉地点识别中序列描述符缺乏时空交互的问题，提出融合时空注意力的序列描述符方法，通过空间注意力与时间注意力结合滑动窗口和相对位置编码提升识别性能，超越现有最优水平。
2024-01-27 cs.CV
Attention-Aware Generalized Mean Pooling for Image Retrieval
Jilian Technology Group（极链科技集团）；Video++ AI Lab（Video++人工智能实验室）
它已被证明，图像描述符提取的卷积神经网络（CNN）取得了显着的效果检索问题。在本文中，我们将注意力机制应用于CNN，旨在增强与输入图像中的重要关键点相对应的更多相关特征。所生成的注意力感知特征然后通过先前的最先进的广义均值（GeM）池化进行聚合，然后进行归一化以产生紧凑的全局描述符，该全局描述符可以通过点积与其他图像描述符进行有效地比较。我们提出的方法与国家的最先进的方法进行了广泛的比较新的具有挑战性的ROxford5k和RParis6k检索基准。结果表明，显着改善比以前的工作。特别是，我们的注意力感知的GeM（AGeM）描述符在“硬”评估协议下的ROxford5k上的性能优于最先进的方法。
2019-01-28 cs.CV
An LBP-HOG Descriptor Based on Matrix Projection For Mammogram Classification
Yonsei University（延世大学）；National University of Singapore（新加坡国立大学）
在基于图像的特征描述符设计中，图像块的局部信息是通过迭代扫描操作提取的，这会导致很高的计算成本。为了避免这种扫描操作，我们提出了基于矩阵乘法的局部特征描述符，即基于矩阵投影的局部二进制模式（M-LBP）描述符和基于矩阵投影的方向直方图（M-HOG）描述符。此外，还提出了M-LBP和M-HOG（M-LBP-HOG）的集成公式，以在单步的中一起执行两个描述符。建议的描述符使用公开可用的乳房X线照片数据库进行评估。结果表明，有前途的性能在分类精度和计算效率。
2021-02-07 cs.CV
SphereVLAD++: Attention-based and Signal-enhanced Viewpoint Invariant Descriptor
University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
基于LiDAR的定位方法是最后一英里交付和自动驾驶等大规模导航任务的基本模块，定位鲁棒性高度依赖于视点和3D特征提取。我们以前的工作提供了一个视点不变的描述符来处理视点差异，然而，全球描述符遭受低信噪比在无监督聚类，降低了可区分的特征提取能力。在这项工作中，我们开发了一个注意力增强的视点不变的地方识别方法SphereVLAD++。SphereVLAD++将点云投影到每个独特区域的球面透视图上，并捕获局部特征及其与全局3D几何分布的依赖关系之间的上下文连接。作为回报，全局描述符中的聚集元素以局部和全局几何为条件，并支持Sphere VLAD的原始视点不变属性。在实验中，我们评估了SphereVLAD++在公共KITTI 360数据集和匹兹堡市自行生成的数据集上的本地化性能。实验结果表明，SphereVLAD++在较小甚至完全反向的视点差异下，检索成功率分别为0.69%和15.81%，优于其他同类方法。低计算要求和高时间效率也有助于其应用于低成本机器人。
2022-10-03 cs.CV cs.RO
A Coarse-to-Fine Place Recognition Approach using Attention-guided Descriptors and Overlap Estimation
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学智能系统与控制研究所）
针对场所识别中现有方法表示能力受限或穷举搜索耗时的问题，提出一种结合BEV特征提取、粗粒度匹配与细粒度验证的由粗到细方法，在KITTI和KITTI-360数据集上优于现有技术。
2024-07-23 cs.CV cs.RO
Advanced Chest X-Ray Analysis via Transformer-Based Image Descriptors and Cross-Model Attention Mechanism
Delhi Technological University（德里技术大学）
本研究提出一种结合ViT编码器、跨模态注意力与GPT-4解码器的胸部X射线图像描述生成模型，在NIH和IU数据集上取得领先性能，助力放射科诊断。
2025-04-23 cs.CV eess.IV
Being the center of attention: A Person-Context CNN framework for Personality Recognition
Maastricht University（马斯特里赫特大学）
提出了一种基于不同场景视频数据的个性识别方法。我们的目标是联合建模非语言行为线索与上下文信息的一个强大的，多场景，个性识别系统。因此，我们建立了一个新的多流卷积神经网络框架（CNN），它考虑了多个信息源。从一个给定的场景中，我们提取时空运动描述符从场景中的每个人，时空运动描述符编码的社会群体动态，和mathemics描述符编码与周围环境的相互作用。所有建议的描述符被映射到相同的特征空间，以促进整体的学习工作。在两个公共数据集上的实验证明了联合建模相互的Person-Context信息的有效性，在两个不同的场景中，优于最先进的个性识别结果。最后，我们为每个人格特质呈现了CNN类激活图，揭示了与人格属性相关的行为模式。
2019-10-15 cs.CV
Stochastic Region Pooling: Make Attention More Expressive
South China University of Technology（华南理工大学）
全局平均池（Global Average Pooling，GAP）默认用于通道式注意力机制以提取通道描述符。但GAP的简单全局聚合方法容易使通道描述符具有同质性，削弱了特征图之间的细节区分，从而影响了注意力机制的性能。在这项工作中，我们提出了一种新的方法，称为随机区域池（SRP），这使得通道描述符更具代表性和多样性，通过鼓励特征映射有更多或更广泛的重要特征响应。同时，SRP是注意力机制的通用方法，不需要任何额外的参数和计算。它可以广泛应用于注意力网络，而无需修改网络结构。在CIAFR-10/100、ImageNet和三个细粒度数据集（CUB-200-2011、Stanford Cars和Stanford Dogs）上的实验结果表明，SRP算法在性能上比高效CNN有显著提高，达到了最先进的效果。
2019-04-22 cs.CV
SALSA: Swift Adaptive Lightweight Self-Attention for Enhanced LiDAR Place Recognition
NYU Tandon School of Engineering（纽约大学坦登工程学院）
提出SALSA框架，通过Sphereformer主干、自适应自注意力层和MLP混合器层高效聚合局部描述符生成场景描述符，在多个LiDAR位置识别数据集上实现实时且优于现有方法的检索与度量定位性能。
2024-07-30 cs.CV cs.RO
Learning to Recognize Actions on Objects in Egocentric Video with Attention Dictionaries
FBK（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
我们提出了EgoACO，这是一种用于视频动作识别的深度神经架构，它通过利用以自我为中心的视频数据集中动作标签的动词-名词结构来学习从帧级特征中汇集动作上下文对象描述符。EgoACO的核心组件是类激活池（CAP），这是一种可区分的池化操作，它结合了用于细粒度识别的双线性池化和用于区分性定位的特征学习的思想。CAP使用自注意力和一个可学习的权重字典来从最相关的特征区域中汇集。通过CAP，EgoACO学习从视频帧特征中解码对象和场景上下文描述符。对于EgoACO中的时间建模，我们设计了一个称为长短期注意力（LSTA）的类激活池的递归版本。LSTA通过内置的空间注意力和重新设计的输出门扩展了卷积门控LSTM。动作，对象和上下文描述符融合的多头预测，占名-动词-动作之间的相互依赖关系的结构化标签在以自我为中心的视频数据集。EgoACO具有内置的视觉解释，有助于学习和解释。目前可用的两个最大的以自我为中心的动作识别数据集EPIC-KITCHENS和EGTEA的结果表明，通过显式解码动作上下文对象描述符，EgoACO实现了最先进的识别性能。
2021-02-16 cs.CV
ConCA: Concentration-Aware Channel Attention for Fine-Grained Visual Recognition
National Kaohsiung Normal University（国立高雄师范大学）
ConCA通过均值与负输入熵配对形成双描述符，结合深度一维卷积MLP生成通道权重，在6个细粒度基准及iNat2021-mini上均优于相关基线，为FGVR轻量型通道注意力提供新方向。
2026-09-01 cs.CV hep-ex
C$^2$A: Coupling Spatial Evidence with Clinical Priors via Co-occurrence Aware Class Attention for Multi-Label Chest X-Ray Classification
本研究提出C²A分类头，通过耦合空间证据与临床先验，在CheXpert数据集上实现0.895的宏观平均AUROC，提升了高度共现模糊类别的分类性能。
2026-08-11 cs.CV cs.LG eess.IV
MTLDesc: Looking Wider to Describe Better
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang Lab（之江实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology Beijing（北京科技大学）
受卷积神经网络局部性的限制，现有的局部特征描述方法大多只学习具有局部信息的局部描述符，缺乏对全局和周围空间背景的感知。在这项工作中，我们专注于使本地描述符“看起来更宽，更好地描述”，通过学习本地描述符，不仅仅是本地信息（MTLDesc）。具体地说，我们诉诸上下文增强和空间注意力机制，使我们的MTLDesc获得非本地意识。首先，提出了自适应全局上下文增强模块和多样局部上下文增强模块，利用全局到局部的上下文信息构造鲁棒的局部描述符。第二，一致注意加权三重丢失被设计为将空间注意感知集成到局部描述符学习的优化和匹配阶段。第三，提出了基于特征金字塔的局部特征检测方法，以获得更稳定、更准确的关键点定位。通过上述创新，我们的MTLDesc的性能显着超过了HPatches，Aachen Day-Night本地化和InLoc室内本地化基准上的现有最先进的本地描述符。
2022-03-14 cs.AI cs.CV
CityGuard: Graph-Aware Private Descriptors for Bias-Resilient Identity Search Across Urban Cameras
University of Macau（澳门大学）；Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology（香港科技大学）；Juntendo University（顺天堂大学）；Peking University（北京大学）
CityGuard通过图感知变换器实现隐私保护的身份检索，结合适应性度量学习、空间条件注意力和差分隐私嵌入，提升跨摄像头身份检索的鲁棒性与隐私保护能力。
2026-07-29 cs.CV
A-SCoRe: Attention-based Scene Coordinate Regression for wide-ranging scenarios
Graduate School of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程研究生院）；College of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程学院）
本文提出基于注意力的场景坐标回归架构A-SCoRe，在描述子图层级建模像素空间关系，支持深度图、SLAM与SfM等多模态稠密或稀疏输入，并在多个基准上以更轻量、灵活的形式达到可比的先进定位性能。
2025-03-18 cs.CV
FE-Fusion-VPR: Attention-based Multi-Scale Network Architecture for Visual Place Recognition by Fusing Frames and Events
Northeastern University（东北大学）
传统的视觉位置识别（VPR）通常使用标准摄像头，容易因眩光或高速运动而失败。相比之下，事件相机具有低延迟、高时间分辨率和高动态范围的优点，可以处理上述问题。然而，事件相机在弱纹理或静止的场景中容易失败，而标准相机在这种情况下仍然可以提供外观信息。因此，利用标准相机和事件相机的互补性可以有效地提高VPR算法的性能。在本文中，我们提出了FE-Fusion-VPR，一个基于注意力的多尺度网络架构的VPR通过融合帧和事件。首先，强度帧和事件体被送入双流特征提取网络进行浅层特征融合。然后，通过多尺度融合网络获得三个尺度特征，并使用VLAD层将其聚合为三个子描述符。最后通过描述子重加权网络学习各子描述子的权值，得到最终的细化描述子。实验结果表明，在DDD 20数据集上，FE-Fusion-VPR的Recall@1比Event-VPR和Ensemble-EventVPR分别提高了29.26%和33.59%，比MultiRes-NetVLAD和NetVLAD分别提高了7.00%和14.15%。据我们所知，这是第一个超越现有基于事件和基于帧的SOTA方法的端到端网络，可以直接为VPR融合帧和事件。
2022-11-23 cs.CV cs.RO
SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition
Technical University of Munich（慕尼黑工业大学）；Beijing Institute of Technology（北京理工大学）
我们解决了从点云数据中识别位置的问题，并引入了一个自我关注和方向编码网络（SOE-Net），该网络充分探索了点之间的关系，并将长程上下文结合到逐点局部描述符中。从八个方向的每个点的本地信息被捕获在PointOE模块中，而本地描述符之间的远程特征依赖性被捕获与自我关注单元。此外，我们提出了一种新的损失函数称为硬正硬负四重损失（HPHN四重），实现更好的性能比常用的度量学习损失。在各种基准数据集上的实验表明，该网络的性能优于当前最先进的方法。我们的代码在https://github.com/Yan-Xia/SOE-Net上公开发布。
2021-05-23 cs.CV
Gmd: Gaussian mixture descriptor for pair matching of 3D fragments
School of Information Science and Technology, Northwest University（信息科学与技术学院，西北大学）
本文提出基于高斯混合模型的3D碎片配对局部描述符，通过将局部表面分为凹凸区域估计k值，融合区域描述符进行碎片表面匹配，结合L2距离和RANSAC/ICP实现碎片对齐，实验证明方法有效性。
2026-04-23 cs.CV
ResMatch: Residual Attention Learning for Local Feature Matching
Wuhan University（武汉大学）
本文从传统匹配与过滤视角重新设计交叉/自注意力，提出残差注意力学习网络 ResMatch 及稀疏版本 sResMatch，并在多类视觉任务中验证其优势。
2023-07-11 cs.CV
DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization
Technical University of Munich（慕尼黑工业大学）；Artisense
对于大规模点云的重新定位，我们提出了第一种方法，统一了全球的地方识别和本地6DoF姿势细化。为此，我们设计了一个连体网络，直接从原始3D点联合学习3D局部特征检测和描述。它集成了FlexConv和挤压和激励（SE），以确保学习的局部描述符捕获多级几何信息和通道关系。为了检测3D关键点，我们以无监督的方式预测局部描述符的区分度。我们生成的全局描述符直接聚合学习的本地描述符与一个有效的注意力机制。以这种方式，在单个前向传递中推断局部和全局3D描述符。各种基准测试的实验表明，我们的方法实现了竞争力的结果相比，国家的最先进的方法，全球点云检索和局部点云注册。为了验证我们的3D关键点的可推广性和鲁棒性，我们证明了我们的方法在没有对视觉SLAM系统生成的点云配准进行微调的情况下也表现良好。代码和相关材料可在https://vision.in.tum.de/research/vslam/dh3d上获得。
2020-07-17 cs.CV
Learning More Discriminative Local Descriptors for Few-shot Learning
University of Electronic Science and Technology of China（电子科技大学）
本文提出判别性局部描述符注意力模型，无需额外参数即可自适应选择代表性局部描述符，并改进k-NN分类权重，在四个基准数据集上取得更高准确率且对k值更稳健。
2023-05-15 cs.CV
Understanding and Optimizing Attention-Based Sparse Matching for Diverse Local Features
本文研究了基于注意力的稀疏匹配模型中检测器与描述符的作用，提出通过多种检测器的键点微调，得到通用的匹配模型，提升了对新检测器的适应能力。
2026-03-12 cs.CV
Attributes Grouping and Mining Hashing for Fine-Grained Image Retrieval
Southeast University（东南大学）；Key Laboratory of Measurement and Control of Complex Systems of Engineering, Ministry of Education（教育部复杂工程系统测量与控制重点实验室）；Nanjing Enbo Technology Co., Ltd.（南京恩博科技有限公司）
提出属性分组与挖掘哈希（AGMH）方法，利用卷积描述符替代注意力引导特征，通过注意力分散损失和逐步交互外部注意力捕捉细微差异，在细粒度图像检索基准上取得最佳性能。
2023-11-10 cs.AI cs.CV cs.IR
Not All Frames Are Equal: Complexity-Aware Masked Motion Generation via Motion Spectral Descriptors
Beihang University（北京航空航天大学）；Wuhan University（武汉大学）
本文提出运动频谱描述符（MSD）以提升遮蔽运动生成的复杂度感知能力，通过动态复杂度指导遮蔽、自注意力和采样，提升复杂运动生成质量及FID指标。
2026-03-31 cs.CV
Learning to Align Images using Weak Geometric Supervision
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
图像对齐任务需要精确的像素对应关系，通常通过匹配局部特征描述符来恢复。这种描述符通常是使用监督学习在具有地面真实对应的现有数据集上导出的。然而，创建这样的数据集的成本通常是过高的。在本文中，我们提出了一种新的方法来对齐两个图像相关的一个未知的二维单应性的局部描述符是从头开始学习的图像和单应性估计的同时。我们的关键见解是，连体卷积神经网络可以联合训练，同时通过优化单个损失函数迭代更新单应性参数。我们的方法目前是弱监督的，因为输入图像需要粗略对齐。我们已经使用这种方法来对齐不同模态的图像，如RGB和近红外（NIR），而不使用任何先前标记的数据。图像自动对齐我们的方法，然后用于训练描述符，概括到新的图像。我们还在RGB图像上评估了我们的方法。在HPatches基准测试中，我们的方法实现了与在监督设置中离线训练的深度本地描述符相当的准确性。
2018-08-04 cs.CV
LDOP: Local Directional Order Pattern for Robust Face Retrieval
Indian Institute of Information Technology, Sri City（印度斯里城信息技术学院）
局部描述子由于其较强的区分能力而受到广泛关注。实验证明，多尺度局部邻域的引入提高了描述子的性能，但代价是维数增加。本文提出了一种新的方法来构建一个局部描述符使用多尺度邻域，通过寻找在特定方向上的不同尺度的强度值之间的局部方向顺序。局部方向序是指在特定方向上的多半径关系因子。通过找到中心像素和局部方向顺序索引之间的关系来计算针对特定像素的建议的局部方向顺序模式（LDOP）。需要将中心值转换为相邻阶数的范围。最后，计算整个图像的LDOP直方图来构造描述符。与最先进的描述符相比，所提出的描述符的维度不依赖于计算顺序所涉及的邻居的数量;它只依赖于方向的数量。引入的描述符进行评估的图像检索框架，并与国家的最先进的描述符相比，具有挑战性的人脸数据库，如PaSC，LFW，PubFig，FERET，AR，AT&T，和ExtendedYale。实验结果证实了LDOP描述子的优越性和鲁棒性。
2019-12-24 cs.CV
HD2Reg: Hierarchical Descriptors and Detectors for Point Cloud Registration
Xi’an Jiaotong University（西安交通大学）；Shunan Academy of Artificial Intelligence（舜人工智能研究院）
针对点云配准中特征描述子与检测器缺乏局部和全局语义显式表征的问题，提出HD2Reg框架，通过分层对比学习、双层级关键点检测及全局到局部匹配实现更优配准效果。
2023-05-05 cs.CV
Local Multi-Grouped Binary Descriptor with Ring-based Pooling Configuration and Optimization
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The Chinese University of Hong Kong（香港中文大学）
局部二进制描述符由于其在计算速度上的巨大优势而受到越来越多的关注，它能够在许多图像/视觉应用中实现实时性能。已经提出了各种方法来学习数据相关的二进制描述符。然而，大多数现有的二进制描述符的目标过于在计算简单的代价是显着的信息丢失，导致歧义的相似性度量使用汉明距离。在本文中，考虑到多个功能可能会共享互补信息，我们提出了一种新的本地二进制描述符，称为基于环的多组描述符（RMGD），成功地弥合了当前的二进制和浮点描述符之间的性能差距。我们的贡献是双重的。首先，我们引入了一个新的池配置的基础上的空间环区域采样，允许涉及二进制测试的完整集的成对区域具有不同的形状，尺度和距离。这导致比现有方法更有意义的描述，现有方法通常应用有限的池化配置集。然后，提出了一种扩展的Adaboost，通过强调高方差和低相关性来进行有效的比特选择，实现了高度紧凑的表示。其次，RMGD计算从多个图像属性中提取的二进制字符串。我们将多组特征融合问题转化为rankSVM或稀疏SVM学习问题，使得不同特征之间能够相互补偿，这是提高分类器区分度和鲁棒性的关键。RMGD的性能进行了评估，在一些公开的基准，RMGD优于国家的最先进的二进制描述符显着。
2015-09-22 cs.CV
High-order Tensor Pooling with Attention for Action Recognition
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
本文提出端到端二阶及高阶张量池化，利用EPN作为高阶共现谱检测器以抑制突发现象，并在多个动作识别数据集上取得最先进结果。
2023-12-16 cs.CV cs.LG
GeoMix: Descriptor-Free Visual Localization via Global Context and Multi-Detector Training
Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）；University of Oulu（奥卢大学）
提出GeoMix框架，通过局部方向与距离嵌入、全局上下文节点和多检测器混合训练，增强几何判别性，显著提升无描述符视觉定位精度。
2026-08-25 cs.CV
A Survey on Joint Object Detection and Pose Estimation using Monocular Vision
IIIT-Hyderabad（海得拉巴国际信息技术学院）；Intel（英特尔）
在这项调查中，我们提出了一个完整的景观联合目标检测和姿态估计方法，使用单目视觉。已经提供了涉及描述符或模型的传统方法和各种估计方法的描述。这些描述符或模型包括弦线图、形状感知可变形部件模型、边界袋、距离变换模板、自然3D标记和小面特征，而估计方法包括迭代聚类估计、概率网络和迭代遗传匹配。已经概述了使用手工特征提取然后通过深度学习方法进行估计的混合方法。我们尽可能地研究和比较了针对此问题的纯深度学习方法（单阶段和多阶段）。已经说明了各种准确性测量和度量的全面细节。为了给出一个清晰的概述，相关数据集的特点进行了讨论。还强调了从这一问题的初期到现在的普遍趋势。
2018-11-26 cs.CV
AttWalk: Attentive Cross-Walks for Deep Mesh Analysis
Technion（以色列理工学院）
通过随机游走的网格表示已被证明有利于深度学习。随机性确实是一个强大的概念。但是，它也有代价：有些行走可能会在网格的非特征区域周围徘徊，这可能对形状分析有害，特别是当只使用少数行走时。我们提出了一种新的步行注意力机制，利用了多个步行使用的事实。关键的想法是，行走可以相互提供关于网格的有意义（注意）特征的信息。我们利用这个互信息提取一个单一的描述符的网格。这与使用注意力来改进每个单独描述符的表示的常见注意力机制不同。我们的方法实现了SOTA结果的两个基本的3D形状分析任务：分类和检索。即使是沿着网格走几步也足以学习。
2021-04-23 cs.CV
Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation
网络修剪是降低深度神经网络沉重的推理成本的最主要方法之一。现有的方法通常迭代修剪网络，以获得高压缩比，而不会导致显着的性能损失。然而，我们认为，用于重新训练修剪网络的传统方法（即，使用小的、固定的学习率）是不够的，因为它们完全忽略了来自迭代修剪的快照的益处。在这项工作中，我们表明，强大的合奏可以构建从快照的迭代修剪，实现竞争力的性能和不同的网络结构。此外，我们提出了简单，通用和有效的流水线，产生强大的合奏网络在修剪与大学习率重新启动，并利用知识蒸馏与这些合奏，以提高预测能力的紧凑型模型。在标准的图像分类基准测试中，如CIFAR和Tiny-Imagenet，我们通过将简单的l1范数滤波器修剪集成到我们的流水线中，提高了结构化修剪的最先进的修剪率。具体来说，我们减少了75-80%的总参数和65-70%的ResNet架构变体的MAC，同时具有与原始网络相当或更好的性能。与本文相关的代码可在https://github.com/lehduong/kesi上公开获取。
2020-08-14 cs.CV cs.LG
Self-Attention Generative Adversarial Network for Iterative Reconstruction of CT Images
University of Washington Bothell（华盛顿大学博塞尔分校）
计算机断层扫描（CT）使用从身体周围的传感器获取的X射线测量值来生成人体的断层扫描图像。如果X射线数据被充分采样并且具有高质量，则可以使用传统的重建算法;然而，诸如减少对患者的剂量或对数据采集的几何限制等问题可能导致低质量或不完整的数据。由于噪声和其他伪影，使用传统方法从这些数据重建的图像质量差。本研究的目的是训练一个神经网络，从噪声或不完整的CT扫描数据，包括低剂量，稀疏视图，有限角度的情况下重建高质量的CT图像。为了完成这一任务，我们训练生成对抗网络（GAN）作为信号先验，与CT数据的迭代同时代数重建技术（SART）结合使用。该网络包括一个自注意块，用于对数据中的长期依赖关系进行建模。我们将我们的自注意GAN用于CT图像重建与几种最先进的方法进行了比较，包括去噪循环GAN，CIRCLE GAN和总变分优化算法。我们的方法被证明具有可比的整体性能的圆圈GAN，而优于其他两种方法。
2021-12-23 cs.CV eess.IV
Play It Back: Iterative Attention for Audio Recognition
Vrije University of Brussels（布鲁塞尔自由大学）；Interuniversity Microelectronics Centre（校际微电子中心）；University of Bristol（布里斯托大学）
听觉认知的一个关键功能是随着时间的推移将特征声音与其相应的语义相关联。试图区分细粒度音频类别的人类通常会重播相同的区分声音以增加其预测置信度。我们提出了一个端到端的注意力为基础的架构，通过选择性重复出席在整个音频序列的最具歧视性的声音。我们的模型最初使用完整的音频序列，并迭代地细化基于时隙注意力重放的时间段。在每次回放时，使用表示这些段内的较高分辨率特征的较小跳长来重放所选择的段。我们表明，我们的方法可以在三个音频分类基准：AudioSet，VGG-Sound和EPIC-KITCHENS-100中始终实现最先进的性能。
2023-03-12 cs.CV cs.LG cs.SD
Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos
Huazhong University of Science and Technology（华中科技大学）；Huawei Tech.（华为技术有限公司）；Baidu Inc.（百度公司）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Zhejiang Gongshang University（浙江工商大学）；Dalian University of Technology（大连理工大学）
视频中的时间语言定位旨在基于给定的句子查询在未修剪的视频中定位一个视频片段。为了解决这个问题，设计一个有效的模型来从视觉和文本模态中提取接地信息是至关重要的。然而，在这个领域中，大多数以前的尝试只关注从视频到查询的单向交互，强调要听哪些词，并通过香草软注意来关注句子信息，但没有考虑到从视频交互中暗示要看哪里的线索。在本文中，我们提出了一个细粒度的迭代注意力网络（FIAN），它包括一个迭代注意力模块的双边查询视频信息提取。具体地说，在迭代注意模块中，首先通过细粒度注意关注视频中的每一帧来增强查询中的每一个词，然后视频迭代地关注集成查询。最后，视频和查询信息被用来提供强大的跨模态表示进一步的时刻定位。此外，为了更好地预测目标段，我们提出了一个面向内容的本地化策略，而不是应用最近的基于锚的本地化。我们评估所提出的方法上三个具有挑战性的公共基准：ActivityNet字幕，TACoS和Charades-STA。粮食第一信息和行动网的效果明显优于最先进的办法。
2020-08-06 cs.CV
Self-Supervised Point Cloud Registration with Deep Versatile Descriptors
Shanghai Jiao Tong University（上海交通大学）
本文提出一种自监督点云配准方法，联合全局与局部描述符并利用重建和法线估计增强变换感知，在多个数据集上超越现有无监督方法，部分情况下优于有监督方法。
2023-04-13 cs.CV
iSeg: An Iterative Refinement-based Framework for Training-free Segmentation
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Big Data and Software Engineering, Chongqing University（重庆大学大数据与软件工程学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linkoping University（林雪平大学）
本研究针对免训练分割任务，提出基于迭代优化的iSeg框架，通过熵降低自注意力模块和类别增强交叉注意力模块充分利用自注意力信息，在Cityscapes无监督语义分割上较现有最优免训练方法提升3.8% mIoU。
2024-10-08 cs.CV
Iterative and Adaptive Sampling with Spatial Attention for Black-Box Model Explanations
Kitware Inc.（Kitware公司）
深度神经网络在许多现实世界的应用中取得了巨大的成功，但它仍然不清楚，很难解释他们的决策过程的最终用户。在本文中，我们使用我们提出的名为IASSA的框架解决了深度神经网络的可解释AI问题，该框架通过迭代和自适应采样模块生成一个重要性图，指示每个像素对于模型预测的突出程度。我们采用基于多层次深度学习特征计算的亲和度矩阵来探索长距离像素间的相关性，这可以在我们的长距离和无参数空间注意力的指导下改变显着性值。在MS-COCO数据集上的大量实验表明，我们提出的方法匹配或超过了最先进的黑盒解释方法的性能。
2019-12-18 cs.CV
The Resale Price Prediction of Secondhand Jewelry Items Using a Multi-modal Deep Model with Iterative Co-Attention
Fuji Xerox Co., Ltd.（富士施乐株式会社）；Nishikawa Communications Co. Ltd.（西川通信株式会社）
二手珠宝的转售价格评估在很大程度上依赖于领域专家的个人知识和技能。在本文中，我们提出了一种重建人工智能系统的方法，该系统可以自主评估二手珠宝的转售价格，而无需专业知识。如在最近的研究中所示的时尚项目，多模态的方法相结合的规格和视觉信息的项目已成功地获得细粒度的表示的时尚项目，虽然他们通常通过一个多模态融合应用简单的向量运算。我们同样使用产品的图像和属性构建多模态模型，并进一步采用应用于计算机视觉的最先进的多模态深度神经网络，以达到实用的性能水平。此外，我们使用迭代的共同注意力网络的产品的外观和属性进行仔细和迭代观察的专家的定价过程建模。在这里，我们证明了我们的模型的有效性，使用一个大型数据集的二手没有品牌的珠宝项目从合作的时尚零售商，并表明，迭代的共同关注过程中有效地运作的转售价格预测的背景下。我们的模型架构广泛适用于外观和规格是重要方面的其他时尚项目。
2019-07-01 cs.CV
Combined Learning of Salient Local Descriptors and Distance Metrics for Image Set Face Verification
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）
与通过单个样本比较人脸相比，人脸图像的匹配集增加了鲁棒性和区分性能。最近的图像集匹配方法通常测量子空间或流形之间的相似性，同时以刚性和整体的方式表示人脸。这种表示很容易受到对齐、照明、姿势和表情方面的变化的影响。虽然基于局部特征的表示对这种变化具有相当大的鲁棒性，但它们在图像集匹配区域内很少受到关注。我们提出了一种新的图像集匹配技术，包括三个方面：（i）鲁棒的描述符的人脸区域的局部特征的基础上，部分灵感来自人类视觉系统中的层次结构，（ii）使用几个子空间和样本度量来比较相应的人脸区域，（iii）联合学习哪些区域是最有区别的，同时找到最佳的混合权重组合度量。在LFW、PIE和MOBIO人脸数据集上进行的人脸识别实验表明，该算法的识别性能明显优于局部主角和核仿射壳方法。
2013-03-12 cs.CV
Perceiver-VL: Efficient Vision-and-Language Modeling with Iterative Latent Attention
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了Perceiver-VL，这是一个视觉和语言框架，可以有效地处理长视频和文本等高维多模态输入。由Perceiver的迭代潜在交叉注意力提供支持，我们的框架具有线性复杂度，与许多最先进的基于transformer的模型中使用的自我注意力的二次复杂度形成对比。为了进一步提高我们的框架的效率，我们还研究了在交叉注意层上应用LayerDrop，并为跨模态检索引入了一个混合流架构。我们在不同的视频-文本和图像-文本基准测试中评估了Perceiver-VL，其中Perceiver-VL实现了最低的GFLOP和延迟，同时保持了具有竞争力的性能。此外，我们还提供了对我们框架各个方面的全面分析，包括预训练数据，潜在大小和输入大小的可扩展性，在推理时丢弃交叉注意层以减少延迟，模态聚合策略，位置编码和权重初始化策略。我们的代码和检查点可在https://github.com/zinengtang/Perceiver_VL上找到
2022-11-21 cs.AI cs.CL cs.CV
Facial Landmarks Detection by Self-Iterative Regression based Landmarks-Attention Network
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
基于级联回归（Cascaded Regression，CR）的人脸特征点检测方法是通过在粗、细两个阶段分别训练多个级联回归器来学习一系列下降方向。它们在精度和运行速度上都优于传统的基于梯度下降的方法。然而，级联回归不够鲁棒，因为每个回归器的训练数据来自前一个回归器的输出。此外，训练多个回归量需要大量的计算资源，特别是对于基于深度学习的方法。在本文中，我们开发了一个自迭代回归（SIR）框架，以提高模型的效率。该方法只训练一个自迭代回归器来学习样本从粗阶段到细阶段的下降方向，并由同一个回归器迭代更新参数。具体来说，我们提出了地标-注意力网络（LAN）作为我们的回归器，它同时学习每个地标周围的特征并获得整体位置增量。通过这样做，不仅去除了剩余的回归量以简化训练过程，而且显著减少了模型参数的数量。实验结果表明，该方法仅需3.72M模型参数，就达到了最佳性能。
2018-03-18 cs.CV
Large-Scale Image Retrieval with Attentive Deep Local Features
POSTECH（浦项科技大学）；Google Inc（谷歌公司）
我们提出了一个专注的局部特征描述符，适合于大规模的图像检索，称为DELF（深度局部特征）。新功能基于卷积神经网络，该网络仅使用地标图像数据集上的图像级注释进行训练。为了识别语义上有用的图像检索的局部特征，我们还提出了一个注意力机制的关键点选择，共享大多数网络层的描述符。该框架可用于图像检索，作为其他关键点检测器和描述符的替代品，从而实现更准确的特征匹配和几何验证。我们的系统产生可靠的置信度分数，拒绝误报-特别是，它对数据库中没有正确匹配的查询是鲁棒的。为了评估所提出的描述符，我们引入了一个新的大规模数据集，称为谷歌地标数据集，其中涉及的挑战，在数据库和查询，如背景杂波，部分遮挡，多个地标，对象在可变尺度等，我们表明，DELF优于国家的最先进的全球和本地的描述符在大规模设置的显着利润率。代码和数据集可以在项目网页上找到：https://github.com/tensorflow/models/tree/master/research/delf。
2018-02-03 cs.CV
Aggregated Deep Local Features for Remote Sensing Image Retrieval
Eindhoven University of Technology（埃因霍温理工大学）
由于遥感图像的特殊性，遥感图像检索一直是一个具有挑战性的课题。这样的图像包含各种不同的语义对象，这显然使检索任务复杂化。在本文中，我们提出了一种图像检索管道，它使用专注的局部卷积特征，并使用局部聚合描述符向量（VLAD）将它们聚合以产生全局描述符。我们研究了各种系统参数，如乘法和加法的注意力机制和描述符维数。我们提出了一个不需要外部输入的查询扩展方法。实验表明，即使没有训练，局部卷积特征和全局表示也优于其他系统。经过系统调整后，我们可以实现最先进或有竞争力的结果。此外，我们观察到，我们的查询扩展方法提高了约3%的整体系统性能，只使用前三个检索到的图像。最后，我们展示了降维如何产生紧凑的描述符，提高检索性能和快速检索计算时间，例如比当前系统快50%。
2019-03-22 cs.CV
