Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution
University of Bucharest（布加勒斯特大学）；“Carol Davila” University of Medicine and Pharmacy（“卡罗尔·达维拉”医药大学）；Colţea Hospital（科尔察医院）；University Politehnica of Bucharest（布加勒斯特理工大学）；MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）
超分辨率医学图像可以帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描（CT）或磁共振成像（MRI）技术在单个调查期间捕获多个扫描（模式），这些扫描可以联合使用（以多模式方式）以进一步提高超分辨率结果的质量。为此，我们提出了一种新的多模式多头卷积注意力模块，以超分辨率CT和MRI扫描。我们的注意力模块使用卷积运算对多个级联输入张量执行联合空间通道注意力，其中内核（感受野）大小控制空间注意力的减少率，卷积滤波器的数量分别控制通道注意力的减少率。我们引入多个注意头，每个头有一个不同的感受野大小对应于一个特定的减少率的空间注意。我们将多模式多头卷积注意力（MMHCA）集成到两个深度神经架构中以实现超分辨率，并在三个数据集上进行实验。我们的实证结果表明，我们的注意力模块的优越性超过国家的最先进的注意力机制中使用的超分辨率。此外，我们进行了一项消融研究，以评估我们的注意力模块中涉及的组件的影响，例如输入的数量或头部的数量。我们的代码可以在https://github.com/lilygeorgescu/MHCA上免费获得。
2022-10-12 cs.CV cs.LG eess.IV
CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
Preferred Networks
CAT通过圆卷积和傅里叶变换实现亚二次复杂度的注意力机制，提升效率并减少参数量，适用于更长序列的变换器应用。
2026-01-05 cs.CL cs.CV cs.LG
Fine-Grained Action Detection with RGB and Pose Information using Two Stream Convolutional Networks
University of Leipzig（莱比锡大学）；Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）
作为MediaEval 2022 Sport Task的参与者，我们提出了一种用于乒乓球击球分类和检测的双流网络方法。每个流都是使用注意力机制的一系列3D卷积神经网络（CNN）块。每个流处理不同的4D输入。我们的方法利用原始RGB数据和从MMPose工具箱计算的姿态信息。通过将姿态应用于黑色背景或原始RGB帧，将姿态信息视为图像。通过将原始RGB数据馈送到一个流，将Pose + RGB（PRGB）信息馈送到另一个流并对特征应用后期融合来获得最佳性能。在提供的TTStroke-21数据集上对这些方法进行了评价。我们可以报告中风分类的改善，达到87.3%的准确率，而检测并没有超过基线，但仍然达到0.349的IoU和0.110的mAP。
2023-02-06 cs.AI cs.CV cs.LG
Graph Convolutional Neural Networks via Motif-based Attention
Beihang University（北京航空航天大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
许多现实世界的问题可以表示为基于图的学习问题。在本文中，我们提出了一个新的框架学习空间和注意力卷积神经网络在任意图。与以往的图上的卷积神经网络不同，我们首先设计了一个图案匹配引导的子图归一化方法来捕获邻域信息。然后，我们实现子图级的自注意层，从不同的子图学习不同的重要性，以解决图分类问题。类似于基于图像的注意力卷积网络，它在输入的局部连接和加权区域上操作，我们还通过利用图案匹配将图规范化从一维节点序列扩展到二维节点网格，并设计自注意力层，而不需要依赖于图结构的先验知识的任何类型的成本。我们在生物信息学和社交网络数据集上的结果表明，我们可以显着改进传统图内核和现有深度模型的图分类基准。
2019-02-25 cs.LG
Evolving Attention with Residual Convolutions
Peking University（北京大学）；Microsoft Research（微软研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；ETH Zurich（苏黎世联邦理工学院）；Tsinghua University（清华大学）
Transformer是自然语言处理中一种普遍存在的模型，在计算机视觉中引起了广泛的关注。注意力图对于Transformer模型编码输入标记之间的依赖关系是必不可少的。然而，它们在每一层都是独立学习的，有时无法捕捉精确的模式。在本文中，我们提出了一种新的和通用的机制的基础上不断发展的注意力，以提高Transformers的性能。一方面，不同层次的注意力图共享公共知识，因此前几层的注意力图可以通过剩余连接来指导后几层的注意力。另一方面，低级别和高级别注意力在抽象层次上是不同的，因此我们采用卷积层来模拟注意力地图的进化过程。所提出的进化注意力机制实现了显着的性能改善，在各种国家的最先进的模型，多个任务，包括图像分类，自然语言理解和机器翻译。
2021-02-20 cs.LG
Multiscale Self Attentive Convolutions for Vision and Language Modeling
Microsoft（微软）
自注意力机制已经成为许多最先进的语言理解模型的关键组成部分。本文证明了自注意力算子可以用1 × 1卷积运算表示。根据这一观察，我们提出了几个新的运营商：首先，我们介绍了一个二维版本的自注意力，适用于二维信号，如图像。其次，我们提出了1D和2D自注意卷积（SAC）算子，分别将自注意力从1x 1卷积推广到1xm和nxm卷积。虽然1D和2D自注意力对单个单词和像素进行操作，但SAC分别对m-gram和图像块进行操作。第三，我们提出了一个多尺度版本的SAC（MSAC），它通过采用多个SAC运营商，不同的过滤器大小，并行分析输入。最后，我们解释了如何MSAC可以用于视觉和语言建模，并进一步利用MSAC形成一个交叉关注的图像相似性机制。
2019-12-03 cs.CL cs.CV cs.LG
3D attention mechanism for fine-grained classification of table tennis strokes using a Twin Spatio-Temporal Convolutional Neural Networks
University of Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立高等物理、数学与信息学院）；University of La Rochelle（拉罗谢尔大学）
本文针对乒乓球击球等低类间变异的视频动作识别问题。双流“孪生”卷积神经网络用于RGB数据和光流的3D卷积。动作识别的时间窗口的分类。我们介绍了3D注意模块，并研究其对分类效率的影响。在运动员的表现的研究的背景下，被认为是一个语料库的特殊行动的乒乓球击球。在网络中使用注意力块加快了训练步骤，并将我们的孪生模型的分类分数提高了5%。我们可视化所获得的功能和注意力和球员的动作和位置之间的相关性的影响。分数比较国家的最先进的动作分类方法和建议的方法与注意力块上的语料库。建议的模型与注意块优于以前的模型没有他们和我们的基线。
2020-11-20 cs.CV cs.HC cs.LG
Automatic Music Highlight Extraction using Convolutional Recurrent Attention Networks
Clova AI Research（Clova人工智能研究院）；NAVER Corp.（NAVER公司）；Hong Kong University of Science and Technology（香港科技大学）
音乐集锦是音乐服务的宝贵内容。大多数方法集中在低电平信号特征。我们提出了一种使用卷积递归注意力网络（CRAN）的高级特征提取高光的方法。CRAN利用卷积和递归层进行顺序学习，并具有注意力机制。注意力允许CRAN捕获重要的片段以区分流派，从而被用作高级功能。CRAN在两个月内对韩国32，000多首流行曲目进行了评估。实验结果表明，通过定量和定性评估，我们的方法优于三种基线方法。此外，我们还分析了注意和序列信息对绩效的影响。
2017-12-16 cs.LG cs.MM cs.SD
A Convolutional Attention Network for Extreme Summarization of Source Code
University of Edinburgh（爱丁堡大学）；Peking University（北京大学）
神经网络中的注意力机制已被证明对于输入和输出不具有固定维数的问题是有用的。通常存在局部平移不变的特征，并且对于引导模型的注意力是有价值的，但是以前的注意力架构并不是专门为了学习这些特征而构建的。我们引入了一个注意力神经网络，它采用卷积的输入令牌检测本地时不变和长距离的主题注意力特征的上下文相关的方式。我们将这种架构应用于将源代码片段极端总结成简短的、描述性的函数名称之类的摘要的问题。使用这些功能，该模型通过边缘化两个注意力机制来顺序生成摘要：一个基于输入标记的注意力权重预测下一个摘要标记，另一个能够将代码标记直接复制到摘要中。我们在10个流行的Java项目上展示了我们的卷积注意力神经网络的性能，表明与以前的注意力机制相比，它实现了更好的性能。
2016-05-25 cs.CL cs.LG cs.SE
Attention-based Spatial-Temporal Graph Convolutional Recurrent Networks for Traffic Forecasting
Soochow University（苏州大学）；University of North Carolina at Greensboro（北卡罗来纳大学格林斯伯勒分校）；The Hong Kong Polytechnic University（香港理工大学）
交通量预测是交通科学和人工智能研究中最基本的问题之一。关键的挑战是有效地建模复杂的时空依赖性和现代交通数据的相关性。然而，现有的方法，不能同时准确地建模长期和短期的时间相关性，限制了他们的表达能力复杂的时空模式。本文提出了一种新的时空神经网络框架：基于注意力的时空图卷积递归网络（ASTGCRN），它由图卷积递归模块（GCRN）和全局注意力模块组成。特别是，GCRN集成了门控递归单元和自适应图卷积网络，用于动态学习图结构并捕获空间依赖性和局部时间关系。为了有效地提取全局时间依赖，设计了时间注意层，并将其实现为三个独立的模块，分别基于多头自注意、Transformer和Informer。在五个真实流量数据集上进行的大量实验表明，我们的三种模型都具有出色的预测性能，其平均MAE，RMSE和MAPE在测试数据集上均低于基线方法。
2023-02-25 cs.AI cs.LG
Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention
The University of Newcastle（纽卡斯尔大学）
Transformer模型的关键是自注意力机制，它允许模型以计算高效的方式分析整个序列。最近的研究表明，RNN使用的一般注意力机制可能被主动记忆机制取代。在这项工作中，我们评估是否各种主动记忆机制可以取代自注意力力的Transformer。我们的实验表明，单独使用主动记忆可以达到与语言建模的自注意力机制相当的结果，但最佳结果大多是通过同时使用主动记忆和自注意力机制来实现的。我们还注意到，对于某些特定的算法任务，主动记忆机制单独优于自注意力和两者的组合。
2019-12-30 cs.CL cs.LG stat.ML
Temporal Convolutional Attention-based Network For Sequence Modeling
Nanjing University（南京大学）；Ant Group（蚂蚁集团）
提出结合时间卷积与注意力的TCAN网络，通过时间注意力和增强残差模块，在多个语言建模基准上刷新最优结果。
2023-10-14 cs.CL cs.LG
Dual-Attention Graph Convolutional Network
Nanjing University of Science and Technology（南京理工大学）
图卷积网络（GCN）在文本结构表示方面表现出强大的能力，有效地促进了文本分类任务。然而，由于文本的复杂性和多样性所引起的图变体的主要问题，在适应GCN从文本中学习区分特征方面仍然存在挑战。在本文中，我们提出了一个双注意GCN模型的各种文本的结构信息，以及解决图不变的问题，通过嵌入两种类型的注意力机制，即连接注意力和跳注意力，到经典的GCN。为了对相邻词之间的各种连接模式进行编码，连接注意自适应地对每个词的邻域施加指定的不同权重，从而捕获短期依赖性。另一方面，跳注意力在图扩散过程中将缩放系数应用于不同范围，使模型更多地了解上下文的分布，从而以自适应的方式捕获长期语义。在五个广泛使用的数据集上进行了大量的实验来评估我们的双注意GCN，所取得的最先进的性能验证了双注意力机制的有效性。
2019-11-28 cs.LG stat.ML
Self-Attention for Audio Super-Resolution
卷积只在局部操作，因此无法对全局交互进行建模。然而，自我注意力能够学习捕捉序列中的长程依赖关系的表征。我们提出了一种结合卷积和自注意力的音频超分辨率网络架构。基于注意力的智能线性调制（AFiLM）使用自注意力机制代替递归神经网络来调制卷积模型的激活。大量的实验表明，我们的模型优于现有的标准基准测试方法。此外，它允许更多的并行化，从而显著加快训练速度。
2021-08-26 cs.LG cs.SD eess.AS
Attention is All You Need? Good Embeddings with Statistics are enough:Large Scale Audio Understanding without Transformers/ Convolutions/ BERTs/ Mixers/ Attention/ RNNs or ....
Stanford University（斯坦福大学）
本文提出了一种在没有传统的最先进的神经架构的情况下进行大规模音频理解的方法。自从在过去十年中引入深度学习来理解音频信号以来，卷积架构已经能够实现超越传统手工制作功能的最先进结果。最近，从传统的卷积和递归神经网络向纯粹的端到端Transformer架构进行了类似的转变。我们，在这项工作中，探索一种方法，基于词袋模型。我们的方法没有任何卷积，递归，注意力，变压器或其他方法，如BERT。我们利用微观和宏观层次的聚类香草嵌入，并使用MLP头分类。我们只使用前馈编码器-解码器模型，以获得频谱的瓶颈，频谱补丁和切片以及多分辨率频谱。分类头（前馈层），类似于Simplified中的方法，是在学习的表示上训练的。使用在潜在表示上学习的简单代码，我们展示了我们如何超越传统的卷积神经网络架构，并惊人地接近于超越强大的Transformer架构。这项工作有望为表示学习领域的令人兴奋的进步铺平道路，而无需大规模的端到端神经架构。
2022-01-30 cs.AI cs.IR cs.LG
3D human pose estimation with adaptive receptive fields and dilated temporal convolutions
Cornell Tech（康奈尔大学科技校区）
在这项工作中，我们证明了三维姿态估计的感受野可以有效地指定使用光流。我们引入了自适应感受野，这是一种简单有效的方法，可以帮助基于光流推理的姿态估计模型中的感受野选择。我们对比的性能基准国家的最先进的模型上运行的固定的感受野与他们的自适应领域的同行。通过使用减少的感受野，我们的模型可以处理慢动作序列（10倍长），比以正常速度运行的基准模型快23%。计算成本的减少，同时产生的姿态预测精度在0.36%的基准模型。
2020-05-28 cs.CV cs.LG
A3GC-IP: Attention-Oriented Adjacency Adaptive Recurrent Graph Convolutions for Human Pose Estimation from Sparse Inertial Measurements
Ulm University（乌尔姆大学）；Linköping University（林雪平大学）
用于人体姿态估计的常规方法或者通过依赖于许多惯性测量单元（IMU）而需要高度的仪器，或者通过依赖于外部相机而约束记录空间。这些缺陷是通过从稀疏IMU数据中估计人体姿态的方法来解决的。我们定义了面向注意力的邻接自适应图卷积长短期记忆网络（A3 GC-LSTM），通过将人体图结构直接纳入网络，解决了基于六个IMU的人体姿态估计问题。A3 GC-LSTM在单个网络操作中结合了空间和时间依赖性，比以前的方法更高效。通过为图卷积配备邻接自适应性，可以实现任意长序列上的递归图学习，这消除了深度或递归图网络中的信息丢失问题，同时还允许学习人体关节之间的未知依赖关系。为了进一步提高准确性，将空间注意力形式主义纳入递归LSTM单元。通过我们提出的方法，我们能够利用人体固有的图形性质，从而可以超越现有技术的状态，从稀疏IMU数据的人体姿态估计。
2022-12-22 cs.CV cs.LG
Convolutional Neural Networks for joint object detection and pose estimation: A comparative study
Université Paris-Est（巴黎东大）
在本文中，我们研究了应用卷积神经网络联合检测对象描绘在静态图像和估计其三维姿态。我们确定了定向对象的不同特征表示，以及导致网络学习这种表示的能量。表示的选择是至关重要的，因为对象的姿势具有自然的连续结构，而其类别是离散变量。我们使用平均视点精度评估Pascal 3D+基准的联合目标检测和姿态估计任务的不同方法。我们表明，离散化的观点的分类方法实现联合目标检测和姿态估计的最先进的性能，并显着优于现有的基准。
2015-02-28 cs.CV cs.LG cs.NE
Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network
City University of Hong Kong（香港城市大学）
我们提出了一个异构的多任务学习框架，从单目图像的深度卷积神经网络的人体姿态估计。特别是，我们在深度网络架构中同时学习姿势联合回归器和滑动窗口身体部位检测器。我们表明，包括身体部位检测任务有助于正则化网络，引导它收敛到一个好的解决方案。我们报告了几个数据集的竞争力和最先进的结果。我们还根据经验表明，我们网络中间层的学习神经元被调谐到局部身体部位。
2014-06-13 cs.CV cs.LG cs.NE
3D Human Pose Lifting with Grid Convolution
Intel Labs China（英特尔中国研究院）
用于从2D单视图姿态回归3D人体姿态的现有提升网络通常基于图结构的表示学习用线性层构造。与之形成鲜明对比的是，本文提出了网格卷积（GridConv），模仿图像空间中常规卷积运算的智慧。GridConv基于一种新的语义网格变换（SGT），它利用二进制分配矩阵将不规则图形结构的人体姿势映射到一个规则的编织状网格姿势表示上，通过GridConv操作实现逐层特征学习。我们提供了两种实现SGT的方法，包括手工设计和可学习的设计。令人惊讶的是，这两种设计都取得了令人满意的结果，并且可学习的设计更好，证明了这种新的提升表示学习公式的巨大潜力。为了提高GridConv编码上下文线索的能力，我们在卷积内核上引入了一个注意力模块，使网格卷积操作依赖于输入，空间感知和网格特定。我们表明，我们的全卷积网格提升网络在（1）Human3.6M的常规评估和（2）MPI-INF-3DHP的交叉评估下表现优于最先进的方法，具有明显的优势。代码可在https://github.com/OSVAI/GridConv上获得
2023-02-17 cs.AI cs.CV cs.LG
3D Human Pose Regression using Graph Convolutional Network
Technical University of Munich（慕尼黑工业大学）；reFit Systems（reFit系统公司）
3D人体姿态估计是一项困难的任务，由于诸如遮挡的身体部位和模糊姿态的挑战。图卷积网络以邻接矩阵的形式对人体骨架的结构信息进行编码，这有利于更好地进行姿态预测。我们提出了一个这样的图卷积网络命名为PoseGraphNet的三维人体姿态回归从2D姿态。我们的网络使用自适应邻接矩阵和特定于邻居组的内核。我们在Human3.6M数据集上评估我们的模型，该数据集是3D姿态估计的标准数据集。我们的模型的性能接近国家的最先进的，但少得多的参数。该模型学习没有物理连接但行为相似的关节之间有趣的邻接关系。
2022-12-13 cs.CV
3D Human Pose Estimation Using Convolutional Neural Networks with 2D Pose Information
Seoul National University（首尔大学）
虽然在利用卷积神经网络（CNN）的2D人体姿态估计中已经取得了成功，但是3D人体姿态估计尚未被彻底研究。在本文中，我们使用CNN通过端到端学习来解决3D人体姿势估计任务。通过CNN学习一个关节和其他关节之间的相对3D位置。该方法通过两个新的思想提高了CNN的性能。首先，我们添加了2D姿态信息，通过将2D姿态估计结果与来自图像的特征连接来从图像估计3D姿态。第二，我们发现，更准确的3D姿态是通过结合相对于多个关节的相对位置的信息，而不是仅仅一个根关节。实验结果表明，该方法实现了人类3.6米数据集上的最先进的方法相当的性能。
2016-09-08 cs.CV
Efficient Human Pose Estimation with Depthwise Separable Convolution and Person Centroid Guided Joint Grouping
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了高效和有效的方法，二维人体姿态估计。提出了一种基于深度可分离卷积的ResBlock算法，并将其应用于Hourglass网络。它可以通过将vanilla dependency卷积替换为混合dependency卷积来进一步增强。在此基础上，提出了一种自底向上的多人姿态估计方法。通过引入人体质心作为根节点，直接或分层地连接到人体各关节，用有根树表示人体姿态。子网络的两个分支用于预测质心、身体关节及其到其父结点的偏移。通过沿运动类型的偏移追踪到最近的质心，对运动类型进行分组。在MPII人体数据集和LSP数据集上的实验结果表明，我们的单人和多人姿态估计方法都可以以较低的计算成本达到有竞争力的精度。
2020-12-06 cs.CV
Hypergraph Convolution and Hypergraph Attention
University of Oxford（牛津大学）
近年来，图神经网络引起了人们的极大关注，并在各个研究领域取得了突出的表现。这些算法中的大多数都假设了感兴趣对象的成对关系。然而，在许多实际应用中，对象之间的关系是高阶的，超出了成对的公式。为了有效地学习高阶图结构数据上的深度嵌入，我们向图神经网络家族引入了两个端到端可训练算子，即，超图卷积和超图注意。虽然超图卷积定义了在超图上执行卷积的基本公式，但超图注意力通过利用注意力模块进一步增强了表示学习的能力。利用这两个算子，图神经网络可以很容易地扩展为更灵活的模型，并应用于观察到非成对关系的各种应用。半监督节点分类的大量实验结果证明了超图卷积和超图注意力的有效性。
2020-10-10 cs.CV cs.LG stat.ML
3D Pose Regression using Convolutional Neural Networks
Center for Imaging Science, Johns Hopkins University（约翰斯·霍普金斯大学成像科学中心）
三维位姿估计是自主导航、三维场景理解等重要计算机视觉任务的关键组成部分。用于3D姿态估计的大多数现有技术的方法将该问题解决为姿态分类问题，其中姿态空间被离散化为仓并且使用CNN分类器来预测姿态仓。我们认为，3D姿态空间是连续的，并建议解决姿态估计问题的CNN回归框架与适当的表示，数据增强和损失函数，捕捉姿态空间的几何形状。在PASCAL3D+上的实验表明，该方法与现有方法相比具有较好的性能。
2017-08-18 cs.CV
Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation
New York University（纽约大学）
本文提出了一种新的混合架构，由深度卷积网络和马尔可夫随机场。我们展示了这种架构是如何成功地应用于具有挑战性的问题，关节的人在单目图像的姿态估计。该架构可以利用结构域约束，例如身体关节位置之间的几何关系。我们表明，这两个模型范例的联合训练提高了性能，并使我们能够显着优于现有的最先进的技术。
2014-09-17 cs.CV
EAANet: Efficient Attention Augmented Convolutional Networks
University of Toronto（多伦多大学）
人类可以有效地在复杂场景中找到显著区域。自注意力机制被引入到计算机视觉（CV）中以实现这一点。注意力增强卷积网络（AANet）是卷积和自注意力的混合，它提高了典型ResNet的准确性。然而，自我注意的复杂度是O（n2）的计算和内存使用相对于输入令牌的数量。在这个项目中，我们提出了EAANet：高效的注意力增强卷积网络，它将高效的自我注意力机制融合在卷积和自我注意力混合架构中，以减少模型的内存占用。我们的最佳模型显示了比AA-Net和ResNet 18更好的性能。我们还探索了用自注意力机制增强卷积网络的不同方法，并展示了与ResNet相比，训练这些方法的难度。最后，我们表明，增强有效的自我注意力机制与ResNet规模更好地与输入大小比正常的自我注意力机制。因此，我们的EAANet更能够处理高分辨率图像。
2022-06-03 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York（约克大学）
我们提出了一种新的技术，将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示，与U-Net及其残差变体相比，具有很强的竞争力。
2019-02-08 cs.CV
Convolutional Models for Joint Object Categorization and Pose Estimation
Rutgers University（罗格斯大学）
在对象识别的任务中，存在对象的分类和估计对象姿态之间的二分法，其中前者需要视图不变的表示，而后者需要能够捕获不同类别的对象的姿态信息的表示。随着深度架构的兴起，主要焦点一直集中在对象类别识别上。深度学习方法在这项任务中取得了广泛的成功。相比之下，使用这些方法的对象姿态回归受到的关注相对较少。在本文中，我们展示了深度架构，特别是卷积神经网络（CNN），可以适用于同时分类和物体姿态估计的任务。我们调查和分析了各种CNN模型的层，并在它们之间进行了广泛的比较，目的是发现CNN的分布式表示层如何表示对象姿势信息，以及这与对象类别表示如何矛盾。我们在两个最近的大型和具有挑战性的多视图数据集上进行了广泛的实验。我们的模型在两个数据集上都取得了比最先进的性能更好的性能。
2016-04-19 cs.AI cs.CV cs.LG
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
对于单目图像中的人体姿态估计，人体上的关节遮挡和重叠通常会导致姿态预测的偏差。在这些情况下，可能会产生生物学上难以置信的姿势预测。相比之下，人类视觉能够通过利用关节互连的几何约束来预测姿势。为了通过结合人体结构的先验知识来解决这个问题，我们提出了一种新的结构感知卷积网络，以便在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反，我们设计了判别器来区分真实的姿势和虚假的姿势（比如生物学上不可信的姿势）。如果姿态生成器（G）生成的结果无法与真实结果区分开来，则网络成功地学习了先验知识。
2017-05-02 cs.CV
Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose
Seoul National University（首尔大学）
大多数最近的基于深度学习的3D人体姿态和网格估计方法从输入图像回归人体网格模型（诸如SMPL和MANO）的姿态和形状参数。这些方法的第一个弱点是外观域间隙问题，这是由于来自受控环境（例如实验室）的训练数据与来自野外环境的测试数据之间的不同图像外观。第二个弱点是，由于3D旋转的表示问题，姿态参数的估计是相当具有挑战性的。为了克服上述弱点，我们提出了Pose2Mesh，这是一种新的基于图卷积神经网络（GraphCNN）的系统，它直接从2D人体姿势估计人体网格顶点的3D坐标。作为输入的2D人体姿势提供基本的人体关节信息，同时在两个域之间具有相对均匀的几何特性。此外，所提出的系统避免了表示问题，同时以粗到细的方式使用GraphCNN充分利用网格拓扑。我们证明了我们的Pose2Mesh在各种基准数据集上的性能优于以前的3D人体姿势和网格估计方法。有关代码，请参见https://github.com/hongsukchoi/Pose2Mesh_RELEASE。
2021-04-27 cs.CV
3D-UGCN: A Unified Graph Convolutional Network for Robust 3D Human Pose Estimation from Monocular RGB Images
Beijing Institute of Petrochemical Technology（北京石油化工学院）
本文提出改进的统一图卷积网络3D-UGCN，通过处理3D人体姿态数据并改善骨架序列，解决单视角视频中因遮挡导致的人体姿态缺失问题，提升了3D人体姿态估计的鲁棒性。
2024-07-23 cs.CV
Convolutional Pose Machines
Carnegie Mellon University（卡内基梅隆大学）
Pose Machines提供了一个顺序预测框架，用于学习丰富的隐式空间模型。在这项工作中，我们展示了如何将卷积网络纳入姿势机器框架的系统设计，以学习图像特征和图像相关的空间模型，用于姿势估计任务。本文的贡献是隐式建模变量之间的长期依赖关系的结构化预测任务，如关节姿势估计。我们通过设计一个由卷积网络组成的顺序架构来实现这一点，该架构直接对前一阶段的置信图进行操作，从而为零件位置产生越来越精确的估计，而无需显式的图形模型式推理。我们的方法通过提供一个自然的学习目标函数来实现中间监督，从而补充反向传播的梯度并调节学习过程，从而解决了训练过程中梯度消失的特征困难。我们展示了最先进的性能，并在标准基准（包括MPII，LSP和FLIC数据集）上优于竞争方法。
2016-04-12 cs.CV
Unifying Convolution and Attention via Convolutional Nearest Neighbors
Bowdoin College（鲍登学院）
提出卷积最近邻（ConvNN）统一框架，将卷积和注意力视为k近邻聚合的特例，通过可配置的邻居选择策略桥接两者，在ImageNet-1K上分别提升ResNet-50和ViT-Base性能。
2026-07-02 cs.CV
Pose Refinement Graph Convolutional Network for Skeleton-based Action Recognition
随着2D或3D骨骼数据捕获技术的发展，基于骨骼的动作识别在过去几年中受到了越来越多的关注。由于骨架数据通常由图表示，因此已经提出了用于该任务的图卷积网络。虽然当前的图卷积网络准确地识别动作，但它们对于计算资源有限的机器人应用来说太昂贵了。因此，在本文中，我们提出了一个高效的图卷积网络，解决了以前的作品的局限性。这是通过逐渐融合运动和空间信息的并行结构以及通过尽可能早地降低时间分辨率来实现的。此外，我们明确地解决了人类姿势可能包含错误的问题。为此，网络首先对姿势进行细化，然后再对其进行进一步处理以识别动作。因此，我们称该网络为姿态精化图卷积网络。与其他图卷积网络相比，该网络在达到相当精度的同时，所需参数减少了86%-93%，浮点运算减少了89%-96%.因此，它在精度、内存占用和处理时间之间提供了更好的权衡，这使得它适用于机器人应用。
2021-01-18 cs.CV
GPRAR: Graph Convolutional Network based Pose Reconstruction and Action Recognition for Human Trajectory Prediction
University of Colorado Denver（科罗拉多大学丹佛分校）
高精度预测对于自动驾驶等各种应用至关重要。现有的预测模型很容易在现实世界的环境中出现错误，其中观察（例如人类姿势和位置）通常是嘈杂的。为了解决这个问题，我们引入了GPRAR，一个基于图卷积网络的姿态重建和动作识别的人体轨迹预测。GPRAR的核心思想是在噪声场景下生成鲁棒的特征：人体姿势和动作。为此，我们设计了GPRAR使用两个新的子网络：PRAR（姿态重建和动作识别）和FA（特征聚合器）。PRAR的目标是同时重建人体姿态和动作特征的连贯性和结构特性的人体骨骼。它是一个编码器和两个解码器的网络，每个解码器包括多层时空图卷积网络。此外，我们提出了一个功能聚合器（FA）通道聚合学习的功能：人体姿势，动作，位置和相机运动使用基于编码器-解码器的时间卷积神经网络预测未来的位置。在常用数据集上进行的广泛实验：JAAD [13]和TITAN [19]显示GPRAR的准确性优于最先进的模型。具体而言，GPRAR在JAAD和TITAN数据集上的噪声观测下分别将预测精度提高了22%和50
2021-03-25 cs.CV
Global Context for Convolutional Pose Machines
Intel（英特尔）
卷积位姿机是一种用于关节位姿估计的流行神经网络结构。在这项工作中，我们探索它的经验接受领域，并意识到，它可以与全球背景的整合得到加强。为此，提出了U形上下文池模型，并与语义分割领域常用的金字塔池和空间金字塔池模型进行了比较。所提出的神经网络实现了最先进的准确性与87.9%的PCKh的单人姿势估计上看人数据集。该网络的较小版本每秒运行超过160帧，而准确度仅低2.9%。在MPII基准测试中对所提出的方法进行了测试，结果表明，它比基于沙漏的网络更快，同时提供了类似的精度。该代码可在https://github.com/opencv/openvino_training_extensions/tree/develop/pytorch_toolkit/human_pose_estimation上获得。
2019-06-10 cs.CV
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton（南安普顿大学）；Fuzhou University（福州大学）
传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
ConvPoseCNN: Dense Convolutional 6D Object Pose Estimation
University of Bonn（波恩大学）
6D物体姿态估计是许多应用的先决条件。近年来，单目位姿估计因其不需要深度测量而引起了广泛的研究兴趣。在这项工作中，我们引入了ConvPoseCNN，这是一种完全卷积的架构，可以避免剪切单个对象。相反，我们提出了像素级的，密集预测的对象姿态的平移和方向分量，其中密集的方向表示在四元数的形式。我们提出了不同的方法聚集的密集方向的预测，包括平均和聚类方案。我们在具有挑战性的YCB-Video数据集上评估了ConvPoseCNN，在那里我们证明了该方法的参数要少得多，并且比同类方法训练得更快，而不会牺牲准确性。此外，我们的研究结果表明，密集的方向预测隐式地学习到值得信赖的，无遮挡的，功能丰富的对象区域。
2019-12-16 cs.CV
3D Convolution on RGB-D Point Clouds for Accurate Model-free Object Pose Estimation
Nanyang Technological University（南洋理工大学）
传统的3D物体姿态估计通常需要物体的3D模型的知识。即使随着卷积神经网络（CNN）的最新发展，在最终估计中也常常需要3D模型。在本文中，我们提出了一个两阶段的管道，在原始彩色点云数据和估计对象的平移和旋转，通过运行三维卷积体素。流水线简单但高度精确：平移误差降低到体素分辨率（约1 cm），旋转误差约为5度。该管道还用于实际的机器人抓取测试，测试对象的成功率达到90%以上。另一个创新是使用运动捕捉系统来自动标记点云样本，这使得可以快速收集大量高精度的真实数据用于训练神经网络。
2018-12-29 cs.CV cs.LG cs.RO
OriNet: A Fully Convolutional Network for 3D Human Pose Estimation
The Johns Hopkins University（约翰斯·霍普金斯大学）；Baidu Research (USA)（百度研究院（美国））
在本文中，我们提出了一个完全卷积网络的3D人体姿态估计从单目图像。我们使用肢体方向作为一种新的方式来表示3D姿势，并将方向与每个肢体区域的限界框绑定在一起，以更好地将图像和预测相关联。3D方向与2D关键点检测联合建模。在没有额外约束的情况下，这种简单的方法可以在几个大规模的基准测试中取得良好的结果。进一步的实验表明，我们的方法可以很好地推广到新的场景和不准确的包围盒是鲁棒的。
2018-11-12 cs.CV
3D human pose estimation in video with temporal convolutions and semi-supervised training
ETH Zürich（苏黎世联邦理工学院）；Facebook AI Research（脸书人工智能研究院）；Google Brain（谷歌大脑）
在这项工作中，我们证明了视频中的3D姿势可以有效地估计与完全卷积模型的基础上，在2D关键点的膨胀时间卷积。我们还介绍了反向投影，这是一种简单有效的半监督训练方法，它利用了未标记的视频数据。我们从未标记视频的预测2D关键点开始，然后估计3D姿势，最后反向投影到输入的2D关键点。在监督设置中，我们的全卷积模型在Human3.6M上的每个关节平均位置误差为6 mm，比文献中的最佳结果高出11%，并且该模型在HumanEva-I上也显示出显着的改进。此外，反向投影的实验表明，它在标记数据稀缺的半监督设置中的表现优于以前的最先进的结果。代码和模型可在https://github.com/facebookresearch/VideoPose3D上获得
2019-03-29 cs.CV
RFAConv: Receptive-Field Attention Convolution for Improving Convolutional Neural Networks
College of Computer and Information Science, Chongqing Normal University（重庆师范大学计算机与信息科学学院）；Chongqing Engineering Research Center of Educational Big Data Intelligent Perception and Application（教育大数据智能感知与应用重庆工程研究中心）；College of Electronic and Information Engineering, Southwest University（西南大学电子与信息工程学院）
RFAConv通过接收场注意力机制改进卷积神经网络，提升性能同时保持低计算开销
2026-02-28 cs.CV
FCPose: Fully Convolutional Multi-Person Pose Estimation with Dynamic Instance-Aware Convolutions
The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
我们提出了一个完全卷积的多人姿态估计框架，使用动态实例感知卷积，称为FCPose。与通常需要ROI（感兴趣区域）操作和/或分组后处理的现有方法不同，FCPose消除了ROI和具有动态实例感知关键点估计头的分组后处理。动态关键点头部以每个实例（人）为条件，并且可以在其过滤器的动态生成的权重中对实例概念进行编码。此外，凭借动态卷积的强大表示能力，FCPose中的关键点头部被设计得非常紧凑，从而实现快速推理，并使FCPose无论图像中的人数如何都具有几乎恒定的推理时间。例如，在COCO数据集上，使用DLA-34主干的FCPose实时版本的推断速度比Mask R-CNN（ResNet-101）快约4.5倍（41.67 FPS vs. 9.26FPS），同时实现了更高的性能。FCPose还提供了比其他最先进的方法更好的速度/精度权衡。我们的实验结果表明，FCPose是一个简单而有效的多人姿态估计框架。代码可在：https://git.io/AdelaiDet
2021-05-29 cs.CV
Dynamic Convolution: Attention over Convolution Kernels
Microsoft（微软）
轻量级卷积神经网络（CNN）的性能下降，因为它们的低计算预算限制了CNN的深度（卷积层的数量）和宽度（通道的数量），导致有限的表示能力。为了解决这个问题，我们提出了动态卷积，这是一种新的设计，可以在不增加网络深度或宽度的情况下增加模型的复杂性。动态卷积不是每层使用一个卷积核，而是基于它们的注意力动态聚合多个并行卷积核，这是依赖于输入的。组装多个内核不仅由于内核大小小而在计算上高效，而且由于这些内核通过注意力以非线性方式聚合而具有更大的表示能力。通过简单地为最先进的架构MobileNetV 3-Small使用动态卷积，ImageNet分类的前1精度提高了2.9%，仅增加了4%的FLOP，并且在COCO关键点检测上实现了2.9 AP增益。
2020-03-31 cs.CV
Bird Species Categorization Using Pose Normalized Deep Convolutional Nets
California Institute of Technology（加州理工学院）；University of California, San Diego（加州大学圣迭戈分校）；Cornell Tech（康奈尔科技校区）
我们提出了一个架构细粒度的视觉分类，方法专家人类的表现在鸟类的分类。我们的架构首先计算对象的姿态估计，这是用来计算本地图像的功能，反过来，用于分类。通过将深度卷积网络应用于由姿势定位和归一化的图像块来计算特征。我们进行了实证研究的姿态规范化计划，包括调查高阶几何扭曲功能。我们提出了一种新的基于图的聚类算法学习一个紧凑的姿势归一化空间。我们对最先进的深度卷积特征实现进行了详细的研究，并对细粒度分类的特征学习进行了微调。我们观察到，将较低级别的特征层与姿势归一化的提取例程和较高级别的特征层与未对齐的图像特征相结合的模型效果最好。我们的实验提高了鸟类物种识别的最新性能，与以前的方法相比，正确分类率有很大的提高（75% vs. 55-65%）。
2014-06-11 cs.CV
DGECN: A Depth-Guided Edge Convolutional Network for End-to-End 6D Pose Estimation
Wuhan University（武汉大学）；Anhui University（安徽大学）
单目6D位姿估计是计算机视觉中的一项基本任务。现有的工作通常采用两阶段的管道，通过建立对应关系，并利用RANSAC算法来计算6自由度（6DoF）的姿态。最近的工作尝试集成可微RANSAC算法，以实现端到端的6D姿态估计。然而，大多数算法在执行可微RANSAC算法时，很少考虑三维空间的几何特征，忽略了拓扑线索。为此，我们提出了一种深度引导边缘卷积网络（DGECN）的6D姿态估计任务。本文主要从以下三个方面进行了研究：1）利用深度估计信息指导对应关系提取过程，并结合几何信息指导级联可微RANSAC算法。2）利用深度图估计的不确定性来提高输出6D姿态的准确性和鲁棒性。3)我们提出了一个可微的透视n点（PPENS）算法，通过边缘卷积来探索2D-3D对应之间的拓扑关系。实验表明，我们提出的网络优于目前的工作的有效性和效率。
2022-04-21 cs.CV
Region Ensemble Network: Improving Convolutional Network for Hand Pose Estimation
Tsinghua University（清华大学）
基于单目深度图像的手势估计是人机交互中一个重要而又具有挑战性的问题。最近，具有复杂设计的深度卷积网络（ConvNet）已被用来解决这个问题，但相对于传统方法的改进并不明显。为了提高直接三维坐标回归的性能，我们提出了一种树结构的区域包围网络（REN），它将卷积输出划分为区域，并将每个区域上的多个回归器的结果集成在一起。与多模型集成相比，我们的模型是完全端到端的训练。实验结果表明，我们的方法在两个公共数据集上取得了最好的性能。
2017-05-09 cs.CV
Searching for TrioNet: Combining Convolution with Local and Global Self-Attention
Zhejiang University（浙江大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近，自我注意力算子作为视觉模型的独立构建块表现出优越的性能。然而，现有的自注意力模型通常是手工设计的，从CNN修改而来，并且仅通过堆叠一个算子来获得。结合不同的自注意算子和卷积的更广泛的架构空间很少被探索。在本文中，我们探索这个新的架构空间与权重共享神经架构搜索（NAS）算法。结果架构被命名为TrioNet，用于组合卷积、局部自注意和全局（轴向）自注意运算符。为了在这个巨大的架构空间中有效地搜索，我们提出了分层采样来更好地训练超网。此外，我们提出了一种新的权重共享策略，多头共享，专门为多头自注意运营商。我们搜索到的TrioNet结合了自我注意力和卷积，在ImageNet分类上的表现优于所有独立模型，并且FLOP更少，其中自我注意力的表现优于卷积。此外，在各种小数据集上，我们观察到自我注意力模型的性能较差，但我们的TrioNet仍然能够匹配最佳算子，在这种情况下是卷积。我们的代码可在https://github.com/phj128/TrioNet上获得。
2021-11-15 cs.CV
Flexible graph convolutional network for 3D human pose estimation
Concordia University（康考迪亚大学）
针对图卷积网络在3D人体姿态估计中依赖一跳邻居难以捕捉高阶依赖的问题，提出Flex-GCN，通过聚合一阶和二阶邻居特征并引入全局响应归一化层，在保持复杂度不变的情况下于基准数据集上取得有竞争力的性能。
2024-07-26 cs.CV
Lifting from the Deep: Convolutional 3D Pose Estimation from a Single Image
University College London（伦敦大学学院）；The Turing Institute（图灵研究所）；The University of Edinburgh（爱丁堡大学）
我们提出了一个统一的公式，从一个单一的原始RGB图像的原因，共同对2D联合估计和3D姿态重建，以提高这两个任务的3D人体姿态估计的问题。我们采取了一种综合的方法，将3D人体姿势的概率知识与多级CNN架构融合在一起，并使用合理的3D地标位置的知识来改进对更好的2D位置的搜索。整个过程是端到端训练的，非常有效，并在Human3.6M上获得了最先进的结果，在2D和3D错误方面都优于以前的方法。
2017-10-11 cs.CV
Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data
Support Center for Advanced Neuroimaging (SCAN), University Institute of Diagnostic and Interventional Neuroradiology, University of Bern, Inselspital, Bern University Hospital（高级神经影像支持中心（SCAN）、伯尔尼大学诊断与介入神经放射学研究所、伯尔尼大学、因塞尔斯皮塔尔医院、伯尔尼大学医院）；NVIDIA（英伟达）
针对医学图像分割网络多依赖标准卷积、姿态鲁棒性不足的问题，提出基于球谐函数等变体素卷积的分割网络，无需旋转数据增强，在脑MRI分割任务中性能、小数据鲁棒性和参数效率均更优。
2024-05-17 cs.CV cs.LG eess.IV
Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos
National University of Singapore（新加坡国立大学）；Tencent Game AI Research Center（腾讯游戏AI研究中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
尽管最近的进展，从单目视频的3D多人姿态估计仍然是具有挑战性的，由于经常遇到的问题所造成的遮挡，部分帧外的目标人物，和不准确的人检测的信息丢失。为了解决这个问题，我们提出了一种新的框架，集成了图卷积网络（GCN）和时间卷积网络（TCN），以鲁棒地估计以相机为中心的多人3D姿态，不需要相机参数。特别是，我们引入了一个人关节GCN，这与现有的GCN，是基于一个有向图，采用2D姿态估计的置信度分数，以提高姿态估计结果。我们还介绍了一个人骨GCN，它模拟骨连接，并提供更多的信息，超越人类关节。这两个GCN一起工作以估计空间逐帧3D姿态，并且可以利用目标帧中的可见关节和骨骼信息来估计被遮挡或缺失的人体部位信息。为了进一步改进3D姿态估计，我们使用我们的时间卷积网络（TCN）来执行时间和人体动力学约束。我们使用一个joint-TCN跨帧估计以人为中心的3D姿态，并提出了一个velocity-TCN估计的3D关节的速度，以确保连续帧中的3D姿态估计的一致性。最后，为了估计多个人的3D人体姿态，我们提出了一个根TCN，估计以相机为中心的3D姿态，而不需要相机参数。定量和定性的评价证明了所提出的方法的有效性。
2021-04-07 cs.CV
Interpolation between Convolution and Attention via K-Nearest Neighbors
Bowdoin College（博德因学院）
提出ConvNN统一框架，将卷积和自注意力视为K近邻聚合的特例，通过可配置的相似度函数和邻居选择策略实现局部与全局聚合的连续插值。
2026-06-16 cs.CV
