Fine-Grained Classification of Pedestrians in Video: Benchmark and State of the Art
California Institute of Technology（加州理工学院）
介绍了一种用于研究行人细粒度分类的视频数据集。行人是从一辆行驶的车辆上“在野外”记录下来的。注释包括边界框、轨迹、带有遮挡信息的14个关键点以及年龄（5类）、性别（2类）、体重（3类）和服装风格（4类）的细粒度类别。总共有27，454个限界框和姿势标签跨越4222个轨迹。该数据集旨在训练和测试用于细粒度分类的人的算法，它也可用于基准跟踪，检测和行人的姿态估计。国家的最先进的细粒度分类和姿态估计算法进行了测试，使用的数据集和报告的结果作为一个有用的性能基线。
2016-05-20 cs.CV
A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
近年来，随着深度学习技术的发展，人脸表情识别的研究取得了很大的进展，但一些典型的具有挑战性的问题，如丰富的面部表情和姿态的多样性，仍然没有得到解决。为了解决这些问题，我们开发了一个新的面部表情识别（FER）框架，涉及到我们的图像合成和分类过程中的面部姿态。这项工作有两个主要的创新之处。首先，我们创建了一个新的面部表情数据集，其中包含超过20万张图像，包括119个人，4个姿势和54个表情。据我们所知，这是第一个为表情识别目的标记具有细微情感变化的人脸的数据集。它也是第一个足够大的数据集，可以验证不平衡姿势、表情和zero-shot受试者ID上的FER任务。其次，我们提出了一个面部姿态生成对抗网络（FaPE-GAN）来合成新的面部表情图像，以增强用于训练目的的数据集，然后学习基于LightCNN的Fa-Net模型进行表情分类。最后，我们在这个数据集上提出了四个新的学习任务。实验结果很好地验证了该方法的有效性。
2019-07-25 cs.CV
Fully Convolutional Attention Networks for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别是具有挑战性的，因为它的微妙的局部类间差异与大的类内变化，如姿势。解决这一问题的关键是对区分性部分进行局部化，以提取姿态不变特征。然而，获得地面实况零件注释可能是昂贵的。此外，很难为许多细粒度的类定义部件。这项工作介绍了全卷积注意力网络（FCANs），一个强化学习框架，以最佳的局部判别区域适应不同的细粒度域。与以前的方法相比，我们的方法具有三个优点：1）弱监督强化学习过程不需要昂贵的部分注释; 2）全卷积架构加速了训练和测试; 3）贪婪奖励策略加速了学习的收敛。我们证明了我们的方法的有效性与广泛的实验上四个具有挑战性的细粒度基准数据集，包括CUB-200-2011，斯坦福狗，斯坦福汽车和食品-101。
2017-03-21 cs.CV
Bird Species Categorization Using Pose Normalized Deep Convolutional Nets
California Institute of Technology（加州理工学院）；University of California, San Diego（加州大学圣迭戈分校）；Cornell Tech（康奈尔科技校区）
我们提出了一个架构细粒度的视觉分类，方法专家人类的表现在鸟类的分类。我们的架构首先计算对象的姿态估计，这是用来计算本地图像的功能，反过来，用于分类。通过将深度卷积网络应用于由姿势定位和归一化的图像块来计算特征。我们进行了实证研究的姿态规范化计划，包括调查高阶几何扭曲功能。我们提出了一种新的基于图的聚类算法学习一个紧凑的姿势归一化空间。我们对最先进的深度卷积特征实现进行了详细的研究，并对细粒度分类的特征学习进行了微调。我们观察到，将较低级别的特征层与姿势归一化的提取例程和较高级别的特征层与未对齐的图像特征相结合的模型效果最好。我们的实验提高了鸟类物种识别的最新性能，与以前的方法相比，正确分类率有很大的提高（75% vs. 55-65%）。
2014-06-11 cs.CV
Active Learning for Fine-Grained Sketch-Based Image Retrieval
Carnegie Mellon University（卡内基梅隆大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种基于数据分布的主动学习采样方法，利用已有照片-草图对与无草图照片的关系及其特征来平衡不确定性与多样性，显著减少FG-SBIR中的草图标注工作量，并在ChairV2和ShoeV2上验证了其优于现有基线。
2023-09-15 cs.CV
Regional Attention Network (RAN) for Head Pose and Fine-grained Gesture Recognition
Edge Hill University（边山大学）；Aberystwyth University（阿伯里斯特威斯大学）
情感通常通过非语言的肢体语言表达，如动作/手势，这是人类行为的重要指标。最近的研究在单目图像中的细粒度动作/手势的识别主要集中在表示身体姿势，人与物体的相互作用和局部外观的变化的身体部位的建模空间配置。结果表明，这是一种脆弱的方法，因为它依赖于准确的身体部位/对象检测。在这项工作中，我们认为，存在局部歧视性的语义区域，其“信息性”可以评估的注意力机制推断细粒度的手势/动作。为此，我们提出了一种新的端到端\textbf{Regional Attention Network (RAN)}，这是一个完全卷积神经网络（CNN），通过注意力机制组合多个上下文区域，专注于与给定任务最相关的图像部分。我们的区域由一个或多个连续的细胞，并适应于计算HOG（方向梯度直方图）描述符中使用的策略。该模型在属于3种不同场景的10个数据集上进行了广泛的评估：1）头部姿势识别，2）驾驶员状态识别，以及3）人类动作和面部表情识别。所提出的方法优于国家的最先进的一个相当大的利润率在不同的指标。
2021-01-17 cs.AI cs.CV cs.LG
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Nanjing University（南京大学）
细粒度图像识别是一个具有挑战性的计算机视觉问题，这是由于高度相似的从属类别引起的小的类间变化，以及姿态、尺度和旋转的大的类内变化。在本文中，我们提出了一种新的端到端Mask-CNN模型，没有完全连接的层，用于细粒度识别。基于细粒度图像的部分注释，所提出的模型由一个完全卷积的网络组成，以定位有区别的部分（例如，头部和躯干），更重要的是，生成对象/部分掩模，用于选择有用和有意义的卷积描述符。之后，构建一个四流Mask-CNN模型，用于同时聚合选定的对象级和部件级描述符。与最先进的细粒度方法相比，所提出的Mask-CNN模型具有最少的参数数量，最低的特征维度和最高的识别准确率。
2016-05-23 cs.CV
Adaptive Fine-Grained Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
最近的焦点细粒度草图为基础的图像检索（FG-SBIR）已经转向推广一个模型到新的类别，没有任何训练数据。然而，在现实世界的应用中，经训练的FG-SBIR模型通常被应用于新类别和不同的人类草图绘制者，即，不同的绘画风格。虽然这使泛化问题变得复杂，但幸运的是，通常有一些示例可用，使模型能够适应新的类别/风格。在本文中，我们提供了一个新的视角-而不是要求一个模型，概括，我们主张一个快速适应，只有很少的样本在测试过程中（在一个Few-Shot的方式）。为了解决这个新问题，我们引入了一个新的基于模型不可知元学习（MAML）的框架，并进行了几个关键修改：（1）作为一个基于边缘的对比损失的检索任务，我们简化了内部循环中的MAML训练，使其更加稳定和易于处理。(2)我们的对比损失的边际也是通过模型的其余部分元学习的。(3)在外循环中引入了三个额外的正则化损失，以使元学习的FG-SBIR模型对于类别/风格适应更有效。在公共数据集上进行的大量实验表明，与基于泛化和zero-shot的方法相比，有很大的增益，并且有一些强的Few-Shot基线。
2022-08-19 cs.CV
LED-BENCH: A Benchmark for Large-format Engineering Drawing Understanding
Tongji University（同济大学）
研究针对大幅面工程图纸理解缺乏系统性评估的问题，推出LED-BENCH基准测试集，评估11个多模态大语言模型后发现，细粒度理解等仍是当前模型的持续挑战。
2026-10-20 cs.CV
Coarse2Fine: A Two-stage Training Method for Fine-grained Visual Classification
University of Southern California（南加州大学）；Clarifai
小的类间差异和大的类内差异是细粒度视觉分类的主要挑战。来自不同类的对象共享视觉上相似的结构，并且同一类中的对象可以具有不同的姿势和视点。因此，正确提取区分性局部特征（例如鸟喙或汽车前灯）至关重要。近年来在这一问题上取得的大部分成功都是基于注意力模型，它可以定位和关注局部区分对象部分。在这项工作中，我们提出了一种视觉注意力网络的训练方法，Coarse2Fine，它创建了一个从输入空间到关注特征图的可微路径。Coarse2Fine从关注特征映射到原始图像中的信息区域学习逆映射函数，这将引导注意力映射更好地关注细粒度特征。我们表明，Coarse2Fine和正交初始化的注意力权重可以超过国家的最先进的精度对常见的细粒度分类任务。
2019-09-06 cs.CV
Graph Embedded Pose Clustering for Anomaly Detection
Tel-Aviv University（特拉维夫大学）；Alibaba Group（阿里巴巴集团）
我们提出了一种新的人类行为异常检测方法。我们的方法直接工作在人体姿态图，可以从输入视频序列计算。这使得分析独立于多余的参数，如视点或照明。我们将这些图映射到一个潜在的空间，并对它们进行聚类。然后，每个动作由其对每个集群的软分配来表示。这给数据提供了一种“词袋”表示，其中每个动作都由其与一组基本动作词的相似性表示。然后，我们使用基于Dirichlet过程的混合，这对于处理比例数据（例如我们的软分配向量）非常有用，以确定动作是否正常。我们评估我们的方法对两种类型的数据集。第一种是细粒度的异常检测数据集（例如上海科技），我们希望检测某些行为的异常变化。第二种是粗粒度异常检测数据集（例如，基于动力学的数据集），其中很少动作被认为是正常的，并且每隔一个动作都应被认为是异常的。在基准测试上的大量实验表明，我们的方法比其他最先进的方法表现得更好。
2020-04-10 cs.CV
Weakly Supervised Bilinear Attention Network for Fine-Grained Visual Classification
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
对于细粒度的视觉分类，对象通常具有相似的几何结构，但呈现不同的局部外观和不同的姿态。因此，定位和提取区分性的局部特征在准确的类别预测中起着至关重要的作用。现有的工作要么关注有限的对象部分，要么训练孤立的网络进行定位和分类。在本文中，我们提出了弱监督双线性注意力网络（WS-BAN）来解决这些问题。该算法通过联合生成一组注意力图（region-of-interest maps）来表示物体各部分的位置，并通过双线性注意力池（BAP）提取连续的部分特征。此外，我们提出了注意正则化和注意丢弃来弱监督注意图的生成过程。WS-BAN可以进行端到端的训练，并在多个细粒度分类数据集上实现了最先进的性能，包括CUB-200-2011，Stanford Car和FGVC-Aircraft，这证明了它的有效性。
2019-02-28 cs.CV
You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出一种组合性框架，利用预训练CLIP模型结合草图与文本进行细粒度图像检索，实现更精确查询并扩展至组合检索、域属性转移和细粒度生成等新应用。
2024-03-20 cs.CV
Intelligent Power Grid Design Review via Active Perception-Enabled Multimodal Large Language Models
Yangjiang Yangxi Power Supply Bureau, Guangdong Power Grid Co., Ltd., Yangjiang, China（阳江阳西供电局，广东电网公司）；Guangdong Laboratory of Artificial Intelligence（广东人工智能实验室）
本文提出基于主动感知多模态大语言模型的智能电网设计审查方法，通过三阶段框架提升对设计错误的识别准确性和审查可靠性。
2025-11-24 cs.CV cs.HC cs.LG
QuIC: A Quantum-Inspired Interaction Classifier for Revitalizing Shallow CNNs in Fine-Grained Recognition
Big Data Chung Yuan Christian University Taoyuan City, Taiwan（大数据 Chung Yuan Christian 大学 台中市 台湾）；Big Data Quantum Information Center Chung Yuan Christian University Taoyuan City, Taiwan（大数据 量子信息中心 Chung Yuan Christian 大学 台中市 台湾）
QuIC通过受量子启发的交互分类器，提升浅层CNN在细粒度识别中的性能，显著提高VGG16精度并超越SE-Block。
2026-01-05 cs.CV cs.LG
SASP: Strip-Aware Spatial Perception for Fine-Grained Bird Image Classification
Central China Normal University（中央财经大学）
本文提出基于条带感知空间感知的细粒度鸟类分类框架 SASP，通过 EPA 和 CSW 模块捕获行列级远程空间依赖并融合通道语义，在 CUB-200-2011 上以 ResNet-50 骨干实现显著性能提升。
2025-06-03 cs.AI cs.CV
3D Pose Estimation for Fine-Grained Object Categories
University of Maryland, College Park（马里兰大学帕克分校）；Baidu, Inc.（百度公司）
现有的对象姿态估计数据集与通用对象类型相关，并且到目前为止还没有用于细粒度对象类别的数据集。在这项工作中，我们引入了一个新的大型数据集基准姿态估计细粒度的对象，由于最近的二维和三维细粒度数据的可用性。具体来说，我们通过为每个子类别找到细粒度的3D CAD模型并使用3D姿态手动注释图像中的每个对象来增强两个流行的细粒度识别数据集（StanfordCars和CompCars）。我们表明，有足够的训练数据，一个完整的透视模型与连续的参数可以估计单独使用2D外观信息。我们通过基于Faster/Mask R-CNN的框架来实现这一点。这超越了以前的工作类别级姿态估计，仅估计离散/连续的视角角度或恢复旋转矩阵往往与关键点的帮助。此外，随着细粒度的3D模型可用，我们将一个密集的3D表示命名为位置字段到基于CNN的姿态估计框架，以进一步提高性能。新数据集可在www.umiacs.umd.edu/~wym/3dpose.html上获得
2018-11-07 cs.CV
Video Pose Distillation for Few-Shot, Fine-Grained Sports Action Recognition
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
人体姿态是精细运动动作理解的一个有用特征。然而，姿态估计往往是不可靠的，当运行在体育视频由于域移位和因素，如运动模糊和遮挡。当下游任务（例如动作识别）依赖于姿势时，这导致准确性差。端到端学习绕过了pose，但需要更多的标签来泛化。我们介绍了视频姿态蒸馏（VPD），这是一种弱监督技术，用于学习新视频领域的特征，例如挑战姿态估计的个人运动。在VPD下，学生网络学习从体育视频中的RGB帧中提取鲁棒的姿势特征，这样，只要姿势被认为是可靠的，这些特征就会与预先训练的教师姿势检测器的输出相匹配。我们的策略保留了姿势和端到端世界的最佳部分，利用原始视频帧中丰富的视觉模式，同时学习与运动员在目标视频域中的姿势和运动一致的特征，以避免过度拟合与运动员运动无关的模式。VPD功能提高了四个真实世界体育视频数据集中的Few-Shot、细粒度动作识别、检索和检测任务的性能，而不需要额外的地面实况姿势注释。
2021-09-03 cs.CV
Improving Annotation for 3D Pose Dataset of Fine-Grained Object Categories
Baidu（百度）
现有的对象类别的3D姿态数据集仅限于通用对象类型并且缺乏细粒度信息。在这项工作中，我们引入了一个新的大规模数据集，其中包括409个细粒度类别和31，881个具有准确3D姿势注释的图像。具体来说，我们通过从ShapeNet中为每个子类别找到特定的3D模型，并通过调整完整的7个连续透视参数来手动注释每个2D图像，从而增强了三个现有的细粒度对象识别数据集（StanfordCars，CompCars和FGVC-Aircraft）。由于细粒度的形状允许3D模型更好地拟合图像，因此我们通过从人类注释初始化并进行姿势参数的局部搜索来进一步提高注释质量，目的是最大化投影掩模和从最先进的深度卷积神经网络（CNN）估计的分割参考之间的IoU。我们提供了完整的统计数据的注释与定性和定量的比较表明，我们的数据集可以是一个补充来源，研究3D姿态估计。该数据集可以在http://users.umiacs.umd.edu/~wym/3dpose.html下载。
2018-10-19 cs.CV
Fine-Grained Object Classification via Self-Supervised Pose Alignment
Peng Cheng Laboratory（鹏城实验室）；South China University of Technology（华南理工大学）；China Communication and Computer Network Laboratory of Guangdong（广东中国通信与计算机网络实验室）
细粒度对象的语义模式是由局部对象细微的外观差异决定的，这就激发了许多基于局部的方法。然而，由于不可控的对象在图像中的姿势，独特的细节所携带的局部区域可以是空间分布的，甚至自遮挡，导致对象表示的变化很大。为了减少姿态变化，本文提出学习一种新的基于图的对象表示，以揭示局部部分的全局配置，用于跨类的自监督姿态对齐，其被用作深度表示学习网络上的辅助特征正则化。一个粗到细的监督，连同建议的姿势不敏感的约束，从浅到深的子，网络以课程学习的方式鼓励区别特征。我们在三个流行的细粒度对象分类基准上评估我们的方法，始终达到最先进的性能。源代码可在https://github.com/yangxh11/P2P-Net上获得。
2022-03-30 cs.CV
WHENet: Real-time Fine-Grained Estimation for Wide Range Head Pose
Huawei Technologies Canada（华为技术加拿大公司）
我们提出了一个端到端的头部姿态估计网络，旨在通过从单个RGB图像的全方位头部偏航来预测欧拉角。现有的方法表现良好的正面意见，但很少目标头部姿态从所有的观点。这在自动驾驶和零售业中有应用。我们的网络建立在多损失方法的基础上，改变了损失函数和适应大范围估计的训练策略。此外，我们首次从当前的全景数据集提取前视图的真实标签。由此产生的宽头部姿态估计网络（WHENet）是第一个细粒度的现代方法，适用于全范围的头部偏航（因此宽），但也符合或击败了最先进的方法，用于正面头部姿态估计。我们的网络结构紧凑，适用于移动设备和应用。
2020-09-22 cs.CV
Occlusion-robust Stylization for Drawing-based 3D Animation
School of Electrical Engineering, KAIST（电气工程学院，韩国科学技术院）
针对基于手绘的3D动画中风格化网络因训练与推理的姿态差距导致遮挡下风格质量下降的问题，提出利用光流提供抗遮挡边缘引导的OSF框架，实现单阶段推理，速度提升2.4倍、内存降低2.1倍。
2025-08-01 cs.CV cs.GR
FinePOSE: Fine-Grained Prompt-Driven 3D Human Pose Estimation via Diffusion Models
School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文提出FinePOSE扩散去噪框架，利用部位级文本提示、提示—姿态通信和时间戳风格化增强3D人体姿态估计，并在单人及多人场景中取得领先性能。
2024-05-08 cs.CV
LwPosr: Lightweight Efficient Fine-Grained Head Pose Estimation
ETH Zurich（苏黎世联邦理工学院(ETH Zurich)）
提出了一种用于头部姿态估计（HPE）任务的轻量级网络。虽然以前的方法依赖于卷积神经网络，但所提出的网络\textit{LwPosr}使用了深度可分离卷积（DSC）和Transformer编码器层的混合，这些编码器层被构造成两个流和三个阶段，以提供用于预测头部姿势的细粒度回归。定量和定性的演示表明，该网络能够有效地学习头部姿态，同时使用较少的参数空间。使用三个开源数据集（即300 W-LP、AFLW 2000和BIWI数据集）进行广泛消融。据我们所知，（1）与基于关键点的方法和无关键点的方法相比，\textit{LwPosr}是用于估计头部姿势的最轻网络;（2）它为在平均绝对误差和减少参数数量方面优于先前的轻量级网络设定了基准;（3）它是同类中第一个将DSC和Transformer编码器混合用于HPE的网络。这种方法适用于需要轻量级网络的移动设备。
2022-02-07 cs.CV
Fine-Grained Human Pose Editing Assessment via Layer-Selective MLLMs
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（图像通信与网络工程研究所，上海交通大学）
本文提出HPE-Bench基准和基于层选择性MLLMs的统一框架，用于细粒度评估人体姿态编辑的真实性和质量。
2026-01-19 cs.CV
Pose-Guided Fine-Grained Sign Language Video Generation
Tianjin University（天津大学）
针对手语视频生成中细节失真和时序不一致问题，提出姿态引导运动模型（PGMM），通过粗粒度运动模块和姿态融合模块实现细粒度且运动一致的手语视频生成，并设计时间一致性差异指标，在多数基准测试中优于现有方法。
2024-09-25 cs.CV
Multi-Grained Feature Pruning for Video-Based Human Pose Estimation
College of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）
本文提出多尺度分辨率框架与密度峰值聚类剪枝方法，通过细粒度感知补偿和动态去除视频姿态估计中的冗余时序token，在PoseTrack2017等数据集上实现精度与推理速度的同步提升。
2025-03-07 cs.CV
Fine-grained Human Motion Understanding with Language Models
Delft University of Technology（代尔夫特理工大学）；Honda Research Institute Japan（日本本田研究所）
提出LLM模型\methodname，通过显式时间戳编码和多样化姿态/运动级监督，在多个基准上实现SOTA性能，且仅用2D骨骼输入即可超越3D方法。
2026-10-16 cs.CV
FG$^2$: Fine-Grained Cross-View Localization by Fine-Grained Feature Matching
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本研究提出FG²细粒度跨视图定位方法，通过特征映射、高度维度选择池化生成BEV平面，结合点匹配与Procrustes对齐估计3自由度位姿，在VIGOR数据集上较SOTA降低28%平均定位误差。
2025-03-24 cs.CV
Fine-grained Activity Recognition with Holistic and Pose based Features
Stanford University（斯坦福大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
基于密集轨迹的整体方法是目前视频中人类活动识别的事实标准。无论是整体表示将维持或将取代更高层次的视频编码方面的身体姿势和运动是一个正在进行的辩论的主题。在本文中，我们的目的是澄清的整体和姿势为基础的表示的良好性能负责的根本因素。为此，我们利用现有的人类活动分类法建立了我们最近的数据集。该数据集包括24，920个视频片段，共涵盖410项人类活动。我们的分析表明，整体和姿势为基础的方法是高度互补的，其性能显着不同的活动。我们发现，整体的方法主要是由轨迹的数量和速度的影响，而基于姿势的方法主要是由人的观点的影响。我们观察到活动之间的显着性能差异：对于某些活动，与整体特征相比，基于姿势的特征的结果是准确的两倍以上，反之亦然。在我们的比较中，表现最好的方法是基于整体和基于姿势的方法的组合，这再次强调了它们的互补性。
2014-07-28 cs.CV
Fine-Grained Head Pose Estimation Without Keypoints
Georgia Institute of Technology（佐治亚理工学院）
估计人的头部姿势是一个至关重要的问题，它具有大量的应用，例如帮助凝视估计，建模注意力，将3D模型拟合到视频和执行面部对齐。传统的头部姿态计算方法是从目标人脸中估计出一些关键点，然后用平均的人类头部模型解决2D到3D的对应问题。我们认为，这是一个脆弱的方法，因为它完全依赖于地标检测性能，无关的头部模型和一个特设的拟合步骤。我们提出了一种优雅而强大的方式来确定姿势，通过在300 W-LP（一个大型综合扩展数据集）上训练多损失卷积神经网络，通过联合分箱姿势分类和回归直接从图像强度预测固有欧拉角（偏航，俯仰和滚动）。我们目前的经验测试常见的野生姿态基准数据集，显示国家的最先进的结果。此外，我们在通常用于使用深度进行姿势估计的数据集上测试我们的方法，并开始缩小与最先进的深度姿势方法的差距。我们开源了我们的训练和测试代码，并发布了我们的预训练模型。
2018-04-13 cs.CV
SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More
School of Computer Science and Technology, Xi’an Jiaotong University, China（计算机科学与技术学院，西安交通大学）；MOE KLINNS Lab, Xi’an Jiaotong University, China（教育部KLINNS实验室，西安交通大学）；Zhongguancun Academy, Beijing, China（中关村学院，北京）
SketchVL通过细粒度信用分配优化，提升多模态大语言模型在图表理解和多领域推理中的性能。
2026-01-09 cs.CV
Illumination-Invariant Active Camera Relocalization for Fine-Grained Change Detection in the Wild
Tianjin University（天津大学）；State Administration of Cultural Heritage（国家文物局）
主动摄像机重定位（ACR）是计算机视觉中的一个新问题，它可以有效地降低细粒度变化检测（FGCD）中由于摄像机姿态不对准而引起的图像失真所造成的虚警。尽管ACR可以支持的丰硕成果，但它仍然是一个具有挑战性的问题，这是由相对姿态估计的不稳定结果引起的，特别是对于室外场景，其中照明条件失控，即，两次观察可能具有高度不同的照明。研究了一种光照不变的主动摄像机重定位方法，该方法在相对位姿估计和尺度估计两方面都有改进。我们使用平面片段作为中间表示来促进特征匹配，从而进一步提高光照变化下的姿态估计鲁棒性和可靠性。此外，通过构造一个线性系统，使图像变形误差最小化，从而获得每次ACR迭代的绝对尺度，大大减少了ACR过程的时间消耗，比现有的ACR策略快了近$1.6$倍。我们的工作大大扩展了现实世界的细粒度变化监测任务的文化遗产的可行性。大量的实验测试和实际应用验证了该方法在ACR任务中的有效性和鲁棒性。
2022-04-13 cs.CV
Tomato Multi-Angle Multi-Pose Dataset for Fine-Grained Phenotyping
Institute for Breeding Research on Horticultural Crops, Julius Kuehn-Institute（园艺作物育种研究所，朱利叶斯·克恩研究所）；Computer Graphics Group, Center for Sensor Systems (ZESS), University of Siegen（计算机图形组，传感器系统中心（ZESS），希尔德斯海姆大学）
TomatoMAP数据集通过物联网成像系统和细粒度标注，为番茄多角度多姿态表型分析提供支持，结合深度学习模型验证了自动表型分析的可靠性。
2025-07-15 cs.CV
HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps
Beijing Institute of Technology（北京理工大学）；University of Science and Technology of China（中国科学技术大学）
本文提出了一种基于单应图的视觉定位网络，用于多视角图像与标准定义地图之间的细粒度视觉定位，通过构建满足单应约束的输入对，利用单应关系引导特征融合并限制姿态输出到有效区域，提高了训练效率和定位精度。
2026-06-04 cs.CV
Towards Fine-grained Human Pose Transfer with Detail Replenishing Network
Peking University（北京大学）；DAMO Academy, Alibaba（阿里巴巴达摩院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Digital Media, Peking University（北京大学数字媒体研究所）
人体姿态变换是一个新兴的研究课题，在服装设计、媒体制作、网络广告和虚拟现实等领域有着巨大的应用潜力。对于这些应用程序，细粒度外观细节的视觉真实感对于生产质量和用户参与度至关重要。然而，现有的HPT方法往往遭受三个基本问题：细节不足，内容模糊性和风格不一致，这严重降低了视觉质量和生成的图像的真实感。针对现实世界的应用，我们开发了一个更具挑战性但实用的HPT设置，称为细粒度人体姿势转移（FHPT），更注重语义保真度和细节补充。具体而言，我们分析了现有方法的潜在设计缺陷，通过一个说明性的例子，并建立了核心的FHPT方法相结合的思想，内容合成和功能转移在一起，在一个相互指导的方式。此后，我们用一个细节补充网络（DRN）和一个相应的由粗到细的模型训练方案来证实所提出的方法。此外，我们建立了一套完整的细粒度的评估协议，以解决FHPT的挑战，在一个全面的方式，包括语义分析，结构检测和感知质量评估。在DeepFashion基准数据集上进行的大量实验已经验证了所提出的基准对最先进作品的能力，前10名检索召回率提高了12%-14%，联合定位准确率提高了5%，人脸身份保留提高了近40%。此外，评估结果提供了进一步的见解的主题，这可能会激发许多有前途的未来工作沿着这一方向。
2021-05-07 cs.CV
MoBind: Motion Binding for Fine-Grained IMU-Video Pose Alignment
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Adelaide University（阿德莱德大学）
MoBind通过层次对比学习框架实现IMU与视频姿态的细粒度对齐，提升跨模态检索与动作识别性能。
2026-02-22 cs.CV
Fine-Grained VR Sketching: Dataset and Insights
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
我们提出了第一个细粒度数据集的1,497个3D VR草图和3D形状对的椅子类别具有很大的形状多样性。我们的数据集支持草图社区最近的细粒度数据分析趋势，并将其扩展到积极发展的3D领域。我们主张最方便的素描方案，其中草图由稀疏的线条组成，不需要任何素描技巧，事先培训或耗时准确的绘图。然后，我们第一次研究了细粒度3D VR草图到3D形状检索的场景，作为一种新颖的VR草图应用程序和一个试验场，以推动通用的见解，为未来的研究提供信息。通过在这个新问题上仔细选择设计因素的组合进行实验，我们得出了重要的结论，以帮助后续工作。我们希望我们的数据集能够实现其他新的应用，特别是那些需要细粒度角度的应用，例如细粒度3D形状重建。该数据集可在tinyurl.com/VRSketch3DV21上获得。
2022-09-20 cs.CV
Part-based R-CNNs for Fine-grained Category Detection
University of California, Berkeley（加州大学伯克利分校）
语义部分本地化可以通过显式隔离与特定对象部分相关联的细微外观差异来促进细粒度分类。已经提出了用于姿势归一化表示的方法，但是由于目标检测的困难，通常在测试时假定限界框注释。我们提出了一个细粒度分类模型，通过利用自下而上区域建议计算的深度卷积特征来克服这些限制。我们的方法学习整个对象和部分检测器，在它们之间强制执行学习的几何约束，并从姿势规范化表示中预测细粒度的类别。加州理工大学-加州大学圣地亚哥分校的鸟类数据集上的实验证实，我们的方法优于国家的最先进的细粒度分类方法在端到端的评估，而不需要在测试时的限界框。
2014-07-15 cs.CV
Adversarial Learning for Fine-grained Image Search
University of Washington（华盛顿大学）；eBay Inc.（eBay公司）
细粒度的图像搜索仍然是一个具有挑战性的问题，由于在捕捉细微的差异，无论姿态变化的对象从细粒度的类别。在实践中，具有新的细粒度类别的动态库存为这一挑战增加了另一个维度。在这项工作中，我们提出了一个端到端的网络，称为FGGAN，通过隐式地学习从多视图图像的几何变换来学习区分表示，以进行细粒度图像搜索。我们集成了一个生成对抗网络（GAN），它可以自动处理复杂的视图和姿势变化，通过将它们转换为规范视图，而无需任何预定义的转换。此外，在开集场景中，我们的网络能够更好地匹配来自不可见和未知细粒度类别的图像。在两个公共数据集和一个新收集的数据集上进行的广泛实验表明，所提出的FGGAN在闭集和开集场景中都具有出色的鲁棒性能，与基线相比，相对提高了10%。
2018-07-06 cs.CV
Self-supervised Spatial Reasoning on Multi-View Line Drawings
New York University Tandon School of Engineering（纽约大学坦登工程学院）；University of California, Berkeley（加州大学伯克利分校）
通过最先进的监督深度网络对多视图线条图进行空间推理，最近在SPARE3D数据集上表现出令人困惑的低性能。基于自监督学习在大量数据可用时很有帮助的事实，我们提出了两种自监督学习方法来提高SPARE 3D数据集上视图一致性推理和相机姿态推理任务的基线性能。对于第一个任务，我们使用自监督二进制分类网络来对比任何两个相似3D对象的各种视图之间的线条画差异，使训练后的网络能够有效地学习3D对象的细节敏感但视图不变的线条画表示。对于第二种类型的任务，我们提出了一个自我监督的多类分类框架，训练模型选择正确的相应的视图，从该视图中绘制线条图。我们的方法甚至有助于下游任务与看不见的相机姿势。实验表明，我们的方法可以显着提高基线性能在SPARE3D，而一些流行的自监督学习方法不能。
2022-05-16 cs.AI cs.CV cs.LG
How Self-Supervised Learning Can be Used for Fine-Grained Head Pose Estimation?
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；ICT Research Institute（信息与通信技术研究院）；Iranian Research Organization for Science and Technology (IROST)（伊朗科学技术研究组织（IROST））
头部姿态标注的代价是提高细粒度头部姿态估计（HPE）的主要挑战。虽然自监督学习（SSL）可以解决缺乏大量标记数据的问题，但其对细粒度HPE的有效性尚未得到充分探索。本研究旨在基于两种场景评估细粒度HPE中SSL的使用情况：（1）使用SSL进行权重预训练过程，以及（2）利用HPE之外的辅助SSL损失。我们设计了一个混合多任务学习（HMTL）架构的基础上ResNet50骨干，其中这两种策略都适用。我们的实验结果表明，这两种情况的组合是最适合HPE的。总之，与基线相比，AFLW 2000的平均出错率降低了23.1%，BIWI基准降低了14.2%。此外，它被发现，一些SSL方法更适合迁移学习，而其他人可能是有效的，当他们被认为是辅助任务纳入监督学习。最后，通过使用所提出的HMTL架构，可以使用不同类型的初始权重来降低平均误差：随机，ImageNet和SSL预训练权重。
2022-08-01 cs.CV cs.LG
3D Pose-Based Temporal Action Segmentation for Figure Skating: A Fine-Grained and Jump Procedure-Aware Annotation Approach
Nagoya University（名古屋大学）
针对花样滑冰缺乏3D姿态TAS数据集和方法的问题，本文提出了FS-Jump3D数据集及细粒度跳跃过程感知标注方法，验证了3D姿态特征与细粒度数据集在TAS模型中的有效性。
2024-08-29 cs.CV cs.LG
Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（机器智能与先进计算教育部重点实验室）；Pazhou Lab (HuangPu)（琶洲实验室（黄埔））
本文提出由粗到细潜在扩散方法CFLD，通过纯图像训练范式、感知精化解码器和混合粒度注意力模块解耦外观与姿态控制，在DeepFashion上取得领先的人物图像合成效果。
2024-04-09 cs.CV
Alleviating Human-level Shift : A Robust Domain Adaptation Method for Multi-person Pose Estimation
Beijing Jiaotong University（北京交通大学）
人体姿态估计已经被广泛研究，其中很多关注于需要足够注释的监督学习。然而，在实际应用中，预训练的姿态估计模型通常需要适应没有标签或稀疏标签的新领域。这种用于2D姿态估计的领域自适应尚未被探索。主要原因是姿势本身具有典型的拓扑结构，需要在局部关键点中进行细粒度的特征提取。而现有的自适应方法没有考虑感兴趣对象的拓扑结构，对整幅图像的配准比较粗糙。因此，我们提出了一种新的领域自适应方法进行多人姿态估计的人级拓扑结构对齐和细粒度的特征对齐。我们的方法包括三个模块：交叉注意特征对齐（CAFA），域内结构自适应（ISA）和域间人类拓扑对齐（IHTA）模块。CAFA采用了一个双向空间注意模块（BSAM），专注于细粒度的两个人之间的局部特征的相关性，自适应地聚合一致的适应功能。我们只在半监督领域自适应（SSDA）中采用ISA，以利用相应的关键点语义关系来减少域内偏差。最重要的是，我们提出了一个IHTA来学习更多的域不变的人类拓扑表示，以减少域间的差异。我们通过图卷积网络（GCN）来建模人体拓扑结构，通过传递消息，可以考虑高阶关系。这种基于GCN的结构保持对齐有利于遮挡或极端姿态的推断。在两个流行的基准测试上进行了大量的实验，结果表明，与现有的监督方法相比，我们的方法的能力。
2020-08-13 cs.CV
FACTS: Fine-Grained Action Classification for Tactical Sports
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加利福尼亚大学欧文分校）
本文提出基于transformer的细粒度动作识别方法FACTS，直接处理原始视频数据，在击剑和拳击动作分类上分别达到90%和83.25%准确率，并发布包含8种击剑动作的新公开数据集，为战术运动设定新基准。
2024-12-21 cs.CV
Location-free Human Pose Estimation
Beijing Jiaotong University（北京交通大学）；Tencent Youtu Lab（腾讯优图实验室）
人体姿态估计（HPE）通常需要大规模的训练数据来达到高性能。然而，这是相当耗时的收集高质量和细粒度的人体标注。为了缓解这一问题，我们重新审视了HPE，并提出了一个无需监督关键点位置的无位置框架。我们从分类的角度重新制定了基于回归的HPE。受基于CAM的弱监督对象定位的启发，我们观察到可以通过部件感知CAM获得粗略的关键点位置，但由于细粒度HPE和对象级定位之间的差距，因此不能令人满意。为此，我们提出了一个自定义的Transformer框架来挖掘人类上下文的细粒度表示，并配备了结构关系来捕获关键点之间的细微差异。具体地说，我们设计了一个多尺度空间引导上下文编码器，以充分捕捉全球人类的背景，同时专注于部分感知区域和一个编码的姿态原型生成模块编码的结构关系。所有这些共同作用，以加强薄弱的监督，从图像级类别标签的位置。当仅在类别级别进行监督时，我们的模型在三个数据集上实现了具有竞争力的性能，重要的是，它可以在MS-COCO和MPII上仅使用25\%位置标签的完全监督方法实现可比较的结果。
2022-05-25 cs.CV
FenceNet: Fine-grained Footwork Recognition in Fencing
University of Waterloo（滑铁卢大学）
目前加拿大奥运击剑队的数据分析主要由教练和分析师手动完成。由于击剑运动中高度重复、动态和微妙的动作，手动数据分析可能效率低下且不准确。我们提出了一种新的架构，自动分类细粒度的步法技术击剑的栅栏。FenceNet将2D姿态数据作为输入，并使用基于时间卷积网络的动作识别方法对动作进行分类，以捕获时间信息。我们在击剑步法数据集（FFD）上训练和评估FenceNet，该数据集包含10名击剑运动员，每个人执行6种不同的步法动作，每次重复10-11次（总共652个视频）。FenceNet在10倍交叉验证下达到了85.4%的准确率，其中每个击剑者都被排除在测试集之外。这种准确度在当前最先进的方法JLJA（86.3%）的1%以内，JLJA选择并融合了从骨架数据、深度视频和惯性测量单元中设计的特征。BiFenceNet是FenceNet的一个变体，通过两个独立的网络捕捉人类运动的“双向性”，准确率达到87.6%，优于JLJA。由于FenceNet和BiFenceNet都不需要来自可穿戴传感器的数据，与JLJA不同，它们可以直接应用于大多数击剑视频，使用2D姿势数据作为从现成的2D人体姿势估计器提取的输入。与JLJA相比，我们的方法也更简单，因为它们不需要手动特征工程，选择或融合。
2022-04-20 cs.CV
Recognizing Fine-Grained and Composite Activities using Hand-Centric Features and Script Data
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Technische Universität München（慕尼黑工业大学）；Stanford University（斯坦福大学）；SPIEGEL-Verlag（明镜出版社）
近年来，对活动的确认取得了令人瞩目的进展。然而，检测细粒度活动和了解它们如何组合成复合活动的挑战在很大程度上被忽视了。在这项工作中，我们处理这两个任务，并提出了一个数据集，提供详细的注释来解决这些问题。第一个挑战是检测细粒度的活动，这是由低的类间变异性定义的，通常以细粒度的身体运动为特征。我们探索人类的姿势和手可以帮助解决这一挑战，通过比较两个姿势为基础的和两个以手为中心的功能与国家的最先进的整体功能。为了应对第二个挑战，识别复合活动，我们利用这些活动是组合的，并且可以从文本描述或脚本中获得活动的基本组件。我们展示了以手为中心的方法对细粒度活动分类和检测的好处。对于复合活动识别，我们发现分解为属性允许在复合材料之间共享信息，并且对于攻击这个硬任务至关重要。使用脚本数据，我们可以识别新的复合材料，而无需训练数据。
2015-10-15 cs.CV
Person-in-WiFi: Fine-grained Person Perception using WiFi
Xi’an Jiaotong University（西安交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Zhejiang University（浙江大学）
诸如身体分割和姿态估计的细粒度的人感知已经利用许多2D和3D传感器来实现，诸如RGB/深度相机、雷达（例如，RF-Pose）和激光雷达。这些传感器以高空间分辨率捕获人体的2D像素或3D点云，使得现有的卷积神经网络可以直接应用于感知。在本文中，我们向前迈出了一步，表明即使使用1D传感器：WiFi天线，细粒度的人的感知也是可能的。据我们所知，这是第一个用无处不在的WiFi设备感知人的工作，它比雷达和激光雷达更便宜，更节能，不受照明影响，与相机相比几乎没有隐私问题。我们使用两组现成的WiFi天线来获取信号，即，一个发射器组和一个接收器组。每套包含三根天线，排列成一个普通的家用WiFi路由器。由发射天线产生的WiFi信号穿透人体、家具和墙壁并在其上反射，然后在接收天线处叠加为1D信号样本（而不是2D像素或3D点云）。我们开发了一种深度学习方法，该方法使用2D图像上的注释，将接收到的1D WiFi信号作为输入，并以端到端的方式执行身体分割和姿势估计。在16个室内场景下超过10万帧的实验结果表明，Person-in-WiFi实现了与使用2D图像的方法相当的人的感知。
2019-03-30 cs.CV
Infusing fine-grained visual knowledge to Vision-Language Models
VRG, FEE, Czech Technical University in Prague（捷克布拉格技术大学）
本文提出一种微调方法，通过组合正则化策略平衡细粒度领域适应与预训练VLM通用多模态知识保留，在无需文本数据和文本编码器的条件下保持视觉-文本对齐，并在多种检索基准上取得优异结果。
2025-08-16 cs.CV
Fine-Grained Action Recognition with Cross-Attentive Latent Sparse Experts
Edge Hill University（埃奇希尔大学）
提出FineX模型，融合RGB、姿态热图与骨骼图线索，通过交叉注意力和稀疏混合专家实现细粒度动作识别，在多数据集上取得最优，长尾Gym288准确率提升7.6个百分点。
2026-08-17 cs.CV
Towards Fine-grained Image Classification with Generative Adversarial Networks and Facial Landmark Detection
University of Mohaghegh Ardabili（莫哈格·阿尔达比勒大学）
细粒度分类仍然是一项具有挑战性的任务，因为区分类别需要学习复杂性和局部差异。图像中对象的姿态、比例和位置的多样性使得问题变得更加困难。虽然最新的视觉Transformer型号实现了高性能，但它们需要大量的输入数据。为了解决这个问题，我们充分利用了基于GAN的数据增强来生成额外的数据集实例。Oxford-IIIT Pets是我们选择用于该实验的数据集。它由37种猫和狗组成，在规模，姿势和照明方面存在差异，这加剧了分类任务的难度。此外，我们增强了最近的生成对抗网络（GAN）StyleGAN 2-ADA模型的性能，以生成更逼真的图像，同时防止过度拟合训练集。我们通过训练定制版本的MobileNetV 2来预测动物面部标志，然后相应地裁剪图像。最后，我们将合成图像与原始数据集相结合，并将我们提出的方法与标准GANs增强和没有增强的训练数据的不同子集进行了比较。我们通过评估最近的视觉Transformer（ViT）模型上的细粒度图像分类的准确性来验证我们的工作。
2021-08-28 cs.CV
ShadowDraw: From Any Object to Shadow-Drawing Compositional Art
Cornell University（康奈尔大学）
ShadowDraw通过预测场景参数和生成阴影笔触，将3D物体转化为阴影绘画艺术，扩展了计算视觉艺术的设计空间。
2025-12-04 cs.AI cs.CV cs.GR
