MMR: A Large-scale Benchmark Dataset for Multi-target and Multi-granularity Reasoning Segmentation
KAIST（韩国科学技术院）
针对现有推理分割数据集多聚焦单目标目标级、缺乏多目标部件级细粒度推理支持的问题，本文构建了含19.4万条指令的大规模MMR基准数据集，并提出有效框架，验证了其在多目标多粒度场景下的推理优势。
2025-03-18 cs.CV
Multiple Attentional Pyramid Networks for Chinese Herbal Recognition
South China University of Technology（华南理工大学）；University of Southampton（南安普顿大学）
中草药在传统中医学中起着至关重要的作用。由于识别粒度不同，只有经验丰富的专业人员才能准确识别。预计可以使用机器学习等新技术自动识别它们。然而，没有可用的中草药图像数据集。同时，目前还没有一种机器学习方法能够很好地处理中药图像识别问题。因此，本文从建立一个新的标准中药数据集开始。在此基础上，提出了一种新的用于中草药识别的注意力金字塔网络（APN），该网络同时引入了新颖的竞争注意力和空间协作注意力，并将其应用于中草药识别。APN可以自适应地对不同特征尺度的中药图像进行建模。最后，作为APN的一个新应用，提出了一个新的中草药识别框架。在我们构造的数据集上进行了实验，验证了我们的方法的有效性。
2020-05-13 cs.CV
Spatio-Temporal Proximity-Aware Dual-Path Model for Panoramic Activity Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院(KAIST)）
针对全景活动识别中多尺度交互与多粒度理解挑战，提出基于时空邻近感知的双路径网络SPDP-Net，通过个体到全局与个体到社交双路径相互增强，在JRDB-PAR数据集上取得46.5%的F1分数。
2024-03-21 cs.CV
Decoding Psychological States Through Movement: Inferring Human Kinesic Functions with Application to Built Environments
Carnegie Mellon University（卡内基梅隆大学）；Bosch Research and Technology Center（博世研究与技术中心）
本文提出DUET数据集和嵌入式肢体识别框架，通过骨骼运动推断沟通功能，实现隐私保护的社会互动分析。
2026-01-23 cs.CV
Deep hierarchical pooling design for cross-granularity action recognition
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机实验室）
在本文中，我们介绍了一种新的分层聚合设计，捕捉不同级别的时间粒度的动作识别。我们的设计原则是由粗到细，并使用树结构网络实现;当我们自上而下遍历这个网络时，池化操作变得不那么不变，但更及时，更坚定，更好地定位。学习这个网络中的操作组合-最适合给定的地面实况-是通过求解一个约束最小化问题来获得的，该问题的解对应于全局分层池化过程中捕获每个级别（以及时间粒度）的贡献的权重分布。除了原则性和良好的基础，所提出的分层池也是视频长度不可知的，并且对动作中的不一致有弹性。对具有挑战性的UCF-101数据库进行的广泛实验证实了这些说法。
2020-06-08 cs.CV
Multi-Modal Multi-Granularity Tokenizer for Chu Bamboo Slip Scripts
Tsinghua University（清华大学）
本文提出一种面向楚简文字的多模态多粒度分词器，通过字符检测及字符与子字符两级识别应对古文字层级复杂性，并构建首个超10万标注的楚简数据集，在词性标注任务上较主流子词分词器F1值相对提升5.5%。
2024-09-02 cs.CL cs.CV
GaitMM: Multi-Granularity Motion Sequence Learning for Gait Recognition
Hebei Agricultural University（河北农业大学）
提出多粒度运动表示网络GaitMM，通过结合全身与细粒度序列学习模块FFSL和逐帧压缩策略MSMA解决步态序列数据冗余问题，在CASIA-B和OUMVLP数据集上达到SOTA性能。
2023-06-24 cs.CV
GaitGS: Temporal Feature Learning in Granularity and Span Dimension for Gait Recognition
Huazhong University of Science and Technology（华中科技大学）
针对步态识别中时序信息利用不足的问题，提出 GaitGS 框架，通过 MGFE 和 MSFE 从粒度与跨度双维度聚合时序特征，并在 CASIA-B 与 OU-MVLP 上取得领先识别准确率。
2024-06-18 cs.CV
Multi-Granularity Prediction for Scene Text Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）
场景文本识别（STR）是计算机视觉中一个非常活跃的研究课题。为了解决这个具有挑战性的问题，许多创新的方法已经相继提出，并将语言知识融入STR模型最近已成为一个突出的趋势。在这项工作中，我们首先从视觉Transformer（ViT）的最新进展中汲取灵感，构建一个概念简单但功能强大的视觉STR模型，该模型建立在ViT基础上，优于以前的最先进的场景文本识别模型，包括纯视觉模型和语言增强方法。为了整合语言知识，我们进一步提出了一种多粒度预测策略，以隐式的方式将来自语言模态的信息注入到模型中，即，除了传统的字符级表示之外，还将NLP中广泛使用的子词表示（BPE和WordPiece）引入到输出空间中，而不采用独立的语言模型（LM）。由此产生的算法（称为MGP-STR）是能够推动STR的性能包络到一个更高的水平。具体来说，它在标准基准测试中的平均识别准确率为93.35%。代码可在https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR上获得。
2022-10-17 cs.CV
Panoramic Human Activity Recognition
Tianjin University（天津大学）；University of South Carolina（南卡罗来纳大学）
为了获得更全面的活动理解，在拥挤的场景中，在本文中，我们提出了一个新的问题，全景人类活动识别（PAR），其目的是同时实现个人行动，社会群体活动，和全球活动识别。这在现实世界的应用中是一个具有挑战性的实际问题。针对这个问题，我们开发了一种新的分层图神经网络，逐步表示和建模的多粒度的人类活动和相互的社会关系的人群。我们进一步建立了一个基准来评估所提出的方法和其他现有的相关方法。实验结果验证了PAR问题的合理性、方法的有效性和基准测试的实用性。我们将向公众发布源代码和基准测试，以促进对该问题的研究。
2022-11-07 cs.AI cs.CV
Zero-Shot Chinese Character Recognition with Hierarchical Multi-Granularity Image-Text Aligning
Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理关键实验室）；School of Computer Science, Fudan University（复旦大学计算机学院）
针对中文字符识别依赖单层表示和后处理的问题，提出基于对比范式的层次多粒度图文对齐框架Hi-GITA，通过多粒度编码器与融合模块提取并融合笔画、部首特征，并利用细粒度解耦图文对比损失对齐图文多粒度表示，在零样本设置下显著提升了识别准确率。
2025-05-30 cs.CV
Pixel-Wise Recognition for Holistic Surgical Scene Understanding
Center for Research and Formation in Artificial Intelligence (CinfonIA)（人工智能研究与形成中心（CinfonIA））；Universidad de los Andes（安第斯大学）；Fundación Santa Fe de Bogotá（圣菲波哥大基金会）
本文提出GraSP数据集和TAPIS模型，通过结合全局视频特征与局部器械分割区域提议，统一处理手术阶段识别、器械分割和动作检测等多粒度任务，推动整体手术场景理解研究。
2024-12-27 cs.AI cs.CV cs.LG
Socialized UAV Cross-Task Learning: Towards Cross-Granularity Collaboration through Hierarchical Interaction
Kunming University of Science and Technology（昆明理工大学）；Tianjin University（天津大学）；University of New South Wales（新南威尔士大学）；Tianjin University of Sport（天津体育学院）；Southeast University（东南大学）；Hebei University of Technology（河北工业大学）
针对跨任务学习中粒度不匹配导致的干扰问题，提出跨粒度社会化协作框架，通过渐进式自适应层次交互调控信息交换，在无人机检测与分割基准上验证了性能提升。
2026-09-18 cs.CV
It Takes Two: Accurate Gait Recognition in the Wild via Cross-granularity Alignment
Hangzhou Dianzi University（杭州电子科技大学）；Lishui Institute of Hangzhou Dianzi University（杭州电子科技大学丽水学院）；JD Explore Academy（京东探索研究院）；The Experimental High School Attached To Beijing Normal University（北京师范大学附属实验中学）；University of Science and Technology of China（中国科学技术大学）
本文提出跨粒度对齐步态识别方法XGait，结合轮廓和人体解析的优势，通过全局和部位跨粒度模块及可学习划分机制提取互补特征，在Gait3D和CCPG数据集上取得高准确率且鲁棒性强。
2024-11-16 cs.CV
Action Recognition with Deep Multiple Aggregation Networks
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机实验室）
目前的大多数动作识别算法都是基于深度网络，这些深度网络堆叠了多个卷积层、池化层和全连接层。虽然卷积和全连接操作在文献中得到了广泛的研究，但处理动作识别的池化操作的设计，在动作类别中具有不同的时间粒度来源，相对而言受到的关注较少，现有的解决方案主要依赖于最大或平均操作。后者显然无力充分展示动作类别的实际时间粒度，从而构成分类性能的瓶颈。在本文中，我们介绍了一种新的分层池设计，捕捉不同层次的时间粒度的动作识别。我们的设计原则是由粗到细，并使用树结构网络实现;当我们自上而下遍历这个网络时，池化操作变得不那么不变，但更及时，更坚定，更好地定位。学习这个网络中的操作组合-最适合给定的地面实况-是通过求解一个约束最小化问题来获得的，该问题的解对应于全局分层池化过程中捕获每个级别（以及时间粒度）的贡献的权重分布。除了原则性和良好的基础，所提出的分层池也是视频长度和分辨率不可知的。对具有挑战性的UCF-101、HMDB-51和JHMDB-21数据库进行的广泛实验证实了所有这些说法。
2020-06-08 cs.CV
Multi-Granularity Prediction with Learnable Fusion for Scene Text Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）
该研究针对场景文本识别任务，基于ViT和A³模块搭建基础视觉模型，提出融入子词表示的多粒度预测策略及融合方法，构建的MGP-STR在多个基准和数据集上取得SOTA性能。
2023-07-25 cs.CV
An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出一种基于信息论的信息补偿学习框架，通过多粒度语义交互机制和多层级对齐方法提升零样本骨架动作识别准确率，在多个基准上取得显著性能。
2024-06-02 cs.CV
Benchmarking Zero-Shot Recognition with Vision-Language Models: Challenges on Granularity and Specificity
AWS AI Labs（AWS AI实验室）；Boson AI；Meta
本文构建聚焦语义粒度与文本特异性的零样本识别基准，系统评估VLM，发现其偏好中等细粒度概念且难以辨别细微错误描述，微调也无法根本解决泛化缺陷。
2024-06-18 cs.AI cs.CV
Bridging Coarse and Fine Recognition: A Hybrid Approach for Open-Ended Multi-Granularity Object Recognition in Interactive Educational Games
Intellifusion Inc.（Intellifusion公司）
本文提出HyMOR混合框架，结合MLLM和CLIP模型，解决开放多粒度物体识别中的粗粒与细粒任务差距问题，通过TBO数据集实验验证其在多模态内容生成和互动学习中的有效性。
2026-04-18 cs.AI cs.CV
Text-Guided Face Recognition using Multi-Granularity Cross-Modal Contrastive Learning
West Virginia University（西弗吉尼亚大学）
针对监控场景低质量人脸识别性能下降问题，提出含FCAM、FCFM模块的多粒度跨模态对比学习TGFR方法，在三个数据集上低质量图像识别效果优于现有方法与基准。
2023-12-14 cs.CV
Multi-Granularity Cross-Modality Representation Learning for Named Entity Recognition on Social Media
社交媒体上的命名实体识别（NER）是指从非结构化的自由形式内容中发现实体并对其进行分类，它在意图理解和用户推荐等各种应用中发挥着重要作用。随着社交媒体帖子的多模态化，文本及其伴随图像的多模态命名实体识别（MNER）受到越来越多的关注，因为某些文本成分只能结合视觉信息来理解。然而，现有的方法有两个缺点：1）文本和其伴随的图像的意义并不总是匹配，所以文本信息仍然起着主要的作用。然而，社交媒体上的帖子通常较短且较非正式，容易造成语义描述不完整和数据稀疏问题。2)虽然已经使用了整个图像或对象的视觉表示，但现有方法忽略了图像中的对象与文本中的单词之间的细粒度语义对应关系，或者忽略了某些图像中存在误导对象或没有对象的客观事实。本文通过引入多粒度跨模态表示学习来解决上述两个问题。为了解决第一个问题，我们通过对文本中的每个单词进行语义增强来增强表示。对于第二个问题，我们在不同的视觉粒度下执行文本和视觉之间的跨模态语义交互，以获得每个单词的最有效的多模态指导表示。实验表明，我们提出的方法可以实现SOTA或近似SOTA性能的两个基准数据集的推文。代码、数据和最佳性能模型可在https://github.com/LiuPeiP-CS/IIE4MNER上获得
2022-11-20 cs.CV cs.MM
Action Recognition by Hierarchical Mid-level Action Elements
Stanford University（斯坦福大学）
人类动作的真实视频在多个粒度级别上表现出丰富的时空结构：一个动作总是可以在空间和时间上分解为多个更细粒度的元素。为了捕捉这种直觉，我们建议表示视频的中层动作元素（MAE），其中每个MAE对应于视频中的动作相关的时空段的层次结构。我们引入了一种无监督的方法来从视频中生成这种表示。我们的方法是能够区分动作相关的片段从背景片段，并表示在多个时空分辨率的行动。给定一组时空段生成的训练数据，我们引入了一个判别聚类算法，自动发现MAES在多个级别的粒度。我们开发了结构化的模型，捕捉一组丰富的空间，时间和层次之间的关系段，其中的动作标签和多层次的MAE标签联合推断。该模型在多个动作识别基准测试中达到了最先进的性能。此外，我们证明了我们的模型在实际应用中的有效性，如大规模未修剪视频中的动作识别和动作解析。
2015-08-31 cs.CV
MGHFT: Multi-Granularity Hierarchical Fusion Transformer for Cross-Modal Sticker Emotion Recognition
Shenzhen MSU-BIT University（深圳MSU-BIT大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）
针对贴纸情感识别需融合多视角信息的问题，提出 MGHFT，利用多模态大语言模型生成多视角文本语境，并通过层级融合与文本引导注意力增强视觉语义，实验显示其 F1 和准确率分别提升 5.4% 与 4.0%。
2025-07-25 cs.AI cs.CV
Social Relation Recognition in Egocentric Photostreams
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
本文提出了一种方法来自动分类的社交互动的用户穿着照片相机2fpm，仅仅依靠什么相机看到的。这个问题是具有挑战性的，由于社会生活的压倒性的复杂性和极端的类内变化的社会互动下捕获的不受约束的条件。我们采用了布根塔尔的社会理论中提出的形式化，将人类关系分为五个相关类别的社会领域。我们的方法是一种新的深度学习架构，它利用标签空间的层次结构，并依赖于一组在帧级估计的社交属性来提供社交交互的语义表示。新的EgoSocialRelation数据集上的实验结果证明了我们的建议的有效性。
2019-05-12 cs.CV
Hunting Group Clues with Transformers for Social Group Activity Recognition
Hitachi America, Ltd.（日立美国有限公司）
本文提出了一种新的社会群体活动识别框架。社会群体活动识别是群体活动识别的一个扩展任务，需要识别多个子群体活动并识别群体成员。大多数现有的方法通过细化区域特征，然后将其总结为活动特征来解决这两个任务。这种启发式特征设计使得特征的有效性容易受到不完整的人定位的影响，并且忽视了场景上下文的重要性。此外，区域特征对于识别组成员是次优的，因为特征可能由区域中的人的特征主导并且具有不同的语义。为了克服这些缺点，我们建议利用Transformers中的注意力模块来生成有效的社会群体特征。我们的方法是这样设计的，注意力模块识别，然后聚合相关的社会群体活动的功能，为每个社会群体产生一个有效的功能。组成员信息被嵌入到特征中，从而被前馈网络访问。前馈网络的输出非常简洁地代表了群体，以至于群体成员可以通过群体和个体之间的简单匈牙利匹配来识别。实验结果表明，我们的方法优于国家的最先进的方法排球和集体活动数据集。
2022-07-12 cs.CV
Parsing Objects at a Finer Granularity: A Survey
School of Computer Science, Peking University（北京大学计算机学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）；School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
本文从部件关系学习的新视角综述细粒度视觉解析，整合近期研究与基准并提出新分类体系，针对部件分割和识别中的普遍挑战给出新解决方案，并展望未来研究方向。
2022-12-28 cs.CV
Read the Room: Inferring Social Context Through Dyadic Interaction Recognition in Cyber-physical-social Infrastructure Systems
Carnegie Mellon University（卡内基梅隆大学）
面向信息物理社会基础设施系统的社会目标，针对RGB相机的隐私问题，研究基于深度传感器骨骼数据的二元交互识别，对比5种算法在12类交互数据集上的表现，为社会行为测量与交互深层含义理解奠基。
2025-10-06 cs.CV
AgroGround: Multi-Granularity Grounded Recognition in Agriculture
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
AgroGround提出大规模接地农业识别数据集，通过自动化标注和联合识别定位指令微调，显著提升模型在身份、区域及健康图像弃权上的性能，并建立基准。
2026-10-12 cs.AI cs.CV
Free-Grained Hierarchical Visual Recognition
University of Michigan（密歇根大学）；UC Berkeley（伯克利大学）
本文研究了在现实世界中标签不完整且粒度混合的情况下，如何进行层次视觉识别。通过引入自由粒度训练方法，结合文本监督和半监督学习，改进了传统层次方法在不完整监督下的性能，并提出了自由粒度推理机制以适应不同预测深度的需求。
2026-05-20 cs.CV
SoGAR: Self-supervised Spatiotemporal Attention-based Social Group Activity Recognition
本文提出SoGAR方法，利用自监督Transformer和不同帧率视图学习时空一致特征，在JRDB-PAR、NBA和Volleyball三个群体活动识别基准上取得最优结果。
2024-11-18 cs.CV
Social Adaptive Module for Weakly-supervised Group Activity Recognition
Nanjing University of Science and Technology（南京理工大学）；Huawei Inc.（华为公司）
本文提出了一种新的任务称为弱监督的群体活动识别（GAR），它不同于传统的GAR任务，只有视频级的标签是可用的，但每个帧内的重要人物，即使在训练数据不提供。这使得我们可以轻松地收集和注释大规模的NBA数据集，从而对GAR提出新的挑战。为了从弱监督中挖掘有用的信息，我们提出了一个关键的见解，即关键实例可能彼此相关，从而设计了一个社会适应模块（SAM）来从噪声数据中推理关键人物和帧。实验表明，NBA数据集以及流行的排球数据集显着改善。特别是，我们在视频级注释上训练的模型实现了与需要强标签的先前算法相当的准确性。
2020-07-18 cs.CV
Social Scene Understanding: End-to-End Multi-Person Action Localization and Collective Activity Recognition
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Stanford University（斯坦福大学）；IDIAP Research Institute（IDIAP研究所）
我们提出了一个统一的框架来理解原始图像序列中的人类社会行为。我们的模型联合检测多个人，推断他们的社会行动，并估计集体行动与一个单一的前馈通过一个神经网络。我们提出了一个单一的架构，不依赖于外部检测算法，而是端到端的训练，以生成密集的建议地图，通过一种新的推理方案进行细化。时间一致性通过人级匹配递归神经网络来处理。完整的模型将一系列帧作为输入，并输出检测结果以及对个人行动和集体活动的估计。我们展示了我们的算法在多个公开的基准测试的最先进的性能。
2016-11-28 cs.CV
AlphaChimp: Tracking and Behavior Recognition of Chimpanzees
Peking University（北京大学）；Yuanpei College, Peking University（北京大学元培学院）；University of California San Diego（加州大学圣迭戈分校）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本研究提出AlphaChimp，一种结合时间特征融合与Transformer自注意力的端到端方法，用于黑猩猩的检测、追踪与行为识别，在追踪和行为识别上分别比现有最优方法提升约10%和20%，尤其擅长社会行为识别，并开源代码与模型。
2024-11-10 cs.CV
Automated Attendee Recognition System for Large-Scale Social Events or Conference Gathering
Avahi（阿瓦希）；Ericsson（爱立信）；Dharmsinh Desai University（达尔明辛德赛大学）
针对大规模活动人工考勤效率低且易错的问题，提出基于云的自动化系统，利用出入口摄像头进行实时人脸检测与识别，在动态条件下实现90%总体准确率及无遮挡时100%准确率。
2025-03-05 cs.CV
InstaIndoor and Multi-modal Deep Learning for Indoor Scene Recognition
University of Groningen（格罗宁根大学）
室内场景识别是一个不断发展的领域，在行为理解、机器人定位和老年人监控等方面具有巨大潜力。在这项研究中，我们从一个新的角度来处理场景识别的任务，使用多模态学习和从社交媒体收集的视频数据。社交媒体视频的可访问性和多样性可以为现代场景识别技术和应用提供真实的数据。我们提出了一种基于融合转录语音到文本和视觉特征的模型，该模型用于对名为InstaIndoor的室内场景的社交媒体视频的新数据集进行分类。我们的模型实现了高达70%的准确率和0.7 F1分数。此外，我们还通过对YouTube-8 M室内场景子集进行基准测试，突出了我们方法的潜力，它实现了74%的准确率和0.74 F1分数。我们希望这项工作的贡献铺平了道路，在具有挑战性的室内场景识别领域的新的研究。
2021-12-23 cs.CV
SocialGesture: Delving into Multi-person Gesture Understanding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；Sungkyunkwan University（成均馆大学）
针对现有手势识别研究忽略多人交互的问题，本文提出了首个大规模多人手势分析数据集SocialGesture，支持视频识别、时间定位及新颖的VQA任务，并揭示了当前模型在社交手势理解上的局限性。
2025-04-03 cs.CV
Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model
Lancaster University（兰卡斯特大学）；University of Leicester（莱斯特大学）；Ocean University of China（中国海洋大学）；University of Kent（肯特大学）；Northwestern Polytechnical University（西北工业大学）
小鼠的笼舍社会行为分析是评估神经退行性疾病治疗效果的宝贵工具。尽管研究界做出了巨大的努力，但单摄像机视频记录主要用于此类分析。由于多视角视频记录可以对小鼠的社会行为进行丰富的描述，因此在啮齿动物观察中的应用越来越受到人们的关注。然而，由于缺乏跨数据源的对应关系，从各种观点识别社会行为仍然具有挑战性。为了解决这个问题，我们在这里提出了一种新的多视图潜在注意力和动态判别模型，共同学习视图特定和视图共享的子结构，其中前者捕获每个视图的独特动态，而后者编码视图之间的交互。此外，一种新的多视角潜在注意变分自编码器模型被引入到学习所获得的特征，使我们能够学习在每个视图中的判别特征。在标准CRMI13和我们的多视图帕金森病小鼠行为（PDMB）数据集上的实验结果表明，我们的模型优于其他最先进的技术，并有效地处理了不平衡的数据问题。
2021-06-30 cs.CV
UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
针对现有CLIP类模型忽略局部区域与文本对齐的问题，提出多粒度对齐的UMG-CLIP框架，构建多粒度伪标注数据集，经参数高效微调后在多项图像理解基准上取得SOTA性能。
2024-10-29 cs.CV
Design and Analysis of Efficient Attention in Transformers for Social Group Activity Recognition
Hitachi America, Ltd.（日立美国有限公司）
针对社会群体活动识别中区域特征易受定位和动作语义影响、大量嵌入向量导致注意力失效的问题，探索Transformer解码器的注意力设计，提出的方法取得了当前最优性能。
2024-04-15 cs.CV cs.LG
A Coarse-to-Fine Model for 3D Pose Estimation and Sub-category Recognition
Allen Institute for AI（艾伦人工智能研究所）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；Stanford University（斯坦福大学）
尽管目标检测、3D姿态估计和子类别识别是高度相关的任务，但是由于参数的巨大空间，它们通常彼此独立地被解决。为了联合建模所有这些任务，我们提出了一个由粗到细的分层表示，其中层次结构的每个级别表示不同粒度级别的对象。分层表示防止了性能损失，这通常是由参数数量的增加引起的（因为我们考虑了更多的任务来建模），并且联合建模能够解决这些任务的独立建模中存在的模糊性。我们增加了PASCAL 3D+数据集的注释，这些任务，并表明我们的分层模型是有效的联合建模的目标检测，三维姿态估计，子类识别。
2015-04-10 cs.CV
AdaFPP: Adapt-Focused Bi-Propagating Prototype Learning for Panoramic Activity Recognition
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）
AdaFPP提出端到端框架，通过自适应聚焦检测器和双向传播原型学习，联合识别全景场景中的个体、群体和全局活动，解决了多尺寸遮挡人员检测与多粒度信息一致性问题。
2024-05-04 cs.CV
Person Recognition in Personal Photo Collections
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；LINE Plus；Google（谷歌）；CISPA Helmholtz Center i.G.（亥姆霍兹CISPA中心）
如今，人们通过社交媒体分享大部分个人生活。能够自动识别个人照片中的人可以通过简化相册组织来极大地提高用户便利性。然而，对于人类识别任务，计算机视觉的传统焦点一直是人脸识别和行人重新识别。社交媒体照片中的人物识别为计算机视觉提出了新的挑战，包括非合作主体（例如，向后的观点，不寻常的姿势）和外观的巨大变化。为了解决这个问题，我们构建了一个简单的人物识别框架，该框架利用了来自多个图像区域（头部，身体等）的convnet特征。我们提出了新的识别方案，专注于训练和测试样本之间的时间和外观差距。我们提出了一个深入的分析，根据时间和观点概括性的不同功能的重要性。在这个过程中，我们验证了我们的简单方法在PIPA基准测试中达到了最先进的结果，可以说这是迄今为止最大的基于社交媒体的人物识别基准测试，包括各种姿势，观点，社交团体和事件。与会议稿相比，本文还增加了（1）人脸识别器的分析（DeepID2+），（2）结合会议版本方法naeil和DeepID2+的新方法naeil 2，即使与会议后的作品相比也能实现最先进的结果，（3）讨论自会议版本以来的相关工作，（4）附加分析，包括性能的头部视点方面的细分，以及（5）开放世界设置上的结果。
2018-10-20 cs.CV
Social-MAE: A Transformer-Based Multimodal Autoencoder for Face and Voice
Numediart Institute, ISIA Lab, University of Mons（Numediart研究院、ISIA实验室、蒙斯大学）；Institute for Creative Technologies, University of Southern California（创意技术研究所、南加州大学）
针对人类社交行为的多模态感知需求，本文提出Social-MAE——基于CAV-MAE扩展的预训练视听掩码自编码器，通过修改输入帧数量并在VoxCeleb2上自监督预训练，在多模态情感识别等下游任务上取得最先进或具竞争力的结果。
2025-08-24 cs.CV
MultiMediate'23: Engagement Estimation and Bodily Behaviour Recognition in Social Interactions
DFKI（德国人工智能研究中心）；INRIA Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯分部）；University of Augsburg（奥格斯堡大学）；University of Stuttgart（斯图加特大学）
MultiMediate'23 首次以受控挑战赛形式研究社交互动中的参与度估计与身体行为识别，并提供 NOXI、MPIIGroupInteraction 新标注及基线结果。
2023-08-16 cs.CV cs.HC
Dual-Glance Model for Deciphering Social Relationships
National University of Singapore（新加坡国立大学）；University of Minnesota（明尼苏达大学）
自早期文明开始以来，源于每个人的社会关系基本上构成了我们日常生活中社会结构的基础。在计算机视觉文献中，场景理解已经取得了很大的进展，例如目标检测和场景解析。最近的研究集中在基于功能和几何关系的对象之间的关系。在这项工作中，我们的目标是研究社会关系识别的问题，在静态图像。我们提出了一个社会关系识别的双视线模型，其中第一视线固定在个人对的兴趣和第二视线部署注意力机制，以探索上下文线索。我们还收集了一个新的大规模社会背景中的人（PISC）数据集，其中包括来自9种社会关系的22，670张图像和76，568个注释样本。我们在PISC数据集上提供了基准测试结果，并定性地证明了所提出的模型的有效性。
2017-08-02 cs.CV
Generalized Fine-Grained Category Discovery with Multi-Granularity Conceptual Experts
Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
针对广义类别发现中多粒度概念利用不足、需预知道类别数的问题，提出含动态概念对比学习和多粒度专家协作学习的MGCE框架，可自动估计类别数，在9个细粒度基准上取得SOTA，新类准确率提升显著。
2025-09-30 cs.CV
A model for interpreting social interactions in local image regions
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Department of Computer Science, Weizmann Institute of Science（魏茨曼科学研究所计算机科学系）；Center for Brains Minds and Machines, Massachusetts Institute of Technology（麻省理工学院大脑、心智与机器中心）
理解社会互动（如“拥抱”或“战斗”）是人类视觉系统的一个基本和重要的能力，但建模仍然是一个具有挑战性的问题。在这项工作中，我们研究视觉识别的社会互动，基于小，但可识别的局部区域。该方法是基于两个新的关键组成部分：（i）一个给定的社会互动可以识别可靠的减少图像（称为“最小图像”）。(ii)社会互动的识别取决于识别最小图像中的组件和关系（称为“解释”）。我们展示了最小图像的心理物理学数据和用于解释的建模结果。我们讨论的最小配置的集成，在识别社会互动的详细，高分辨率的图像。
2017-12-26 cs.CV
An Integrated Approach to Crowd Video Analysis: From Tracking to Multi-level Activity Recognition
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们提出了一个综合的框架，同时跟踪，群体检测和多层次的活动识别人群视频。而不是解决这些问题的独立和顺序，我们解决他们在一个统一的框架，利用强相关性，存在于个人的运动，群体和活动。我们探索了隐藏在视频中的层次结构，它将个人随着时间的推移连接起来以产生轨迹，将个人连接起来以形成群体，并将群体连接在一起以形成人群。我们发现，这个隐藏结构的估计对应于跟踪关联和组检测。我们估计这个隐藏的结构下的线性规划公式。进一步探索所获得的图形表示以识别对应于多级活动识别的节点值。这个问题在结构化SVM框架下得到了解决。公开的数据集上的结果显示出非常有竞争力的性能，在所有级别的粒度与国家的最先进的批处理方法，尽管所提出的技术是一个在线（因果）。
2017-10-30 cs.CV
MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition
Kansas State University（堪萨斯州立大学）
本文提出MSGL-Transformer，通过多尺度注意力机制捕捉啮齿类动物行为的动态特征，采用行为感知调制模块提升特征表达，在两个数据集上均取得优于现有方法的准确率和F1分数。
2026-04-08 cs.CV
PhysLab: A Benchmark Dataset for Multi-Granularity Visual Parsing of Physics Experiments
Shandong University of Science and Technology（山东科技大学）；Cardiff University（卡迪夫大学）
本文提出首个记录学生物理实验过程的视频数据集PhysLab，包含620个长视频及多层级标注，支持动作识别、物体检测和HOI分析等任务，并通过基线评估揭示过程性教育视频解析的关键挑战。
2025-08-15 cs.CV
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
University of Maryland（马里兰大学）；US Naval Academy（美国海军学院）
面部识别系统越来越多地被私营公司、政府机构和承包商部署，用于消费者服务和大规模监控项目。这些系统通常通过抓取用户图像的社交媒体配置文件来构建。对抗性扰动已经被提出用于绕过面部识别系统。然而，现有的方法在全规模系统和商业API上失败。我们开发了我们自己的对抗过滤器，它占了整个图像处理管道，并且对包括人脸检测和大规模数据库在内的工业级管道有效。此外，我们还发布了一个易于使用的Web工具，可以显著降低Amazon Rekognition和Microsoft Azure Face Recognition API的准确性，将其准确性降低到1%以下。
2021-01-25 cs.CR cs.CV cs.LG
GRITv2: Efficient and Light-weight Social Relation Recognition
OPPO Mobiles R&D, India（OPPO手机研发（印度））
本文改进 GRIT 并提出轻量社会关系识别模型 GRITv2-L/S，通过消融、量化与手机端部署验证其高性能、小体积和移动可行性。
2024-03-11 cs.CV
MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning
Shanghai Jiaotong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）
本文提出 MG-LLaVA，通过融合低分辨率、高分辨率及对象级特征的多粒度视觉流，显著提升了多模态大语言模型在视觉感知任务中的细节识别能力，并在多个基准上优于同等规模模型。
2024-06-27 cs.CV
Pelphix: Surgical Phase Recognition from X-ray Images in Percutaneous Pelvic Fixation
Johns Hopkins University（约翰斯·霍普金斯大学）
Pelphix首次提出基于X射线序列的手术阶段识别方法，以马尔可夫过程模拟骨盆骨折固定工作流并在四个粒度级别建模，结合Transformer实现阶段回归，在模拟和真实数据上验证了可行性。
2023-04-18 cs.AI cs.CV cs.LG
