SEAL: Semantic-Aware Hierarchical Learning for Generalized Category Discovery
Visual AI Lab, The University of Hong Kong(香港大学视觉人工智能实验室)
针对广义类别发现现有方法依赖单级语义或人工层次结构、泛化性与可扩展性受限的问题,提出语义感知层次学习框架SEAL,通过层次语义引导的软对比学习和跨粒度一致性模块,在多个细粒度基准上取得SOTA性能并具备粗粒度泛化能力。
2025-10-21 cs.CV
A Coarse-to-Fine Model for 3D Pose Estimation and Sub-category Recognition
Allen Institute for AI(艾伦人工智能研究所);University of Michigan-Ann Arbor(密歇根大学安娜堡分校);Stanford University(斯坦福大学)
尽管目标检测、3D姿态估计和子类别识别是高度相关的任务,但是由于参数的巨大空间,它们通常彼此独立地被解决。为了联合建模所有这些任务,我们提出了一个由粗到细的分层表示,其中层次结构的每个级别表示不同粒度级别的对象。分层表示防止了性能损失,这通常是由参数数量的增加引起的(因为我们考虑了更多的任务来建模),并且联合建模能够解决这些任务的独立建模中存在的模糊性。我们增加了PASCAL 3D+数据集的注释,这些任务,并表明我们的分层模型是有效的联合建模的目标检测,三维姿态估计,子类识别。
2015-04-10 cs.CV
Multi-View Hierarchical Graph Neural Network for Sketch-Based 3D Shape Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Control and Simulation Center, Harbin Institute of Technology(哈尔滨工业大学控制仿真中心)
本文提出MV-HGNN框架,通过多视图图神经网络和视图选择器提升3D形状检索的表示能力,结合CLIP文本嵌入实现类别无关对齐,实验表明在类别级和零样本场景中优于现有方法。
2026-04-20 cs.CV
Joint Representation Learning and Novel Category Discovery on Single- and Multi-modal Data
Google(谷歌公司);University of Bristol(布里斯托尔大学);The University of Hong Kong(香港大学)
本文研究了单模态和多模态数据的新类别发现问题,这些数据具有不同但相关的类别标签。我们提出了一个通用的,端到端的框架,共同学习一个可靠的表示,并分配集群的未标记的数据。为了避免过度拟合学习嵌入标记的数据,我们从噪声对比估计的自监督表示学习中获得灵感,并将其扩展到联合处理标记和未标记的数据。特别是,我们建议使用类别歧视标记的数据和多模态数据的跨模态歧视,以增强传统的对比学习方法中使用的实例歧视。我们进一步采用Winner-Take-All(WTA)哈希算法在共享表示空间上为未标记的数据生成成对的伪标签,以更好地预测聚类分配。我们在大规模多模态视频基准Kinetics-400和VGG-Sound以及图像基准CIFAR 10,CIFAR 100和ImageNet上彻底评估了我们的框架,获得了最先进的结果。
2021-10-14 cs.CV
Category-Level Multi-Part Multi-Joint 3D Shape Assembly
Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达);Tsinghua University(清华大学);Peking University(北京大学);National University of Singapore(新加坡国立大学)
形状装配是通过简单零件的几何排列组合成复杂形状几何的过程,在自主机器人装配和CAD建模中有着广泛的应用。现有的工作集中在几何推理,忽略了实际的物理装配过程中的匹配和拟合关节,这是连接不同零件的接触面。在本文中,我们考虑接触关节的任务,多部件装配。一个成功的关节优化装配需要满足形状结构和关节对齐的双重目标。我们提出了一种分层图学习方法,由两个层次的图表示学习。零件图将零件几何形状作为输入来构建所需的形状结构。接头级图形使用零件接头信息,并侧重于匹配和对齐接头。这两种信息结合起来,以实现双边目标。大量的实验表明,我们的方法优于以往的方法,实现更好的形状结构和更高的联合对齐精度。
2023-03-10 cs.CV
MeronymNet: A Hierarchical Approach for Unified and Controllable Multi-Category Object Generation
IIIT Hyderabad(海得拉巴国际信息技术研究所)
我们介绍MercuryNet,一种新的分层方法,使用一个统一的模型,可控的,基于部分的多类别对象的生成。我们采用了一个指导性的粗到精的策略,涉及到语义条件生成的限界框布局,像素级的部分布局,并最终,对象的约束本身。我们使用图卷积网络、深度递归网络以及定制设计的条件变分自编码器,以可控的方式实现灵活、多样和类别感知的2-D对象生成。生成对象的性能分数反映了MercuryNet与多个强基线和消融变体相比的卓越性能。我们还展示了MercuryNet的可控对象生成和交互式对象编辑在不同层次的结构和语义粒度的适用性。
2021-10-17 cs.CV cs.GR cs.MM
Disentangled Diffusion-Based 3D Human Pose Estimation with Hierarchical Spatial and Temporal Denoiser
提出DDHPose,一种基于解耦扩散的3D人体姿态估计方法,通过在扩散过程中解耦骨骼长度与方向并引入分层时空去噪器(HSTDenoiser),有效缓解层级误差累积,提升了单目3D姿态估计的精度。
2025-06-30 cs.CV
Global2Local: A Joint-Hierarchical Attention for Video Captioning
针对视频描述中捕捉关键语义项及时空相关性的挑战,提出联合层次注意力模型,通过全局到局部的特征选择提升性能,在两个基准数据集上优于现有方法。
2025-04-14 cs.CV
Hierarchical Text Spotter for Joint Text Spotting and Layout Analysis
Google Research(谷歌研究院)
本文提出分层文本检测器HTS,通过UDP检测文本行并构建段落亲和矩阵,结合L2C2W识别器实现字符、单词、行、段落四级层次识别,在词级文本识别与版面分析任务中均取得最优性能。
2023-10-25 cs.CV
Convolutional Networks for Object Category and 3D Pose Estimation from 2D Images
Johns Hopkins University(约翰斯·霍普金斯大学)
当前用于恢复图像中的对象的3D姿态的基于CNN的算法假定关于对象类别及其在图像中的2D定位的知识。在本文中,我们放松这些约束之一,并提出解决任务的联合对象类别和3D姿态估计的图像假设已知的2D本地化。我们设计了一个新的架构,由一个功能网络,子任务之间共享,对象分类网络上的功能网络,和类别相关的姿态回归网络的集合。我们还介绍了合适的损失函数和新的体系结构的训练方法。在具有挑战性的PASCAL3D+数据集上的实验显示了联合分类和姿态估计任务的最新性能。此外,我们在联合任务上的性能与已知对象类别任务的更简单的3D姿态估计上的最新方法的性能相当。
2018-07-20 cs.CV
PriorPose: Reference-Guided Joint Deformation and Alignment for Category-Level Object Pose Estimation
University of Science and Technology of China(中国科学技术大学);Beijing Institute of Control Engineering(北京控制工程研究所)
PriorPose提出参考引导的联合变形与对齐框架,显式利用类别先验,在共享特征空间联合预测NOCS场和规范变形,以提升类别级物体姿态估计的精度与鲁棒性。
2026-09-16 cs.CV
Hierarchical Generalized Category Discovery for Brain Tumor Classification in Digital Pathology
Institute of Clinical Epidemiology, Public Health, Health Economics, Medical Statistics and Informatics(临床流行病学、公共卫生、健康经济学、医学统计与信息学研究所);Institute of Neuropathology and Neuromolecular Pathology(神经病理学与神经分子病理学研究所)
针对现有脑肿瘤分类方法无法识别训练未覆盖肿瘤类别的问题,提出融合层次聚类与对比学习的HGCD-BT方法,在多模态病理数据集上取得更优的分类精度与泛化性。
2025-11-17 cs.AI cs.CV cs.LG
Hierarchical Corpus-View-Category Refinement for Carotid Plaque Risk Grading in Ultrasound
National-Regional Key Technology Engineering Laboratory for Medical Ultrasound(医学超声关键技术工程实验室);School of Biomedical Engineering, Medical School, Shenzhen University(生物医学工程学院);College of Computer Science and Software Engineering, Shenzhen University(计算机科学与软件工程学院);Fuwai Shenzhen Hospital, Chinese Academy of Medical Sciences(阜外深圳医院,中国医学科学院);Shenzhen RayShape Medical Technology Co., Ltd(深圳RayShape医疗科技有限公司);Faculty of Applied Sciences, Macao Polytechnic University(应用科学学院)
提出CVC-RF框架,通过语料库级中心记忆对比损失、视图级级联下采样注意力及类别级无参数混合专家加权,实现多级特征精炼,在颈动脉斑块分级任务中达到最先进性能。
2025-06-29 cs.CV
Video Joint Modelling Based on Hierarchical Transformer for Co-summarization
University of Melbourne(墨尔本大学);Monash University(莫纳什大学);Tsinghua University(清华大学)
视频摘要旨在自动生成视频摘要(故事板或视频略读),以便于大规模视频检索和浏览。现有的视频摘要方法大多是对单个视频进行摘要,忽略了相似视频之间的相关性。然而,这样的相关性对于视频理解和视频摘要也是有用的。为了解决这个问题,我们提出了基于分层Transformer的视频联合建模(VJMHT)的共同摘要,它考虑到视频之间的语义依赖关系。具体而言,VJMHT由两层Transformer组成:第一层从相似视频的单个镜头中提取语义表示,而第二层执行镜头级视频联合建模以聚合跨视频语义信息。通过这种方式,完整的跨视频高级模式被显式地建模和学习,用于单个视频的摘要。此外,基于transformer的视频表示重建,以最大限度地提高摘要和原始视频之间的高层次相似性。大量的实验进行了验证所提出的模块的有效性和VJMHT的F-措施和基于等级的评价方面的优越性。
2022-06-29 cs.CV
Label-Free Event-based Object Recognition via Joint Learning with Image Reconstruction from Events
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
针对无标签、无配对图像的事件相机目标识别,提出 CLIP 驱动的识别与图像重建联合学习框架,并通过类别引导损失、采样策略和原型方法提升零样本性能。
2023-08-18 cs.CV
SCAPO: Self-Supervised Category-Level Articulated Pose Estimation from a Single 3D Observation
Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
提出SCAPO框架,通过自监督方式从单张RGB-D图像中估计关节物体的规范几何、刚性部件分割和关节参数,无需真实标签或类别特定模型。
2026-06-01 cs.CV
DHRNet: A Dual-Path Hierarchical Relation Network for Multi-Person Pose Estimation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);School of Engineering, Westlake University(西湖大学工程学院);School of Electronic Engineering, Beijing University of Posts and Telecommunications(北京邮电大学电子工程学院);School of Modern Post (School of Automation), Beijing University of Posts and Telecommunications(北京邮电大学现代邮政学院(自动化学院))
本文提出DHRNet,一种基于CNN的单阶段多人姿态估计方法,通过双路径交互建模模块同时提取实例与关节间的双向交互,在COCO等数据集上达到最先进性能。
2024-04-27 cs.CV
Learning Hierarchical Features with Joint Latent Space Energy-Based Prior
Stevens Institute of Technology(史蒂文斯理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出联合潜在空间能量基先验模型,结合多层潜在变量与EBM的表达力,实现有效的层次表示学习,并通过变分联合学习方案提升推理效率。
2023-10-14 cs.CV cs.LG
HGCN-GJS: Hierarchical Graph Convolutional Network with Groupwise Joint Sampling for Trajectory Prediction
The HongKong University of Science and Technology(香港科技大学);The HongKong University of Science and Technology (Guangzhou)(香港科技大学(广州));HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院)
提出分层图卷积网络HGCN-GJS,通过分组联合采样方案建模群体交互与未来轨迹的联合分布,在多个轨迹预测数据集上取得最先进结果。
2023-09-15 cs.CV
Hierarchical Relationships: A New Perspective to Enhance Scene Graph Generation
University of Pennsylvania(宾夕法尼亚大学)
本文提出利用对象与关系标签的层次结构,通过贝叶斯预测头联合预测超类别和具体关系,在Visual Genome上提升场景图生成性能,尤其在谓词分类和零样本场景中表现突出。
2023-11-29 cs.CV
Joint Learning of Pose Regression and Denoising Diffusion with Score Scaling Sampling for Category-level 6D Pose Estimation
KAIST(韩国科学技术院)
针对类别级6D位姿估计中扩散模型训练收敛慢、需额外评估网络筛选位姿的问题,提出位姿回归与去噪扩散联合学习框架搭配时间相关分数缩放采样策略,在多基准上实现更优精度与更高效率。
2025-10-05 cs.CV
Joint Object-Material Category Segmentation from Audio-Visual Cues
University of Oxford(牛津大学);Microsoft Research(微软研究院);Technicolor(特艺公司)
仅从视觉线索识别物体并推断场景的材料属性并不总是可能的,因为物体可能在视觉上看起来相似,但由非常不同的材料制成。因此,在本文中,我们提出了一种方法,增加了可用的密集的视觉线索与稀疏的听觉线索,以估计密集的对象和材料的标签。由于估计对象类和材料属性是相互信息,我们优化我们的多输出标签联合使用随机场框架。我们在一个新的数据集上评估我们的系统,该数据集包含我们公开提供的成对视觉和听觉数据。我们证明,这种联合估计的对象和材料标签显着优于任何类别的估计孤立。
2016-01-10 cs.CV cs.SD
Learning Hierarchical Prompt with Structured Linguistic Knowledge for Vision-Language Models
Tongji University(同济大学);Microsoft Research Asia(微软亚洲研究院);Xidian University(西安电子科技大学)
针对视觉-语言模型提示学习缺乏结构化知识建模的问题,本文提出 HPT,利用 LLM 构建类别描述图,并通过关系引导注意力与分层提示融合结构化和全局语义,显著提升泛化性能。
2023-12-11 cs.CV
Hierarchical Adaptive Structural SVM for Domain Adaptation
Computer Vision Center(计算机视觉中心);Universitat Autónoma de Barcelona(巴塞罗那自治大学)
分类中的一个关键问题是当训练(源)域中的数据分布与测试(目标)域中的数据分布不同时产生的准确性损失。这被认为是一个非常相关的问题,许多计算机视觉任务,如图像分类,目标检测,对象类别识别。在本文中,我们提出了一种新的领域自适应方法,利用多个目标域(或子域)的层次适应树。其核心思想是利用共同考虑的目标领域的共性和差异。考虑到结构SVM(SSVM)分类器的相关性,我们将我们的想法应用于自适应SSVM(A-SSVM),它只需要目标域样本与现有的源域分类器一起执行所需的自适应。总之,我们把我们的建议作为层次A-SSVM(HA-SSVM)。作为概念证明,我们使用HA-SSVM进行行人检测和对象类别识别。在前者中,我们将HA-SSVM应用于基于变形部分的模型(DESIGNED PART-BASED MODEL),而在后者中,HA-SSVM应用于多类别分类器。在这两种情况下,我们展示了HA-SSVM是如何有效地提高检测/识别精度的自适应策略,忽略了目标数据的结构。由于目标数据的子域并不总是先验已知的,我们展示了HA-SSVM如何将子域结构发现用于对象类别识别。
2014-08-22 cs.CV cs.LG
Multilayer Dense Connections for Hierarchical Concept Classification
Comcast Applied AI Research(康卡斯特应用人工智能研究院);Washington D.C.(华盛顿特区)
在目标分类、检测、场景分割等计算机视觉任务中,分类是一个关键的功能。具有单个最终层密集连接的多项式逻辑回归已成为基于CNN的分类的普遍技术。虽然这些分类器在输入和一组输出类别类之间映射,但它们通常不会产生对类别的全面描述。特别是,当基于CNN的图像分类器正确识别黑猩猩的图像时,其输出并不能澄清黑猩猩是灵长类、哺乳动物、脊索动物家族的成员和生物。我们提出了一个多层稠密连接的并发预测类别和概念超类的层次顺序相同的CNN。我们的实验表明,我们提出的网络可以同时预测粗超类和细类别比现有的几种算法在多个数据集。
2021-02-22 cs.CV cs.LG eess.IV
FlowCred: Hierarchical Credit Assignment and Functional Coordination for Joint Text-to-Video Post-Training
Shanghai Jiao Tong University(上海交通大学);KlingAI;The Hong Kong University of Science and Technology(香港科技大学);South China University of Technology(华南理工大学);The University of Hong Kong(香港大学)
FlowCred是用于联合文本到视频后训练的两级框架,通过分层信用分配与功能协调解决联合训练的歧义,在多个T2V基准上提升性能且不增加预算,效果获多维度验证。
2026-10-14 cs.CV
DINO-VPT: Hierarchical Visual Prompt Tuning for Joint Physical-Digital Face Anti-Spoofing
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究生院)
研究针对人脸反欺骗需求,提出DINO-VPT轻量级仅视觉框架,利用分层视觉提示调整,通过提示路由网络动态注入提示,无需多模态融合,在基准测试中比现有方法准确率更高,证明合理架构能达最优性能。
2026-07-24 cs.CV
Joint Segmentation and Deconvolution of Ultrasound Images Using a Hierarchical Bayesian Model based on Generalized Gaussian Priors
University of Toulouse(图卢兹大学);IRIT/INP-ENSEEIHT(图卢兹国立综合理工学院国立高等电子技术、电子学、计算机、水力学院/图卢兹信息学研究所);IRIT, CNRS UMR 5505(法国国家科学研究中心联合研究单位5505 图卢兹信息学研究所)
提出了一种医学超声图像的联合分割与去卷积贝叶斯方法。与分段均匀图像相反,US图像表现出与组织结构相关的重特征散斑图案。广义高斯分布(GGD)已被证明是最相关的分布之一,用于表征斑点在美国的图像。因此,我们提出了一个GGD-Potts模型定义的标签地图耦合US图像分割和反卷积。未知模型参数的贝叶斯估计,包括US图像,标签图和所有超参数,很难以封闭形式表示。因此,我们研究了一个吉布斯采样器来生成根据感兴趣的后验分布的样本。这些生成的样本最终用于计算未知参数的贝叶斯估计。所提出的贝叶斯模型的性能与现有的方法相比,通过几个实验进行现实的合成数据和在体内US图像。
2016-05-02 cs.CV
OMAD: Object Model with Articulated Deformations for Pose Estimation and Retrieval
Shanghai Jiao Tong University(上海交通大学)
铰接式物体在日常生活中无处不在。然而,由于固有的高自由度的结构,关节的物体的关节状态是很难估计。为了对关节型物体进行建模,需要考虑两种形状变形,即几何变形和姿态变形。在这项工作中,我们提出了一种新的类别特定的参数表示称为对象模型与关节变形(OMAD)明确建模的关节对象。在OMAD中,一个类别与具有共享形状基的线性形状函数和非线性联合函数相关联。这两个函数都可以从大规模对象模型数据集中学习,并固定为特定于类别的先验。然后,我们提出了一个OMADNet预测的形状参数和联合状态从一个对象的单一观察。随着对象形状和关节状态的完整表示,我们可以解决几个任务,包括类别级的对象姿态估计和铰接对象检索。为了评估这些任务,我们创建了一个基于PartNet-Mobility的合成数据集。大量的实验表明,我们简单的OMADNet可以作为这两个任务的强有力的基线。
2021-12-14 cs.CV
Hierarchical Fusion and Joint Aggregation: A Multi-Level Feature Representation Method for AIGC Image Quality Assessment
Xidian University(西安电子科技大学)
本文提出含多级特征提取、分层融合与联合聚合的视觉表示范式,并构建 MGLF-Net 与 MPEF-Net,分别评估 AIGC 图像感知质量和文图一致性,实验验证其优越性能。
2025-07-23 cs.CV
A Hierarchical Deep Architecture and Mini-Batch Selection Method For Joint Traffic Sign and Light Detection
University Of Waterloo(滑铁卢大学)
自动驾驶汽车上的交通灯和标志检测器是道路场景感知不可或缺的组成部分。文献中有大量的深度学习网络可以检测灯光或标志,而不是两者兼而有之,这使得它们不适合实际部署,因为嵌入式系统上的图形处理单元(GPU)内存和电源有限。这个问题的根本原因是没有一个公共数据集同时包含交通灯和标志标签,这导致开发联合检测框架的困难。我们提出了一个深度分层架构,结合小批量建议选择机制,允许网络从单独的交通灯和标志数据集的训练中检测交通灯和标志。我们的方法解决了一个数据集的实例在另一个数据集中没有标记的重叠问题。我们是第一个提出对交通信号灯和标志进行联合检测的网络。我们在清华-腾讯100 K交通标志检测基准和博世小型交通灯检测基准上对我们的网络进行了测试,结果表明它优于现有的博世小型交通灯最先进的方法。我们专注于自动驾驶汽车的部署,并表明我们的网络比其他网络更适合,因为它的内存占用量低,实时图像处理时间短。定性结果可在https://youtu.be/_YmogPzBXOw上查看
2018-09-13 cs.CV
CapeNext: Rethinking and Refining Dynamic Support Information for Category-Agnostic Pose Estimation
CapeNext通过整合层次交叉模态交互与双流特征细化,提升了类别无关姿态估计中动态支持信息的鲁棒性和鉴别能力。
2025-12-15 cs.CV
Hierarchical Approach for Joint Semantic, Plant Instance, and Leaf Instance Segmentation in the Agricultural Domain
University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);La Sapienza University of Rome(罗马第一大学)
针对农业植株表型分析需求,提出一种带任务特定跳跃连接和新型后处理的分层卷积神经网络,可同时完成语义、植株实例与叶片实例联合分割,性能更优、参数量更少且达相机帧率。
2023-06-14 cs.CV
Joint Autoregressive and Hierarchical Priors for Learned Image Compression
Google Research(谷歌研究院)
最近的学习图像压缩模型是基于自动编码器,学习近似可逆的映射从像素到量化的潜在表示。这些与熵模型相结合,熵模型是潜在表示的先验,可以与标准算术编码算法一起使用以产生压缩比特流。最近,分层熵模型已经被引入作为一种方式,以利用更多的潜在结构比简单的完全因式分解先验,提高压缩性能,同时保持端到端的优化。受自回归先验在概率生成模型中的成功启发,我们研究了自回归,分层以及组合先验作为替代方案,在图像压缩的背景下权衡其成本和收益。虽然众所周知,自回归模型具有显著的计算代价,但我们发现,在压缩性能方面,自回归和分层先验是互补的,并且一起利用潜在的概率结构比所有以前学习的模型更好。该组合模型产生了最先进的率失真性能,与之前基于深度学习的最先进方法相比,文件大小平均减少了15.8%,相当于JPEG大小减少了59.8%,与WebP和JPEG 2000相比减少了35%以上,比特流比当前最先进的图像编解码器BPG小8.4%。据我们所知,我们的模型是第一个在PSNR和MS-SSIM失真指标上优于BPG的基于学习的方法。
2018-09-08 cs.CV
Category-Level Articulated Object Pose Estimation
Google Research(谷歌研究院);Stanford University(斯坦福大学);Virginia Tech(弗吉尼亚理工学院暨州立大学);Columbia University(哥伦比亚大学)
该项目解决了从单个深度图像中对铰接对象进行类别级姿态估计的任务。我们提出了一种新的类别级方法,可以正确地容纳以前在训练过程中看不到的对象实例。我们介绍了关节感知规范化坐标空间层次结构(ANCSH)-一个规范的表示在给定的类别中不同的关节对象。作为实现类内泛化的关键,该表示构造了一个规范的对象空间和一组规范的部分空间。规范对象空间规范化对象取向、尺度和关节(例如,关节参数和状态),而每个规范部件空间进一步规范化其部件姿态和尺度。我们开发了一个基于PointNet++的深度网络,它可以从单个深度点云预测ANCSH,包括规范对象空间中的部分分割、归一化坐标和关节参数。通过利用规范化的关节,我们证明:1)使用来自关节的诱导运动学约束改进了部分姿态和尺度估计的性能; 2)相机空间中关节参数估计的高精度。
2020-04-08 cs.AI cs.CV cs.RO
HiGDA: Hierarchical Graph of Nodes to Learn Local-to-Global Topology for Semi-Supervised Domain Adaptation
Chonnam National University(全南国立大学);Korea University(高丽大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对半监督域自适应中表示学习不足的问题,提出节点层次图HiGDA,通过局部图捕获图像内相关块、全局图聚合类别特征,在多个基准上达到新最先进水平。
2024-12-16 cs.CV
HypDAE: Hyperbolic Diffusion Autoencoders for Hierarchical Few-shot Image Generation
MMLab, The Chinese University of Hong Kong(香港中文大学);Boston University(波士顿大学)
针对少样本图像生成中类别一致性与多样性难平衡、属性控制不足的问题,提出在双曲空间运行的HypDAE方法,借助预训练模型和双曲表示实现更优平衡与可控可解释的生成。
2025-09-05 cs.CV
PARAGraph: Pathology-Anatomy-Aware Hierarchical Graph for Diabetic Retinopathy Grading
提出病理-解剖感知分层图框架PARAGraph,以三级分层图建模DR分级,在多数据集上实现优于现有方法的性能,预测具临床依据且对分割噪声鲁棒。
2026-08-11 cs.CV
Adaptive Hierarchical Graph Reasoning with Semantic Coherence for Video-and-Language Inference
Zhejiang University(浙江大学);University of Technology Sydney(悉尼科技大学);Université de Montréal(蒙特利尔大学)
视频-语言推理是最近提出的视频-语言理解联合任务。这项新任务需要一个模型来推断自然语言语句是否与给定的视频片段相关或矛盾。在本文中,我们研究了如何解决这一任务的三个关键挑战:判断涉及多个语义的语句的全局正确性,视频和字幕的联合推理,以及建模远程关系和复杂的社会互动。首先,我们提出了一种自适应分层图网络,可以在复杂的交互中深入理解视频。具体而言,它执行联合推理的视频和字幕在三个层次,其中图结构是自适应调整,根据语句的语义结构。其次,我们引入语义一致性学习,明确鼓励三个层次的自适应层次图网络的语义一致性。语义一致性学习可以进一步提高视觉和语言之间的一致性,以及视频片段序列之间的一致性。实验结果表明,我们的方法显着优于基线的大幅度。
2021-08-09 cs.CV
Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation
Hikvision Research Institute(海康威视研究院)
随着大规模骨架数据集的出现,基于骨架的人体动作识别越来越受到人们的关注。该任务的关键在于两个方面:联合同现的帧内表示和骨架时间演化的帧间表示。在本文中,我们提出了一个端到端卷积共生特征学习框架。共现特征的学习与层次的方法,其中不同层次的上下文信息逐渐聚合。首先,对每个关节的点级信息进行独立编码。然后将它们组装成空间域和时间域的语义表示。具体来说,我们引入了一个全球性的空间聚合方案,这是能够学习优越的联合同现功能超过本地聚合。此外,原始骨架坐标以及它们的时间差与双流范例相结合。实验表明,我们的方法始终优于其他国家的最先进的动作识别和检测基准,如NTU RGB + D,SBU Kinect Interaction和PKU-MMD。
2018-04-17 cs.CV
A Joint Sequence Fusion Model for Video Question Answering and Retrieval
Seoul National University(首尔国立大学)
我们提出了一种名为JSFusion(联合序列融合)的方法,可以测量任何对多模态序列数据(例如,视频剪辑和语言句子)之间的语义相似性。我们的多模态匹配网络由两个关键组件组成。首先,联合语义张量将两个序列数据的密集成对表示组成3D张量。然后,卷积分层解码器通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似性得分。这两个模块都利用了分层的注意力机制,该机制学习促进良好匹配的表示模式,同时以自下而上的方式修剪掉不对齐的表示模式。虽然JSFusion是一个通用的模型,适用于任何多模态序列数据,这项工作的重点是视频语言的任务,包括多模态检索和视频QA。我们在LSMDC中的三个检索和VQA任务中评估了JSFusion模型,我们的模型达到了迄今为止报告的最佳性能。我们还为MSR-VTT数据集执行多项选择和电影检索任务,我们的方法优于许多最先进的方法。
2018-08-07 cs.CV
MNIST-Gen: A Modular MNIST-Style Dataset Generation Using Hierarchical Semantics, Reinforcement Learning, and Category Theory
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学);Department of Mathematics(数学系);Florida State University(佛罗里达州立大学);School of Arts, Media and Engineering(艺术、媒体与工程学院)
MNIST-Gen通过结合CLIP语义理解、强化学习和人类反馈,实现自动生成MNIST风格数据集,支持复杂分类结构,生成Tree-MNIST和Food-MNIST等任务专用数据集,实现85%自动分类准确率和80%时间节省。
2025-07-16 cs.AI cs.CV cs.HC
CHIP: Contrastive Hierarchical Image Pretraining
提出CHIP模型,利用三级层次对比损失和ResNet152,在少样本条件下将未见对象分类到通用层次类别,实验基于ImageNet动物子集,取得满意效果。
2023-10-12 cs.AI cs.CV cs.LG
CARTO: Category and Joint Agnostic Reconstruction of ARTiculated Objects
University of Freiburg(弗莱堡大学);Georgia Institute of Technology(佐治亚理工学院);Toyota Research Institute (TRI)(丰田研究院);Stanford University(斯坦福大学)
CARTO提出一种从单次立体RGB观测中重建多类别关节体对象的方法,通过单一几何与关节解码器及立体图像编码器,在单次前向传播中推断形状、位姿、尺寸和关节状态,实现20.4%的mAP提升并具备真实世界迁移能力。
2023-03-28 cs.CV cs.RO
A Hierarchical Approach for Joint Multi-view Object Pose Estimation and Categorization
University of Birmingham(伯明翰大学);Poznan University of Technology(波兹南理工大学)
我们提出了一个联合对象姿态估计和分类方法,提取信息的对象构成和类别的对象部分和组成构建在不同层次的对象表示算法,即学习层次的部分(LHOP)。在所提出的方法中,我们首先采用LHOP学习分层零件库,这些零件库代表不同对象类别和视图的实体零件和组合物。然后,我们提取的统计和几何特征的部分实现的图像中的对象,以表示信息的对象的姿态和类别在每个不同的层次结构的层。与传统的方法,考虑特定层的层次结构,以提取信息来执行特定的任务,我们结合在不同的层提取的信息来解决一个联合对象的姿态估计和分类问题,使用分布式优化算法。我们研究了两个基准的2-D多视图图像数据集上提出的生成判别学习方法和算法。所提出的方法和算法优于最先进的分类,回归和特征提取算法。此外,实验结果揭示了对象分类,姿态估计和在层次结构的不同层观察到的部分实现之间的关系。
2015-03-04 cs.CV cs.RO
Visual Object Categorization Based on Hierarchical Shape Motifs Learned From Noisy Point Cloud Decompositions
Jacobs University Bremen(不来梅雅各布大学)
物体形状是物体语义理解的关键线索。在这项工作中,我们专注于现实世界的对象点云的分类,以特定的形状类型。其中,表面描述和表示的对象形状结构有显着的影响形状分类的准确性,当处理具有噪声,部分和闭塞的对象观察的现实世界的场景。一个无监督的分层学习过程中使用的象征性地描述多个语义层次上的表面特征。此外,星座模型提出了分层分解对象。分解被描述为符号(形状图案)的星座,以渐进的顺序,因此反映了从局部到全局的形状结构,即,从部件到部件组再到整个对象。这种表面的多层次描述和形状的层次分解的组合导致了允许概念化形状的表示。一个对象的歧视已被观察到在实验中的七个类别的传感器噪声,遮挡,以及类间和类内相似性的实例。实验包括对所提出的描述和形状分解方法的评估,以及与快速点特征直方图、词汇树和基于神经网络的深度学习方法的比较。此外,实验进行了替代数据集分析所提出的方法的泛化能力。
2018-04-03 cs.CV cs.RO
Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction
Nanyang Technological University(南洋理工大学)
互联网上视频数据的爆炸需要有效和高效的技术来自动为无法观看视频的人生成字幕。尽管视频描述研究取得了很大进展,特别是在视频特征编码方面,但语言解码器在很大程度上仍然基于流行的RNN解码器,如LSTM,它倾向于选择与视频一致的频繁词。在本文中,我们提出了一个边界感知的分层语言解码器的视频描述,它包括一个高层次的GRU为基础的语言解码器,作为一个全球(标题级)语言模型,和一个低层次的GRU为基础的语言解码器,作为一个本地(短语级)语言模型。最重要的是,我们在底层GRU语言解码器中引入了二进制门来检测语言边界。与其他先进的组件,包括联合视频预测,共享的软注意,和边界感知的视频编码,我们的集成视频描述框架可以发现分层的语言信息,并区分在一个句子中,这通常是混乱的语言生成的主题和对象。在两个广泛使用的视频描述数据集MSR-Video-to-Text(MSR-VTT)\cite{xu2016msr}和YouTube-to-Text(MSVD)\cite{chen2011collecting}上的实验表明,与现有方法相比,本文方法具有很强的竞争力.
2018-07-08 cs.CL cs.CV
Beyond Flat Labels: Level-Restricted Contrastive Learning for Hierarchical Fine-Grained Vision Classification
The Ohio State University(俄亥俄州立大学);Washington University in St. Louis(圣路易斯华盛顿大学);Neuromatch;Boston University(波士顿大学)
针对多模态对比学习在层次标签空间中预测不一致的问题,提出层级限制对比学习,仅在同一层级内进行对比,并采用组平衡设计,显著提升层次一致性和分类精度。
2026-09-29 cs.CV cs.LG
Sequential image recovery using joint hierarchical Bayesian learning
Dartmouth College(达特茅斯学院);MIT(麻省理工学院)
提出一种基于分层贝叶斯学习的序列图像联合恢复方法,结合图像内与图像间先验信息,有效恢复缺失信息,提升所有单张重建图像的准确度,并支持不确定性量化。
2023-05-19 cs.CV cs.NA math.NA
Hierarchical Compression of Vision-Language Model Benchmarks
Pohang University of Science and Technology(浦项科技大学);Upstage AI
提出PRIMEBench,一种视觉感知的分层基准压缩框架,通过四阶段剪枝在保留模型排名的同时大幅降低VLM评估成本,并揭示评估行为随模型面板演变的规律。
2026-09-30 cs.AI cs.CL cs.CV
Joint Global and Local Hierarchical Priors for Learned Image Compression
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室)
最近,学习的图像压缩方法已经优于传统的手工制作的,包括BPG。这种成功的关键之一是学习熵模型,它估计量化潜在表示的概率分布。与其他视觉任务一样,最近学习的熵模型基于卷积神经网络(CNN)。然而,CNN由于其局部连通性的性质而在建模远程依赖性方面具有限制,这可能是图像压缩中的一个重要瓶颈,其中减少空间冗余是关键点。为了克服这个问题,我们提出了一种新的熵模型称为信息Transformer(告密者),利用全球和本地信息的内容依赖的方式使用的注意力机制。我们的实验表明,Informer提高率失真性能的国家的最先进的方法在柯达和Tecnick数据集没有二次计算复杂度的问题。我们的源代码可在https://github.com/naver-ai/informer上获得。
2022-07-21 cs.CV eess.IV
Enhancing Scene Graph Generation with Hierarchical Relationships and Commonsense Knowledge
University of Pennsylvania(宾夕法尼亚大学)
本研究提出结合关系层次结构与常识验证的增强型场景图生成方法,可即插即用集成到现有算法中,在多个数据集上实现显著性能提升。
2024-12-05 cs.AI cs.CV cs.LG
CAPT: Category-level Articulation Estimation from a Single Point Cloud Using Transformer
The Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);Faculty of Engineering, Kyoto University of Advanced Science(京都先进科学大学工学部)
本文提出CAPT,一种基于Transformer的端到端方法,利用运动损失和双重投票策略从单点云中实现高精度的类别级关节参数与状态估计。
2024-02-27 cs.AI cs.CV cs.RO
Hierarchical Action Recognition: A Contrastive Video-Language Approach with Hierarchical Interactions
Zhejiang Lab(之江实验室)
针对视频识别忽视类别层次结构的问题,本文提出一种编码层次依赖并施加自上而下约束的视频-语言框架,并构建了中风康复细粒度基准,显著提升了层次化识别性能。
2024-05-28 cs.CV cs.MM