HTNet: Human Topology Aware Network for 3D Human Pose Estimation
Key Laboratory of Machine Perception, Shenzhen Graduate School, Peking University（北京大学深圳研究生院机器感知重点实验室）
三维人体位姿估计误差会沿着人体拓扑结构传播，并在肢体末端关节处积累。受自动控制系统中回溯机制的启发，设计了一个以父结点为参照的零件内约束模块，在零件级建立端部连接的拓扑约束。进一步考虑人体拓扑结构的层次性，分别通过图卷积网络和自注意力捕获关节级和身体级依赖性。基于这些设计，我们提出了一种新的人类拓扑感知网络（HTNet），它采用了通道分裂渐进策略，顺序学习的结构先验的人类拓扑结构从多个语义层次：关节，部分，和身体。大量实验表明，该方法提高了18.7%的四肢末端关节的估计精度，并在Human3.6M和MPI-INF-3DHP数据集上取得了最先进的结果。代码可在https://github.com/vefalun/HTNet上获得。
2023-02-20 cs.CV cs.HC cs.LG
Human-Aware 3D Scene Generation with Spatially-constrained Diffusion Models
Wuhan University（武汉大学）；Hedra；JD Explore Academy（京东探索研究院）
针对从人体运动生成三维场景时物体重叠的问题，提出基于扩散模型的方法，引入两种空间碰撞引导机制，并自动化增强数据集，显著减少碰撞，生成更自然合理的场景。
2024-08-20 cs.CV cs.GR
Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technology University（南洋理工大学）
在真实世界场景中合成长期人体运动序列的能力可以促进许多应用。先前的场景感知运动合成方法受到预定义的目标对象或位置的约束，从而限制了合成运动的人-场景交互的多样性。在本文中，我们专注于合成不同的场景感知的目标动作序列的指导下，人体运动的问题。为了实现这一点，我们首先分解的多样性场景感知人体运动到三个方面，即交互多样性（例如，坐在不同的对象在给定的场景中具有不同的姿势），路径多样性（例如，移动到目标位置遵循不同的路径），和运动多样性（例如，在移动过程中有各种身体运动）。在此分解方案的基础上，提出了一个层次化的框架，每个子模块负责一个方面的建模。我们评估我们的框架的有效性，对两个具有挑战性的数据集场景感知人体运动合成。实验结果表明，该框架在多样性和自然性方面明显优于以往的方法。
2022-05-25 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Human-Aware Motion Deblurring
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Stony Brook University（石溪大学）
本文提出了一个人类感知的去模糊模型，解开前景（FG）的人和背景（BG）之间的运动模糊。所提出的模型是基于一个三分支的编码器-解码器架构。前两个分支分别用于锐化FG人体和BG细节;而第三个分支通过全面融合来自这两个领域的多尺度去模糊信息来产生全局和谐的结果。所提出的模型还被赋予了一个监督，人类意识的注意力机制在一个端到端的方式。它学习对FG人类信息进行编码的软掩码，并显式地驱动FG/BG解码器分支专注于其特定域。为了进一步有利于人类感知图像去模糊的研究，我们引入了一个名为HIDE的大规模数据集，该数据集由8，422个模糊和清晰图像对组成，其中包含65，784个密集注释的FG人类边界框。HIDE是专门为跨越广泛的场景，人类对象的大小，运动模式和背景复杂性而构建的。在公共基准测试和我们的数据集上进行的大量实验表明，我们的模型与最先进的运动去模糊方法相比表现良好，特别是在捕捉语义细节方面。
2020-01-19 cs.CV
Human-centric Image Cropping with Partition-aware and Content-preserving Features
Shanghai Jiao Tong University（上海交通大学）
图像裁剪的目的是在图像中找到视觉上吸引人的裁剪，这是一个重要而具有挑战性的任务。在本文中，我们考虑一个具体的和实际的应用：以人为中心的图像裁剪，它侧重于一个人的描绘。为此，我们提出了一种以人为中心的图像裁剪方法，候选作物有两个新的功能设计：分区感知功能和内容保持功能。对于分区感知特征，我们根据人体限界框将整个图像划分为9个分区，并根据人体信息对候选裁剪中的不同分区进行不同的处理。对于内容保持功能，我们预测一个热图，表明重要内容将被包括在一个好的作物，并提取热图和候选作物之间的几何关系。大量的实验表明，我们的方法可以表现出良好的国家的最先进的图像裁剪方法对人类为中心的图像裁剪任务。代码可在https://github.com/bcmi/Human-Centric-Image-Cropping上获得。
2022-07-21 cs.CV
Consistency-Aware Graph Network for Human Interaction Understanding
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）；The University of Adelaide（阿德莱德大学）
相对于人类活动分类的研究进展，人类交互理解（HIU）的研究成果还很有限。除了后一个任务更具挑战性之外，主要原因是最近的方法通过浅层图形模型来学习人类交互关系，这不足以对复杂的人类交互进行建模。在本文中，我们提出了一个一致性感知的图网络，它结合了图网络的代表能力和一致性感知推理，以促进HIU任务。我们的网络由三个组件组成，一个主干CNN提取图像特征，一个因素图网络学习参与者之间的三阶交互关系，以及一个一致性感知推理模块，以执行标记和分组。我们的主要观察是，HIU的一致性感知推理偏差可以嵌入到能量函数中，最小化提供一致的预测。提出了一种有效的平均场推理算法，使得我们的网络的所有模块可以以端到端的方式联合训练。实验结果表明，我们的方法在三个基准测试中取得了领先的性能。
2021-03-23 cs.CV
Locality-Aware Zero-Shot Human-Object Interaction Detection
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出LAIN框架，通过增强CLIP表示的局部性与交互感知，提升零样本人-物交互检测性能，实验证明其优于现有方法。
2025-05-26 cs.CV
Uncertainty-aware Human Motion Prediction
人体运动预测对于人体运动分析和人机交互等任务至关重要。已经提出了大多数现有的方法来实现运动预测。然而，他们忽略了一个重要的任务，预测结果的质量评估。对于目前的方法来说，在实际场景中已经足够了，因为在没有对预测进行评估的情况下，人们无法知道如何与机器进行交互，而不可靠的预测可能会误导机器伤害人类。因此，我们提出了一个不确定性感知的人体运动预测框架（UA-HMP）。具体而言，我们首先设计一个不确定性感知预测器，通过高斯建模，以实现预测运动的价值和不确定性。然后，提出了一种不确定性引导的学习方案，量化的不确定性，并减少噪声样本的负面影响，在优化，以获得更好的性能。我们提出的框架很容易与当前的SOTA基线相结合，以克服其在不确定性建模中的弱点，只需少量的参数增量。大量的实验也表明，他们可以实现更好的性能，在短期和长期的预测H3.6M，CMU-Mocap。
2021-07-08 cs.CV
Efficient and Robust Pedestrian Detection using Deep Learning for Human-Aware Navigation
Instituto de Sistemas e Robótica (LARSyS)（系统与机器人研究所（LARSyS））；Instituto Superior Técnico（高等理工学院）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文研究了基于视觉的人体感知导航（HAN）问题，利用多摄像机传感器实现了一个基于视觉的人体跟踪系统。本文的主要贡献如下：一种新颖而高效的深度学习人检测和人类感知约束的标准化。在该方法的第一阶段，我们建议将聚合通道特征（ACF）检测器与深度卷积神经网络（CNN）级联，以实现快速准确的行人检测（PD）。关于人类意识（可以定义为与机器人运动相关的约束），我们使用非对称高斯函数的混合来定义与每个约束相关的成本函数。本文提出的两种方法都单独评估，以衡量每个组件的影响。最终的解决方案（包括拟议的行人检测和人类意识的限制）进行了测试，在一个典型的国内室内场景，在四个不同的实验。结果表明，机器人是能够应付人类意识到的限制，定义后，共同的数学和社会规则。
2018-12-13 cs.CV cs.RO
Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing
ETH Zurich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）；University of Technology Sydney（悉尼科技大学）
为了解决具有挑战性的任务，实例感知的人体部位解析，提出了一种新的自底向上的制度，学习类别级的人类语义分割，以及多人姿态估计在联合和端到端的方式。它是一个紧凑、高效且强大的框架，可以利用不同人类粒度的结构信息，并减轻人员划分的难度。具体而言，密集到稀疏的投影场，它允许显式地将密集的人类语义与稀疏的关键点相关联，在网络特征金字塔上学习并逐步改进以获得鲁棒性。然后，困难的像素分组问题被转换为一个更容易的，多人的联合组装任务。通过将联合关联公式化为最大权重二部匹配，开发了可微分的解决方案，以利用投影梯度下降和Dykstra的循环投影算法。这使得我们的方法是端到端可训练的，并允许反向传播分组误差来直接监督多粒度人类表示学习。这与当前自下而上的人类解析器或姿态估计器不同，后者需要复杂的后处理或启发式贪心算法。在三个实例感知的人类句法分析数据集上的实验表明，我们的模型比其他自底向上的替代方案具有更有效的推理。
2021-03-08 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affordances
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对人-物-场景配对数据稀缺的问题，提出MAMHOI方法，通过可供性介导分解场景感知HOI生成，实验显示其可减少物体-场景穿透，提升交互质量与物理可行性。
2026-10-09 cs.AI cs.CV
Vision-Based Human Awareness Estimation for Enhanced Safety and Efficiency of AMRs in Industrial Warehouses
Fraunhofer Austria Research GmbH（弗劳恩霍夫奥地利研究有限公司）；Computer Vision Lab（计算机视觉实验室）；Digital Factory Vorarlberg GmbH（数字工厂沃尔夫斯堡有限公司）；Institute of Computer Technology（计算机技术研究所）
本文提出一种实时视觉方法，利用单个RGB摄像头估计AMR的人类意识，通过3D人体姿态提升和头部姿态估计确定人类位置和视线锥，从而判断人类是否意识到AMR，提升工业环境中的安全性和效率。
2026-04-18 cs.CV cs.RO
Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images
University of Maryland（马里兰大学）
我们提出了一个可扩展的神经网络框架，从多视角图像重建人体的三维网格，在SMPL模型的子空间。使用多视点图像可以显著降低投影模糊问题，提高服装下三维人体的重建精度。我们的实验表明，该方法受益于从我们的管道生成的合成数据集，因为它具有良好的变量控制的灵活性，并可以提供地面实况验证。我们的方法优于现有的方法对现实世界的图像，特别是形状估计。
2019-08-26 cs.CV
StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
在本文中，我们提出了StereoPIFu，它集成了立体视觉的几何约束与隐式函数表示的PIFu，恢复的三维形状的穿着的人从一对低成本的纠正图像。首先，我们从基于立体视觉的网络中引入有效的体素对齐特征，以实现深度感知重建。此外，新的相对z偏移被用来关联预测的高保真人体深度和占用推断，这有助于恢复精细的表面细节。其次，设计了一种充分利用立体图像几何信息的网络结构，以提高人体重建质量。因此，我们的StereoPIFu可以自然地推断人体在相机空间中的空间位置，并保持人体不同部位的正确相对位置，这使得我们的方法能够捕捉人体的表现。与以前的作品相比，我们的StereoPIFu显着提高了服装人体重建的鲁棒性，完整性和准确性，这是由大量的实验结果证明。
2021-04-13 cs.CV
Context-Aware Trajectory Prediction
University of Florence（佛罗伦萨大学）；University of Padova（帕多瓦大学）
拥挤空间中的人类运动和行为受到几个因素的影响，例如场景中其他移动代理的动态，以及可能被视为吸引点或障碍物的静态元素。在这项工作中，我们提出了一个新的模型，人类轨迹预测，这是能够利用人与人和人与空间的相互作用。人类的未来轨迹是通过观察他们过去的位置和与周围环境的互动而产生的。为此，我们提出了一种“上下文感知”的递归神经网络LSTM模型，它可以学习和预测人行道、博物馆或购物中心等拥挤空间中的人体运动。我们在公共行人数据集上评估了我们的模型，并贡献了一个新的具有挑战性的数据集，该数据集收集了人类在（真实）拥挤的空间（如大型博物馆）中导航的视频。结果表明，我们的方法可以更好地预测人类轨迹相比，以前的国家的最先进的预测模型。
2017-05-06 cs.CV
Human Motion Prediction via Test-domain-aware Adaptation with Easily-available Human Motions Estimated from Videos
Toyota Technological Institute Japan（丰田技术研究所日本）
针对人体动作预测依赖昂贵动捕数据、泛化性差的问题，提出将单目视频估计的二维姿态转换为动捕风格三维动作并用于测试域自适应学习，实验验证了其定量与定性效果。
2025-05-13 cs.CV
A Skeleton-aware Graph Convolutional Network for Human-Object Interaction Detection
Northumbria University（诺森比亚大学）；Durham University（杜伦大学）
检测人与物体的交互对于全面理解视觉场景至关重要。特别是，人与物体之间的空间联系是推理交互的重要线索。为此，我们提出了一个感知的图卷积网络的人机交互检测，命名为SGCN 4 HOI。我们的网络利用人类关键点和对象关键点之间的空间连接，通过图形卷积来捕获它们的细粒度结构交互。它融合了这样的几何特征与视觉特征和空间配置特征获得的人-物体对。此外，为了更好地保留对象的结构信息，促进人与对象的交互检测，我们提出了一种新的基于信标的对象关键点表示。SGCN 4 HOI的性能在公共基准V-COCO数据集上进行了评估。实验结果表明，该方法优于最先进的基于姿态的模型，并实现与其他模型的竞争性能。
2022-07-11 cs.AI cs.CV
Disentangled Human Body Representation Based on Unsupervised Semantic-Aware Learning
X-ray Product, Siemens Shanghai Medical Equipment Ltd.（西门子上海医疗设备有限公司X射线产品部）；University of Science and Technology of China, School of Biomedical Engineering & Suzhou Institute for Advanced Research（中国科学技术大学生物医学工程学院及苏州先进研究院）
提出一种无监督语义感知的解缠人体表示方法，通过骨架分组解缠策略和部分感知解码器实现可控细粒度语义与高精度重建。
2025-05-25 cs.CV
Context-aware Human Motion Prediction
Institut de Robòtica i Informàtica Industrial CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
在机器人技术和计算机视觉中，根据一系列过去的观察结果预测人体运动是许多应用的核心问题。目前的最新技术将这个问题表述为序列到序列任务，其中3D骨架的历史数据为预测未来运动的递归神经网络（RNN）提供信息，通常为1到2秒。然而，迄今为止已经排除的一个方面是人类运动固有地由与环境中的对象和/或其他人类的交互驱动的事实。在本文中，我们探索这种情况下使用一种新的上下文感知的运动预测架构。我们使用一个语义图模型，其中的节点参数化的人和物体的场景和边缘的相互作用。这些交互通过图形注意层迭代学习，并提供过去的观察结果，现在包括对象和人体运动。一旦学习了这个语义图，我们就将其注入到标准RNN中，以预测人类和物体的未来移动。我们考虑我们的架构的两个变体，要么冻结上下文交互在未来更新它们。对“全身人体运动数据库”的彻底评估表明，在这两种情况下，我们的上下文感知网络的表现明显优于不考虑上下文信息的基线。
2020-03-23 cs.CV
3D-Aware Semantic-Guided Generative Model for Human Synthesis
University of Trento（特伦托大学）；University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）；ETH Zurich（苏黎世联邦理工学院）；Snap Research（Snap研究院）
生成式神经辐射场（GNeRF）模型从2D图像中提取隐式3D表示，最近已被示出产生表示刚性/半刚性对象（诸如人脸或汽车）的逼真图像。然而，它们通常很难生成表示非刚性对象（例如人体）的高质量图像，这对于许多计算机图形应用程序来说非常感兴趣。本文提出了一种三维感知的语义引导生成模型（3D-SGAN）的人体图像合成，它结合了GNeRF和纹理生成器。前者学习人体的隐式3D表示，并输出一组2D语义分割掩码。后者将这些语义面具转换为真实图像，为人类外观添加逼真的纹理。在不需要额外的3D信息的情况下，我们的模型可以通过照片般逼真的可控生成来学习3D人类表示。我们在DeepFashion数据集上的实验表明，3D-SGAN的性能明显优于最新的基线。代码可在https://github.com/zhangqianhui/3DSGAN上获得
2022-07-17 cs.CV
Generating Attribute-Aware Human Motions from Textual Prompt
针对现有文本驱动人体运动生成方法忽略年龄等属性影响的问题，提出基于结构因果模型的解耦框架，实现文本语义预测与属性控制生成，并构建首个属性标注数据集，验证了模型生成属性感知运动的有效性。
2025-11-13 cs.CV cs.MM
GloPro: Globally-Consistent Uncertainty-Aware 3D Human Pose Estimation & Tracking in the Wild
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
GloPro首次融合视觉线索与运动模型，预测包含形状、姿态和根姿态的3D人体网格不确定性分布，在严重遮挡下仍能实时实现高精度全局一致的人体轨迹估计与跟踪。
2023-09-20 cs.CV cs.RO
Human Motion Prediction Using Manifold-Aware Wasserstein GAN
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信息、信号与自动化研究中心）；IMT Lille Douai（里尔-杜埃国立高等矿业电信学院）；Institut Mines-Télécom（法国国立矿业电信学院联盟）；SCALab（里尔认知与情感科学实验室）
人体运动预测的目的是预测未来的人体姿势给定的先验序列。预测运动的不连续性和长期视野中的性能恶化仍然是当前文献中遇到的主要挑战。在这项工作中，我们解决这些问题，通过使用一个紧凑的流形值表示的人体运动。具体来说，我们建模的三维人体姿态的时间演变的轨迹，这使我们能够将人体运动映射到一个球面流形上的单点。为了学习这些非欧几里德表示，我们构建了一个流形感知的Wasserstein生成对抗模型，该模型通过不同的损失捕获人体运动的时间和空间依赖性。大量的实验表明，我们的方法在CMU MoCap和Human 3.6M数据集上的性能优于最先进的方法。我们的定性结果表明预测运动的平滑性。
2021-07-16 cs.AI cs.CV
Region-Aware Network: Model Human's Top-Down Visual Perception Mechanism for Crowd Counting
Xi'an Jiaotong University（西安交通大学）
背景噪声和尺度变化是人群计数中常见的问题。人类在扫视人群图像时，通过全局感受野的注意力、人群区域和人群区域的拥挤程度，可以立即知道人群的大致数量和位置。因此，在本文中，我们提出了一种新的反馈网络与区域感知块称为RANet通过模拟人类自顶向下的视觉感知机制。首先，我们引入了一个反馈架构来生成优先级地图，提供有关候选人群区域在输入图像的先验。先验知识使得RANet能够更多地关注人群区域。然后，我们设计了区域感知块，它可以通过全局感受野自适应地将上下文信息编码到输入图像中。更具体地说，我们以列向量的形式扫描整个输入图像及其优先级图，以获得估计它们的相似性的相关矩阵。获得的相关矩阵将被用来建立像素之间的全局关系。我们的方法在几个公共数据集上优于最先进的人群计数方法。
2022-06-20 cs.CV
Contact-aware Human Motion Forecasting
Australian National University（澳大利亚国立大学）；EPFL（洛桑联邦理工学院）；ClearSpace
在本文中，我们解决的任务场景感知的三维人体运动预测，其中包括预测未来的人体姿势给定的三维场景和过去的人体运动。这项任务的一个关键挑战是确保人与场景之间的一致性，考虑到人与场景的交互。先前的尝试这样做的模型，这样的相互作用只有隐含的，因此往往会产生文物，如“鬼运动”，因为缺乏明确的约束之间的局部姿态和全局运动。在这里，相比之下，我们建议显式建模的人的场景接触。为此，我们引入了基于距离的接触图，该接触图在每个时刻捕获每个关节和每个3D场景点之间的接触关系。然后，我们开发了一个两阶段的管道，首先预测未来的接触地图从过去的和场景点云，然后预测未来的人类构成的条件，他们对预测的接触地图。在训练过程中，我们通过使用接触图和未来姿势定义的先验来明确鼓励全局运动和局部姿势之间的一致性。我们的方法在合成和真实数据集上的性能优于最先进的人体运动预测和人体合成方法。我们的代码可在https://github.com/wei-mao-2019/ContAwareMotionPred上获得。
2022-10-08 cs.CV
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
对于单目图像中的人体姿态估计，人体上的关节遮挡和重叠通常会导致姿态预测的偏差。在这些情况下，可能会产生生物学上难以置信的姿势预测。相比之下，人类视觉能够通过利用关节互连的几何约束来预测姿势。为了通过结合人体结构的先验知识来解决这个问题，我们提出了一种新的结构感知卷积网络，以便在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反，我们设计了判别器来区分真实的姿势和虚假的姿势（比如生物学上不可信的姿势）。如果姿态生成器（G）生成的结果无法与真实结果区分开来，则网络成功地学习了先验知识。
2017-05-02 cs.CV
Embodied Scene-aware Human Pose Estimation
Carnegie Mellon University（卡内基梅隆大学）
我们提出了具体的场景感知人类姿态估计，我们估计3D姿态的基础上模拟代理的本体感受和场景意识，以及外部第三人称观察。与以前的方法，往往诉诸多级优化，非因果推理，和复杂的接触建模，以估计人体姿势和人类场景的相互作用，我们的方法是一个阶段，因果关系，并恢复全球3D人体姿势在模拟环境中。由于2D第三人称观察与摄像机姿势相结合，我们建议解开摄像机姿势，并使用全局坐标系中定义的多步投影梯度作为我们的具体代理的运动提示。利用物理模拟和预扫描场景（例如，3D网格），我们在日常环境（图书馆，办公室，卧室等）中模拟我们的代理。并为我们的智能体配备环境传感器，以智能地导航并与场景的几何形状进行交互。我们的方法也仅依赖于2D关键点，并且可以在来自流行的人体运动数据库的合成数据集上进行训练。为了进行评估，我们使用了流行的H36M和PROX数据集，并在具有挑战性的PROX数据集上实现了高质量的姿势估计，而无需使用PROX运动序列进行训练。代码和视频可以在项目页面上找到。
2022-10-13 cs.CV
A Two-Stage Shape- and Motion-Aware Framework for mmWave-based Human Mesh Recovery
Department of Computer Science, University of Warwick, Coventry, UK（沃里克大学计算机科学系，英国考文特里）
本文提出双阶段框架，通过雷达反射提取模块和运动感知网格恢复网络，提升毫米波雷达下人体3D网格恢复的精度与效率。
2026-10-30 cs.CV
DMAT: A Dynamic Mask-Aware Transformer for Human De-occlusion
Northwestern Polytechnical University（西北工业大学）
本文提出动态掩码感知Transformer（DMAT），通过扩展卷积头、动态多头人体掩码引导注意力及非模态损失，在AHP数据集上实现优于现有方法的人体去遮挡性能。
2024-02-07 cs.CV
Topology-aware Human Avatars with Semantically-guided Gaussian Splatting
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Software Engineering, Xi’an Jiao Tong University（西安交通大学软件学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）；Huazhong University of Science and Technology（华中科技大学）
本文提出SG-GS方法，通过语义嵌入3D高斯、骨架驱动刚性与非刚性变形及语义标注器SHA，结合三种语义正则化策略，实现拓扑感知的高质量可动画人体化身重建。
2024-11-19 cs.CV
Temporal-Aware Refinement for Video-based Human Pose and Shape Recovery
Kuaishou Technology Co., Ltd.（快手科技有限公司）
针对视频中人体姿态与形状恢复精度和时序一致性问题，提出时间感知细化网络TAR，融合全局Transformer与双向ConvGRU提取时空特征，并循环细化SMPL参数，在多个基准上超越现有方法。
2023-11-16 cs.CV
Seeing is Believing (and Predicting): Context-Aware Multi-Human Behavior Prediction with Vision Language Models
Institute of Architecture of Application Systems, University of Stuttgart, Germany（应用系统建筑研究所，斯图加特大学，德国）；Bosch Research, Germany（博世研究，德国）
CAMP-VLM通过结合视觉语言模型与上下文特征，提升了多人类行为预测的准确性，其在预测精度上比基线模型高66.9%。
2025-12-17 cs.AI cs.CV
Pose-aware Multi-level Feature Network for Human Object Interaction Detection
ShanghaiTech University（上海科技大学）
推理人与物体的交互关系是以人为中心的场景理解的核心问题，由于人与物体之间的空间结构变化大、关系实例多、关系类别之间存在细微的视觉差异，检测人与物体之间的交互关系对视觉系统提出了独特的挑战。为了解决这些挑战，我们提出了一个多层次的关系检测策略，利用人体姿势线索捕捉全球空间配置的关系，并作为一个注意力机制，动态放大到相关区域的人体部位水平。具体来说，我们开发了一个多分支深度网络，在三个语义层次上学习姿势增强关系表示，结合交互上下文，对象特征和详细的语义部分线索。因此，我们的方法是能够产生强大的预测细粒度的人类对象的相互作用与可解释的输出。在公共基准上进行的广泛的实验评估表明，我们的模型在相当大的范围内优于先前的方法，证明了它在处理复杂场景方面的有效性。
2019-09-18 cs.CV
Affinity-aware Compression and Expansion Network for Human Parsing
Megvii（旷视科技）
作为一个细粒度的分割任务，人类句法分析仍然面临着两个挑战：部分之间的模糊性和部分内的不一致性，由于模糊的定义和混淆的关系之间的相似的人体部位。针对这两个问题，本文提出了一种新的\textit{Affinity-aware Compression and Expansion}网络（ACENet），它主要由两个模块组成：局部压缩模块（LCM）和全局扩展模块（GEM）。具体地说，LCM压缩部件相关信息，通过结构骨架点，从额外的骨架分支。它可以减少零件间的干涉，加强歧义零件之间的结构关系。此外，GEM通过结合空间相似度和边界引导，将各零件的语义信息扩展为一个完整的块，有效地提高了零件内部的语义一致性。ACENet在具有挑战性的LIP和Pascal-Person-Part数据集上实现了最先进的性能。特别是，在LIP基准上实现了58.1%的平均IoU。
2020-08-24 cs.CV
A Topology-Aware Graph Convolutional Network for Human Pose Similarity and Action Quality Assessment
Shenzhen TSAF Tech. Co. Ltd.（深圳TSAF科技有限公司）
本文提出拓扑感知图卷积网络框架GCN-PSN，通过将人体骨架建模为图并结合连体架构与对比回归目标学习姿态嵌入，有效提升了人体姿态相似性与动作质量评估的性能。
2025-11-03 cs.AI cs.CV
HumanCoser: Layered 3D Human Generation via Semantic-Aware Diffusion Model
Tianjin University（天津大学）；Changzhou Institute of Technology（常州工学院）；Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）
本文提出基于物理解耦扩散模型的HumanCoser框架，通过双表示解耦、多层融合体渲染及SMPL驱动变形网络，实现复杂可复用服装的分层3D人体生成，支持虚拟试穿与动画。
2024-08-21 cs.CV
Shape My Moves: Text-Driven Shape-Aware Synthesis of Human Motions
University of Maryland（马里兰大学）；Adobe Research（奥多比研究院）
本文提出一种文本驱动的形状感知人体动作合成方法，利用FSQ-VAE量化动作并结合预训练语言模型预测体型参数与动作标记，解决了现有方法忽略体型影响的问题，有效生成与文本对齐且形状感知的动作。
2025-04-04 cs.CV
PA-HOI: A Physics-Aware Human and Object Interaction Dataset
Shanghai Jiao Tong University（上海交通大学）；VisionStar Information Technology Co., Ltd.（VisionStar信息技术有限公司）
本文提出PA-HOI数据集，通过包含562个动作序列和35个3D物体，重点研究物体物理属性对人类运动动力学的影响，并验证了其在动作生成方法中传递真实物理感知的能力。
2025-08-08 cs.CV
Human-Aware Vision-and-Language Navigation: Bridging Simulation to Reality with Dynamic Human Interactions
Columbia University（哥伦比亚大学）；University of Mannheim（曼海姆大学）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对现有视觉语言导航依赖静态环境、适用性受限的问题，提出人类感知视觉语言导航框架，构建对应模拟器与数据集，提出两类智能体并完成评估，为具身AI及模拟到现实迁移研究提供基准。
2024-11-02 cs.AI cs.CV cs.RO
PhysiGen: Integrating Collision-Aware Physical Constraints for High-Fidelity Human-Human Interaction Generation
Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Shanghai Jiao Tong University（上海交通大学）；Guilin University of Electronic Technology（桂林电子科技大学）
本文提出PhysiGen方法，通过简化人体网格和优化碰撞区域，提升多人体交互生成的现实感和物理合理性。
2026-05-01 cs.CV
3DHumanGAN: 3D-Aware Human Image Generation with 3D Pose Mapping
Shanghai AI Laboratory（上海人工智能实验室）；EPFL（洛桑联邦理工学院）
3DHumanGAN提出一种由3D姿态映射网络调制2D卷积主干的生成器，利用可渲染隐式函数结合3D人体先验，实现不同视角和姿态下外观一致的逼真全身人体图像生成。
2023-09-24 cs.AI cs.CV
Semantic-Aware Environment Perception for Mobile Human-Robot Interaction
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）
当前的技术进步为将人机交互提升到以人为中心的合作的新水平提供了新的机会。在这种情况下，一个关键的问题是环境的语义理解，以使移动机器人更复杂的互动和促进与人类的沟通。假设是基于视觉的语义对象和人的注册，后者进一步分析潜在的交互伙伴。尽管取得了显著的研究成果，可靠和快速的语义信息注册仍然是一个具有挑战性的任务，移动机器人在现实世界中的场景。在本文中，我们提出了一个基于视觉的移动辅助机器人系统，使语义感知的环境感知没有额外的先验知识。我们部署我们的系统上的移动人形机器人，使我们能够测试我们的方法在现实世界中的应用。
2022-11-07 cs.AI cs.CV cs.RO
SkeleGuide: Explicit Skeleton Reasoning for Context-Aware Human-in-Place Image Synthesis
Alibaba Group（阿里巴巴集团）
SkeleGuide通过显式骨骼推理提升上下文感知的人体图像合成质量，提供高保真且结构合理的生成结果。
2026-03-02 cs.AI cs.CV
Unsupervised Geometry-Aware Representation for 3D Human Pose Estimation
CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室）
现代3D人体姿态估计技术依赖于深度网络，这需要大量的训练数据。虽然弱监督方法需要较少的监督，但通过利用没有注释的2D姿势或多视图图像，它们仍然需要足够大的具有3D注释的样本集才能成功学习。在本文中，我们建议克服这个问题，学习几何感知身体表示从多视图图像没有注释。为此，我们使用编码器-解码器，该编码器-解码器预测来自一个视点的图像，给定来自另一个视点的图像。因为这种表示对3D几何体进行编码，所以在半监督设置中使用它可以更容易地从它学习到3D人体姿势的映射。正如我们的实验所证明的那样，我们的方法在给定相同数量的标记数据的情况下显着优于全监督方法，并且在使用仅1%的标记数据的情况下优于其他半监督方法。
2018-04-03 cs.AI cs.CV
Task-Oriented Human Grasp Synthesis via Context- and Task-Aware Diffusers
National Yang Ming Chiao Tung University（阳明交通大学）；NVIDIA（英伟达）
本文研究面向任务的人手抓取合成任务，提出一种基于任务感知接触图的两阶段流水线，通过融合场景与任务信息显著提升了抓取质量与任务性能。
2025-07-15 cs.CV cs.RO
HA-VLN 2.0: An Open Benchmark and Leaderboard for Human-Aware Navigation in Discrete and Continuous Environments with Dynamic Multi-Human Interactions
University of Science and Technology of China（中国科学技术大学）
提出HA-VLN 2.0统一基准，通过标准化任务、HAPS 2.0数据集与模拟器、16844条社会指令基准测试及真实机器人实验，证明显式社会建模提升导航鲁棒性并减少碰撞。
2026-08-19 cs.AI cs.CV cs.RO
DriveCritic: Towards Context-Aware, Human-Aligned Evaluation for Autonomous Driving with Vision-Language Models
University of Michigan（密歇根大学）；NVIDIA（英伟达）；Fudan University（复旦大学）
DriveCritic通过结合视觉-语言模型和情境意识，提升自动驾驶系统评估的准确性与人类对齐性。
2026-03-12 cs.AI cs.CV cs.RO
DiffMesh: A Motion-aware Diffusion Framework for Human Mesh Recovery from Videos
Carnegie Mellon University（卡内基梅隆大学）；North Carolina State University（北卡罗来纳州立大学）；Center for Research in Computer Vision, University of Central Florida（中央佛罗里达大学计算机视觉研究中心）；University of North Carolina at Charlotte（北卡罗来纳大学教堂山分校）
DiffMesh提出一种运动感知的类扩散框架，将人体运动融入扩散模型的正逆向过程，实现视频中准确平滑的人体网格恢复，并在多个数据集上验证了其有效性与实用性。
2025-08-18 cs.AI cs.CV cs.HC
