DynaDog+T: A Parametric Animal Model for Synthetic Canine Image Generation
University of Bath(巴斯大学);Ulsan National Institute of Science and Technology(蔚山国立科学技术院)
合成数据在训练各种任务的计算机视觉模型方面变得越来越普遍。值得注意的是,这些数据已经应用于与人类相关的任务,例如3D姿态估计,其中数据难以在现实环境中创建或获得。相比之下,对合成动物数据及其用于训练模型的研究较少。因此,我们引入了一个参数犬模型,DynaDog+T,用于生成合成犬的图像和数据,我们使用一个共同的计算机视觉任务,二进制分割,否则将是困难的,由于缺乏可用的数据。
2021-07-20 cs.CV
FMPose3D: monocular 3D pose estimation via flow matching
École Polytechnique Fédérale de Lausanne(联邦理工学院洛桑校区)
FMPose3D通过流匹配方法高效生成3D姿态样本,超越现有方法并在多个3D姿态数据集上取得最佳性能。
2026-02-05 cs.CV
X-MoGen: Unified Motion Generation across Humans and Animals
针对现有方法分别建模人类与动物运动的局限及物种形态差异导致的运动合理性问题,提出首个统一框架X-MoGen,通过两阶段架构和形态一致性模块实现跨物种文本驱动运动生成,在自建的UniMo4D数据集上表现优于现有方法。
2025-11-16 cs.CV
How Animals Dance (When You're Not Looking)
University of Washington(华盛顿大学);Columbia University(哥伦比亚大学)
该研究提出了一种生成音乐同步且具有舞蹈意识的动物跳舞视频的框架,通过引入舞蹈模式和图优化问题实现高效舞蹈合成。
2025-11-25 cs.CV cs.GR
Lifting Motion to the 3D World via 2D Diffusion
Stanford University(斯坦福大学)
提出MVLift框架,仅用2D姿态序列训练,通过2D运动扩散模型生成多视角一致姿态序列,实现无需3D监督的全局3D运动预测,并在五个数据集上超越有3D监督的方法。
2025-04-28 cs.CV
Generative Zoo
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);IMATI-CNR(意大利国家研究委员会IMATI研究所)
针对动物3D姿态形状估计训练数据难获取的问题,提出用条件图像生成模型构建合成数据集GenZoo,仅用其训练的回归器就在真实基准上达到SOTA。
2024-12-11 cs.CV cs.LG
Intrinsic-Extrinsic Preserved GANs for Unsupervised 3D Pose Transfer
University of Oulu(奥卢大学);ETH Zurich(苏黎世联邦理工学院);University of Trento(特伦托大学)
近年来,随着深度生成模型的发展,三维位姿传递重新成为研究热点。现有的方法主要依赖于各种约束来实现3D网格上的位姿转移,例如,需要手动编码的形状和姿态解开。在本文中,我们提出了一种无监督的方法来在任何给定的3D网格之间进行姿态转换。具体而言,提出了一种新的内在-外在保持生成对抗网络(IEP-GAN),用于内在(即,形状)和外在(即,姿势)信息保存。此外,我们提出了一个共生矩阵来捕捉不同的拉普拉斯网格的结构/姿态不变性。同时,本质上,局部本质保持损失被引入到保持测地线先验,同时避免繁重的计算。最后,我们展示了使用IEP-GAN以各种方式操纵3D人体网格的可能性,包括姿态转移,身份交换和姿态插值与潜在代码矢量算法。大量的实验上的各种3D数据集的人类,动物和手定性和定量证明了我们的方法的通用性。我们提出的模型产生更好的结果,是更有效的相比,最近的国家的最先进的方法。代码可用:https://github.com/mikecheninoulu/Unsupervised_IEPGAN
2021-08-20 cs.CV
DiffSurf: A Transformer-based Diffusion Model for Generating and Reconstructing 3D Surfaces in Pose
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
本文提出基于Transformer的去噪扩散模型DiffSurf,通过预测含噪3D表面顶点与法线来生成和重建多姿态3D表面,并能处理变形、体型变化及2D关键点拟合等下游任务,在3D人体基准上实现了更优的生成质量与近实时恢复精度。
2024-08-27 cs.CV
AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment
Sun Yat-sen University(中山大学);University of Oxford(牛津大学)
本文提出零样本扩散视频生成器 AnimateZoo,通过主体对齐解决跨物种姿态错位问题,并引入两个动物视频数据集,实现保背景、外观一致且高保真的跨物种动作迁移。
2024-04-07 cs.CV
Rethink Sparse Signals for Pose-guided Text-to-image Generation
Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学)
本文提出 Spatial-Pose ControlNet (SP-Ctrl),通过将 OpenPose 扩展为可学习的空间表示并引入关键点概念学习,使稀疏信号具备稳健可控性,在姿态引导的文本到图像生成中匹配密集信号方法的性能。
2025-06-26 cs.CV
NRDF: Neural Riemannian Distance Fields for Learning Articulated Pose Priors
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Imperial College London(伦敦帝国学院)
该研究提出神经黎曼距离场NRDF,通过新采样算法和自适应步长黎曼投影算法学习关节姿态先验,在多下游任务中性能优于现有方法,可适配人体、手部及动物等任意关节运动建模。
2024-04-11 cs.CV
Cross-Domain Adaptation for Animal Pose Estimation
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
在本文中,我们感兴趣的是动物的姿态估计。动物通常在姿势上表现出广泛的变化,并且没有可用的动物姿势数据集用于训练和测试。为了解决这个问题,我们建立了一个动物姿势数据集,以方便训练和评估。考虑到标注数据集的工作量很大,且不可能对所有涉及的动物类别进行标注,因此提出了一种新的跨领域自适应方法,将已标注的动物类别中的动物姿态知识转化为未标注的动物类别。我们使用适度的动物姿势数据集来适应多个动物物种的学习知识。此外,人类也与一些动物(特别是四足哺乳动物)共享骨骼相似性。因此,易于获得的人类姿势数据集(其规模比我们标记的动物数据集大得多)提供了重要的先验知识,以提高动物姿势估计的性能。实验表明,我们提出的方法充分利用这些先验知识,并取得了令人信服的动物姿态估计的结果。
2019-08-19 cs.CV
AP-10K: A Benchmark for Animal Pose Estimation in the Wild
The University of Sydney(悉尼大学);Xidian University(西安电子科技大学);JD Explore Academy(京东探索研究院)
准确的动物姿态估计是理解动物行为的重要一步,并且可以潜在地有益于许多下游应用,例如野生动物保护。以往的研究只关注特定的动物,而忽略了动物物种的多样性,限制了动物的泛化能力。在本文中,我们提出了AP-10 K,第一个大规模的基准哺乳动物姿态估计,以促进动物姿态估计的研究。AP-10 K包含从23个动物科和54个物种中收集和过滤的10,015张图像,这些图像遵循分类等级和高质量的关键点注释,并手动标记和检查。基于AP-10 K,我们在以下三个方面对代表性的姿势估计模型进行了基准测试:(1)用于动物姿势估计的监督学习,(2)从人类姿势估计到动物姿势估计的跨域迁移学习,以及(3)未见过动物的家族内和家族间领域泛化。实验结果提供了良好的经验证据的优势,从不同的动物物种学习的准确性和泛化能力。它开辟了新的方向,以促进未来的研究在动物姿态估计。AP-10 k可在https://github.com/AlexTheBad/AP10K上公开获得。
2021-11-01 cs.CV
APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking
Hangzhou Dianzi University(杭州电子科技大学);The University of Sydney(悉尼大学);National University of Defense Technology(国防科技大学);JD Explore Academy(京东探索研究院)
动物姿态估计和跟踪(APT)是从视频帧序列中检测和跟踪动物关键点的基本任务。以前的动物相关数据集要么关注动物跟踪,要么关注单帧动物姿势估计,而从来没有同时关注这两个方面。APT数据集的缺乏阻碍了基于视频的动物姿态估计和跟踪方法的开发和评估,限制了现实世界的应用,例如,了解野生动物保护中的动物行为。为了填补这一空白,我们迈出了第一步,提出了APT-36 K,即,第一个大规模的动物姿态估计和跟踪基准。具体来说,APT-36 K由从30种动物物种中收集和过滤的2,400个视频片段组成,每个视频15帧,总共36,000帧。在手动注释和仔细的双重检查之后,为所有动物实例提供高质量的关键点和跟踪注释。基于APT-36 K,我们在以下三个方面对几个代表性模型进行了基准测试:(1)在域内和域间迁移学习设置下的单帧监督动物姿态估计,(2)未见过动物的物种间领域泛化测试,以及(3)动物跟踪的动物姿态估计。基于实验结果,我们获得了一些经验性的见解,并表明APT-36 K提供了一个有价值的动物姿态估计和跟踪基准,为未来的研究提供了新的挑战和机遇。代码和数据集将在https://github.com/pandorgan/APT-36K上公开。
2022-10-13 cs.CV
DiffPose-Animal: A Language-Conditioned Diffusion Framework for Animal Pose Estimation
Guanghua Cambridge International School Shanghai(广华剑桥国际学校上海);Shanghai World Foreign Language Academy, WFLA(上海世界外语学院,WFLA);School of Automotive Studies Tongji University(同济大学汽车学院)
DiffPose-Animal提出了一种基于语言条件的扩散框架,通过结合大型语言模型和交叉注意力模块,提升动物姿态估计的鲁棒性和泛化能力。
2025-12-14 cs.CV
3D Menagerie: Modeling the 3D shape and pose of animals
IMATI-CNR(意大利国家研究委员会应用数学与信息技术研究所);University of Maryland(马里兰大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在学习逼真的、有关节的人体3D模型方面已经做了大量的工作。相比之下,尽管有许多应用,但很少有这样的动物模型。主要的挑战是动物比人类更不合作。最好的人体模型是从数千个特定姿势的人的3D扫描中学习的,这对活体动物来说是不可行的。因此,我们从一小组任意姿势的玩具雕像的3D扫描中学习我们的模型。我们采用了一种新的基于部分的形状模型来计算初始注册的扫描。然后,我们规范化他们的姿势,学习统计形状模型,并一起优化配准和模型。通过这种方式,我们可以准确地对齐来自不同四足动物家族的动物扫描,这些动物具有非常不同的形状和姿势。通过注册到一个公共模板,我们学习了一个表示动物的形状空间,包括狮子,猫,狗,马,牛和河马。动物形状可以从模型中采样,摆姿势,动画,并适合数据。我们通过将其拟合到真实动物的图像(包括在训练中看不到的物种)来演示泛化。
2017-04-12 cs.CV
APTv2: Benchmarking Animal Pose Estimation and Tracking with a Large-scale Dataset and Beyond
Hangzhou Dianzi University(杭州电子科技大学);The University of Sydney(悉尼大学)
针对动物姿态估计与跟踪缺乏综合基准的问题,本文提出大规模数据集APTv2,涵盖30个物种、2,749个视频片段,并建立基线方法及三个评测轨道,实验证明其有效性和挑战性。
2023-12-25 cs.CV
C3DAG: Controlled 3D Animal Generation using 3D pose guidance
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对文本到3D动物生成中解剖与几何不一致的问题,本文提出C3DAG框架,结合自动3D形状工具、深度受控SDS和四足姿态受控SDS,实现细粒度姿态可控的高质量3D动物生成。
2024-06-11 cs.CV
CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal Pose
The University of Sydney(悉尼大学);Zhejiang University(浙江大学)
针对动物姿态估计数据有限、差异大的问题,提出基于提示的对比学习方案CLAMP,通过文本提示适配动物关键点弥合模态差距,实现首个跨模态动物姿态估计范式,在多种设置下性能大幅优于现有图像方法。
2023-06-26 cs.CV
Animal Pose Labeling Using General-Purpose Point Trackers
Stanford University(斯坦福大学);ShanghaiTech University(上海科技大学)
本文提出一种基于测试时优化的动物姿态标注流程,通过在稀疏标注帧上微调通用点跟踪器的轻量级外观嵌入,以合理标注成本实现最先进的自动标注性能。
2025-06-04 cs.CV
Incremental Learning for Animal Pose Estimation using RBF k-DPP
Indian Institute of Science(印度科学理工学院);BITS Pilani(比尔拉技术与科学学院皮拉尼校区)
姿态估计是定位图像中感兴趣对象的关键点的任务。动物姿态估计比估计人类姿态更具挑战性,这是由于动物中的高类间和类内变异性。现有的作品解决了这个问题的一组固定的预定义的动物类别。在这样的集合上训练的模型通常不能很好地处理新的动物类别。在新类别上重新训练模型会使模型过拟合,并导致灾难性遗忘。因此,在这项工作中,我们提出了一个新的问题“增量学习的动物姿态估计”。我们的方法使用样本记忆,使用决定性点过程(DPP)进行采样,以不断适应新的动物类别,而不会忘记旧的。我们进一步提出了一个新的变种k-DPP,使用RBF内核(称为“RBF k-DPP”),这使得更多的增益在传统的k-DPP的性能。由于内存的限制,有限数量的样本以及新的类数据可能会导致类不平衡。我们通过执行图像扭曲作为增强技术来减轻它。这有助于制作不同的姿势,从而减少过度拟合并进一步提高性能。我们所提出的方法的有效性证明通过广泛的实验和消融,我们获得了显着的改进,超过国家的最先进的基线方法。
2021-10-26 cs.CV
Promptable Animal Pose Tracking Across Species
针对动物姿态跟踪的跨物种泛化与精度问题,提出有监督、无监督两种基于视觉基础模型的方法,在APTv2和TigDog数据集上实现了精度与泛化性的平衡,为动物保护应用提供实用方案。
2026-08-06 cs.CV
Transferring Dense Pose to Proximal Animal Classes
Heidelberg University(海德堡大学);Facebook AI Research(Facebook人工智能研究院);MPI for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所)
最近的贡献表明,它是可能的,以识别的姿态密集和准确地给出了一个大的数据集的姿态详细注释的人。原则上,同样的方法可以扩展到任何动物类别,但是为每个案例收集新注释所需的努力使得这种策略不切实际,尽管在自然保护,科学和商业中有重要的应用。我们表明,至少对于近端的动物类,如黑猩猩,它是可能的转移知识存在于密集的姿势识别人类,以及在更一般的对象检测器和分割器,在其他类的密集姿势识别的问题。我们通过以下方式做到这一点:(1)为新动物建立一个DensePose模型,该模型在几何上也与人类对齐;(2)引入多头R-CNN架构,便于在类之间转移多个识别任务,(3)找出已知类别的哪种组合可以最有效地转移到新动物身上,以及(4)使用自校准的不确定性头来生成伪标签按质量分级,用于训练此类的模型。我们还介绍了两个基准数据集标记的方式,密集姿势类黑猩猩,并使用它们来评估我们的方法,表现出出色的迁移学习性能。
2020-02-28 cs.CV
Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos
Meta;University College London(伦敦大学学院)
提出一种从单目视频构建可动画化狗虚拟形象的方法,通过4D联合求解姿态与外观,利用连续表面嵌入改进SMAL模型拟合,并设计隐式双面网格纹理,在CoP3D和APTv2数据集上优于现有方法。
2024-03-25 cs.CV
Consistent multi-animal pose estimation in cattle using dynamic Kalman filter based tracking
KU Leuven(鲁汶大学);Ghent University(根特大学)
针对多动物姿态估计中关键点时间一致性不足的问题,本文提出无边界框的 KeySORT 自适应卡尔曼滤波跟踪方法,在牛群上实现高精度关键点检测并显著提升骨架时序稳定性。
2025-03-13 cs.CV
Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals
CVLAB, EPFL, Lausanne(洛桑联邦理工学院计算机视觉实验室);Neuroengineering Lab, EPFL, Lausanne(洛桑联邦理工学院神经工程实验室);Imager Lab, UBC, Vancouver(英属哥伦比亚大学成像实验室)
我们的目标是在不使用任何人工监督的情况下捕捉神经科学模型生物的姿势,以便能够研究神经回路如何协调行为。当在由数百万帧组成的真实或模拟数据集上训练时,人体姿势估计达到了显着的准确性。然而,对于许多应用程序来说,模拟模型是不现实的,并且不存在具有全面注释的真实训练数据集。我们解决这个问题,一个新的sim2real域转移方法。我们的主要贡献是在一个不成对的图像翻译框架中明确和独立的外观,形状和姿势建模。我们的模型可以让我们训练的姿态估计器的目标域,从源域的身体关键点位置转移到生成的目标图像。我们将我们的方法与现有的域转移方法进行比较,并在果蝇(果蝇),秀丽隐杆线虫(蠕虫)和斑马鱼(斑马鱼)上证明了姿势估计精度的提高,而不需要在目标域上进行任何手动注释,尽管使用简单的现成动物角色进行模拟,或简单的几何形状作为模型。我们的新数据集,代码和训练模型将被发布,以支持未来的神经科学研究。
2020-01-23 cs.CV
UnCageNet: Tracking and Pose Estimation of Caged Animal
Indian Institute of Technology Gandhinagar(印度古吉拉特邦理工学院加尔各答分校);National Institutes of Health (NIH)(美国国家卫生研究院)
UnCageNet通过三阶段预处理流程有效解决笼子结构和遮挡对动物跟踪与姿态估计的影响,提升姿态估计和关键点检测精度。
2025-12-16 cs.CV
Addressing the Elephant in the Room: Robust Animal Re-Identification with Unsupervised Part-Based Feature Alignment
EPFL(洛桑联邦理工学院)
针对动物再识别中的背景偏差问题,提出在训练和评估阶段系统性去除背景,并采用无监督部位特征对齐方法,在三个数据集上取得优越结果。
2024-05-22 cs.CV
PRIMA: Boosting Animal Mesh Recovery with Taxonomic Priors and Adaptation-Driven Data Bootstrapping
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出PRIMA框架,通过生物先验(BioCLIP嵌入)和测试时自适应策略,解决严重物种和姿态不平衡下的3D四足动物网格恢复问题,实现高泛化性能并构建大规模伪3D数据集Quadruped3D。
2026-10-28 cs.CV
Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images "In the Wild"
IMATI-CNR(意大利国家研究委员会信息与远程技术研究所);University of California, Berkeley(加州大学伯克利分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了第一种从野外获取的图像中自动捕获动物3D姿势、形状和纹理的方法。特别是,我们专注于捕获的3D信息的Grevy的斑马从收集的图像的问题。格雷维斑马是非洲最濒危的物种之一,目前只剩下几千只。捕捉这些动物的形状和姿势可以为生物学家和环保主义者提供有关动物健康和行为的信息。与人类姿态、形状和纹理估计的研究相比,濒危物种的训练数据有限,动物处于具有遮挡的复杂自然场景中,它们自然地被包围,成群地行进,并且彼此看起来相似。为了克服这些挑战,我们将最近的SMAL动物模型集成到一个基于网络的回归管道中,我们对合成生成的图像进行端到端的训练,这些图像具有姿势、形状和背景变化。超越了最先进的人类形状和姿势估计方法,我们的方法在训练过程中学习了斑马的形状空间。仅使用光度损失从图像学习这样的形状空间是新颖的,并且该方法可以用于在具有有限3D监督的其他设置中学习形状。此外,我们将3D姿态和形状预测与纹理合成任务相结合,从单个图像中获得动物的完整纹理图。我们表明,预测的纹理映射允许一种新的每实例无监督优化的网络功能。这种方法SMALST(SMAL与学习的形状和纹理)超越了以前的工作,假设手动关键点和/或分割,直接从像素回归到3D动物形状,姿势和纹理。代码和数据可在https://github.com/silviazuffi/smalst上获得。
2019-09-17 cs.CV
A Horse with no Labels: Self-Supervised Horse Pose Estimation from Unlabelled Images and Synthetic Prior
University of Leeds(利兹大学)
本文提出一种仅需未标注图像和少量合成2D姿态先验的自监督方法,无需任何真实姿态标注即可同时学习马匹的准确3D和2D姿态,并验证了极低假设条件下动物姿态估计的可行性。
2023-08-07 cs.CV
Progressive Pose-Guided 4D Animal Reconstruction from Monocular Video
University of Alberta(阿尔伯塔大学);Concordia University(康科迪亚大学)
提出一种基于3D高斯溅射的渐进式测试时优化框架,通过解耦关节姿态与非刚性变形,实现从单目视频高保真重建4D动物,在多种物种上优于现有方法。
2026-07-02 cs.CV
ScarceNet: Animal Pose Estimation with Scarce Annotations
National University of Singapore(新加坡国立大学)
动物姿态估计是一个重要的任务,但由于缺乏标记的数据,探索不足。在本文中,我们处理的任务,动物姿态估计与稀缺的注释,只有一小部分的标记数据和未标记的图像。解决这个问题的核心是使用未标记的数据来弥补缺乏标记良好的动物姿势数据。为此,我们提出了ScarceNet,一种基于伪标签的方法来为未标记的图像生成人工标签。伪标签是由一个用小的标记图像集训练的模型生成的,通常是有噪声的,并且在直接用于训练时会损害性能。为了解决这个问题,我们首先使用小损失技巧来选择可靠的伪标签。虽然有效,选择过程是缺乏远见的,因为许多高损失的样本被闲置。我们进一步建议根据协议检查从高损失样本中识别可重复使用的样本。重新生成伪标签,以监督可重复使用的样本。最后,我们引入了一个学生-教师框架来执行一致性约束,因为仍然有一些样本既不可靠也不可重用。通过将可靠的伪标签选择与可重用的样本重标记和一致性约束相结合,可以充分利用未标记的数据。我们在具有挑战性的AP-10 K数据集上评估了我们的方法,我们的方法在很大程度上优于现有的半监督方法。我们还测试TigDog数据集,我们的方法可以实现更好的性能比领域自适应的方法时,只有很少的注释。我们的代码可以在项目网站上找到。
2023-03-27 cs.CV
From Synthetic to Real: Unsupervised Domain Adaptation for Animal Pose Estimation
National University of Singapore(新加坡国立大学)
动物姿态估计是近年来受到越来越多关注的一个重要领域。这项任务的主要挑战是缺乏标记数据。现有的工作规避这个问题,从其他容易访问的域,如合成数据的数据生成的伪标签。然而,这些伪标签是嘈杂的,即使与一致性检查或基于置信度的过滤,由于数据中的域移位。为了解决这个问题,我们设计了一个多尺度领域自适应模块(MDAM),以减少合成数据和真实数据之间的领域差距。我们进一步介绍了一个在线的粗到精的伪标签更新策略。具体来说,我们提出了一个自蒸馏模块在内部粗更新循环和一个平均教师在外部细更新循环,以产生新的伪标签,逐渐取代旧的。因此,我们的模型能够在早期阶段从旧的伪标签中学习,并在后期阶段逐渐切换到新的伪标签以防止过拟合。我们在TigDog和VisDA 2019数据集上评估了我们的方法,在这些数据集上,我们的性能大大优于现有方法。我们还通过对看不见的域和看不见的动物类别进行广泛的测试来证明我们的模型的泛化能力。我们的代码可以在项目网站上找到。
2021-03-27 cs.CV
ORMA: Optimization-based Monocular 4D Reconstruction of Articulated Animals
University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);IMATI-CNR(意大利国家研究委员会数学与应用技术研究所)
ORMA提出一种无需训练的单目4D重建框架,解耦关节与形状,利用生成式3D先验和SMAL+模型,结合DINO对应与时序一致性,在PAW4D等基准上提升重建精度与运动一致性。
2026-09-30 cs.CV
Probabilistic Prompt Distribution Learning for Animal Pose Estimation
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Stanford University(斯坦福大学)
针对多物种动物姿态估计的跨物种泛化难题,提出基于CLIP的概率提示学习方法,通过多样性损失、文本概率采样引导和空间跨模态融合,在监督与零样本设置下均取得SOTA性能。
2025-03-20 cs.CV
ZooBuilder: 2D and 3D Pose Estimation for Quadrupeds Using Synthetic Data
Ubisoft China AI & Data Lab(育碧中国AI与数据实验室);Sichuan University(四川大学);Ubisoft, Singapore(育碧新加坡);INRIA Nancy Grand Est(法国国家信息与自动化研究所南锡大东区中心)
这项工作介绍了一种新的策略,用于生成合成的训练数据的2D和3D姿态估计的动物使用关键帧动画。为了实现野生动物动画创建过程的自动化,我们使用合成数据训练了几个2D和3D姿态估计模型,并建立了一个名为ZooBuilder的端到端管道。管道将野生动物的视频作为输入,并为动物骨架的每个关节生成相应的2D和3D坐标。通过这种方法,我们产生的运动捕捉数据,可用于创建野生动物的动画。
2020-09-01 cs.CV
Robust pose tracking with a joint model of appearance and shape
Brown University(布朗大学)
我们提出了一种新的方法,用于估计的二维姿态的铰接对象的应用程序自动视频分析的小实验室动物。我们已经发现,为人类开发的可变形部件模型,例如柔性混合部件(FMP)模型,通常在挑战动物姿势时失败。我们认为,除了编码外观和空间关系,形状是需要克服缺乏独特的地标实验室动物的身体。在我们的方法中,形状一致的FMP(scFMP)模型计算有前途的姿势候选人后,一个标准的FMP模型被用来快速丢弃错误的部分检测。这种“级联”方法结合了空间关系、外观和形状表示的相对优势,并显示出比原始FMP模型以及具有代表性的深度神经网络基线有显著改进。
2018-06-28 cs.CV
SemiMultiPose: A Semi-supervised Multi-animal Pose Estimation Framework
Columbia University(哥伦比亚大学);Georgia Tech(佐治亚理工学院)
多动物姿态估计是神经行为学和神经科学研究动物社会行为的基础。已经提出了先进的方法来支持多动物估计并实现最先进的性能。然而,这些模型在训练过程中很少利用未标记的数据,即使现实世界的应用程序中未标记的帧比标记的帧要多。为大量图像或视频手动添加密集注释成本高昂且劳动密集,尤其是对于多个实例。鉴于这些不足,我们提出了一种新的半监督架构,用于多动物姿态估计,利用行为视频中未标记帧中普遍存在的丰富结构来增强训练,这对于稀疏标记问题至关重要。由此产生的算法将提供优越的多动物姿态估计结果的三个动物实验相比,国家的最先进的基线,并表现出更高的预测能力,稀疏标记的数据制度。
2022-04-14 cs.CV cs.LG
Ponymation: Learning Articulated 3D Animal Motions from Unlabeled Online Videos
CUHK MMLab(香港中文大学多媒体实验室);Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校)
Ponymation提出一种无需姿态标注的视频照片几何自编码框架,从无标注网络视频中学习铰接式3D动物运动生成模型,实现单图秒级生成4D动画。
2024-07-31 cs.CV
Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape
Johns Hopkins University(约翰斯·霍普金斯大学);University of Freiburg(弗莱堡大学);Beihang University(北京航空航天大学);HUST(华中科技大学);University of Oulu(奥卢大学);University of Alberta(阿尔伯塔大学);Tsinghua University(清华大学);UCLA(加州大学洛杉矶分校);City University of Hong Kong(香港城市大学);East China Normal University(华东师范大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出首个包含40个哺乳动物物种、3379张图像及SMAL参数标注的Animal3D数据集,并通过监督学习、合成到真实迁移和人体模型微调三类基准实验,揭示跨物种动物三维姿态与形状估计仍具挑战性,同时验证合成预训练的有效性。
2024-01-21 cs.CV cs.LG
Pose Recognition in the Wild: Animal pose estimation using Agglomerative Clustering and Contrastive Learning
Jadavpur University(贾达普大学)
动物姿态估计由于其在生物学、动物学和水产养殖业中的应用而受到关注。深度学习方法已经有效地应用于人体姿态估计。然而,这些方法应用于动物姿态估计的主要瓶颈是没有足够数量的标记数据。虽然有大量的未标记的数据公开可用,但为每种动物标记大量数据在经济上是不切实际的。此外,由于动物王国中各种各样的身体形状,跨领域的知识转移是无效的。鉴于人类大脑能够在不需要大量标记数据的情况下识别动物姿势的事实,我们利用无监督学习来解决从可用的未标记数据中识别动物姿势的问题是合理的。在本文中,我们介绍了一种新的架构,能够识别的姿势,多个动物fromunlabeled数据。我们这样做是通过(1)从每个图像中去除背景信息,并采用边缘检测算法的动物的身体,(2)跟踪边缘像素的运动,并执行凝聚聚类分割身体部位,(3)采用对比学习,以阻止遥远的身体部位分组在一起。因此,我们能够区分动物的身体部位,基于它们的视觉行为,而不是潜在的解剖结构。因此,我们能够实现比人类标记的数据更有效的数据分类。我们在TigDog和WLD(WildLife Documentary)数据集上测试了我们的模型,在这些数据集上,我们的表现明显优于最先进的方法。我们还研究了我们的模型在其他公共数据上的性能,以证明我们的模型的泛化能力。
2021-11-16 cs.AI cs.CV
RGBD-Dog: Predicting Canine Pose from RGBD Sensors
University of Bath(巴斯大学);UNIST(蔚山科学技术院)
从没有标记的图像中自动提取动物\reb{3D}姿态在一系列科学领域中是令人感兴趣的。迄今为止,大多数工作都是根据关节位置的2D标签从RGB图像预测动物姿势。然而,由于获得训练数据的困难性质,没有3D动物运动的地面实况数据集可用于定量评估这些方法。此外,缺乏3D动物姿态数据也使得难以以与身体姿态预测的流行领域类似的方式来训练3D姿态预测方法。在我们的工作中,我们专注于从RGBD图像的3D犬姿态估计的问题,记录了不同品种的狗与几个微软Kinect v2,同时通过运动捕捉系统获得的3D地面真实骨架。我们从这些数据中生成合成RGBD图像的数据集。训练堆叠的沙漏网络来预测3D关节位置,然后使用形状和姿势的先验模型来约束3D关节位置。我们评估我们的模型在合成和真实的RGBD图像,并将我们的结果与以前发表的工作拟合犬模型的图像进行比较。最后,尽管我们的训练集只包含狗的数据,但视觉检查表明,当其他四足动物(例如马或猫)的姿势与我们的训练集中包含的姿势相似时,我们的网络可以对它们的图像进行良好的预测。
2020-04-16 cs.CV
DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans
Indian Institute of Technology Gandhinagar(印度甘地讷格尔印度理工学院);National Institutes of Health(美国国立卫生研究院)
该研究提出基于Transformer的STEP框架,通过GMSP和OMRA模块解决传统判别式模型需预定义目标状态的问题,无需逐帧检测即可同步跟踪并估计人/动物姿态,推理效率更高,在多物种数据集上表现优于现有方法。
2026-11-06 cs.CV
Pose Splatter: A 3D Gaussian Splatting Model for Quantifying Animal Pose and Appearance
Duke University(杜克大学)
Pose Splatter通过3D高斯泼洒和形状雕刻技术,无需标注和优化即可准确建模动物姿态和外观,提升大规模行为分析能力。
2026-01-30 cs.CV cs.LG
Dessie: Disentanglement for Articulated 3D Horse Shape and Pose Estimation from Images
KTH(瑞典皇家理工学院);Scania(斯堪尼亚公司);SLU(瑞典农业科学大学);IMATI-CNR(意大利国家研究委员会IMATI研究所)
针对动物3D形状姿态估计标注数据不足的问题,提出Dessie方法,通过合成数据流水线与解耦技术学习3D形状姿态回归,在马的重建上超越现有方法,还可泛化至其他大型动物。
2024-10-31 cs.CV
Optical Mouse: 3D Mouse Pose From Single-View Video
Google LLC(谷歌有限责任公司);Calico Life Sciences LLC(Calico生命科学有限责任公司)
我们提出了一种方法来推断小鼠的3D姿态,包括四肢和脚,从单眼视频。许多人类临床状况及其相应的动物模型会导致异常运动,而精确测量大规模的3D运动可以深入了解健康状况。3D姿态改善了2D表示上的健康相关属性的分类。推断的姿势足够准确,即使当脚大部分被遮挡时也可以估计步幅。这种方法可以作为连续监测系统的一部分,以非侵入性方式测量动物健康。
2021-06-17 cs.CV
Coarse-to-fine Animal Pose and Shape Estimation
National University of Singapore(新加坡国立大学)
大多数现有的动物姿态和形状估计方法重建动物网格的参数SMAL模型。这是因为SMAL模型的低维姿态和形状参数使深度网络更容易学习高维动物网格。然而,SMAL模型是从具有有限姿势和形状变化的玩具动物的扫描中学习的,因此可能无法很好地表示高度变化的真实动物。这可能导致所估计的网格与2D证据(例如,2D关键点或轮廓)的拟合不良。为了缓解这个问题,我们提出了一种从粗到细的方法来重建3D动物网格从一个单一的图像。粗估计阶段首先估计SMAL模型的姿态、形状和平移参数。然后,通过图卷积网络(GCN)将所估计的网格用作起始点,以在细化阶段中预测每顶点变形。基于SMAL和基于顶点的表示的这种组合受益于参数和非参数表示。我们设计我们的网格细化GCN(MRGCN)作为一个编码器-解码器结构与分层特征表示,以克服传统的GCN有限的接受领域。此外,我们观察到,现有的动物网格重建工程所使用的全局图像特征是无法捕捉详细的形状信息,网格细化。因此,我们引入了一个局部特征提取器来检索顶点级特征,并将其与全局特征一起用作MRGCN的输入。我们在StanfordExtra数据集上测试了我们的方法,并获得了最先进的结果。此外,我们测试了我们的方法在动物姿势和BADJA数据集的泛化能力。我们的代码可以在项目网站上找到。
2021-11-16 cs.CV cs.LG
LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery
UC Merced(加州大学默塞德分校);Waymo(Waymo公司);Google Research(谷歌研究院);Yonsei University(延世大学)
无论是通过手动创建还是使用3D扫描工具创建高质量的动物3D模型都具有挑战性。因此,从2D图像重建有关节的3D物体的技术是至关重要的和非常有用的。在这项工作中,我们提出了一个实际的问题设置,以估计3D姿态和形状的动物,只有几个(10-30)在野外图像的特定动物物种(说,马)。与依赖于预定义模板形状的现有作品相反,我们不假设任何形式的2D或3D地面实况注释,也不利用任何多视图或时间信息。此外,每个输入图像集合可以包含具有不同姿势、背景、光照和纹理的动物实例。我们的关键见解是,与整体动物相比,3D部分的形状要简单得多,而且它们在w.r.t.动物姿势的发音根据这些见解,我们提出了LASSIE,这是一种新的优化框架,它以自我监督的方式发现3D零件,只需最少的用户干预。LASSIE背后的一个关键驱动力是使用自监督深度特征来加强2D-3D部件的一致性。Pascal-Part和自我收集的野生动物数据集上的实验表明,与现有技术相比,3D重建以及2D和3D部分发现都有相当好的效果。项目页面:chhankyao.github.io/lassie/
2022-07-07 cs.CV
A Novel Dataset for Keypoint Detection of quadruped Animals from Images
Prairie View A&M University(普雷里维尤农工大学)
在本文中,我们研究的问题,定位一个通用的关键点集在多个四足动物或四足动物物种的图像。由于缺乏具有地面实况注释的大规模动物关键点数据集,我们开发了一种新的数据集AwA Pose,用于从图像中检测四足动物的关键点。我们的数据集包含每只动物更多的关键点,并且比现有的动物关键点检测数据集具有更多样化的动物。我们使用最先进的深度学习模型对数据集进行了基准测试,用于不同的关键点检测任务,包括可见和不可见的动物病例。实验结果表明了该数据集的有效性。我们相信,这个数据集将有助于计算机视觉社区在设计和评估改进模型的广义四足动物关键点检测问题。
2021-08-31 cs.CV
BigMaQ: A Big Macaque Motion and Animation Dataset Bridging Image and 3D Pose Representations
Hertie Institute, University of Tübingen(图宾根大学赫蒂研究所);IMPRS-IS(IMPRS-IS研究所);KU Leuven(鲁汶大学)
BigMaQ数据集通过整合动态3D姿态-形状表示,提升动物动作识别的准确性,并提供丰富的资源用于非人类灵长类动物的研究。
2026-02-23 cs.CV
3D Bird Reconstruction: a Dataset, Model, and Shape Recovery from a Single View
University of Pennsylvania(宾夕法尼亚大学)
动物姿态的自动捕捉正在改变我们研究神经科学和社会行为的方式。运动携带重要的社会线索,但目前的方法不能鲁棒地估计动物的姿势和形状,特别是对于诸如鸟类的社会动物,其通常被彼此和环境中的物体遮挡。为了解决这个问题,我们首先介绍了一个模型和多视图优化方法,我们使用它来捕捉独特的形状和姿态空间显示的活鸟。然后,我们介绍了一个管道和实验的关键点,面具,姿势和形状回归,恢复准确的鸟类姿态从单一的意见。最后,我们提供了广泛的多视图关键点和面具注释收集一组15个社会鸟类一起住在一个室外的鸟舍。该项目的网站上有视频、结果、代码、网格模型和Penn Aviary Dataset,可以在https://marcbadger.github.io/avian-mesh上找到。
2020-08-13 cs.CV
Animal Kingdom: A Large and Diverse Dataset for Animal Behavior Understanding
Singapore University of Technology and Design(新加坡科技设计大学)
了解动物的行为对于广泛的应用具有重要意义。然而,现有的动物行为数据集在多个方面存在局限性,包括动物类别、数据样本和提供的任务数量有限,以及环境条件和视角的变化有限。为了解决这些限制,我们创建了一个大型且多样化的数据集Animal Kingdom,它提供了多个注释任务,以更全面地了解自然动物的行为。我们的数据集中使用的野生动物镜头记录了一天中的不同时间,这些时间在广泛的环境中,包含背景,视点,照明和天气条件的变化。更具体地说,我们的数据集包含50小时的注释视频,用于在视频基础任务的长视频中定位相关动物行为片段,30K视频序列用于细粒度多标签动作识别任务,33K帧用于姿势估计任务,这些任务对应于6个主要动物类别的850种动物。这样一个具有挑战性和综合性的数据集应该能够促进社区开发,适应和评估各种类型的动物行为分析的先进方法。此外,我们提出了一个协作动作识别(CARe)模型,学习一般和特定的功能,与看不见的新动物的动作识别。该方法在我们的实验中取得了令人满意的性能。我们的数据集可以在https://sutdcv.github.io/Animal-Kingdom上找到。
2022-06-03 cs.CV
CLHOP: Combined Audio-Video Learning for Horse 3D Pose and Shape Estimation
KTH(皇家理工学院);SLU(瑞典农业科学大学);IMATI-CNR(意大利国家研究委员会IMATI研究所)
本文提出CLHOP方法,首次探索结合音频与单目视频来增强马匹3D姿态、形状和运动恢复,并在室内外两个数据集上验证了其提升运动回归准确性与鲁棒性的效果。
2024-07-01 cs.CV