Category Level Object Pose Estimation via Neural Analysis-by-Synthesis
ETH Zürich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克学习系统中心）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所（蒂宾根））
许多对象姿态估计算法依赖于分析合成框架，需要明确表示的个别对象实例。在本文中，我们结合了基于梯度的拟合过程与参数神经图像合成模块，该模块能够隐式地表示整个对象类别的外观，形状和姿态，从而使每个对象实例不需要显式CAD模型。图像合成网络被设计为有效地跨越姿态配置空间，使得模型容量可以用于捕获形状和局部外观（即，纹理）共同变化。在推理时，通过基于外观的损失将合成图像与目标进行比较，并且通过网络将误差信号反向传播到输入参数。保持网络参数固定，这允许以联合方式迭代优化对象的姿态，形状和外观，我们的实验表明，该方法可以单独从2D图像中以高精度恢复对象的方向。当提供深度测量时，为了克服尺度模糊性，该方法可以成功地精确地恢复完整的6DOF位姿。
2020-08-18 cs.CV
Skeleton-aided Articulated Motion Generation
本文首次尝试从单幅图像中生成关节型人体运动序列。一方面，我们利用成对的输入，包括人体骨架信息作为运动嵌入和一个单一的人类图像作为外观参考，以产生新的运动帧，基于条件GAN基础设施。另一方面，采用三重丢失来追求连续帧之间的外观平滑度。由于所提出的框架能够联合利用图像外观空间和关节/运动学运动空间，它生成逼真的关节运动序列，与大多数以前的视频生成方法，产生模糊的运动效果。我们在包括KTH和Human3.6M在内的两个人类行为数据集上测试了我们的模型，所提出的框架在这两个数据集上都产生了非常有希望的结果。
2017-09-14 cs.CV
SemFaceEdit: Semantic Face Editing on Generative Radiance Manifolds
CVIG Lab, Indian Institute of Technology Gandhinagar（CVIG实验室、印度理工学院冈丁纳格尔）
本文提出 SemFaceEdit 方法，通过在生成辐射流形上生成语义场，利用潜在编码解开面部几何与外观，实现了精确的局部语义人脸编辑，同时保持其他区域完整性。
2025-06-28 cs.CV
HumanGAN: A Generative Model of Humans Images
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
生成对抗网络在包括人类图像在内的各个领域的真实感图像合成中取得了很好的性能。然而，它们通常采用对采样输出进行全局编码的潜在向量。这不允许方便地控制图像的语义相关的各个部分，并且不能绘制仅在部分方面（例如服装风格）不同的样本。我们解决了这些限制，并提出了一个生成模型的服装人类提供控制姿势，局部身体部位的外观和服装风格的图像。这是第一个方法，以解决各个方面的人体图像生成，如全球外观采样，姿势转移，零件和服装转移，并在一个统一的框架部分采样联合。由于我们的模型在标准化的姿势无关空间中编码基于部分的潜在外观向量，并将其扭曲为不同的姿势，因此它在不同的姿势下保留了身体和服装外观。实验表明，我们的灵活和通用的生成方法优于任务特定的基线的姿态条件下的图像生成，姿态转移和部分采样的真实感和输出分辨率。
2021-03-11 cs.CV
Tora2: Motion and Appearance Customized Diffusion Transformer for Multi-Entity Video Generation
Alibaba Group（阿里巴巴集团）
Tora2提出解耦个性化提取器与门控自注意力机制，结合对比损失，首次实现多实体视频生成中外观与运动的同步定制，性能媲美最先进方法。
2025-07-09 cs.CV
Dynamic Neural Garments
University College London（伦敦大学学院）；Adobe Research（奥多比研究院）
更广泛的数字人类努力的一个重要任务是在数字化身上创建逼真的服装，无论是在静态帧中的特征折叠图案和皱纹的形式，还是在化身运动下的服装动态的丰富性。现有的建模、模拟和渲染工作流紧密地复制了真实服装背后的物理特性，但是是繁琐的，并且需要在角色的运动、相机角度或服装裁剪的变化下重复大部分工作流。虽然存在数据驱动的解决方案，但它们要么专注于静态场景，要么只处理紧身服装的动态。我们提出了一个解决方案，在测试时，需要在身体关节运动，直接产生逼真的动态服装图像序列。具体来说，给定化身的目标关节运动序列，我们提出了动态神经服装，从一个看不见的观点，共同模拟和渲染似是而非的动态服装外观。从技术上讲，我们的解决方案生成一个粗略的服装代理序列，学习附加到该模板的深度动态特征，并通过神经渲染这些特征以产生外观变化，如褶皱、皱纹和轮廓。我们证明泛化行为看不见的运动和看不见的相机视图。此外，我们的网络可以进行微调，以适应新的体型和/或背景图像。我们还提供了对现有的神经渲染和图像序列翻译方法的比较，并报告明确的定量改进。
2021-02-23 cs.CV
Neural Strands: Learning Hair Geometry and Appearance from Multi-View Images
University of Bonn（波恩大学）；Reality Labs Research（现实实验室研究部）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了神经链，一种新的学习框架，用于从多视图图像输入中建模精确的头发几何形状和外观。学习的头发模型可以从任何视点实时渲染，具有高保真的视图相关效果。我们的模型实现了直观的形状和风格的控制，不像体积的同行。为了使这些属性，我们提出了一种新的头发表示神经头皮纹理编码的几何形状和外观的各个股在每个纹素位置的基础上。此外，我们介绍了一种新的神经渲染框架的基础上光栅化的学习头发束。我们的神经渲染是股准确和抗锯齿，使渲染视图一致和照片级逼真。将外观与多视图几何先验相结合，我们第一次能够从多视图设置中联合学习外观和显式头发几何。我们证明了我们的方法在各种发型的保真度和效率方面的功效。
2022-07-28 cs.CV cs.GR
EchoMotion: Unified Human Video and Motion Generation via Dual-Modality Diffusion Transformer
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Nanyang Technology University（南阳技术大学）；Xi’an Jiaotong University（西安交通大学）
EchoMotion通过双模态扩散变换器统一生成人体视频与运动，提升复杂人类动作视频的连贯性与合理性。
2025-12-21 cs.CV
CustomTTT: Motion and Appearance Customized Video Generation via Test-Time Training
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Great Bay University（大湾区大学）；Meituan（美团）；Jinan Inspur Data Technology Co., Ltd.（济南浪潮数据技术有限公司）
针对多概念LoRA组合产生伪影的问题，提出CustomTTT方法，通过分析提示词影响定位特定层，并引入测试时训练技术联合定制视频外观与运动，在定性与定量评估中优于现有方法。
2024-12-23 cs.CV
MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation
Renmin University of China（中国人民大学）；AMAP, Alibaba Group（阿里集团AMAP）；Wuhan University（武汉大学）；Tsinghua University（清华大学）
本文提出MACE-Dance框架，结合级联混合专家模型，实现音乐驱动的高质量舞蹈视频生成，通过动作和外观专家分别生成3D动作和视频，提升视觉一致性和动作真实感。
2026-05-07 cs.CV
Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking
在这项研究中，我们提出了一种新的RGB-T跟踪框架，通过联合建模的外观和运动线索。首先，为了获得鲁棒的外观模型，我们开发了一种新的后期融合方法来推断RGB和热（T）模态的融合权重图。融合权值由离线训练的全局和局部多模态融合网络确定，并用于线性组合RGB和T模态的响应图。第二，当外观线索不可靠时，我们全面地采取动作线索，即，目标和摄像机运动，使跟踪器鲁棒。我们进一步提出一个追踪器切换器来灵活切换外观和运动追踪器。在最近的三个RGB-T跟踪数据集上的大量结果表明，该跟踪器的性能明显优于其他最先进的算法。
2020-07-04 cs.CV
Enhancing Video Physical Consistency via Role-aware Joint Training and Modality-decoupled Denoising
University of Science and Technology of China（中国科学技术大学）；University of Electronic Science and Technology of China（电子科技大学）；Fudan University（复旦大学）；Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）
研究针对视频扩散模型长程物理一致性挑战，提出VPT微调框架。通过角色感知信号清晰建模不同物理角色，采用模态解耦去噪策略及损失权重衰减，引入跨步自动引导，增强物理动力学，提升物理一致性与视觉质量。
2026-07-09 cs.CV
Dynamic Appearance: A Video Representation for Action Recognition with Joint Training
University of York（约克大学）
视频的静态外观可能会阻碍深度神经网络在视频动作识别中学习运动相关特征的能力。在本文中，我们引入了一个新的概念，动态外观（DA），总结了在视频中的运动相关的外观信息，同时过滤掉被认为与运动无关的静态信息。我们考虑从原始视频数据中提取动态外观作为有效的视频理解的手段。为此，我们提出了像素级时间投影（PWTP），它将视频的静态外观投影到其原始向量空间内的子空间中，而动态外观则编码在描述特殊运动模式的投影残差中。此外，我们将PWTP模块与CNN或Transformer集成到端到端训练框架中，该框架通过利用多目标优化算法进行优化。我们提供了四个动作识别基准的广泛的实验结果：动力学400，一些东西V1，UCF 101和HMDB 51。
2022-11-24 cs.CV
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
本文提出RecCAR正则化方法，通过对齐视频与伴随模态间的交叉注意力，缩小相互对应差距，提升联合视频生成中运动与音频的同步性和质量。
2026-09-24 cs.CV
GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers
Codec Avatars Lab, Meta（Meta编码器动画实验室）；University of Tübingen（图宾根大学）；Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学院，萨尔兰信息校园）
本文提出GeoRelight，通过联合解决几何重建与重照明问题，利用iNOD和混合数据训练方法提升性能，优于传统顺序模型和忽略几何的系统。
2026-04-22 cs.CV
Creating and Reenacting Controllable 3D Humans with Differentiable Rendering
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）
本文提出了一种新的端到端神经渲染体系结构来传输外观和再现人类演员。我们的方法利用精心设计的图卷积网络（GCN）来建模人体流形结构，结合可微分渲染，以合成来自最初记录的不同背景下的人的新视频。与最近的外观转移方法，我们的方法可以重建一个完全可控的三维纹理映射模型的人，同时考虑到流形结构的身体形状和纹理外观的视图合成。具体来说，我们的方法模型网格变形与三阶段的GCN训练在一个自我监督的方式上渲染的人体轮廓。它还在纹理域中使用卷积网络推断纹理外观，该卷积网络在对抗机制中进行训练，以从不同姿势的演员的渲染图像中重建人体纹理。在不同视频上的实验表明，我们的方法成功地推断出特定的身体变形，避免产生纹理伪影，同时在结构相似性（SSIM），学习感知图像块相似性（LPIPS），均方误差（MSE）和Fréchet视频距离（FVD）方面实现最佳的外观值。通过利用可微分渲染和三维参数化模型，我们的方法是完全可控的，这允许从姿态和渲染参数控制人体合成。源代码可在https://www.verlab.dcc.ufmg.br/retargeting-motion/wacv2022上获得。
2021-10-22 cs.CV
Deep Kinship Verification via Appearance-shape Joint Prediction and Adaptation-based Approach
University of Southern California（南加州大学）；Samsung Research America（三星美国研究院）
亲属关系验证旨在识别两张给定人脸图像之间的亲属关系。由于训练数据的缺乏和亲属间人脸相似度的变化，这是一个非常具有挑战性的问题。在这项工作中，我们建立了一个新的外观和形状为基础的深度学习管道。首先，我们采用从一般的人脸识别网络中学习到的知识来学习一般的人脸特征。然后，我们从亲属关系中学习面向亲属关系的外观和形状特征，并将它们结合起来进行最终预测。我们已经评估了广泛使用的流行的基准模型的性能，并证明了国家的最先进的优越性。
2019-05-15 cs.CV
ArtiLatent: Realistic Articulated 3D Object Generation via Structured Latents
S-Lab, Nanyang Technological University Singapore（南洋理工大学S实验室）
ArtiLatent通过变分自编码器和潜扩散模型联合建模部件几何与关节动力学，并引入关节感知高斯解码器，在PartNet-Mobility和ACD数据集上实现了几何一致且外观逼真的可动3D物体生成。
2025-10-24 cs.CV cs.GR
Robust pose tracking with a joint model of appearance and shape
Brown University（布朗大学）
我们提出了一种新的方法，用于估计的二维姿态的铰接对象的应用程序自动视频分析的小实验室动物。我们已经发现，为人类开发的可变形部件模型，例如柔性混合部件（FMP）模型，通常在挑战动物姿势时失败。我们认为，除了编码外观和空间关系，形状是需要克服缺乏独特的地标实验室动物的身体。在我们的方法中，形状一致的FMP（scFMP）模型计算有前途的姿势候选人后，一个标准的FMP模型被用来快速丢弃错误的部分检测。这种“级联”方法结合了空间关系、外观和形状表示的相对优势，并显示出比原始FMP模型以及具有代表性的深度神经网络基线有显著改进。
2018-06-28 cs.CV
PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs
Queen Mary University of London（伦敦玛丽女王大学）；University of Athens（雅典大学）；The Cyprus Institute（塞浦路斯研究所）
对生成对抗网络（GANs）的理解的最新进展已经在视觉编辑和合成任务方面取得了显着进展，利用了嵌入在预训练的GANs的潜在空间中的丰富语义。然而，现有的方法通常是针对特定的GAN架构定制的，并且局限于发现不便于本地化控制的全局语义方向，或者需要通过手动提供的区域或分割掩码进行某种形式的监督。在这种情况下，我们提出了一个架构不可知论的方法，共同发现的因素，代表空间的部分和它们的外观在一个完全无监督的方式。这些因素是通过在特征图上应用半非负张量因式分解来获得的，这反过来又使上下文感知的局部图像编辑具有像素级控制。此外，我们发现的外观因素对应的显着性地图，本地化感兴趣的概念，而不使用任何标签。在广泛的GAN架构和数据集上的实验表明，与现有技术相比，我们的方法在训练时间方面更有效，最重要的是，提供了更准确的本地化控制。我们的代码可在https://github.com/james-oldfield/PandA上获取。
2023-02-06 cs.CV cs.LG
Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images
MIT Interdisciplinary Center, Herzliya（赫兹利亚跨学科中心（MIT））；Stanford University（斯坦福大学）
从单目图像数据集学习3D生成模型可以实现自监督3D推理和可控合成。最先进的3D生成模型是使用神经3D体积表示进行合成的GANs。通过从给定相机渲染体积来合成图像。这些模型可以在任何生成的图像中将3D场景与相机视点分离。然而，大多数模型并没有解开图像形成的其他因素，如几何形状和外观。在本文中，我们设计了一个三维GAN，它可以学习一个解纠缠模型的对象，只是从单目观察。我们的模型可以理清场景中的几何形状和外观变化，即，我们可以独立地从生成模型的几何和外观空间中采样。这是实现使用一种新的非刚性可变形场景配方。表示对象实例的3D体积被计算为非刚性变形的规范3D体积。我们的方法在训练过程中共同学习规范体积及其变形。该公式还帮助我们使用在3D变形场上定义的新颖姿态正则化损失来改善3D场景和相机视点之间的解纠缠。此外，我们还对逆变形进行了建模，从而能够计算由我们的模型生成的图像之间的密集对应关系。最后，我们设计了一种方法，将真实图像嵌入到我们的解纠缠生成模型的潜在空间中，从而实现对真实图像的编辑。
2022-03-29 cs.CV cs.GR
Intrinsic3D: High-Quality 3D Reconstruction by Joint Appearance and Geometry Optimization with Spatially-Varying Lighting
NVIDIA（英伟达）；Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
我们介绍了一种新的方法，以获得高品质的3D重建从消费者RGB-D传感器。我们的核心思想是同时优化在有符号距离场（SDF）中编码的几何体、自动选择的关键帧的纹理及其相机姿势以及材质和场景照明。为此，我们提出了一种联合表面重建方法，该方法是基于形状从阴影（SFS）技术，并利用空间变化的球谐函数（SVSH）的重建场景的子体积的估计。通过大量的例子和评估，我们证明了我们的方法大大提高了重建场景几何的细节水平，并有助于一致的表面纹理恢复。
2017-08-04 cs.CV
ContextAnyone: Context-Aware Diffusion for Character-Consistent Text-to-Video Generation
Dartmouth College（达特茅斯学院）
ContextAnyone通过上下文感知扩散模型实现从文本和参考图像生成一致的角色视频，结合双引导损失和Gap-RoPE位置嵌入提升视觉质量和身份一致性。
2026-09-03 cs.AI cs.CV
DeepHist: Differentiable Joint and Color Histogram Layers for Image-to-Image Translation
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
我们介绍了DeepHist -一种新的深度学习框架，用于通过直方图层来增强网络，并通过解决图像到图像的翻译问题来展示其实力。具体来说，给定输入图像和参考颜色分布，我们的目标是生成具有输入（源）的结构外观（内容）但具有参考颜色的输出图像。其关键思想是一种新的技术，用于输出图像的联合直方图和颜色直方图的可区分构造。我们进一步定义了一个颜色分布损失的基础上的地球移动器的距离之间的输出和参考的颜色直方图和互信息损失的基础上的联合直方图的源和输出图像。在色彩转移、图像着色和$\rightarrow$照片边缘处理等任务中，控制了输出图像的色彩分布，取得了令人满意的结果。与Pix 2 Pix和CyclyGAN进行了比较。
2020-05-06 cs.CV eess.IV
Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Institute of Medical Robotics, Shanghai Jiao Tong University（上海交通大学医学机器人研究所）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）；Institute of Medical Intelligence and XR, The Chinese University of Hong Kong（香港中文大学医学智能与XR研究所）
本文提出全面生成回放框架，通过贝叶斯联合扩散模型和任务导向适配器合成图像-掩码对，缓解任务增量分割中的并发外观与语义遗忘。
2024-06-28 cs.CV eess.IV
Self-Supervised Joint Encoding of Motion and Appearance for First Person Action Recognition
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
可穿戴摄像头在多个应用中越来越受欢迎，这增加了研究界对开发从第一人称角度识别动作的方法的兴趣。以自我为中心的动作识别中的一个公开挑战是，视频缺乏关于主要演员姿势的详细信息，因此在专注于操纵任务时往往只记录部分运动。因此，关于动作本身的信息量是有限的，这使得理解被操纵的对象及其上下文变得至关重要。许多以前的作品解决了这个问题与双流架构，其中一个流是专门用于建模的动作中涉及的对象的外观，另一个从光流中提取运动特征。在本文中，我们认为，从这两个信息通道联合学习特征，有利于捕捉两者之间的时空相关性更好。为此，我们提出了一个单流架构，能够做到这一点，由于增加了一个自我监督的块，使用借口运动预测任务，interrupt运动和外观知识。几个公开的数据库上的实验表明，我们的方法的力量。
2020-12-07 cs.CV
InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University（北京大学深圳研究生院广东省超高清沉浸式媒体技术重点实验室）；College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）
针对3DGS用于场景理解时的外观语义不平衡、不一致及分割问题，提出InstanceGaussian，通过Semantic-Scaffold-GS表示、渐进联合训练和自下而上实例聚合，在类别无关开放词汇3D点分割中实现SOTA。
2025-04-15 cs.CV
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking
Tsinghua University（清华大学）；Aibee Inc（爱笔智能）
多目标跟踪（MOT）的最新趋势是利用深度学习来提高跟踪性能。在本文中，我们提出了一种新的解决方案命名为transSTAM，它利用Transformer有效地建模每个对象的外观特征和对象之间的时空关系。TransSTAM由两个主要部分组成：（1）编码器利用Transformer强大的自注意机制来学习每个tracklet的区分特征;（2）解码器采用标准的交叉注意力机制来通过考虑时空和外观特征来建模tracklet和检测之间的亲和力。TransSTAM有两个主要优点：（1）它完全基于编码器-解码器架构，具有紧凑的网络设计，因此计算效率高;（2）它可以在一个模型中有效地学习时空和外观特征，从而实现更好的跟踪精度。所提出的方法在包括MOT 16，MOT 17和MOT 20在内的多个公共基准上进行了评估，并且相对于所有基准上的先前最先进的方法，它在IDF 1和HOTA中实现了明显的性能改进。我们的代码可在\url{https://github.com/icicle4/TranSTAM}上获得。
2022-05-31 cs.CV
Joint Geometry-Appearance Human Reconstruction in a Unified Latent Space via Bridge Diffusion
Department of Computer Science, City University of Hong Kong（城市大学计算机科学系）；Tencent Games, Shenzhen, Guangdong, China（腾讯游戏，深圳，广东，中国）
本文提出JGA-LBD框架，通过桥扩散统一几何与外观重建，提升3D数字人类重建的保真度和质量。
2026-01-01 cs.CV
LiTo: Surface Light Field Tokenization
LiTo通过联合建模几何和视点依赖外观，利用表面光场生成高质量3D物体，提升光照和材料一致性。
2026-03-11 cs.AI cs.CV cs.GR
Appearance Codes using Joint Embedding Learning of Multiple Modalities
Princeton University（普林斯顿大学）
针对外观编码需为每个场景重新训练的限制，提出通过对比损失学习多模态联合嵌入空间的框架，在RADIANT数据集上无需额外优化即可生成相似质量的新视角渲染。
2023-11-19 cs.AI cs.CV
Self-supervised Neural Articulated Shape and Appearance Models
Reality Labs Research（现实实验室研究部门）；Princeton University（普林斯顿大学）
学习对象类的几何、运动和外观先验对于解决各种各样的计算机视觉问题是重要的。虽然大多数方法都集中在静态对象上，但动态对象，特别是具有可控关节的动态对象，很少被探索。我们提出了一种新的方法来学习的几何形状，外观和运动的一类关节的对象只给出了一组彩色图像作为输入的表示。在自我监督的方式下，我们的新表示学习形状，外观和发音代码，使这些语义维度的独立控制。我们的模型是端到端训练的，不需要任何清晰度注释。实验表明，我们的方法表现良好，不同的关节类型，如转动和棱柱关节，以及这些关节的不同组合。与使用直接3D监督并且不输出外观的最新技术相比，我们仅从2D观察中恢复更忠实的几何形状和外观。此外，我们的代表性，使各种各样的应用，如Few-Shot重建，新的关节的产生，和新的视图合成。
2022-05-17 cs.CV
Combining Local Appearance and Holistic View: Dual-Source Deep Neural Networks for Human Pose Estimation
University of South Carolina（南卡罗来纳大学）
我们提出了一种新的基于学习的方法，从一个单一的图像估计二维人体姿势，使用双源深度卷积神经网络（DS-CNN）。最近，已经开发了许多方法来估计人体姿势，通过使用姿势先验，估计从生理启发的图形模型或从整体的角度来看，学习。在本文中，我们建议将局部（身体）部分外观和每个局部部分的整体视图整合在一起，以获得更准确的人体姿势估计。具体来说，所提出的DS-CNN采用一组图像补丁（用于训练的类别独立对象建议和用于测试的多尺度滑动窗口）作为输入，然后通过考虑它们在全身的整体视图来学习每个局部部分的外观。使用DS-CNN，我们实现了关节检测和关节定位，关节检测确定图像补丁是否包含身体关节，关节定位找到图像补丁中关节的确切位置。最后，我们开发了一种算法，结合这些联合检测/定位结果，从所有的图像补丁估计的人的姿态。实验结果表明，所提出的方法的有效性，通过比较国家的最先进的人体姿态估计方法的基础上的姿势先验估计从生理启发的图形模型或从整体的角度来看。
2015-04-27 cs.CV
Mallea: Building, Steering, and Memorizing Worlds with Coding Agent
Peking University（北京大学）
本研究提出名为Mallea的系统，通过编码智能体从文本构建、操控与记忆世界，围绕相同对象组织构建、干预与记忆，实现世界动态的有效表征与操控。
2026-10-16 cs.AI cs.CV
Sketch and Text Guided Diffusion Model for Colored Point Cloud Generation
Hunan University（湖南大学）；Xidian University（西安电子科技大学）；The University of Western Australia（西澳大学）
本文提出一种草图与文本联合引导的扩散模型，通过分阶段扩散和胶囊注意力嵌入生成彩色点云，并支持外观编辑与部件分割，性能优于现有方法。
2023-08-05 cs.CV cs.MM
Liquid Warping GAN: A Unified Framework for Human Motion Imitation, Appearance Transfer and Novel View Synthesis
ShanghaiTech University（上海科技大学）；Tencent AI Lab（腾讯人工智能实验室）
我们在一个统一的框架内处理人体运动模仿，外观转移和新颖的视图合成，这意味着模型一旦被训练就可以用来处理所有这些任务。现有的任务特定的方法主要使用2D关键点（姿势）来估计人体结构。然而，他们只表示的位置信息，没有能力来表征个人的个性化形状和模型的肢体旋转。在本文中，我们提出使用一个三维人体网格恢复模块来解开姿势和形状，它不仅可以建模的关节位置和旋转，但也个性化的身体形状的特征。为了保留源信息，如纹理，风格，颜色和人脸身份，我们提出了一个液体Warping GAN与液体Warping块（LWB），传播源信息在图像和特征空间，并合成一个图像的参考。具体地说，源特征提取的去噪卷积自动编码器的特征源身份很好。此外，我们提出的方法能够支持更灵活的多个来源的扭曲。此外，我们建立了一个新的数据集，即模仿者（iPER）数据集，用于评估人体运动模仿，外观转移和新的视图合成。大量的实验表明，我们的方法在几个方面的有效性，如在遮挡情况下的鲁棒性和保持人脸身份，形状一致性和衣服细节。所有代码和数据集均可在https://svip-lab.github.io/project/impersonator.html上获得
2019-10-01 cs.CV cs.LG eess.IV
SyncMV4D: Synchronized Multi-view Joint Diffusion of Appearance and Motion for Hand-Object Interaction Synthesis
SyncMV4D通过联合生成多视角手-物体交互视频和4D运动，提升了视觉真实性和运动合理性。
2026-03-06 cs.CV
MASAR: Motion-Appearance Synergy Refinement for Joint Detection and Trajectory Forecasting
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Munich University of Applied Sciences（慕尼黑应用科学大学）
MASAR通过联合编码外观和运动特征，提升自动驾驶中的3D检测与轨迹预测性能，实现超过20%的精度提升。
2026-02-13 cs.CV cs.LG
Patchwise object tracking via structural local sparse appearance model
Iran University of Science and Technology（伊朗科技大学）
在本文中，我们提出了一个强大的视觉跟踪方法，利用相邻帧中的目标之间的关系，使用patchwise联合稀疏表示。从候选目标中提取两组不同大小的重叠块，构造两个字典，并考虑联合稀疏表示。通过将这种表示应用于结构稀疏外观模型，我们可以获得双重优势。首先，考虑目标斑块随时间的相关性。其次，采用不同斑块大小的局部外观模型，充分考虑了目标的局部特征。此外，候选补丁的位置和他们的遮挡水平被同时利用，以获得最终的目标候选的可能性。对最近具有挑战性的基准测试的评估表明，我们的跟踪方法优于最先进的跟踪器。
2018-03-16 cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出 PoseVocab，一种用于人体化身建模的关节结构化姿态编码方法，通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略，实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
Joint Discriminative and Generative Learning for Person Re-identification
NVIDIA Research（英伟达研究院）；NVIDIA CAI（英伟达人工智能计算中心）；University of Technology Sydney（悉尼科技大学）；Australian National University（澳大利亚国立大学）
由于不同摄像机之间存在显著的类内差异，人员重新识别（re-id）仍然具有挑战性。最近，人们越来越关注使用生成模型来增加训练数据并增强对输入变化的不变性。然而，现有方法中的生成流水线与判别性re-id学习阶段保持相对分离。因此，re-id模型通常以直接的方式在生成的数据上进行训练。在本文中，我们试图通过更好地利用生成的数据来改进学习的re-id嵌入。为此，我们提出了一个联合学习框架，耦合re-id学习和数据生成端到端。我们的模型包括一个生成模块，分别编码成一个外观代码和一个结构代码，每个人和一个判别模块，共享的外观编码器与生成模块。通过切换外观或结构代码，生成模块能够生成高质量的交叉ID合成图像，这些图像被在线反馈到外观编码器并用于改进鉴别模块。拟议的联合学习框架在不使用生成的数据的情况下，在基线上有了显着的改进，从而在几个基准数据集上实现了最先进的性能。
2021-05-19 cs.CV
Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues
ROSE Lab, Nanyang Technological University（南洋理工大学ROSE实验室）
本文建立了首个结合视觉外观与生理rPPG线索的联合人脸欺骗与伪造检测基准，通过双分支生理网络和加权归一化多模态融合机制，显著提升了模型在联合训练下的泛化能力。
2024-01-08 cs.CV
JointsGait:A model-based Gait Recognition Method based on Gait Graph Convolutional Networks and Joints Relationship Pyramid Mapping
Northwestern Polytechnical University（西北工业大学）
步态作为一种独特的生物特征，具有远距离识别的优势，在公共安全领域有着广泛的应用。考虑到三维位姿估计在实际应用中比二维位姿估计更具挑战性，本文对利用二维关节进行步态识别进行了研究，提出了一种新的基于模型的步态识别方法JointsGait。基于外观特征的步态识别算法是目前比较流行的方法。然而，外观特征受到外部因素的影响，这些因素可能导致外观的剧烈变化，例如服装。与以往的方法不同，JointsGait首先使用步态图卷积网络从2D关节提取时空特征，受外部因素的干扰较小。其次，关节关系金字塔映射（JRPM）提出了时空步态特征映射到一个具有生物优势的歧视性特征空间，根据人体关节的关系，当人们在不同的尺度上行走。最后，我们设计了一种融合损失策略，以帮助关节特征对交叉视图不敏感。我们的方法在两个大型数据集上进行了评估，Kinect步态生物测量数据集和CASIA-B。在Kinect步态数据库中，JointsGait仅使用了关节的二维坐标，但与基于模型的三维关节识别算法相比，其识别精度令人满意。在CASIA-B数据库上，该方法在所有步行条件下的性能都大大优于基于模型的方法，在服装严重影响人的外观时，该方法的性能甚至优于基于外观的方法。实验结果表明，JointsGait实现了最先进的性能，尽管低维特征（2D身体关节），并受视图变化和服装变化的影响较小。
2020-12-09 cs.CV eess.IV
A Keyframe-based Continuous Visual SLAM for RGB-D Cameras via Nonparametric Joint Geometric and Appearance Representation
University of Michigan（密歇根大学）
本文报告了一个强大的RGB-D SLAM系统，在几乎没有纹理和结构化的环境中表现良好。我们提出了一种新的基于关键帧的连续视觉里程计，建立在最近开发的连续传感器配准框架。联合几何和外观表示是将RGB-D图像转换为存在于再生核希尔伯特空间（RKHS）中的函数的结果。我们通过RKHS中的内积结构解决了注册和关键帧选择问题。我们还提出了基于关键帧的里程计方法扩展到SLAM系统使用间接ORB环闭合约束。使用公开的RGB-D基准的实验评估表明，开发的关键帧选择技术，使用连续视觉里程计优于其强大的密集（和直接）视觉里程计等效。此外，所开发的SLAM系统在不同的训练和验证序列中具有更好的泛化能力;它对场景中缺乏纹理和结构具有鲁棒性;并显示出与最先进的SLAM系统相当的性能。
2019-12-02 cs.CV cs.RO
Patchwise Joint Sparse Tracking with Occlusion Detection
Sharif University of Technology（谢里夫理工大学）
本文提出了一种鲁棒的跟踪方法来处理的挑战，如遮挡和外观变化。在这里，目标被划分为多个补丁。然后，使用由先前帧中的对应目标补丁组成的字典来对每个补丁的外观进行建模。在每一帧中，通过似然测度，在由粒子滤波器生成的一组候选者中找到目标，该似然测度被示出为与每个候选者的块重构误差的总和成比例。由于目标的外观往往在视频序列中变化缓慢，因此假设当前帧中的目标和少量先前帧的最佳候选者属于公共子空间。这是使用联合稀疏表示来强制目标和先前的最佳候选者具有共同的稀疏模式。此外，提出了一种遮挡检测方案，使用补丁重建误差和先验概率的遮挡，从自适应马尔可夫链中提取，计算每个补丁的遮挡概率。在每一帧中，当更新字典时，被遮挡的补丁被排除。在几个具有挑战性的序列上的大量实验结果表明，该方法优于最先进的跟踪器。
2014-02-05 cs.CV
Joint Quality Assessment and Example-Guided Image Processing by Disentangling Picture Appearance from Content
Meta Video Infrastructure（Meta视频基础设施）；National Science Foundation AI Institute for Foundations of Machine Learning (IFML)（国家科学基金会人工智能基础机器学习研究院（IFML））
针对低级图像处理任务中外观与内容分离的共性，提出自监督解纠缠表示学习方法，分解内容与外观特征并构建DisQUE质量预测模型，该模型在质量预测任务上达SOTA准确率，且特征可用于示例引导的HDR色调映射等任务。
2025-08-25 cs.CV eess.IV
GloSplat: Joint Pose-Appearance Optimization for Faster and More Accurate 3D Reconstruction
Department of Computer Science, Northwestern Polytechnical University, Shanxi, China（计算机科学系，西北工业大学，山西，中国）
GloSplat通过联合姿态-外观优化提升3D重建速度和精度，提供无COLMAP和详尽匹配两种变体，实现高效且高质量的重建效果。
2026-03-05 cs.CV cs.GR
Joint Multi-Condition Representation Modelling via Matrix Factorisation for Visual Place Recognition
School of Electronics and Computer Science, University of Southampton（苏塞克斯大学电子与计算机科学学院）；Department of Computer Science and Engineering, Hanyang University（翰阳大学计算机科学与工程系）；QUT Centre for Robotics, School of Electrical Engineering and Robotics（昆士兰大学机器人中心、电气工程与机器人学院）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
针对多参考视觉地点识别，本文提出基于矩阵分解的无训练、描述子无关联合建模与残差匹配方法，并发布 SotonMV 基准，显著提升跨外观和视角变化的识别性能。
2026-10-20 cs.CV
DeepSurfels: Learning Online Appearance Fusion
ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
我们提出了DeepSurfels，一种新的几何和外观信息的混合场景表示。DeepSurfels结合了显式和神经构建块，共同编码几何和外观信息。与已建立的表示相比，DeepSurfels更好地表示高频纹理，非常适合在线更新外观信息，并且可以很容易地与机器学习方法相结合。我们还提出了一个端到端的可训练在线外观融合管道，将RGB图像中的信息融合到所提出的场景表示中，并使用相对于输入图像的重投影误差所施加的自我监督进行训练。我们的方法相比，毫不逊色于经典的纹理映射的方法，以及最近的学习为基础的技术。此外，我们展示了较低的运行时间，改进的泛化能力，更好的可扩展性，更大的场景相比，现有的方法。
2021-05-30 cs.CV
Endo-TSR: Temporal Spectral Modeling of Appearance and Motion for Endoscopic Reconstruction
针对内窥镜重建中组织运动与外观变化建模难题，提出Endo-TSR，通过傅里叶颜色残差和频谱先验增强可变形高斯泼溅，在EndoNeRF和StereoMIS数据集上取得最高PSNR，实现最先进渲染质量。
2026-09-29 cs.CV cs.RO
Robust 3D Action Recognition through Sampling Local Appearances and Global Distributions
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Central Florida（中佛罗里达大学）
三维动作识别在人机交互、智能监控等领域有着广泛的应用。然而，识别类似的动作仍然具有挑战性，因为以前的文献未能有效地从嘈杂的深度数据中捕获运动和形状线索。在本文中，我们提出了一种新的两层视觉词袋（BoVW）模型，它抑制了噪声干扰，并联合编码的运动和形状线索。首先，通过针对深度数据设计的背景建模方法来去除背景杂波。然后，运动和形状线索联合使用，以产生强大的和独特的时空兴趣点（STIP）：基于运动的STIP和基于形状的STIP。在模型的第一层，提出了一个多尺度3D局部导向核（M3DLSK）描述子来描述基于运动的STIP周围长方体的局部外观。在第二层中，提出了一个时空矢量（STV）描述符来描述基于形状的STIP的时空分布。使用视觉词袋（BoVW）模型，运动和形状线索相结合，形成一个融合的动作表示。与常用的STIP检测和描述方法相比，我们的模型表现良好。实验结果表明，该模型能有效区分相似动作，对背景杂波、局部遮挡和胡椒噪声具有较好的鲁棒性。
2017-12-07 cs.CV
LoSh: Long-Short Text Joint Prediction Network for Referring Video Object Segmentation
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对RVOS模型易偏向动作和关系属性而忽略外观的问题，LoSh提出从长文本中提取外观相关的短文本进行长短文本联合预测，并结合长短交叉注意力、交集损失及前后向光流一致性损失，在多个基准上取得显著提升。
2024-04-02 cs.CV
Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
虽然在监督人重新识别（re-id）方面已经取得了重大进展，但由于领域差距巨大，将re-id模型推广到新领域仍然具有挑战性。最近，人们越来越关注使用无监督领域自适应来解决这个可伸缩性问题。现有的方法通常在包含身份相关和身份无关因素的表示空间上进行自适应，从而不可避免地削弱了身份相关特征的自适应效果。在本文中，我们试图通过净化表示空间来提高适应性。为此，我们提出了一个联合学习框架，解开ID相关/不相关的功能，并强制适应工作的ID相关的特征空间。我们的模型包括一个解纠缠模块，它将跨域图像编码到一个共享的外观空间和两个独立的结构空间中，以及一个适应模块，它在共享的外观空间上执行对抗对齐和自我训练。这两个模块是共同设计的，可以互惠互利。大量的实验表明，所提出的联合学习框架明显优于最先进的方法。
2020-07-20 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而，没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中，我们提出了在视频的每一帧中估计3D姿态，并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性，提高了3D姿态估计精度。
2020-11-04 cs.CV
