FitVTON: Fit-aware Virtual Try-On via Body-Garment Size Control
Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）；Nuvatech
针对现有虚拟试穿忽略物理合身性的问题，提出FitVTON模型，通过结构化文本提示编码服装-身体尺寸，并引入辅助头预测服装和暴露身体掩膜，结合纹理校正阶段，在真实数据集FittingEffect3K上验证了尺寸准确性和形状保持的优越性。
2026-06-11 cs.CV
FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on
Tencent（腾讯）；Fudan University（复旦大学）
FitDiT提出基于扩散Transformer的服装感知增强技术，通过纹理提取器、频域损失和膨胀-松弛掩码策略解决纹理保持与尺寸合身问题，在高保真虚拟试穿中超越现有方法并实现4.57秒高效推理。
2024-11-22 cs.CV
Image-Based Virtual Try-on System With Clothing-Size Adjustment
Okayama University（冈山大学）
传统的基于图像的虚拟试穿方法由于系统无法准确反映人的身体信息，因此无法生成与服装尺寸相对应的试衣图像。在本研究中，我们提出一个以影像为基础的虚拟试穿系统，可以调整服装的尺寸。该方法以人体和服装的尺寸信息为输入，在虚拟空间中实现各种服装尺寸的可视化拟合。首先，基于OpenPose检测到的关键点的坐标信息，计算人物图像中衣服的肩宽和高度之间的距离。然后，系统仅改变分割图的服装区域的尺寸，分割图的布局是使用基于人和服装尺寸的比率在人图像中测量的人的尺寸来估计的。如果在绘制过程中衣服区域的大小增加，则会更正衣领和重叠区域中的细节，以改善视觉外观。
2023-02-27 cs.CV
Toward Characteristic-Preserving Image-based Virtual Try-On Network
Sun Yat-sen University（中山大学）；SenseTime Group Limited（商汤集团有限公司）
基于图像的虚拟试穿系统，以适应新的商店服装到一个人的形象，吸引了越来越多的研究关注，但仍然是具有挑战性的。一个理想的流水线不仅要将目标服装无缝地转换成最合身的形状，而且要在生成的图像中很好地保留服装的身份，即描述原始服装的关键特征（例如纹理、徽标、刺绣）。然而，以前的图像调节生成作品无法满足这些关键要求，对合理的虚拟试穿性能，因为他们无法处理输入图像和目标衣服之间的大空间错位。先前的工作明确地解决了空间变形使用形状上下文匹配，但未能保留服装细节，由于其粗到细的策略。在这项工作中，我们提出了一种新的完全可学习的特征保留虚拟尝试网络（CP-VTON），以解决该任务中的所有现实挑战。首先，CP-VTON学习薄板样条变换，用于通过新的几何匹配模块（GMM）将店内衣服变换为适合目标人的身体形状，而不是像以前的工作那样计算兴趣点的对应关系。其次，为了减轻翘曲衣服的边界伪影并使结果更加逼真，我们采用了一个Try-On模块，该模块学习构图掩码来整合翘曲的衣服和渲染图像以确保平滑。在时尚数据集上的大量实验表明，我们的CP-VTON在定性和定量方面都达到了最先进的虚拟试穿性能。
2018-09-12 cs.CV
Real-Time Per-Garment Virtual Try-On with Temporal Consistency for Loose-Fitting Garments
The University of Tokyo（东京大学）
针对宽松服装下单服装虚拟试穿的语义图不可靠、帧间抖动问题，提出两阶段鲁棒语义图估计法和循环服装合成框架，在保证实时性的同时提升了试穿效果与时间连贯性。
2025-09-04 cs.CV cs.GR
Fitting Generalized Power Diagrams to 3D Image Data: A Prerequisite for Virtual Materials Testing
Department of Mathematical Sciences, University of Liverpool（数学科学系，利物浦大学）；Institute of Stochastics, Ulm University（概率论研究所，乌尔姆大学）；Department of Mathematics, University of Kaiserslautern-Landau (RPTU)（数学系，凯撒斯劳滕-兰道大学）；Institute of Statistics, Graz University of Technology（统计研究所，格拉茨技术大学）
研究将广义幂图拟合到3D图像数据这一虚拟材料测试关键步骤的算法与建模方法，涉及多个应用数学领域。通过调查应用并比较多种算法策略，展示了真实数据集上算法复杂度与模型准确性的权衡。
2026-07-24 cond-mat.mtrl-sci cs.CV math.OC
MFP-VTON: Enhancing Mask-Free Person-to-Person Virtual Try-On via Diffusion Transformer
Donghua University（东华大学）
针对人与人虚拟试穿中获取标准服装困难的问题，提出基于Diffusion Transformer的无掩码框架MFP-VTON，通过构建专用数据集并引入Focus Attention损失进行微调，在两类VTON任务中均实现了高保真试穿图像生成。
2025-02-03 cs.CV
Transferable End-to-end Room Layout Estimation via Implicit Encoding
Peking University（北京大学）；Intel Labs（英特尔研究院）
我们研究的问题，估计从一个单一的全景图像的房间布局。以往的研究大多分为两个阶段：特征提取和参数化模型拟合。在这里，我们提出了一个端到端的方法，直接预测参数布局从输入的全景图像。它利用了一个隐式的编码过程，嵌入到潜在的空间参数布局。然后学习从图像到这个潜在空间的映射，使端到端的房间布局估计成为可能。然而，端到端方法有几个臭名昭著的缺点，尽管有许多有趣的属性。一个广泛提出的批评是，他们受到数据集偏见的困扰，并且不会转移到不熟悉的领域。我们的研究回应了这一共同信念。为此，我们建议使用语义边界预测图作为中间域。它在四个基准测试（Structured3D，PanoContext，S3DIS和Matterport3D）上带来了显着的性能提升，特别是在zero-shot传输设置中。将发布代码、数据和模型。
2021-12-21 cs.CV
Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion Networks
Zhejiang University（浙江大学）；Tencent（腾讯）
我们提出了一种学习算法，它使用骨骼驱动的运动网络来预测交互速率下的宽松服装网格的变形。给定一件衣服，我们生成一个模拟数据库，并使用皮肤分解从模拟网格序列中提取虚拟骨骼。在运行时，我们以顺序的方式分别计算低频和高频变形。通过将人体运动转化为虚拟骨骼的运动来预测低频变形，并利用虚拟骨骼运动的全局信息和低频网格中提取的局部信息来估计高频变形。此外，我们的方法可以估计由模拟参数的变化引起的服装变形（例如，织物的弯曲刚度），使用RBF核集成训练的网络，用于不同的模拟参数集。通过广泛的比较，我们表明，我们的方法优于国家的最先进的方法在预测精度方面的网格变形约20%的RMSE和10%的Hausdorff距离和STED。代码和数据可在https://github.com/non-void/VirtualBones上获得。
2022-05-28 cs.CV cs.GR cs.LG
Self-supervised 360$^{\circ}$ Room Layout Estimation
National Tsing Hua University（国立清华大学）
我们提出了第一个自我监督的方法来训练全景房间布局估计模型，没有任何标记的数据。与提供丰富的对应约束的每像素密集深度不同，布局表示是稀疏和拓扑的，阻碍了在图像上使用自监督重投影一致性。为了解决这个问题，我们提出了可区分的布局视图渲染，它可以扭曲源图像的目标摄像机的姿态给定的估计布局从目标图像。由于每个渲染的像素相对于估计的布局是可微的，所以我们现在可以通过最小化重投影损失来训练布局估计模型。此外，我们引入正则化损失来鼓励曼哈顿对齐，天花板对齐，周期一致性和布局拉伸一致性，这进一步改善了我们的预测。最后，我们在ZilloIndoor和MatterportLayout数据集上展示了第一个自监督结果。我们的方法也显示了有前途的解决方案，在数据稀缺的情况下和主动学习，这将有一个即时的价值，在房地产虚拟旅游软件。代码可在https://github.com/joshua049/Stereo-360-Layout上获得。
2022-03-30 cs.CV
LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zillow Group（齐洛集团）
我们提出了一种算法来预测房间布局从一个单一的图像，概括了跨cumbermas和透视图像，长方体布局和更一般的布局（例如L形的房间）。我们的方法直接在全景图像上操作，而不是像最近的作品那样分解成透视图像。我们的网络架构类似于RoomNet，但我们显示了改进，这是由于基于消失点对齐图像，预测多个布局元素（角落，边界，大小和平移），并将受约束的曼哈顿布局拟合到所产生的预测。我们的方法比较好的速度和准确性，其他现有的工作上的cumberamas，实现了最好的精度之间的透视图像，并可以处理长方体形状和更一般的曼哈顿布局。
2018-03-23 cs.AI cs.CV
VITON-DRR: Details Retention Virtual Try-on via Non-rigid Registration
本文提出VITON-DRR虚拟试穿方法，通过双金字塔特征提取器、非刚性配准变形模块和图像合成模块，解决姿势错位和自遮挡导致的细节丢失问题，生成更准确且保留更多服装细节的试穿结果。
2025-05-29 cs.CV
Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding
Google Research（谷歌研究院）；Brown University（布朗大学）
我们介绍了一个新的视觉和语言导航（VLN）数据集--房间跨房间（RXR）。RxR是多语言（英语，印地语和泰卢固语），并且比其他VLN数据集更大（更多路径和指令）。它强调了语言在VLN中的作用，通过解决路径中的已知偏差并引出更多对可见实体的引用。此外，指令中的每个字与指令创建者和验证者的虚拟姿势时间对齐。我们建立基线分数单语和多语言设置和多任务学习时，包括房间到房间的注释。我们还提供了一个模型的结果，该模型通过只关注在人类演示中参加的全景部分来从同步姿势轨迹中学习。RxR的大小、范围和细节极大地扩展了在模拟的、照片般逼真的环境中对具身语言代理的研究前沿。
2020-10-15 cs.AI cs.CL cs.CV
Learning Locally Editable Virtual Humans
ETH Zürich（苏黎世联邦理工学院）
本研究提出结合神经场与蒙皮网格的混合表示及端到端网络，构建特征码本存储局部特征，实现神经化身的生成、适配与局部编辑，还发布CustomHumans数据集，实验证明性能优于现有最优方法。
2023-04-28 cs.CV
VirtualPose: Learning Generalizable 3D Human Pose Models from Virtual Data
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；EIT Institute for Advanced Study（EIT高等研究院）
虽然单目3D姿态估计似乎在公共数据集上取得了非常准确的结果，但它们的泛化能力在很大程度上被忽视了。在这项工作中，我们对现有的方法进行了系统的评估，发现它们在不同的相机，人体姿势和外观上进行测试时，误差明显较大。为了解决这个问题，我们引入了VirtualPose，这是一个两阶段的学习框架，可以利用这个任务所特有的隐藏的“免费午餐”，即免费为训练模型生成无限数量的姿势和相机。为此，第一阶段将图像转换为抽象几何表示（AGR），然后第二阶段将其映射到3D姿势。它从两个方面解决了泛化问题：（1）第一阶段可以在不同的2D数据集上训练，以减少过度拟合有限外观的风险;（2）第二阶段可以在从大量虚拟相机和姿势合成的不同AGR上训练。它优于SOTA方法，而不使用任何配对的图像和3D姿势的基准，这为实际应用铺平了道路。代码可在https://github.com/wkom/VirtualPose上获得。
2022-07-20 cs.CV
Dynamic Depth-Supervised NeRF for Multi-View RGB-D Operating Room Images
Meander Medisch Centrum（梅ander医疗中心）；University of Twente（特文特大学）
本研究利用动态深度监督NeRF，从多视角RGB-D手术室图像合成新视图，通过深度正则化提升质量，在膝关节手术场景中实现平均PSNR 18.2和深度误差2.0%。
2023-08-30 cs.CV
Room Envelopes: A Synthetic Dataset for Indoor Layout Reconstruction from Images
The Australian National University（澳大利亚国立大学）
本文提出Room Envelopes合成数据集，通过提供可见表面与结构布局点图，监督单目前馈几何估计器同时预测两者，从而提升室内场景范围、物体形状和位置的重建理解。
2025-11-06 cs.CV
Manhattan Room Layout Reconstruction from a Single 360 image: A Comparative Study of State-of-the-art Methods
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Tsing Hua University（国立清华大学）；National Chiao Tung University（国立交通大学）；ShanghaiTech University（上海科技大学）；University of Washington（华盛顿大学）；Apple Inc.（苹果公司）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
最近的方法，预测布局从360度全景图产生了很好的结果。这些方法建立在由三个步骤组成的共同框架上：基于基于边缘对齐的预处理步骤、布局元素的预测以及通过将3D布局拟合到布局元素的后处理步骤。到目前为止，由于多个不同的设计决策，例如编码网络（例如SegNet或ResNet），预测的元素类型（例如角落，墙壁/地板边界或语义分割）或拟合3D布局的方法，很难比较这些方法。为了应对这一挑战，我们总结和描述的共同框架，变量，和设计决策的影响。为了进行完整的评估，我们还提出了Matterport 3D数据集的扩展注释[3]，并引入了两个基于深度的评估指标。
2020-12-25 cs.CV cs.LG eess.IV
Code-as-Room: Generating 3D Rooms from Top-Down View Images via Agentic Code Synthesis
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；Southern University of Science and Technology（南方科技大学）；University of Warwick（沃里克大学）
本文提出Code-as-Room框架，通过结构化执行 harness 生成3D房间，利用Blender代码表示房间，并引入专门的代码基3D房间合成基准进行评估。
2026-05-18 cs.CV cs.GR
FurniScene: A Large-scale 3D Room Dataset with Intricate Furnishing Scenes
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Centre for Artificial Intelligence and Robotics（人工智能与机器人中心）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有室内场景生成数据集缺乏小型陈设品、导致生成结果多样性和真实感不足的问题，本文提出包含11,698个房间和39,691个家具CAD模型的大规模精细3D房间数据集FurniScene，并设计两阶段扩散场景模型TSDSM及评估基准，显著提升室内场景生成的真实感。
2024-05-06 cs.AI cs.CV
AnyFit: Controllable Virtual Try-on for Any Combination of Attire Across Any Scenario
Shanghai Jiao Tong University（上海交通大学）；Alibaba（阿里巴巴）
AnyFit提出Hydra Block和掩码增强策略，实现任意场景下多服饰组合的高保真虚拟试穿，大幅超越现有基线。
2024-05-28 cs.AI cs.CV cs.LG
Size-Variable Virtual Try-On with Physical Clothes Size
Toyota Technological Institute（丰田工业大学）
针对现有虚拟试穿未考虑服装与人物物理尺寸相对关系的问题，提出基于服装轮廓残差的可变尺寸虚拟试穿方法，构建对应数据集与评估指标，实验效果优于通用方法。
2024-12-09 cs.CV cs.GR
Realistic, Animatable Human Reconstructions for Virtual Fit-On
University of Moratuwa（莫拉图瓦大学）
我们提出了一个端到端的虚拟试穿流水线，可以适合不同的衣服上的个性化的三维人体模型，使用单个RGB图像重建。我们的主要思想是建立一个可动画化的三维人体模型，并在三维虚拟环境中试穿不同的衣服。现有的逐帧三维人体模型的体积重建是高度资源需求的，并且不允许衣服切换。此外，现有的虚拟适配系统由于主要是2-D的或在重建中不使用用户的特征而也缺乏真实感。这些缺点是由于人体或服装模型是2-D的，或者在着装模型中没有用户的面部特征。我们解决了这些问题，通过操纵的3-D人体模型的参数化表示和拼接的头部模型从实际图像重建。在参数化的人体模型上拟合3D服装模型也可根据输入图像的身体形状进行调整。我们的重建结果，与最近现有的工作相比，更直观。
2022-10-16 cs.CV cs.GR cs.MM
