HOIDiffusion：生成逼真的3D手-物交互数据
HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Data
AI总结：
针对3D手-物交互数据稀缺问题，提出条件扩散模型HOIDiffusion，以几何结构和文本为输入生成逼真数据，并用于提升6D姿态估计。
摘要：
由于在扩展数据收集过程中的硬件限制，3D手-物交互数据十分稀缺。本文提出HOIDiffusion用于生成逼真且多样的3D手-物交互数据。我们的模型是一个条件扩散模型，它以3D手-物几何结构和文本描述作为输入进行图像合成。这提供了更可控且逼真的合成，因为我们可以以解耦的方式指定结构和风格输入。HOIDiffusion通过利用在大规模自然图像上预训练的扩散模型和少量3D人体演示进行训练。除了可控图像合成外，我们采用生成的3D数据来学习6D物体姿态估计，并展示了其在改进感知系统方面的有效性。项目页面：https://mq-zhang1.github.io/HOIDiffusion
英文摘要：
3D hand-object interaction data is scarce due to the hardware constraints in scaling up the data collection process. In this paper, we propose HOIDiffusion for generating realistic and diverse 3D hand-object interaction data. Our model is a conditional diffusion model that takes both the 3D hand-object geometric structure and text description as inputs for image synthesis. This offers a more controllable and realistic synthesis as we can specify the structure and style inputs in a disentangled manner. HOIDiffusion is trained by leveraging a diffusion model pre-trained on large-scale natural images and a few 3D human demonstrations. Beyond controllable image synthesis, we adopt the generated 3D data for learning 6D object pose estimation and show its effectiveness in improving perception systems. Project page: https://mq-zhang1.github.io/HOIDiffusion
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
