Multi-chart Generative Surface Modeling
Weizmann Institute of Science(魏茨曼科学研究所)
介绍了一种基于深度神经网络的三维形状生成模型。一个新的图像状(即,张量)数据表示的genus-zero三维形状。它基于这样的观察:复杂的形状可以通过多个参数化(图表)很好地表示,每个参数化都集中在形状的不同部分。新的张量数据表示被用作生成对抗网络的输入,用于3D形状生成任务。三维形状张量表示是基于一个多图表结构,享有形状覆盖属性和规模平移刚性。尺度平移刚性有助于高质量的3D形状学习,并确保独特的重建。多图表结构使用3D形状(具有任意连接性)的数据集和它们之间的稀疏对应作为输入。我们的算法的输出是一个生成模型,它学习形状分布,能够生成新的形状,插值形状,并探索生成的形状空间。该方法的有效性被证明的解剖形状生成任务,包括人体和骨骼(牙齿)的形状生成。
2019-03-03 cs.CV
Shape-aware Generative Adversarial Networks for Attribute Transfer
Kansas State University(堪萨斯州立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
生成对抗网络(GANs)已成功应用于许多领域的视觉属性传输,包括人脸图像。这一成功部分归因于人脸具有相似的形状以及眼睛,鼻子和嘴巴的位置在不同的人之间是固定的。当源域和目标域共享不同的形状时,属性传递更具挑战性。在本文中,我们介绍了一个形状感知的GAN模型,能够保持形状时,属性转移,并提出其应用到一些现实世界的领域。与其他最先进的基于GAN的图像到图像翻译模型相比,我们提出的模型能够生成更具视觉吸引力的结果,同时保持迁移学习的结果质量。
2020-10-11 cs.CV
Multimodal Shape Completion via Conditional Generative Adversarial Networks
Peking University(北京大学);Shandong University(山东大学)
已经提出了几种深度学习方法来完成来自形状采集设置的部分数据,即,填充形状中缺失的区域。然而,这些方法仅使用单个输出来完成部分形状,忽略了在推理丢失的几何体时的模糊性。因此,我们提出了一个多模态形状完成问题,在这个问题中,我们试图通过学习一个一对多的映射来完成具有多个输出的部分形状。我们开发了第一个多峰形状完成方法,通过条件生成建模完成部分形状,而不需要成对的训练数据。我们的方法通过在可能结果的学习多模态分布上完成条件来提取模糊性。我们广泛评估的方法在几个数据集,包含不同形式的形状不完整性,并比较几个基线方法和我们的方法的变体定性和定量,证明我们的方法在完成部分形状的多样性和质量的优点。
2020-07-08 cs.CV
One at a Time: Progressive Multi-step Volumetric Probability Learning for Reliable 3D Scene Perception
Shanghai Jiao Tong University(上海交通大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波数字孪生研究院,东方理工);Tokyo Institute of Technology(东京工业大学);PhiGent Robotics(PhiGent机器人公司)
针对单步3D体概率学习精度不足的问题,提出基于扩散的多步框架VPD渐进优化体概率,在MVS和SSC任务上验证有效,且在SemanticKITTI上SSC性能首次超越激光雷达方法。
2024-01-28 cs.CV
Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance
Carnegie Mellon University(卡内基梅隆大学);Facebook/Meta(脸书/元宇宙公司)
三维人脸建模一直是计算机视觉和计算机图形学中的一个活跃的研究领域,推动了从虚拟化身中的面部表情转移到合成数据生成的应用。现有的3D深度学习生成模型(例如,VAE、GANs)允许生成紧凑的面部表示(形状和纹理两者),其可以对形状和外观空间中的非线性进行建模(例如,散射效应、镜面反射等)。然而,他们缺乏控制微妙表情生成的能力。本文提出了一种新的3D人脸生成模型,可以将身份和表情解耦,并提供对表情的精细控制。特别是,我们建议使用一对有监督的自动编码器和生成对抗网络来生成高质量的3D人脸,无论是外观还是形状。使用整体表情标签或动作单元标签学习的3D人脸生成的实验结果显示了我们如何将身份和表情解耦;在保持身份的同时获得对表情的精细控制。
2022-08-30 cs.CV
3D Semantic Subspace Traverser: Empowering 3D Generative Model with Shape Editing Capability
Sichuan University(四川大学)
本文提出3D Semantic Subspace Traverser,通过潜空间GAN与线性子空间模型识别语义维度,实现特定类别3D形状的高质量生成与可控语义编辑。
2023-08-16 cs.CV
Generative adversarial network-based image super-resolution using perceptual content losses
Yonsei University(延世大学)
在本文中,我们提出了一种用于超分辨率的深度生成对抗网络,该网络考虑了感知和失真之间的权衡。基于最近开发的用于超分辨率的模型的良好性能,即,使用增强型放大模块(EUSR)的深度残差网络,训练所提出的模型以仅略微增加失真来改善感知性能。为此目的,与传统的内容损失一起,即,为了减少诸如L1或L2的重构损失,我们考虑训练阶段中的附加损失,其是离散余弦变换系数损失和差分内容损失。这些考虑内容损失中的感知部分,即,考虑适当的高频分量有助于解决超分辨率中的折衷问题。实验结果表明,该模型在感知和失真方面都具有良好的性能,在感知超分辨率应用中是有效的。
2018-09-21 cs.CV
ARAPDiffusion: Geometry-Distribution Feedback for Deformable 3D Shape Generation
University of Texas at Austin(德克萨斯大学);Westlake University(西拉丘学院)
提出ARAPDiffusion,一种潜在扩散模型,通过注入ARAP变形模型作为正则化损失,学习变形形状集合的连续形状空间,减少对大量3D训练数据的依赖。
2026-09-29 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California(南加州大学);US Army Research Laboratory(美国陆军研究实验室)
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制,这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型,我们引入了一个混合框架,该框架结合了3D编码器-解码器生成对抗网络(3D-ED-GAN)和长期递归卷积网络(LRCN)。3D-ED-GAN是一种3D卷积神经网络,采用生成对抗范式进行训练,以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用,并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列,LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构,但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明,从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
Perception-oriented Single Image Super-Resolution via Dual Relativistic Average Generative Adversarial Networks
Wuhan University of Technology(武汉理工大学);Hubei Key Laboratory of Broadband Wireless Communication and Sensor Networks(湖北省宽带无线通信与传感器网络重点实验室);School of Civil Engineering & Architecture(土木工程与建筑学院);School of Information Engineering(信息工程学院);State Key Laboratory of Magnetic Resonance and Atomic Molecular Phys(磁共振与原子分子物理国家重点实验室)
残差和稠密神经网络的出现极大地促进了图像超分辨率的发展,并取得了令人瞩目的成果。根据我们的观察,虽然更多的层和连接总是可以提高性能,模型参数的增加不利于启动应用的SR算法。此外,由L1/L2损失监督的算法可以在诸如PSNR和SSIM的传统指标上实现相当大的性能,但导致模糊和过度平滑的输出,而没有足够的高频细节,即低感知指数(PI)。针对这些问题,本文提出了一种基于对偶相对论平均生成对抗网络的面向感知的单图像SR算法。在生成器部分,提出了一种新的残余通道注意块来重新校准特定通道的重要性,进一步增加了特征表达能力。每个块内的卷积层的参数被共享以扩展感受野,同时保持可调参数的量不变。使用子像素卷积对特征图进行子采样以获得重构的高分辨率图像。该算法由两个分别工作在像素域和特征域的相对论平均判别器组成,充分利用了小批量数据中有一半是假数据的先验知识。利用感知损失和对抗损失的不同加权组合来监督生成器平衡感知质量和客观结果。实验结果和消融研究表明,我们提出的算法可以媲美国家的最先进的SR算法,无论是感知(PI最小化)和客观(PSNR最大化)与较少的参数。
2020-02-20 cs.CV eess.IV
3DShape2VecSet: A 3D Shape Representation for Neural Fields and Generative Diffusion Models
KAUST(阿卜杜拉国王科技大学);TU Munich(慕尼黑工业大学)
该研究提出3DShape2VecSet新型3D形状表示方法,基于向量组编码神经场并适配transformer,在形状编码与生成任务中性能提升,支持多种条件生成及点云补全等应用。
2023-05-01 cs.CV cs.GR
Generative Shape Reconstruction with Geometry-Guided Langevin Dynamics
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出GG-Langevin方法,结合几何引导和扩散模型,实现更准确且鲁棒的形状重建,在不完整数据和噪声下表现更优。
2026-03-27 cs.AI cs.CV
Reversible Unfolding Network for Concealed Visual Perception with Generative Refinement
Department of Biomedical Engineering, Duke University(生物医学工程系,杜克大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Nankai International Advanced Research Institute (SHENZHEN FUTIAN), Nankai University(南开国际先进研究院(深圳福田),南开大学);College of Computer Science, Nankai University(计算机科学学院,南开大学)
本文提出RUN++,将隐蔽视觉感知建模为优化问题并展开为多阶段网络,结合掩码域与RGB域可逆建模及伯努利扩散模型细化不确定区域,显著减少误检并提升鲁棒性。
2025-08-20 cs.AI cs.CV cs.LG
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research(IBM研究院)
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起,病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据,这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差,并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法,创建了一个允许直接驱动合成的框架。我们提供的定性结果表明,通过单独修改形状和密度的合成控制,和定量的结果表明,在发电机模型中嵌入的密度信息,有助于提高病变分割性能相比,单独使用的形状。
2021-06-01 cs.CV eess.IV
Environment reconstruction on depth images using Generative Adversarial Networks
Institute of Mathematic and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学学院);Computer Science College, Federal University of Uberlândia(乌贝兰迪亚联邦大学计算机科学学院)
强大的感知系统对于自动驾驶汽车的安全性至关重要。为了在复杂的城市环境中导航,需要具有可靠数据的精确传感器。理解周围环境的任务本身就很难;对于智能车辆来说,由于车辆导航的高速,这一任务更加关键。为了在城市环境中成功导航,感知系统必须快速接收、处理和执行动作,以确保乘客和行人的安全。立体相机在许多级别收集环境信息,例如,深度,颜色,纹理,形状,这保证了对周围环境的充分了解。即便如此,与人类相比,计算方法缺乏处理缺失信息的能力,即,闭塞。对于许多感知任务,由于环境信息不完整,这种数据的缺乏可能是一个障碍。在本文中,我们解决这个问题,并讨论最近的方法来处理闭塞地区的推断。然后,我们引入了一个损失函数,重点是视差和环境深度数据重建,和生成对抗网络(GAN)架构能够处理闭塞信息推理。我们的研究结果提出了一个连贯的深度图重建,估计被不同的障碍物遮挡的区域。我们的最后贡献是一个损失函数集中在视差数据和GAN能够提取深度特征和估计深度数据的视差图像修复。
2019-12-09 cs.CV cs.RO
Sinogram Enhancement with Generative Adversarial Networks using Shape Priors
University of Southampton(南安普顿大学)
通过从计算模型中推断测量值来补偿稀缺的测量值是解决不适定逆问题的一种方法。我们通过使用生成模型和有关扫描对象的先验知识完成一组采集来解决有限角度断层扫描。使用生成对抗网络作为模型,计算机辅助设计数据作为形状先验,我们证明了我们的技术比其他最先进的方法具有定量和定性的优势。推断大量的连续缺失测量,我们提供了一种替代其他图像修复技术,未能提供一个令人满意的答案,我们的研究问题:可以减少X射线曝光使用生成模型来推断缺乏测量?
2022-02-01 cs.CV cs.LG eess.IV
Infrastructure-Centric World Models: Bridging Temporal Depth and Spatial Breadth for Roadside Perception
Department of Civil and Environmental Engineering, University of Massachusetts Amherst(土木与环境工程系,马萨诸塞大学阿默斯特分校)
本文提出以基础设施为中心的世界模型,通过时空互补性提升道路感知能力,提出三阶段框架和双层架构,结合多模态数据引擎和开放源代码基础,推动基础设施理解交通。
2026-04-19 cs.CV cs.RO
OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes
University of Hong Kong(香港大学);Kuaishou Technology(快手科技);Tencent(腾讯)
研究基于全景的2D提升技术,提出OmniX框架,利用跨模态适配器结构和循环空间算子,将预训练2D流匹配先验用于多模态联合建模,构建数据集,实现适用于图形的3D场景生成,为虚拟世界创建开辟新可能。
2026-07-21 cs.CV cs.GR cs.LG
Y-GAN: A Generative Adversarial Network for Depthmap Estimation from Multi-camera Stereo Images
School of Computing and Information Science(计算与信息科学学院);Florida International University(佛罗里达国际大学)
深度感知是在现实世界中交互的自主系统的关键组成部分,例如送货机器人,仓库机器人和自动驾驶汽车。自主机器人中的任务,如3D物体识别,同时定位与地图构建(SLAM),路径规划和导航,需要某种形式的3D空间信息。深度感知是计算机视觉和机器人学中一个长期存在的研究问题,有着悠久的历史。许多使用深度学习的方法,包括从运动恢复运动恢复结构、从X轴恢复形状、单目、双目和多视图立体视觉,都产生了可接受的结果。然而,这些方法存在几个缺点,例如需要昂贵的硬件,需要监督的训练数据,没有用于比较的地面真实数据,以及忽视遮挡。为了解决这些缺点,这项工作提出了一种新的深度卷积生成对抗网络架构,称为Y-GAN,它使用来自三个摄像头的数据来估计多摄像头视频流中每帧的深度图。
2019-06-03 cs.CV cs.LG stat.ML
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University(博阿齐奇大学)
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中,我们提出了一个新的框架,生成对抗网络与条件神经运动原语(GAN-CNMP),它结合了一种新的对抗损失CNMP,以提高草图的平滑性和一致性。通过实验,我们证明了该模型可以用较少的未标记样本进行训练,可以在潜在空间中自动构造分布,并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
HYPE: A Benchmark for Human eYe Perceptual Evaluation of Generative Models
Stanford University(斯坦福大学)
生成模型通常使用人工评估来衡量其输出的感知质量。自动化指标是嘈杂的间接代理,因为它们依赖于算法或预训练的嵌入。然而,到目前为止,直接的人类评估策略是临时的,既没有标准化也没有验证。我们的工作为生成现实主义建立了一个黄金标准的人类基准。我们构建了人类eYe感知评估(HYPE),这是一个人类基准,它(1)基于感知的心理物理学研究,(2)在模型的不同随机采样输出集上可靠,(3)能够产生可分离的模型性能,(4)在成本和时间上有效。我们引入两种变体:一种是在自适应时间约束下测量视觉感知,以确定模型的输出看起来真实的阈值(例如250 ms),另一种是不太昂贵的变体,其在没有时间约束的情况下测量假图像和真实图像上的人类出错率。我们使用四个数据集:CelebA,FFHQ,CIFAR-10和ImageNet,在六个最先进的生成对抗网络和两种有条件和无条件图像生成的采样技术上测试HYPE。我们发现,HYPE可以跟踪整个训练时期的模型改进,我们通过自举抽样证实,HYPE排名是一致的和可复制的。
2019-10-31 cs.CV cs.HC cs.LG
Hierarchical Detail Enhancing Mesh-Based Shape Generation with 3D Generative Adversarial Network
University of California(加利福尼亚大学)
基于网格的形状自动生成在从工业设计到游戏、计算机图形学和各种其他形式的数字艺术的广泛学科中引起了极大的兴趣。虽然大多数传统方法都集中在基于图元的模型生成上,但深度学习的进步使得以端到端的方式学习三维几何形状表示成为可能。然而,目前大多数基于深度学习的框架专注于基于体素和点云的形状的表示和生成,使得其不能直接应用于设计和图形社区。本研究针对自动生成基于网格的几何体的需求,提出了一种新的框架,该框架利用符号距离函数表示,通过基于深度学习的方法生成细节保留的三维表面网格。
2017-09-22 cs.AI cs.CV cs.GR
HAD-GAN: A Human-perception Auxiliary Defense GAN to Defend Adversarial Examples
Information Engineering University(信息工程大学)
对抗性例子揭示了神经网络的脆弱性和无法解释的本质。研究对抗性例证的辩护具有重要的现实意义。大多数错误分类网络的对抗性例子通常是人类无法检测到的。在本文中,我们提出了一个防御模型训练分类器到人类的感知分类模型与形状偏好。提出的模型包括一个纹理传输网络(TTN)和一个辅助防御生成对抗网络(GAN)被称为人类感知辅助防御GAN(HAD-GAN)。TTN用于扩展干净图像的纹理样本,并帮助分类器专注于其形状。GAN用于形成模型的训练框架并生成必要的图像。在MNIST、Fashion-MNIST和CIFAR 10上进行的一系列实验表明,该模型在网络鲁棒性方面优于现有的防御方法。该模型还展示了对抗性示例的防御能力的显着提高。
2021-12-22 cs.CV cs.LG eess.IV
How Could Generative AI Support Compliance with the EU AI Act? A Review for Safe Automated Driving Perception
Technical University of Munich(慕尼黑工业大学);Continental AG(大陆集团);Technical University of Berlin(柏林工业大学)
本文综述了生成式AI模型如何帮助基于DNN的自动驾驶感知系统满足欧盟AI法案的安全与合规要求,并探讨了其潜力、应用及未来研究方向。
2024-08-30 cs.CV
Under One Sun: Multi-Object Generative Perception of Materials and Illumination
Kyoto University(京都大学);Harvard University(哈佛大学)
提出MultiGP生成式逆渲染方法,利用同一场景物体共享光照的共识,从单张图像中随机采样反射率、纹理和光照,通过级联架构、协调调度、轴向注意力和纹理提取控制网络实现解耦。
2026-07-03 cs.CV
Synergistic Perception and Generative Recomposition: A Multi-Agent Orchestration for Expert-Level Building Inspection
本文提出FacadeFixer框架,通过多智能体协作解决建筑立面缺陷检测难题,利用生成代理实现语义重组,提升检测与分割模型的泛化能力。
2026-03-20 cs.CV
Is Generation Required for Data-Efficient Perception?
研究生成式与非生成式方法实现组合泛化的程度,通过理论刻画归纳偏差,表明生成范式可能更易实现组合泛化,实验发现生成式方法泛化性更好。
2026-07-07 cs.CV cs.LG
Traversing Distortion-Perception Tradeoff using a Single Score-Based Generative Model
The Chinese University of Hong Kong(香港中文大学);Shenzhen University(深圳大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出利用单个预训练的基于分数的生成模型,通过引入方差缩放的反向扩散过程,灵活且最优地遍历失真-感知(DP)权衡,以解决去噪任务中目标变化需重训模型的问题。
2025-04-03 cs.CV
Generative Texture Diversification of 3D Pedestrians for Robust Autonomous Driving Perception
BIT Technology Solutions GmbH(比特技术解决方案 GmbH);Mannheim University of Applied Sciences(曼海姆应用科学大学)
本文提出一种简单有效的方法,通过StyleGAN2生成多样化的3D行人资产,用于合成场景生成,提升自动驾驶感知的鲁棒性。
2026-05-13 cs.CV
GRIP: Generative Robust Inference and Perception for Semantic Robot Manipulation in Adversarial Environments
University of Michigan(密歇根大学);Brown University(布朗大学)
最近的进步已经导致用于在广泛的任务中协助人类的机器学习系统的扩散。然而,我们离这些系统的准确、可靠和资源有效的操作还很远。对于机器人感知,用于目标检测和姿态估计的卷积神经网络(CNN)最近开始广泛使用。然而,众所周知,神经网络在训练过程中会受到过拟合的影响,并且在不可见的条件下鲁棒性较差,特别容易受到对抗性场景的影响。在这项工作中,我们提出了生成鲁棒推理和感知(GRIP)作为一个两阶段的目标检测和姿态估计系统,其目的是结合相对优势的判别CNN和生成推理方法,以实现鲁棒估计。我们的研究结果表明,基于样本的生成推理的第二阶段能够从CNN的错误目标检测中恢复,并在对抗条件下产生鲁棒的估计。我们通过与最先进的基于学习的姿态估计器和在黑暗和混乱的环境中的拾取和放置操作进行比较,证明了GRIP鲁棒性的有效性。
2019-12-19 cs.CV cs.RO
Perception-based Image Denoising via Generative Compression
School of Electrical and Computer Engineering, Oregon State University, Corvallis, OR 97331, USA(电气与计算机工程学院,俄勒冈州立大学,科瓦利斯,OR 97331,USA)
本文提出基于生成压缩的去噪框架,通过熵编码潜在表示和感知度量提升去噪效果,实验显示在保持 distortion 性能的同时实现感知改进。
2026-05-15 cs.AI cs.CV
ARGen: Affect-Reinforced Generative Augmentation towards Vision-based Dynamic Emotion Perception
Fudan University(复旦大学);East China Normal University(华东师范大学)
本文提出ARGen框架,通过情感语义注入和自适应强化扩散阶段,解决野外动态表情识别中的数据稀缺问题,提升情绪感知的生成质量和识别性能。
2026-08-04 cs.AI cs.CV
MapPrior: Bird's-Eye View Map Layout Estimation with Generative Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
针对现有鸟瞰图感知模型生成地图布局真实性不足、无法应对传感器信息不确定性的问题,提出结合判别式模型与生成模型的MapPrior框架,在nuScenes基准上的表现优于现有最优方法,相关评估得分显著提升。
2023-08-24 cs.CV cs.RO
Are Image Generators Zero-Shot Perceivers? A Rigorous Evaluation
Shanghai Jiao Tong University(上海交通大学)
本研究提出ProbeGen基准,系统评估图像生成器在零样本视觉感知任务中的能力,发现其具备一定感知能力但专业模型在分布内更优,生成模型在分布偏移和语义推理上更鲁棒。
2026-09-09 cs.CV
The Shape of Sight: A Homological Framework for Unifying Visual Perception
Department of Computer Science, University at Albany(计算机科学系,阿尔巴尼大学)
本文提出基于同调框架的视觉感知模型,通过偶维和奇维同调结构区分静态支架与动态流动,统一解决视觉感知的核心问题。
2025-11-22 cs.CV
Learning to Generate 3D Shapes with Generative Cellular Automata
Seoul National University(首尔大学)
我们提出了一个概率三维生成模型,命名为生成元胞自动机,它能够产生多样化和高质量的形状。我们将形状生成过程制定为从马尔可夫链的过渡内核采样,其中采样链最终演变为学习分布的完整形状。过渡核采用元胞自动机的局部更新规则,通过利用三维形状的连通性和稀疏性,有效地减少了高分辨率三维网格空间中的搜索空间。我们的渐进式生成只关注稀疏的占用体素及其邻域,从而能够利用有表现力的稀疏卷积网络。我们提出了一种有效的训练方案,以获得局部齐次规则的生成式细胞自动机的序列是略有不同的采样链,但收敛到完整的形状在训练数据。大量的概率形状完成和形状生成的实验表明,我们的方法实现了竞争力的性能对最近的方法。
2021-03-06 cs.CV
ShapeCodeBench: A Renewable Benchmark for Perception-to-Program Reconstruction of Synthetic Shape Scenes
Independent Researcher(独立研究者)
ShapeCodeBench是一个合成基准,用于测试从渲染图像生成可执行程序的能力。该基准包含不同难度层级的样本,评估了多种模型在精确匹配、像素精度和执行成功率上的表现。
2026-05-12 cs.CV
Do Generative Priors Align with Human Naturalness Perception?
Communication Science Laboratories, NTT, Inc.(NTT通信科学实验室)
本研究通过25个生成模型的预测损失差异,发现生成先验能捕捉人类对自然感的选择性敏感性与耐受性,并揭示其与通用违规检测的解耦关系。
2026-10-08 cs.CV q-bio.NC
ShapeCaptioner: Generative Caption Network for 3D Shapes by Learning a Mapping from Parts Detected in Multiple Views to Sentences
Tsinghua University(清华大学);University of Maryland(马里兰大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
3D形状字幕是3D形状理解中具有挑战性的应用。从最近的多视图为基础的方法的标题显示,他们不能捕捉部分级的3D形状的特征。这导致字幕中缺乏人类倾向于关注的详细部件级别描述。为了解决这个问题,我们提出了ShapeCaptioner(一种生成字幕网络),根据多个视图中检测到的语义部件执行3D形状字幕。我们的新颖之处在于从3D形状分割中学习多个视图中的部分检测知识,并将这些知识转移到促进学习从3D形状到句子的映射。具体来说,ShapeCaptioner使用我们新颖的部件类特定聚合来聚合在多个彩色视图中检测到的部件以表示3D形状,然后采用序列到序列模型来生成标题。我们出色的结果表明,ShapeCaptioner可以学习3D形状特征,更详细的部分特征,以促进更好的3D形状字幕比以前的工作。
2019-07-31 cs.CV
Diff-ICMH: Harmonizing Machine and Human Vision in Image Compression with Generative Prior
University of Science and Technology of China(中国科学技术大学);Eastern Institute of Technology, Ningbo(宁波工程技术院)
Diff-ICMH通过融合机器与人类视觉,提出了一种生成图像压缩框架,利用生成先验和语义一致性损失提升压缩质量,同时支持多种智能任务。
2025-11-27 cs.CV
OPERA: Object Perception Enhances Single-view 3D Reconstruction
Deakin University(迪肯大学);Applied Artificial Intelligence Initiative(应用人工智能倡议组织);School of Information Technology(信息技术学院)
研究单视图3D物体重建问题,提出利用预训练感知模型提取的感知信号驱动重建的方法,该方法与模型无关且可即插即用,实验验证其能显著提升重建效果,为3D重建提供新思路。
2026-10-09 cs.CV
Continuous Perception for Classifying Shapes and Weights of Garmentsfor Robotic Vision Applications
University of Glasgow(格拉斯哥大学)
我们提出了一种方法来连续感知机器人洗衣任务。我们的假设是,服装的形状和重量的视觉预测是可能的,通过神经网络,从视频序列中学习服装的动态变化。在训练过程中,通过输入连续的帧来利用连续的感知,其中网络学习服装如何变形。为了评估我们的假设,我们在操纵服装时捕获了40 K RGB和40 K深度视频序列的数据集。我们还进行了消融研究,以了解神经网络是否学习服装的物理和动态特性。我们的研究结果表明,修改后的AlexNet-LSTM架构对服装的形状和重量具有最佳的分类性能。为了进一步提供证据证明连续感知有助于预测服装的形状和重量,我们在看不见的视频序列上评估了我们的网络,并计算了一系列预测的“移动平均值”。我们发现,我们的网络对服装的形状和重量的分类准确率分别为48%和60%。
2021-11-19 cs.CV cs.RO
Generative Shape Models: Joint Text Recognition and Segmentation with Very Little Training Data
Vicarious FPC Inc.(Vicarious FPC 公司)
我们证明了对象形状的生成模型可以在具有挑战性的场景文本识别任务上实现最先进的结果,并且训练图像的数量级比竞争判别方法所需的数量级少。除了从具有挑战性的图像中转录文本外,我们的方法还对字符进行细粒度的实例分割。我们表明,我们的模型是更强大的仿射变换和非仿射变形相比,以前的方法。
2016-11-09 cs.CV
Wavelet methods for shape perception in electro-sensing
本文提出了一种基于小波的电感应形状识别新方法,通过微电阻测量高效识别目标形状,并通过数值模拟验证了算法的稳定性与分辨率。
2013-10-10 cs.CV cs.NA math.NA
Unsupervised Primitive Discovery for Improved 3D Generative Modeling
Inception Institute of Artificial Intelligence(起点人工智能研究院);National University of Defense Technology(国防科技大学);Australian National University(澳大利亚国立大学);Sun Yat-sen University(中山大学);University of Canberra(堪培拉大学);Data61, Commonwealth Scientific and Industrial Research Organization(联邦科学与工业研究组织Data61)
三维形状生成是一个具有挑战性的问题,由于高维的输出空间和复杂的部分配置的现实世界中的对象。因此,现有的算法在3D形状的精确生成建模中遇到困难。在这里,我们提出了一种新的因式分解生成模型的3D形状生成,依次从粗过渡到细尺度的形状生成。为此,我们引入了一个无监督的原始发现算法的基础上高阶条件随机场模型。在第一阶段中,使用形状的基本部分作为属性,对参数化的3D表示进行建模。在下一阶段,通过向形状添加精细比例细节来进一步细化该表示。我们的研究结果表明,改进的表示能力的生成模型和新生成的3D形状更好的质量样本。此外,我们的原语生成方法可以准确地解析到一个简化的表示常见的对象。
2019-06-09 cs.CV
OccGen: Generative Multi-modal 3D Occupancy Prediction for Autonomous Driving
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出生成式多模态3D占据预测模型OccGen,采用“从噪声到占据”的扩散去噪范式逐步细化占据图,在多个基准上显著超越SOTA,并提供不确定性估计。
2024-04-23 cs.CV
Human-level 3D shape perception emerges from multi-view learning
本文提出了一种基于多视角学习的框架,通过自然视觉数据预测人类三维形状推断,首次实现了与人类表现一致的准确率,揭示了模型动态与人类感知的自然对应关系。
2026-03-31 cs.CV
GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Stanford University(斯坦福大学);Tsinghua University(清华大学)
本文提出了一种新的用于点云数据实例分割的三维物体建议方法--生成形状建议网络(GSPN)。而不是把对象的建议作为一个直接的限界框回归问题,我们采取的分析合成策略,并生成建议重建的形状从嘈杂的观察场景。我们将GSPN到一个新的三维实例分割框架命名为基于区域的PointNet(R-PointNet),它允许灵活的建议细化和实例分割生成。我们在几个3D实例分割任务上实现了最先进的性能。GSPN的成功很大程度上来自于它强调对象建议过程中的几何理解,这大大减少了低对象性的建议。
2018-12-08 cs.CV
GenSP: Consistent Spherical Parameterization via Learning Shape Generative Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出GenSP框架,通过学习神经生成模型预测从单位球面到形状的连续映射,并通过逆映射获得一致的球面参数化,显著降低几何畸变并提升跨形状一致性。
2026-07-02 cs.CV
3D Shape Perception Integrates Intuitive Physics and Analysis-by-Synthesis
Yale University(耶鲁大学);MIT(麻省理工学院);Boston College(波士顿学院)
许多表面线索支持三维形状感知,但当这些特征缺失时,人们有时仍然可以看到形状-在极端情况下,即使物体完全被遮挡,如覆盖着一块布。我们提出了一个三维形状感知的框架,解释了在典型和非典型情况下的感知,作为分析合成,或在生成模型的图像形成的推理:该模型集成了直观的物理解释形状如何可以推断出它导致其他对象的变形,如在布悬垂。行为和计算的研究比较这个帐户与几个替代品表明,它最好的匹配人类观察员在准确性和响应时间,是唯一的模型,显着相关的人类表现困难的歧视。我们的研究结果表明,自下而上的深度神经网络模型并不能完全解释人类的形状感知,并指出机器视觉系统如何实现更像人类的鲁棒性。
2023-01-09 cs.AI cs.CV cs.LG
MorphoFlow: Sparse-Supervised Generative Shape Modeling with Adaptive Latent Relevance
Kahlert School of Computing, Scientific Computing
MorphoFlow通过自适应潜在相关性权重,从稀疏表面标注直接学习紧凑的概率形状表示,实现高分辨率重建和解构解剖变异模式。
2026-04-13 cs.CV
Map Feature Perception Metric for Map Generation Quality Assessment and Loss Optimization
China University of Geosciences(中国地质大学)
本文提出一种新颖的 Map Feature Perception Metric,通过提取元素级深度特征评估地图全局特征与空间一致性,作为优化目标在多个基准上较传统 L1、L2 和 SSIM 基线实现 2% 至 50% 的性能提升,显著增强了合成地图的地理合理性。
2025-03-30 cs.CV
3D Shape Perception from Monocular Vision, Touch, and Shape Priors
Massachusetts Institute of Technology(麻省理工学院);Shanghai Jiao Tong University(上海交通大学);Google Research(谷歌研究院)
感知准确的3D物体形状对于机器人与物理世界进行交互非常重要。目前这方面的研究主要依靠视觉观察。然而,由于遮挡和2D-3D模糊性,视觉具有固有的限制,特别是对于用单目相机的感知。相比之下,触摸获得精确的局部形状信息,尽管其重建整个形状的效率可能较低。在本文中,我们提出了一种新的范式,有效地感知准确的3D物体形状,结合视觉和触觉观察,以及从大规模的形状存储库中学习到的常见物体形状的先验知识。我们首先使用视觉,应用神经网络与学习的形状先验知识来预测物体的3D形状从单视图彩色图像。然后,我们使用触觉感知来细化形状;机器人主动触摸视觉预测具有高不确定性的对象区域。我们的方法有效地从彩色图像和少量的触觉探索(大约10个)中构建了常见物体的3D形状。我们的设置很容易应用,并有潜力帮助机器人更好地执行抓取或操纵任务的现实世界的对象。
2018-08-09 cs.CV cs.RO
3DILG: Irregular Latent Grids for 3D Generative Modeling
KAUST(阿卜杜拉国王科技大学);Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的表示编码的3D形状神经领域。该表示被设计为与Transformer架构兼容,并且有利于形状重建和形状生成。神经领域的现有工作是基于网格的表示,在规则网格上定义潜伏期。相比之下,我们在不规则网格上定义潜伏期,使我们的表示具有稀疏性和自适应性。在从点云进行形状重建的背景下,我们建立在不规则网格上的形状表示在重建精度方面改进了基于网格的方法。对于形状生成,我们的表示促进高质量的形状生成使用自回归概率模型。我们展示了不同的应用程序,提高了目前的最新技术水平。首先,我们展示了从一个更高分辨率的图像的概率形状重建的结果。其次,我们训练一个概率模型,条件是非常低的分辨率图像。第三,我们将我们的模型应用于类别条件生成。所有的概率实验证实,我们能够生成详细和高质量的形状,以产生新的最先进的生成式3D形状建模。
2022-10-17 cs.CV