Reconstructing Close Human Interaction with Appearance and Proxemics Reasoning
Southeast University(东南大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学);Agency for Science, Technology and Research, Singapore(新加坡科技研究局);CFAR, Agency for Science, Technology and Research, Singapore(新加坡科技研究局)
本文提出一种双分支优化框架,结合外观线索、社交距离先验和物理约束,从自然视频中准确重建近距离人类交互,并构建了伪真值数据集,在多个基准上优于现有方法。
2025-07-03 cs.CV
Change-Aware Siamese Network for Surface Defects Segmentation under Complex Background
School of Resources and Environment, University of Electronic Science and Technology of China(电子科技大学资源与环境学院);South China Normal University(华南师范大学);Sichuan Changhong Electric Co., Ltd.(四川长虹电子控股集团有限公司);University of Twente(特温特大学)
本文提出变化感知孪生网络,通过多类平衡对比损失和距离图跳跃连接,在变化检测框架下实现复杂背景下像素级表面缺陷分割,并在合成LCD缺陷数据集及公开数据集上取得优于现有方法的性能。
2024-09-01 cs.CV
DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance Inc.(字节跳动公司)
用于多对象跟踪(MOT)的典型流水线是使用用于对象定位的检测器,以及随后用于对象关联的重新识别(re-ID)。该流水线部分地由目标检测和重新ID两者的最新进展所激励,并且部分地由现有跟踪数据集中的偏差所激励,其中大多数对象倾向于具有区分的外观并且重新ID模型足以建立关联。针对这种偏差,我们要再次强调,当对象外观没有足够的区分力时,多对象跟踪的方法也应该起作用。为此,我们提出了一个大规模的多人跟踪数据集,其中人类具有相似的外观,不同的运动和极端的清晰度。由于该数据集主要包含群舞视频,因此我们将其命名为“DanceTrack”。我们希望DanceTrack能够提供一个更好的平台来开发更多的MOT算法,这些算法更少地依赖于视觉识别,更多地依赖于运动分析。我们在我们的数据集上对几个最先进的跟踪器进行了基准测试,并观察到与现有基准测试相比,DanceTrack的性能显着下降。数据集、项目代码和竞赛服务器发布于:\url{https://github.com/DanceTrack}。
2022-05-24 cs.CV
Adversarial Exploitation of Data Diversity Improves Visual Localization
New York University(纽约大学)
本研究通过引入外观多样性与对抗性训练提升视觉定位的鲁棒性,显著降低定位误差,尤其在动态驾驶和天气变化场景中表现优异。
2025-11-29 cs.AI cs.CV cs.LG
Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution
Yonsei University(延世大学)
在过去的几年中,已经提出了图像到图像(I2I)翻译方法来将给定图像翻译成不同的输出。尽管取得了令人印象深刻的成果,但他们主要集中在两个域之间的I2I翻译,因此多域I2I翻译仍然是一个挑战。为了解决这个问题,我们提出了一种新的多域无监督图像到图像翻译(MDUIT)框架,该框架利用分解的内容特征和外观自适应卷积将图像转换为目标外观,同时保留给定的几何内容。我们还开发了一个对比度学习目标,它提高了解纠缠能力,并通过配对语义相似的图像,有效地利用多域图像数据在训练过程中。这使得我们的方法可以只用一个框架来学习多个视觉域之间的不同映射。我们表明,所提出的方法在多个领域产生视觉多样性和合理的结果相比,国家的最先进的方法。
2022-02-06 cs.CV
Style-invariant Cardiac Image Segmentation with Test-time Augmentation
Shenzhen University(深圳大学)
由于真实临床环境中的外观变化,深度模型通常会遭受严重的性能下降。大多数现有的基于学习的方法依赖于来自多个网站/供应商甚至相应标签的图像。然而,收集足够的未知数据,鲁棒的模型分割并不总是成立,因为在日常应用中的成像因素引起的复杂的外观变化。在本文中,我们提出了一种新的风格不变的心脏图像分割方法。基于zero-shot风格转移,以消除外观移位和测试时增强,以探索不同的底层解剖,我们提出的方法是有效的,在打击外观移位。我们的贡献是三方面的。首先,受通用风格转换的启发,我们对内容图像进行了zero-shot风格化处理,生成与风格图像外观相似的风格化图像。其次,我们建立了一个强大的心脏分割模型的基础上的U-Net结构。我们的框架在测试过程中主要由两个网络组成:用于消除外观偏移的ST网络和分割网络。第三,我们研究测试时增强,以探索风格化图像的转换版本进行预测,并将结果合并。值得注意的是,我们提出的框架是完全测试时适应。实验结果表明,我们的方法是有前途的和通用的推广深度分割模型。
2020-09-24 cs.CV cs.LG eess.IV
DivAvatar: Diverse 3D Avatar Generation with a Single Prompt
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
DivAvatar通过微调3D生成模型EVA3D,结合训练阶段噪声采样、语义感知缩放机制和深度损失,实现了从单一文本提示生成多样化且高质量的3D虚拟形象。
2024-02-27 cs.CV
Personality Perception in Human Videos Altered by Motion Transfer Networks
Bilkent University(比尔肯大学)
本研究通过用户研究标注五因素人格样本,用薄板样条运动模型修改视频并设置五组实验,发现运动影响外倾性感知、外貌影响宜人性与神经质感知,明确了动作与外貌对视频人格感知的不同作用。
2024-01-26 cs.CV
Shape-conditioned Image Generation by Learning Latent Appearance Representation from Unpaired Data
Osaka University(大阪大学)
条件图像生成对于包括基于学习的计算机视觉的训练数据合成在内的各种任务都是有效的。然而,尽管最近在生成对抗网络(GANs)方面取得了进展,但生成具有对象形状详细条件的图像仍然是一项具有挑战性的任务。用于条件图像生成的现有方法使用类别标签和/或关键点,并且仅对对象类别给予有限的控制。在这项工作中,我们提出了SCGAN,一个架构来生成图像所需的形状指定的输入法线映射。形状调节的图像生成任务是通过显式建模的图像外观通过一个潜在的外观矢量。该网络使用真实图像的未配对训练样本和渲染的法线贴图进行训练。这种方法使我们能够生成图像的任意对象类别的目标形状和不同的图像外观。通过对训练数据生成任务的定性和定量评估,我们证明了我们方法的有效性。
2018-11-29 cs.CV
A Local Appearance Model for Volumetric Capture of Diverse Hairstyle
Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research(现实实验室研究部)
针对现有虚拟化身头发建模泛化性差的问题,提出基于局部基元的通用头发外观先验模型,可处理多样发型拓扑,在捕获生成带完整头发的高保真化身方面性能优于现有最优方法。
2023-12-14 cs.AI cs.CV cs.GR
Automatic Discovery of Political Meme Genres with Diverse Appearances
University of Notre Dame(圣母大学)
人类交流的形式不是一成不变的-我们预计随着技术的进步,信息的传递方式会随着时间的推移发生一些变化。这种现象的一个例子是基于图像的模因,它在过去十年中已成为政治信息的主要形式。虽然最初用于在社交媒体上传播笑话,但模因现在对公众对世界事件的看法产生了巨大的影响。自动模因分析中的一个重大挑战是,当图像的外观变化时,开发一种策略来匹配来自单一类型的模因。这种变异在表现模仿的模因中尤其常见。例如,当选民做一个常见的手势来表示他们对候选人的支持时。在本文中,我们介绍了一个可扩展的自动视觉识别管道发现不同外观的政治模因流派。这个管道可以从社交网络中摄取模因图像,应用基于计算机视觉的技术来提取本地特征并将新图像索引到数据库中,然后将模因组织成相关的流派。为了验证这种方法,我们使用从Twitter和Instagram收集的超过200万张图像的新数据集对2019年印度尼西亚总统选举进行了大型案例研究。结果表明,这种方法可以发现新的模因类型与视觉上不同的图像,共享共同的风格元素,铺平了道路,为进一步的工作,语义分析和内容归属。
2020-09-10 cs.CV cs.SI
WildCAT3D: Appearance-Aware Multi-View Diffusion in the Wild
Tel Aviv University(特拉维夫大学);Meta AI;Cornell University(康奈尔大学)
提出 WildCAT3D 框架,通过显式建模全局外观条件扩展多视图扩散范式,从自然环境多样数据中学习生成场景新视图,在物体级和场景级单视图 NVS 上达到 SOTA 且训练数据更少。
2025-11-03 cs.CV
Compatible and Diverse Fashion Image Inpainting
Malong Technologies(码隆科技);Shenzhen Malong Artificial Intelligence Research Center(深圳码隆人工智能研究中心);University of Maryland, College Park(马里兰大学帕克分校)
视觉兼容性对于时尚分析是至关重要的,然而在现有的时尚图像合成系统中是缺失的。在本文中,我们提出了明确的模型,通过时尚图像修补的视觉兼容性。为此,我们提出了时尚修复网络(FiNet),一个两阶段的图像到图像生成框架,能够执行兼容和多样化的修复。我们的框架由形状生成网络和外观生成网络组成,分解形状和外观的生成以确保照片级真实感的结果。更重要的是,对于每一代网络,我们引入了两个编码器相互作用,以在共享的兼容性空间中学习潜在代码。潜在表示与相应的生成网络共同优化,以调节合成过程,鼓励生成与现有时尚服装视觉兼容的各种结果。此外,我们的框架很容易扩展到服装重建和时尚转移,并取得了令人印象深刻的结果。大量的实验与国家的最先进的方法在时装合成任务定量和定性的比较证明了我们的方法的有效性。
2019-04-24 cs.CV
TOPIC: A Parallel Association Paradigm for Multi-Object Tracking under Complex Motions and Diverse Scenes
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Quanzhou University of Information Engineering(泉州信息工程学院);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);Xiamen University(厦门大学)
针对复杂运动下多目标跟踪中单特征和串行关联范式利用特征不充分的问题,提出并行关联范式及TOPIC机制,结合运动与外观特征自适应匹配,并引入AARM增强外观表示,在多个数据集上取得最优性能。
2025-01-02 cs.CV
CoGS: Controllable Generation and Search from Sketch and Style
Georgia Institute of Technology(佐治亚理工学院);University of Surrey(萨里大学);Adobe Inc.(奥多比公司)
我们提出了CoGS,一种新的方法,风格条件,草图驱动的图像合成。CoGS允许探索给定草图对象的不同外观可能性,从而实现对输出的结构和外观的解耦控制。经由输入草图和范例“样式”调节图像到基于变换器的草图和样式编码器来实现对对象结构和外观的粗粒度控制,以生成离散码本表示。我们将码本表示映射到度量空间中,从而在通过矢量量化GAN(VQ GAN)解码器生成图像之前,能够对多个合成选项之间的选择和插值进行细粒度控制。因此,我们的框架统一了搜索和合成任务,因为草图和样式对可以用于运行初始合成,该初始合成可以通过与搜索语料库中的类似结果组合来细化,以产生更接近地匹配用户意图的图像。我们证明了我们的模型,在我们新创建的伪草图数据集的125个对象类上训练,能够产生各种各样的语义内容和外观风格。
2022-07-20 cs.CV
Semi-supervised Hand Appearance Recovery via Structure Disentanglement and Dual Adversarial Discrimination
Southeast University(东南大学)
通过基于标记的MoCap收集具有可靠注释的巨大手部图像。然而,标记物引起的退化限制了其在手部外观重建中的应用。一个清晰的外观恢复洞察是用未配对数据训练的图像到图像的翻译。然而,大多数框架失败,因为存在从退化的手到裸手的结构不一致。我们的方法的核心是首先从这些退化的图像中解开裸露的手结构,然后用双对抗性鉴别(DAD)方案将外观包裹到这个结构中。这两个模块都充分利用了半监督学习范式:结构解纠缠得益于ViT的建模能力,译者通过对翻译过程和翻译结果的双重辨别能力得到增强。已经进行了全面的评估,以证明我们的框架可以鲁棒地恢复逼真的手的外观从不同的标记包含,甚至对象遮挡的数据集。它为其他下游学习问题提供了一种获取裸手外观数据的新途径。https://www.yangangwang.com
2023-03-11 cs.CV
MotionDirector: Motion Customization of Text-to-Video Diffusion Models
Show Lab(Show实验室);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
针对文本到视频扩散模型的运动定制任务,提出MotionDirector,采用双路径LoRAs架构解耦外观与运动学习,并设计外观去偏时间损失,实现运动定制到多样外观的泛化。
2023-10-12 cs.CV
DriveEditor: A Unified 3D Information-Guided Framework for Controllable Object Editing in Driving Scenes
Huazhong University of Science and Technology(华中科技大学);National Key Laboratory of Multispectral Information Intelligent Processing Technology(多光谱信息智能处理技术国家重点实验室);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
DriveEditor提出统一的扩散框架,通过三维边界框位置控制和单参考图像外观保持模块,实现驾驶视频中物体的重新定位、替换、删除和插入,并在nuScenes上验证了高保真可控编辑能力。
2024-12-30 cs.CV
DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization
Korea University(高丽大学);NAVER Cloud(NAVER 云)
提出DreamMatcher插件方法,通过语义匹配替换目标值并引入语义一致掩码策略,在保留预训练模型结构生成能力的同时实现准确的文本到图像个性化外观模仿。
2024-04-23 cs.CV
WildSplatter: Feed-forward 3D Gaussian Splatting with Appearance Control from Unconstrained Images
NAIST(名古屋大学信息科学研究所);Ritsumeikan University(立命馆大学);Kyoto University(京都大学)
本文提出WildSplatter,一种无需姿态信息的3D高斯散射模型,通过无约束图像学习3D高斯和外观嵌入,实现快速重建和光照变化下的外观控制。
2026-04-23 cs.CV
Unsupervised Part-Based Disentangling of Object Shape and Appearance
Heidelberg University(海德堡大学)
大的类内变化是多个对象特征变化的结果。然而,图像只显示不同可变因素的叠加,如外观或形状。因此,学习如何区分和表示这些不同的特征是一个很大的挑战,特别是在无监督的情况下。此外,大型对象的连接需要一个灵活的基于零件的模型。我们提出了一种无监督的方法,通过在一个类别的所有实例中一致地学习部分来解开外观和形状。我们的模型学习对象表示的训练,同时利用不变性和等方差约束之间的综合变换的图像。由于不需要零件注释或对象类的先验信息,因此该方法适用于任意类。我们评估我们的方法在广泛的对象类别和不同的任务,包括姿态预测,解开图像合成,视频到视频的翻译。该方法在无监督关键点预测方面优于最先进的方法,甚至在形状和外观转移任务上与有监督方法相比也毫不逊色。
2019-06-17 cs.CV
Hierarchical Material Recognition from Local Appearance
Columbia University(哥伦比亚大学)
本文构建按物理特征组织的材料分类体系与含图像、深度图的真实数据集,并提出基于图注意力网络的层次化材料识别方法,实现最先进性能、恶劣条件泛化及少样本新材料学习。
2025-10-19 cs.CV
Focus On Details: Online Multi-object Tracking with Diverse Fine-grained Representation
Huazhong Univerisity of Science and Technology(华中科技大学)
在多目标跟踪中,区分表示是保证每个目标唯一标识的关键。最近的一些MOT方法提取限界框区域或中心点的特征作为身份嵌入。然而,当目标被遮挡时,这些粗粒度的全局表示变得不可靠。为此,我们建议探索不同的细粒度表示,从全局和局部角度全面描述外观。这种细粒度的表示需要高特征分辨率和精确的语义信息。为了有效地缓解上下文信息无差别聚合所造成的语义错位,提出了流对齐FPN(FAFPN)多尺度特征对齐聚合。它在不同分辨率的特征图之间生成语义流,以转换它们的像素位置。此外,我们提出了一个多头零件掩模生成器(MPMG)提取细粒度表示对齐的特征映射的基础上。MPMG的多个并行分支允许它专注于目标的不同部分,以生成本地掩码,而无需标签监督。目标掩模中的不同细节有助于细粒度表示。最终,受益于正反样本平衡的Shuffle-Group Sampling(SGS)训练策略,我们在MOT 17和MOT 20测试集上实现了最先进的性能。即使在目标外观非常相似的DanceTrack上,我们的方法在HOTA上的表现也明显优于ByteTrack 5.0%,在IDF 1上的表现也是5.6%。大量的实验证明,多样化的细粒度表示使Re-ID在MOT中再次发挥作用。
2023-03-08 cs.CV
FROMAT: Multiview Material Appearance Transfer via Few-Shot Self-Attention Adaptation
Trinity College Dublin(都柏林三一学院);Arcade AI;AMD
FROMAT通过少样本自注意力适应实现多视图材料外观迁移,提供了一种简单有效的生成方法,提升多视图内容创作的外观多样性。
2025-12-10 cs.CV
FashionComposer: Compositional Fashion Image Generation
The University of Hong Kong(香港大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Zhejiang University(浙江大学)
提出FashionComposer框架,通过多模态输入和主体绑定注意力机制,实现高度灵活的组合式时尚图像生成,支持个性化外观及多服装分配。
2024-12-19 cs.CV
Evaluation of Human and Machine Face Detection using a Novel Distinctive Human Appearance Dataset
Stevens Institute of Technology(斯蒂文斯理工学院)
人脸检测是计算机视觉领域的一个长期挑战,其最终目标是在无约束的环境中准确定位人脸。由于与姿势、图像分辨率、照明、遮挡和视角相关的混杂因素,使这些系统准确存在重大技术障碍[44]。话虽如此,随着机器学习的最新发展,人脸检测系统已经实现了非凡的准确性,主要建立在数据驱动的深度学习模型上[70]。虽然令人鼓舞,但限制人脸检测性能和部署系统的社会责任的一个关键方面是人类外观的固有多样性。每个人的外表都反映了一个人的独特之处,包括他们的遗产,身份,经历和自我表达的可见表现。然而,当面对不同的面部大小和形状、肤色、身体修改和身体变形时,面部检测系统的性能如何存在问题。为了实现这一目标,我们收集了独特的人类外观数据集,这是一个图像集,它代表了低频的外观,并且在人脸数据集中往往是欠采样的。然后,我们评估了当前最先进的人脸检测模型在这些图像中检测人脸的能力。评估结果表明,人脸检测算法不能很好地推广到这些不同的外观。评估和表征当前人脸检测模型的状态将加速研究和开发,以创建更公平,更准确的人脸检测系统。
2021-11-02 cs.CV
UMAS3D: Unified Mask-Free 3D Editing with Region-Adaptive Source Preservation
College of Artificial Intelligence, Zhejiang University(浙江大学人工智能学院);ReLER
UMAS3D是一种无训练、无反演、无需外部3D掩码的统一3D编辑框架,通过MARM与SGPS技术实现多样编辑任务,可有效保留未编辑的源内容。
2026-10-14 cs.CV
SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians
Huawei Paris Research Center(华为巴黎研究中心)
本文扩展3D Gaussian Splatting,通过外观条件化建模光度变化并以无监督瞬态高斯处理遮挡物,从而在野外非结构化照片集上实现高效且最先进的新视角渲染。
2024-04-05 cs.CV
Multi-Object Tracking by Iteratively Associating Detections with Uniform Appearance for Trawl-Based Fishing Bycatch Monitoring
University of Washington(华盛顿大学);National Institute of Water and Atmospheric Research(国家水与大气研究所);BetterFishing Ltd.(BetterFishing有限公司)
本文针对拖网渔业监测中鱼类目标外观均匀、传统MOT方法不适用的难题,提出一种基于迭代关联模块的MOT方法,可嵌入现有跟踪算法,在水下鱼类数据集和MOT17上均优于现有方法且不增加延迟。
2023-04-10 cs.CV
4DEquine: Disentangling Motion and Appearance for 4D Equine Reconstruction from Monocular Video
Southern University of Science and Technology(南方科技大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学)
4DEquine通过解耦运动与外观重建,提出新框架实现高效4D马类重建,展示在真实数据集上的优越性能。
2026-03-10 cs.CV
InStyle: Instant Appearance Stylization of 3D Shapes
University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
GaussianBlender通过解耦潜在空间实现文本驱动的3D风格化,提供即时高保真风格化并超越传统方法。
2026-10-07 cs.CV
Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting
School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院);Institute of Medical Robotics, Shanghai Jiao Tong University(上海交通大学医学机器人研究所);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系);Institute of Medical Intelligence and XR, The Chinese University of Hong Kong(香港中文大学医学智能与XR研究所)
本文提出全面生成回放框架,通过贝叶斯联合扩散模型和任务导向适配器合成图像-掩码对,缓解任务增量分割中的并发外观与语义遗忘。
2024-06-28 cs.CV eess.IV
WaterGen: Decoupling Scene and Medium in Underwater Image Generation
University of Maryland(马里兰大学);University of South Florida(南佛罗里达大学);University of Florida(佛罗里达大学)
提出WaterGen方法,通过解耦场景生成和介质建模,在潜在扩散框架下生成大规模、真实、多样的水下图像,提升下游恢复和分割性能。
2026-07-01 cs.CV
They're All Doctors: Synthesizing Diverse Counterfactuals to Mitigate Associative Bias
Harvard University(哈佛大学);Adobe Research(奥多比研究中心)
本文提出用分割与修复模型生成多样化反事实图像并微调 CLIP,使人物外观与职业语境解耦,在保持下游性能的同时显著改善检索公平性。
2024-06-17 cs.CV cs.IR cs.LG
BACTrack: Building Appearance Collection for Aerial Tracking
Beijing Institute of Technology(北京理工大学);Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China(教育部光电成像技术与系统重点实验室);Chongqing Innovation Center, Beijing Institute of Technology(北京理工大学重庆创新中心)
针对航空目标外观快速变化导致单模板匹配失效的问题,本文提出 BACTrack,利用 MTT 并行多模板匹配并结合在线自适应模板更新,在四个基准上达到顶级性能且速度超过 87 FPS。
2023-12-11 cs.CV
HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation
VNU University of Engineering and Technology, Hanoi, Vietnam(越南河内国立大学工程与技术大学);VinUni-Illinois Smart Health Center, VinUniversity, Hanoi, Vietnam(VinUni-Illinois智慧健康中心,VinUniversity,越南河内);College of Engineering and Computer Science, VinUniversity, Hanoi, Vietnam(VinUniversity工程与计算机科学学院,越南河内);Center for Innovations in Health Sciences, VinUniversity, Hanoi, Vietnam(VinUniversity健康科学创新中心,越南河内)
本文提出HOT方法,通过谐波约束最优传输解决远程光脉冲波形在不同领域间的适应问题,提升模型鲁棒性和泛化能力。
2026-04-02 cs.CV
RichControl: Structure- and Appearance-Rich Training-Free Spatial Control for Text-to-Image Generation
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
提出一种免训练框架,通过解耦条件特征的采样调度与去噪过程,并引入重启细化调度和外观丰富提示策略,在复杂条件下实现结构和外观平衡的受控生成。
2026-06-01 cs.CV
SerialGen: Personalized Image Generation by First Standardization Then Personalization
Global Business Unit, Baidu Inc.(百度公司)
提出 SerialGen 两阶段框架,先标准化参考人物图像再进行个性化生成,并辅以两个增强模块,从而同时提升文本可控性与全身外观一致性。
2025-05-12 cs.CV
Comparison of Pedestrian Prediction Models from Trajectory and Appearance Data for Autonomous Driving
Five AI (Bosch UK)(Five AI(博世英国));University of Edinburgh(爱丁堡大学)
本文比较了自动驾驶中仅用轨迹与结合外观数据的行人预测方法,基于NuScenes构建新数据集实验,发现外观信息虽有优势但受数据集限制,并提出改进方案以充分挖掘外观模型潜力。
2023-05-25 cs.CV cs.RO
GlassesGAN: Eyewear Personalization using Synthetic Appearance Discovery and Targeted Subspace Modeling
Clarkson University(克拉克森大学);University of Ljubljana(卢布尔雅那大学)
我们提出了GlassesGAN,一种用于眼镜定制设计的新型图像编辑框架,它在图像质量,编辑真实性和连续多风格编辑能力方面设定了新的标准。为了便于眼镜GAN的编辑过程,我们提出了一个有针对性的子空间建模(TSM)过程,该过程基于一种新的机制,在预先训练的GAN生成器的潜在空间中进行(合成)外观发现,构建了一个眼镜特定的(潜在)子空间,编辑框架可以利用。此外,我们还引入了一种外观约束子空间初始化(SI)技术,该技术将给定输入图像的潜在表示集中在构造子空间的明确定义的部分中,以提高学习编辑的可靠性。我们在两个(不同的)高分辨率数据集(CelebA-HQ和SiblingsDB-HQf)上测试GlassesGAN,并将其与三个最先进的竞争对手进行比较,即,InterfaceGAN、GANSpace和MaskGAN。报告的结果表明,GlassesGAN令人信服地优于所有竞争技术,同时提供额外的功能(例如,细粒度的多样式编辑)不适用于任何竞争对手。源代码将免费提供。
2022-11-18 cs.CV eess.IV
Neural Appearance Modeling From Single Images
William & Mary(威廉玛丽学院)
提出一种材质外观建模神经网络,仅用单张共置光照照片推断逐像素神经参数并渲染材质,能编码各向异性和全局光照信息,在31万合成样本上训练并集成至Mitsuba3验证有效性。
2024-06-08 cs.CV cs.GR
Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association
Hyundai Motor Company(现代汽车公司);RMIT University(皇家墨尔本理工大学);SI-Analytics Company, Ltd.(SI分析有限公司);GIST(韩国科学技术院)
在在线多目标跟踪中,行人视觉场景之间的外观和几何相似性建模非常重要。与几何模型相比,外观模型中的固有信息的更高维度在许多方面是有问题的。然而,由于最近基于深度学习的方法的成功,处理高维外观信息变得可行。在众多的深度神经网络中,具有三重丢失的连体网络作为一种有效的外观特征提取器被广泛采用。由于Siamese网络可以独立地提取每个输入的特征,因此可以更新和维护特定于目标的特征。但是,它不适用于需要与其他输入进行比较的多目标设置。为了解决这个问题,我们提出了一种新的轨迹外观模型的基础上的联合推理网络。所提出的方法使两个输入的比较用于自适应外观建模,并有助于消除目标观测匹配的歧义和身份一致性的巩固。不同的实验结果支持我们的方法的有效性。我们的工作在CVPR 2019举办的BMTT MOTChallenge 2019中被评为第三名。该代码可在https://github.com/yyc9268/Deep-TAMA上获得。
2020-10-09 cs.CV cs.LG eess.IV
SARS: A Novel Face and Body Shape and Appearance Aware 3D Reconstruction System extends Morphable Models
Centre of Excellence for Data Science, Artificial Intelligence and Modelling (DAIM), University of Hull, UK(数据科学、人工智能与建模卓越中心(DAIM)、赫尔大学)
SARS提出了一种新型的3D重建系统,通过单张图像提取身体和面部信息,实现对全身体3D模型的精确重建,扩展了可变形模型的应用范围。
2026-02-10 cs.AI cs.CV
Image Generation from Layout
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
尽管最近在生成模型上取得了重大进展,但描绘多个和复杂对象布局的图像的受控生成仍然是一个难题。其中的核心挑战是外观的多样性,一个给定的对象可能拥有,因此,指数集的图像符合指定的布局。为了解决这些挑战,我们提出了一种新的方法,基于布局的图像生成;我们称之为Layout 2 Im。给定粗略的空间布局(边界框+对象类别),我们的模型可以生成一组逼真的图像,这些图像在所需位置具有正确的对象。每个对象的表示被分解为指定/确定的部分(类别)和未指定/不确定的部分(外观)。类别使用词嵌入进行编码,外观被提取到从正态分布采样的低维向量中。使用卷积LSTM将各个对象表示组合在一起,以获得完整布局的编码,然后解码为图像。引入了几个损失术语,以鼓励准确和多样化的生成。所提出的Layout 2 Im模型显著优于先前的最新技术水平,在非常具有挑战性的COCO-Stuff和Visual Genome数据集上,最佳报告的初始得分分别提高了24.66%和28.57%。大量的实验也证明了我们的方法的能力,生成复杂和多样化的图像与多个对象。
2019-10-14 cs.CV eess.IV
Photo-to-Shape Material Transfer for Diverse Structures
Shenzhen University(深圳大学);Carleton University(卡尔顿大学)
我们介绍了一种方法,用于分配真实感relihtable材料的3D形状中的自动方式。我们的方法需要作为输入的真实对象和3D对象与分割的照片样本,并使用样本来指导材料的形状的部分的分配,使所得到的形状的外观是尽可能相似的样本。为了实现这一目标,我们的方法结合了图像翻译神经网络与材料分配神经网络。图像转换网络将样本的颜色转换为3D形状的投影,并将部分分割从投影转换为样本。然后,材料预测网络根据翻译后的图像和材料的感知相似性,将现实材料集合中的材料分配给投影部件。我们的方法的一个关键思想是使用平移网络来建立样本和形状投影之间的对应关系,这使我们能够在具有不同结构的对象之间传输材料。我们的方法的另一个关键思想是使用由图像翻译提供的两对(颜色,分割)图像来指导材料分配,这使我们能够确保分配的一致性。我们证明,我们的方法允许我们将材料分配给形状,使它们的外观更好地类似于输入样本,提高了最先进方法的结果质量,并允许我们使用高质量的照片级真实感材料自动创建数千个形状。本文的代码和数据可在https://github.com/XiangyuSu611/TMT上获得。
2022-05-09 cs.CV cs.GR
Appearance Pointers -- Multimodal Region Control of Diffusion Transformers
Brown University(布朗大学);Adobe Research(Adobe 研究院)
针对可控图像生成难题,提出外观指针方法,通过区域对应网络和空间聚合机制生成并细化指针,为扩散变压器引入模态无关的局部多模态控制接口,单一模型性能达或超现有技术。
2026-07-22 cs.AI cs.CV cs.GR
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool
Google Research(谷歌研究院)
我们提出了一个神经渲染框架,将体素化场景映射到高质量的图像。高度纹理化的对象和场景元素的相互作用,现实地呈现我们的方法,尽管有一个粗略的表示作为输入。此外,我们的方法允许可控渲染:输入中的几何和外观修改准确地传播到输出。用户可以移动,旋转和缩放对象,更改其外观和纹理或修改灯光的位置,所有这些编辑都在最终渲染中表示。我们证明了我们的方法的有效性,通过渲染不同外观的场景,从单一的颜色每个对象复杂的,高频纹理。我们表明,我们的重新渲染网络可以生成非常详细的图像,精确地表示输入场景的外观。我们的实验表明,与替代方案相比,我们的方法实现了更准确的图像合成结果,并且还可以处理低体素网格分辨率。最后,我们展示了我们的神经渲染框架如何从真实图像和不同的类集合中捕获和忠实地渲染对象。
2020-04-06 cs.CV cs.GR
Sketch2Human: Deep Human Generation with Disentangled Geometry and Appearance Control
School of Creative Media, City University of Hong Kong(香港城市大学创意媒体学院);Department of Computer Science & Engineering, HKUST(香港科技大学计算机科学与工程学系);Shenzhen Research Institute of Big Data, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
提出Sketch2Human,首个由语义草图和参考图像引导的全身人体图像生成系统,基于StyleGAN-Human潜空间并设计新颖训练方案实现解耦的几何与外观控制,性能优于现有方法。
2024-04-24 cs.CV cs.GR
Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models
Nanyang Technological University(南洋理工大学);A*STAR(新加坡科技研究局);Shanghai Jiaotong University(上海交通大学);Sensetime Research(商汤科技研究院)
本文提出Q-Instruct方法,通过构建包含58K人类反馈的Q-Pathway数据集及200K指令-响应对,提升GPT-4V等多模态基础模型的低级视觉感知与理解能力,实验证明其有效性。
2023-11-12 cs.CV cs.MM
Diverse Image Synthesis from Semantic Layouts via Conditional IMLE
UC Berkeley(加州大学伯克利分校);Nanjing University(南京大学)
大多数现有的条件图像合成方法只能为任何给定的输入生成单个似然图像,或者充其量只能生成固定数量的似然图像。在本文中,我们专注于从语义分割地图生成图像的问题,并提出了一个简单的新方法,可以生成任意数量的图像具有不同的外观相同的语义布局。与大多数采用GAN框架的现有方法不同,我们的方法是基于最近推出的隐式最大似然估计(IMLE)框架。与领先的方法相比,尽管使用相同的架构,我们的方法能够生成更多样化的图像,同时产生更少的伪影。学习的潜在空间也有合理的结构,尽管缺乏鼓励这种行为的监督。视频和代码可在https://people.eecs.berkeley.edu/~ke.li/projects/imle/scene_layouts/上获得。
2019-08-29 cs.CV cs.GR cs.LG
DreamCube: 3D Panorama Generation via Multi-plane Synchronization
The University of Hong Kong(香港大学);Tencent(腾讯);Astribot
本文提出DreamCube,一种基于多平面同步的RGB-D扩散模型,将2D基础模型能力扩展到3D全景生成,实现多样化外观、准确几何与多视图一致性,并在全景图像、深度估计和3D场景生成中验证有效性。
2025-06-20 cs.CV cs.GR cs.LG
Augment to Augment: Diverse Augmentations Enable Competitive Ultra-Low-Field MRI Enhancement
Physikalisch-Technische Bundesanstalt (PTB)(物理技术联邦机构)
针对超低场(ULF)MRI因稀缺配对训练数据导致图像增强效果受限的问题,在ULF-EnC挑战赛约束下研究任务适配的多样化增强对标准深度模型的影响,发现其显著提升保真度,提交结果在挑战赛排行榜中取得优异成绩。
2025-11-12 cs.CV eess.IV physics.med-ph