3D-Aware Visual Question Answering about Parts, Poses and Occlusions
Johns Hopkins University(约翰斯·霍普金斯大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Freiburg(弗莱堡大学)
本文提出3D感知VQA任务,并构建Super-CLEVR-3D数据集与PO3D-VQA模型,结合概率神经符号推理和3D生成式表示,在部件、姿态与遮挡推理上显著超越现有方法,但仍与2D VQA存在明显性能差距。
2023-10-27 cs.CL cs.CV
IterComp: Iterative Composition-Aware Feedback Learning from Model Gallery for Text-to-Image Generation
Tsinghua University(清华大学);Peking University(北京大学);LibAI Lab(LibAI实验室);USTC(中国科学技术大学);University of Oxford(牛津大学);Princeton University(普林斯顿大学)
IterComp通过聚合多个扩散模型的组合感知偏好并采用迭代反馈学习,显著提升了文本到图像生成中的属性绑定、空间关系及复杂语义对齐能力。
2025-02-05 cs.CV
Layer-Aware Video Composition via Split-then-Merge
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌)
StM通过分割未标注视频并融合动态前景与背景层,提升生成视频合成的控制能力和数据效率。
2026-08-26 cs.CV
Robust Object Detection under Occlusion with Context-Aware CompositionalNets
Johns Hopkins University(约翰斯·霍普金斯大学)
检测部分被遮挡的物体是一项困难的任务。我们的实验结果表明,深度学习方法,如Faster R-CNN,在遮挡下的目标检测方面并不稳健。组合卷积神经网络(CompositionalNets)已被证明在通过将对象明确表示为部分的组合来对被遮挡对象进行分类方面是鲁棒的。在这项工作中,我们提出克服CompositionalNets的两个限制,这将使它们能够检测部分遮挡的对象:1)CompositionalNets以及其他DCNN架构,没有明确地将上下文的表示与对象本身分开。在强对象遮挡下,上下文的影响被放大,这可能对测试时的检测产生严重的负面影响。为了克服这一点,我们建议在训练过程中通过限界框注释来分割上下文。然后,我们使用分割来学习一个上下文感知的CompositionalNet,它可以解开上下文和对象的表示。2)我们扩展了CompositionalNets中基于部分的投票方案,以投票对象的限界框的角,这使得模型能够可靠地估计部分遮挡对象的边界框。我们广泛的实验表明,我们提出的模型可以鲁棒地检测物体,相对于Faster R-CNN,PASCAL 3D+和MS-COCO的强遮挡车辆检测性能分别提高了41%和35%。
2020-05-30 cs.CV
Composition-aware Graphic Layout GAN for Visual-textual Presentation Designs
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
在本文中,我们研究的图形布局生成问题,产生高品质的视觉-文本演示设计给定的图像。我们注意到,图像组合,其中不仅包含全局语义,而且空间信息,将在很大程度上影响布局结果。因此,我们提出了一个深度生成模型,被称为组合感知的图形布局GAN(CGL-GAN),合成布局的基础上的全球和空间的视觉内容的输入图像。为了从已经包含手动设计的图形布局数据的图像中获得训练图像,先前的工作建议掩蔽设计元素(例如,文本和修饰)作为模型输入,这不可避免地留下了地面真相的暗示。我们研究了训练输入(有提示掩码)和测试输入(没有掩码)之间的不对齐,并设计了一种新的域对齐模块(DAM)来缩小这一差距。为了进行训练,我们构建了一个大规模的布局数据集,其中包含60,548张带有注释布局信息的广告海报。为了评估生成的布局,我们提出了三个新的指标,根据审美直觉。通过定量和定性的评价,我们表明,该模型可以合成高质量的图形布局,根据图像组成。
2022-07-13 cs.CV
Structured Visual Search via Composition-aware Learning
QUvA Lab, University of Amsterdam(阿姆斯特丹大学QUvA实验室);University of Amsterdam(阿姆斯特丹大学)
本文研究了基于结构化查询的视觉搜索。该结构是以2D组合的形式,对对象的位置和类别进行编码。对象的位置和类别的变换导致视觉组成之间的连续值关系,其携带高度有益的信息,尽管没有被先前的技术利用。为此,在这项工作中,我们的目标是通过使用等方差对称的概念来利用这些连续的关系。我们的模型输出被训练成相对于输入变换对称地变化,从而产生敏感的特征空间。这样做会导致一种高效的搜索技术,因为我们的方法使用更小的特征空间从更少的数据中学习。在MS-COCO和HICO-DET两个大规模基准测试上的实验表明,我们的方法在性能上比竞争技术有相当大的提高。
2020-10-27 cs.CV
Image Cropping with Composition and Saliency Aware Aesthetic Score Map
Shanghai Jiao Tong University(上海交通大学);Versa Inc(Versa公司)
图像的美学裁剪是一项实用而又具有挑战性的任务,其目的是在图像中找到具有最高美学质量的最佳裁剪。近年来,许多深度学习方法被提出来解决这个问题,但它们并没有揭示审美评价的内在机制。在本文中,我们提出了一个可解释的图像裁剪模型来揭开神秘的面纱。对于每个图像,我们使用一个完全卷积的网络来生成一个美学评分图,在作物级美学评估过程中,所有候选作物都可以共享该评分图。然后,我们要求美学评分图既具有构图意识又具有显著性意识。特别地,相同区域基于其在不同作物中的相对位置被分配有不同的美学分数。此外,视觉上显著的区域应该具有更敏感的美学分数,以便我们的网络可以学习将显著对象放置在更合适的位置。这样的美学评分图可用于定位图像中美学上重要的区域,这揭示了我们模型学习的构图规则。我们展示了我们的模型在几个基准数据集上的图像裁剪任务中的竞争性能,并且还展示了它在现实世界应用中的通用性。
2019-11-24 cs.CV
CoBind: Stage-Aware Compositional Binding for Training-Free Text-to-Image Generation
Mind Lab(思维实验室)
研究针对扩散文本到图像模型处理复杂提示失败的问题,提出CoBind框架,先解析提示为组合图,利用多种约束建立布局、绑定属性,去噪时调整引导强度,无需重新训练或注释,实验证明其在多方面有改进且视觉质量有竞争力。
2026-07-21 cs.CV
DecompDreamer: A Composition-Aware Curriculum for Structured 3D Asset Generation
Arizona State University(亚利桑那州立大学);Intel Labs(英特尔实验室);Stability AI
针对文本到3D方法处理组合提示时易出现梯度冲突、生成效果差的问题,提出DecompDreamer框架,采用分阶段优化的隐式课程策略,先构建物体间结构支架再细化单组件,在保真度等方面超越现有最优方法。
2026-10-20 cs.CV
Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning
University of Electronic Science and Technology of China(电子科技大学);Ningbo University(宁波大学);Southwest Jiaotong University(西南交通大学);Tongji University(同济大学)
本文提出Structure-aware Prompt Adaptation方法,通过利用嵌入空间中语义相关属性和对象的局部结构一致性,提升开放词汇组合零样本学习的泛化能力。
2026-03-04 cs.CV
Compositional Text-to-Image Generation Via Region-aware Bimodal Direct Preference Optimization
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University(上海智能信息处理关键实验室,复旦大学计算机学院);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心)
提出BiDPO框架,通过构建大规模偏好数据集BiComp和扩展Diffusion DPO联合优化图像与文本偏好,结合区域级引导方法,提升文本到图像模型对复杂组合提示的生成保真度。
2026-05-27 cs.CV
CAILA: Concept-Aware Intra-Layer Adapters for Compositional Zero-Shot Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
针对组合式零样本学习中现有CLIP类方法未挖掘内部层语义概念的问题,本文提出概念感知层内适配器CAILA,在CLIP各编码层插入可提取三类概念特征的参数高效适配器,在四个基准数据集上取得最优性能。
2023-11-08 cs.CV
Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);ByteDance Ltd(字节跳动公司);Nanjing University(南京大学)
提出组合神经辐射场(CNeRF),通过为各语义区域学习独立辐射场并解耦形状与纹理,实现细粒度语义操控与高质量3D一致人像合成。
2023-04-10 cs.CV
Composition-Aware Image Aesthetics Assessment
Netflix Inc.(奈飞公司)
自动图像美学评价对于在线照片推荐、相册管理和图像检索等应用都具有重要意义。先前的方法集中于将整体图像内容映射到高或低美学评级。而图像的构图信息则体现了图像视觉元素之间的协调性,为美学的学习提供了更丰富的信息。在这项工作中,我们建议将图像组成信息建模为其局部区域的相互依赖性,并设计一种新的架构来利用这些信息来提高美学评估的性能。为了实现这一点,我们密集地将图像划分为局部区域,并计算区域上的美学保持特征来表征图像内容的美学属性。利用局部区域的特征表示,构造了一个区域组合图,图中每个节点表示一个区域,任意两个节点之间由一条边连接,边的权重由区域特征的相似性决定。我们通过图卷积在这个图上进行推理,其中每个节点的激活由其高度相关的邻居决定。我们的方法自然地揭示了网络训练过程中局部区域的相互依赖性,并在基准视觉美学数据集上实现了最先进的性能。
2019-07-25 cs.CV
LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis
Georgia Institute of Technology(佐治亚理工学院);Ford Autonomy(福特自动驾驶部门)
提出光照感知神经场LANe,通过解耦世界与物体神经场并结合光场与着色器处理光照变化,实现了在空间光照变化下物理一致的驾驶场景组合合成。
2023-04-06 cs.CV
HOPE: A Memory-Based and Composition-Aware Framework for Zero-Shot Learning with Hopfield Network and Soft Mixture of Experts
VinUniversity;Academia Sinica(中央研究院);VNU-UET(越南国家大学胡志明市分校技术大学);University of Western Australia(西澳大利亚大学)
本文提出HOPE框架,首次将现代Hopfield网络与专家混合结合,通过记忆标签原型并整合图像与原型,解决组合零样本学习中对未见对象组合的分类问题,并在MIT-States和UT-Zappos等基准上取得SOTA性能。
2025-03-10 cs.CV
LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer
University of Science and Technology of China(中国科学技术大学);Onestory Team(Onestory团队);East China Normal University(华东师范大学)
LAMIC通过无训练方式实现多参考图像合成,提升布局控制与背景一致性。
2025-12-23 cs.CV
SAC-GAN: Structure-Aware Image Composition
Simon Fraser University(西蒙弗雷泽大学);Jilin University(吉林大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE(教育部知识驱动人机智能工程研究中心);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
我们引入了一个端到端的图像到图像合成的学习框架,旨在将一个表示为裁剪补丁的对象从对象图像合成到背景场景图像中。由于我们的方法更多地强调合成图像的语义和结构一致性,而不是它们的像素级RGB精度,因此我们使用结构感知功能定制网络的输入和输出,并相应地设计网络损失,通过对象裁剪在自监督设置中建立地面实况。具体来说,我们的网络从输入场景图像中获取语义布局特征,从输入对象块中的边缘和轮廓编码的特征,以及潜在代码作为输入,并生成定义对象块的平移和缩放的2D空间仿射变换。学习到的参数被进一步馈送到可微空间Transformer网络中,以将对象补丁转换为目标图像,其中我们的模型使用仿射变换和布局进行逆向训练。我们评估了我们的网络,创造了SAC-GAN,用于各种图像合成场景,包括合成图像的质量,可合成性和可推广性。比较国家的最先进的替代品,包括实例插入,ST-GAN,CompGAN和PlaceNet,确认我们的方法的优越性。
2022-12-02 cs.CV
ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出ComboVerse框架,通过分析多物体差距并利用空间感知分数蒸馏采样(SSDS)指导多模型空间定位,实现高质量组合式3D资产生成。
2024-03-19 cs.CV
Trans4D: Realistic Geometry-Aware Transition for Compositional Text-to-4D Synthesis
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学)
针对现有4D生成方法难以合成复杂4D过渡中显著物体形变与场景交互的问题,提出Trans4D文本到4D合成框架,结合MLLMs的物理感知规划与几何感知过渡网络,实现逼真复杂场景4D过渡,性能优于现有SOTA方法。
2024-10-09 cs.CV
A Composition-Aware Pretraining Framework for Geospatial Foundation Models
National Institute of Technology, Karnataka(卡纳塔克邦国家理工学院);Visa Inc(维萨公司);Greenlight
该研究针对地理空间基础模型现有预训练方法无法捕捉卫星场景组成性的问题,提出感知组成的预训练框架,在多任务上优于更大参数规模的现有模型,在 ForestNet-12 数据集上取得 55.6% 的相对 mAP@10 提升。
2026-09-01 cs.AI cs.CV
Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion
Harvard University(哈佛大学);Cornell Tech(康奈尔科技);The Hong Kong Polytechnic University(香港理工大学);Boston College(波士顿大学)
本文提出Mask-Aware Dual Diffusion模型,通过双流扩散同时去噪RGB图像和插入掩码,实现可供性感知的任意对象插入,构建含300万示例的SAM-FB数据集,性能优于现有方法。
2025-04-20 cs.CV
3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis
Jilin University(吉林大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE(教育部知识驱动人机智能工程研究中心)
提出3D-SSGAN框架,通过深度引导的2D到3D提升模块和3D感知语义掩码渲染器,实现细粒度部件级控制且保持3D视角一致性的组合肖像合成。
2024-01-08 cs.CV cs.GR
EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026
Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
提出 EgoAction 统一解耦检测与融合流水线,通过动态加权融合(DWF)自适应组合动词和名词检测流,解决自我中心视频中动作边界定位的可靠性问题。
2026-06-04 cs.CV
UrbanGIRAFFE: Representing Urban Scenes as Compositional Generative Neural Feature Fields
Zhejiang University(浙江大学)
生成具有可控摄像机姿态和场景内容的真实感图像对于包括AR/VR和仿真在内的许多应用都是必不可少的。尽管在3D感知生成模型方面取得了快速进展,但大多数现有方法都集中在以对象为中心的图像上,并且不适用于生成城市场景以进行自由相机视点控制和场景编辑。为了解决这个具有挑战性的任务,我们提出了UrbanGIRAFFE,它使用一个粗略的3D全景先验,包括不可数的东西和可数的对象的布局分布,以指导3D感知生成模型。我们的模型是合成和可控的,因为它将场景分解为物质,物体和天空。利用语义体素网格形式的填充先验,我们构建了一个条件填充生成器,有效地结合了粗糙的语义和几何信息。对象布局先验进一步允许我们从杂乱的场景中学习对象生成器。适当的损失函数,我们的方法有利于逼真的三维感知图像合成与不同的可控性,包括大的相机运动,编辑的东西,和对象操作。我们在合成和真实世界的数据集上验证了我们的模型的有效性,包括具有挑战性的KITTI-360数据集。
2023-03-28 cs.CV
SALAD -- Semantics-Aware Logical Anomaly Detection
University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅那大学计算机与信息科学学院)
针对现有表面异常检测方法难以处理逻辑异常、现有逻辑异常检测方法丢失语义空间信息的问题,提出语义感知的SALAD方法,通过构成分支建模构图映射分布,且无需手工标注提取构图映射,在MVTec LOCO基准上取得96.1%的图像级AUROC,性能超越现有最优方法。
2025-09-02 cs.AI cs.CV
Golden RPG: Confidence-Adaptive Region-Aware Noise for Compositional Text-to-Image Generation
Department of Electrical and Computer Engineering, University of Arizona(亚利桑那大学电气与计算机工程系)
本文提出Golden RPG,通过区域感知噪声预测和置信度自适应融合提升多区域文本到图像生成的区域一致性,优于现有基线方法。
2026-04-28 cs.CV
Where and Who? Automatic Semantic-Aware Person Composition
University of Virginia(弗吉尼亚大学)
图像合成是一种通过将内容从一个图像插入到另一个图像来生成逼真但虚假图像的方法。合成中的先前工作集中于改善用户选择的前景片段和背景图像的外观兼容性(即,颜色和照明一致性)。在这项工作中,我们开发了一个完全自动化的合成模型,该模型还可以学习从一个大的集合中选择和转换兼容的前景片段,只需要输入图像背景。为了简化任务,我们通过关注人类实例组成来限制我们的问题,因为人类片段与其背景表现出很强的相关性,并且由于大量注释数据的可用性。我们开发了一种新的分支卷积神经网络(CNN),联合预测候选人的位置给定的背景图像。然后,我们使用预先训练的深度特征表示从大型细分数据库中检索人物实例。实验结果表明,我们的模型可以生成合成图像,看起来视觉上令人信服。我们还开发了一个用户界面来展示我们的方法的潜在应用。
2017-12-02 cs.CV cs.GR
Context-Aware Input Orchestration for Video Inpainting
Department of Computer Science Stony Brook University(计算机科学系石溪大学);Department of Computer Science The State University of New York(计算机科学系纽约州立大学)
本文提出一种基于光流和掩码变化的上下文感知输入帧动态编排方法,以优化移动设备上的视频修复内存使用并提升快速视觉变化场景下的修复质量。
2025-05-05 cs.CV
GeoSim: Realistic Video Simulation via Geometry-Aware Composition for Self-Driving
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);Stanford University(斯坦福大学);Massachusetts Institute of Techonology(麻省理工学院)
可扩展的传感器仿真是自动驾驶等安全关键领域的一个重要但具有挑战性的开放问题。当前的图像模拟工作要么无法达到照片级真实感,要么没有对3D环境和其中的动态对象进行建模,从而失去了高级别的控制和物理真实感。在本文中,我们提出了GeoSim,一个几何感知的图像合成过程,合成新的城市驾驶场景,通过增强现有的图像与从其他场景中提取的动态对象,并呈现在新的姿态。为了实现这一目标,我们首先从传感器数据中构建了一个具有逼真几何形状和外观的3D对象的多样化银行。在模拟过程中,我们执行一个新的几何感知模拟的组成过程,1)提出合理的和现实的对象放置到一个给定的场景,2)渲染新的视图的动态对象的资产银行,和3)组成和混合渲染的图像片段。由此产生的合成图像是逼真的,交通感知的,几何一致的,使我们的方法能够扩展到复杂的用例。我们展示了两个这样的重要应用:跨多个摄像机传感器的远程逼真视频模拟,以及下游分割任务的数据增强的合成数据生成。请查看https://tmux.top/publication/geosim/获取高分辨率视频结果。
2021-05-16 cs.AI cs.CV cs.GR
Uncertainty-Aware Body Composition Analysis with Deep Regression Ensembles on UK Biobank MRI
Uppsala University(乌普萨拉大学);Antaros Medical AB
除了丰富的健康相关元数据,自2014年以来,已为超过40,000名年龄在44-82岁之间的男性和女性英国生物银行参与者获取了医学图像。从这些图像中获得的表型,例如从MRI中测量身体成分,可以揭示遗传学,心血管疾病和代谢状况之间的新联系。在这项工作中,通过基于图像的深度回归,使用ResNet 50神经网络从颈部到膝盖的身体MRI自动估计身体成分和脂肪组织的六个测量值。尽管具有高速度和高精度的潜力,但这些网络不会产生可以指示单个测量可靠性的输出分割。因此,所提出的实验检查不确定性量化与均值-方差回归和集成估计个人的测量误差,从而自动识别潜在的离群值,异常和其他故障情况。在对约8,500名受试者的数据进行10倍交叉验证时,均值-方差回归和集成显示出互补的优势,将所有预测的平均绝对误差降低了12%。这两项技术都改进了不确定性的校准,并提高了识别高预测误差的能力。类内相关系数(ICC)高于0.97,除肝脏脂肪含量外,所有目标的相对测量误差均低于5%。对另外1,000名受试者的测试显示出一致的性能,该方法最终被部署用于对30,000名缺失参考值的受试者进行推断。结果表明,深度回归集成最终可以为未来几年内将获得的超过120,000个UK Biobank颈部到膝盖身体MRI提供自动化,不确定性感知的身体成分测量。
2021-09-15 cs.CV eess.IV
Reference-based Image Composition with Sketch via Structure-aware Diffusion Model
KAIST(韩国科学技术院);Letsur Inc.(Letsur公司);Naver Webtoon(Naver网络漫画公司)
本文提出结构感知扩散模型,联合参考图像与草图实现边缘级可控的局部图像编辑与补全,并通过实验验证其对任意场景进行用户驱动修改的能力。
2023-03-31 cs.AI cs.CV
CP4D: Compositional Physics-aware 4D Scene Generation
School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学);Zhongguancun Academy(中关村学院);the State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,中国科学院自动化研究所);Eastern Institute of Technology(东部技术研究所);Tsinghua University(清华大学)
提出CP4D范式,通过静态环境与物理动态对象组合,结合物理模拟器与视频扩散模型生成轨迹,实现高保真、物理一致的4D场景。
2026-06-08 cs.CV
Relation-aware Compositional Zero-shot Learning for Attribute-Object Pair Recognition
National University of Singapore(新加坡国立大学);NUS Graduate School for Integrative Sciences & Engineering(新加坡国立大学综合科学与工程研究生院)
本文提出了一种新的模型,用于识别具有复合属性-对象概念的图像,特别是在模型训练过程中看不到的复合概念。我们的目标是探索任务所需的三个关键属性-关系感知,一致性和解耦-学习组成属性对象对的原始概念的丰富和强大的功能。为此,我们提出了阻塞消息传递网络(BMP-Net)。该模型由两个模块组成。概念模块为原始概念生成语义上有意义的特征,而视觉模块从输入图像中提取属性和对象的视觉特征。在概念模块中使用消息传递机制来捕获原始概念之间的关系。此外,为了防止模型偏向于看到的复合概念,并减少属性和对象之间的纠缠,我们提出了一个阻塞机制,该机制均衡了模型中可见和不可见概念的信息。两个基准上的大量实验和烧蚀研究表明了所提出的模型的有效性。
2021-08-10 cs.CV cs.MM
Compositional 3D-aware Video Generation with LLM Director
University of Science and Technology of China(中国科学技术大学);Microsoft(微软公司);Microsoft Research Asia(微软亚洲研究院);Shanghai Jiao Tong University(上海交通大学)
提出一种由 LLM 导演的组合式 3D 感知视频生成范式,通过分解文本提示生成各概念 3D 表示并组合优化,实现了对视频中各概念外观与运动的灵活控制和高保真生成。
2024-08-31 cs.CV
Training-Free Multi-Concept LoRA Composition with Prompt-Aware Weighting
Department of Networks and Digital Media, Kingston University London, UK(网络与数字媒体系,金史密斯大学伦敦分校)
提出一种免训练的提示感知加权策略,通过优化组合多个LoRA模块的输出实现多概念定制,提升图像质量和概念保真度。
2026-06-02 cs.CV cs.LG
ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference
ScaleVid提出无网格推理的两阶段训练框架,实现几何感知视频目标缩放,在野外视频评估中,其几何一致性、前景保真度等优于需显式3D重建的方法,推理更实用。
2026-08-13 cs.CV
Learning Gaze-aware Compositional GAN
Fundación Vicomtech(维科姆泰克基金会);Basque Research and Technology Alliance(巴斯克研究与技术联盟);Clemson University(克莱姆森大学);University of the Basque Country(巴斯克大学);Ikerbasque(伊克巴斯克基金会);Donostia International Physics Center(圣塞瓦斯蒂安国际物理中心);Biofisika Institute(生物物理研究所);Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Boston College(波士顿学院)
本文提出一种感知注视方向的组合GAN生成框架,通过结合有限有标签数据与无标签数据域的多样性生成带注视标注的面部图像,有效提升了ETH-XGaze和CelebAMask-HQ数据集上注视估计DNN的训练效果,并支持图像编辑与注视重定向。
2024-05-31 cs.AI cs.CV
Category-Aware 3D Object Composition with Disentangled Texture and Shape Multi-view Diffusion
Nanjing University of Science and Technology(南京理工大学);Nankai University(南开大学);Nanjing University(南京大学)
针对多源融合的3D合成存在纹理不一致、形状不准的问题,提出C33D方法,通过解耦的纹理与形状多视图扩散生成连贯3D模型,实验验证了其有效性。
2025-09-02 cs.CV
Compositional Image Retrieval via Instruction-Aware Contrastive Learning
UT Arlington(德克萨斯大学阿灵顿分校)
针对零样本组合式图像检索中现有模型指令遵循能力弱、多模态信息融合不足的问题,提出基于指令微调多模态大模型的嵌入方法与两阶段训练策略,在四个公开数据集上显著超越SOTA基线。
2024-12-07 cs.CV
FrankenMotion: Part-level Human Motion Generation and Composition
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学);Max Planck Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克信息研究所,萨尔兰信息校区)
FrankenMotion通过原子性、时间感知的部位级动作标注,实现了对身体部位和原子动作的双重控制,首次在动作生成中引入细粒度部位级标注。
2026-01-15 cs.CV
RealCompo: Balancing Realism and Compositionality Improves Text-to-Image Diffusion Models
Peking University(北京大学);University of Science and Technology of China(中国科学技术大学);Southeast University(东南大学);Stanford University(斯坦福大学);Tsinghua University(清华大学)
本文提出无需训练的文本到图像生成框架RealCompo,通过新颖的平衡器在去噪过程中动态结合文本到图像模型与空间感知图像扩散模型的优势,有效提升了多对象组合生成的真实性与组合性。
2024-10-14 cs.AI cs.CV cs.LG
Graph Density-Aware Losses for Novel Compositions in Scene Graph Generation
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(人工智能向量研究所);Element AI(Element AI 公司);University of Cambridge(剑桥大学);Mila, Université de Montréal(蒙特利尔大学 Mila 研究院);CIFAR(加拿大高等研究院)
场景图生成(SGG)的目的是预测输入图像的图形结构的描述,在对象和它们之间的关系的形式。这项任务对于视觉和语言界面的进步越来越有用。在这里,重要的是-但具有挑战性的-表现在新的(zero-shot)或罕见的(Few-Shot)对象和关系的组成。在本文中,我们确定了两个关键问题,限制这种推广。首先,我们表明,在这项任务中使用的标准损失是无意中场景图密度的函数。这导致在训练过程中忽略大型稀疏图中的单个边缘,即使这些包含对泛化很重要的各种Few-Shot示例。其次,关系的频率可以在该任务中产生强烈的偏差,使得预测最频繁关系的盲模型实现良好的性能。因此,一些最先进的模型利用这种偏差来改善结果。我们发现,这些模型在推广到稀有成分的能力方面受到的影响最大,在Visual Genome数据集及其更新的改进版本GQA上评估了两种不同的模型。为了解决这些问题,我们引入了一个密度归一化的边缘损失,它提供了超过两倍的改进,在某些泛化指标。相比其他作品在这个方向上,我们的增强只需要几行代码,没有增加计算成本。我们还强调了使用现有指标准确评估模型的困难,特别是在零/少数镜头上,并引入了一种新的加权指标。
2020-08-18 cs.CV cs.LG
Hier-COS: Making Deep Features Hierarchy-aware via Composition of Orthogonal Subspaces
Indraprastha Institute of Information Technology(印度理工学院信息科技研究所)
Hier-COS通过正交子空间组合提升深度特征层次感知,实现统一的细粒度与层次多级分类,克服现有评估指标缺陷,达到SOTA性能。
2026-02-23 cs.CV cs.LG
PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers
Peking University(北京大学);ByteDance(字节跳动);Carnegie Mellon University(卡内基梅隆大学)
PartCrafter提出首个从单张RGB图像端到端生成多部件结构化3D网格的组合式潜在扩散Transformer模型,通过解耦潜在token和层次化注意力实现部件级生成,无需预分割输入,并在可分解3D网格生成任务上优于现有方法。
2025-06-05 cs.CV
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology(快手科技)
SingDance是统一视频扩散框架,将语音表达设为语义角色,通过硬紧凑路由等技术实现组合式零样本歌舞视频生成,参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
GeoComposer: Geometry-Grounded Photographic Composition Instruction
University of Alberta(阿尔伯塔大学);University of Waterloo(滑铁卢大学)
本文提出GeoComposer框架,通过几何感知表示学习和混合奖励强化学习,实现基于三维几何一致性的摄影构图编辑,生成视觉美观且几何一致的构图范例。
2026-09-23 cs.CV
coDrawAgents: A Multi-Agent Dialogue Framework for Compositional Image Generation
Lingnan University(岭南大学);CMU(卡内基梅隆大学);CUHK(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院);SJTU(上海交通大学);HKU(香港大学);China University of Petroleum(中国石油大学)
coDrawAgents通过四类智能体协作提升复杂场景中多对象生成的准确性与属性保持,实验表明其在文本-图像对齐、空间准确性和属性绑定方面表现更优。
2026-03-13 cs.CV
Energy-Efficient Uncertainty-Aware Biomass Composition Prediction at the Edge
Saint Louis University(圣路易斯大学);Technological University Dublin(都柏林理工大学);Walton Institute(沃尔顿研究所);South East Technological University(东南理工大学);Australian Institute of Machine Learning(澳大利亚机器学习研究院)
针对田间草地干生物质成分预测的深度学习模型边缘部署能耗高的问题,提出结合滤波器剪枝、不确定性预测与混合推理的方法,在仅损失4%准确率的情况下将能耗平均降低50%。
2024-04-17 cs.AI cs.CV
CARINOX: Inference-time Scaling with Category-Aware Reward-based Initial Noise Optimization and Exploration
Sharif University of Technology(谢里夫理工大学)
本文提出CARINOX框架,结合噪声优化与探索,通过基于人类判断的奖励选择提升文本到图像扩散模型的对齐性能,在两个基准测试中分别提升16%和11%。
2026-09-09 cs.CL cs.CV
Dependency-Aware Discrete Diffusion for Scene Graph Generation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种依赖感知的层次约束离散扩散模型,用于生成场景图,通过分离结构与语义,提升生成的依赖关系和层次结构,实验显示在场景图和布局指标上优于基线方法,并在多对象场景中提升图像生成的对齐效果。
2026-05-09 cs.CV cs.LG
MixSyn: Learning Composition and Style for Multi-Source Image Synthesis
Intel(英特尔);Binghamton University(宾汉姆顿大学)
生成模型创建的合成图像在质量和表现力方面有所提高,因为新的模型使用更大的数据集和新的架构。虽然从创造性的角度来看,这种照相现实主义是一种积极的副作用,但当这种生成模型未经同意用于模仿时,它就成了问题。这些方法大多建立在源和目标对之间的部分转移上,或者它们基于理想分布生成全新的样本,仍然类似于数据集中最接近的真实样本。我们提出了MixSyn(读作“mixin”),用于从多个源学习新的模糊组合,并创建新的图像作为对应于组合的图像区域的混合。MixSyn不仅将来自多个源掩码的不相关区域组合成一个连贯的语义组合,而且还生成不存在图像的掩码感知高质量重建。我们将MixSyn与最先进的单源顺序生成和拼贴生成方法在质量,多样性,真实性和表达能力方面进行了比较;同时还展示了交互式合成,混合和匹配以及编辑传播任务,没有掩码依赖性。
2021-11-24 cs.AI cs.CV
BMCR: Adaptive Backbone Module Composition via Reinforcement Learning for Remote Sensing Object Detection
College of Electronic Science and Technology, National University of Defense Technology(电子科学与技术学院,国防科技大学)
提出BMCR方法,通过强化学习动态组合CNN和ViT的模块化主干,解决遥感目标检测中不同复杂度输入的自适应特征提取问题,在多个数据集上取得领先性能。
2026-06-04 cs.CV cs.MM
Hardness-Aware Scene Synthesis for Semi-Supervised 3D Object Detection
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校)
提出硬度感知场景合成方法,利用伪标签组合物体与背景生成自适应合成场景,并引入硬度策略与动态伪数据库,在KITTI和Waymo上超越现有半监督3D检测方法。
2024-05-27 cs.AI cs.CV cs.LG