Clutter Detection and Removal by Multi-Objective Analysis for Photographic Guidance
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出一种相机指导系统，通过多目标美学分析识别杂乱，并结合生成对抗网络修复图像，帮助用户在更短时间内拍出更高质量的照片。
2025-07-19 cs.CV cs.HC
Guidance for Low-Level Perceptual Editing in Unconditional Diffusion Models
Indian Institute of Technology Roorkee（印度理工学院罗尔基）
针对无条件扩散模型在美学和感知增强中难以进行全局低级变换的问题，提出一种无需训练的推理时机制，通过提取退化概念向量并结合瓶颈修补与无分类器引导，实现图像编辑与质量提升。
2026-05-29 cs.CV cs.LG
Enhancing Image Aesthetics with Dual-Conditioned Diffusion Models Guided by Multimodal Perception
本文提出双监督图像美学增强模型DIAE，通过多模态感知和双分支监督框架提升图像美学质量与内容一致性。
2026-03-12 cs.CV
Layout Control and Semantic Guidance with Attention Loss Backward for T2I Diffusion Model
Suning（苏宁）
本文提出一种基于注意力损失反向传播的无训练方法，通过控制交叉注意力图，解决T2I扩散模型在可控生成中的属性不匹配和布局完成度不足问题，无需训练或微调即可实现显式布局约束。
2024-11-11 cs.CV
High-Resolution Artwork Outpainting with Global Blueprint Guidance and Layout Control
Hanyang University（汉阳大学）
研究针对高分辨率艺术作品外绘画存在的问题，提出全局蓝图引导的两阶段扩散框架，通过布局适配器生成蓝图并提取特征，并行合成局部补丁，实现高效合成与布局控制，提升视觉保真度、语义一致性并减少推理时间。
2026-07-08 cs.CV
ArtChart: Faithful Artistic Chart Generation with Integrated Text Rendering
Ant Group（蚂蚁集团）
研究旨在解决艺术图表生成难题，提出ArtChart框架，含特定即插即用模块及强化学习等策略，构建基准测试和评估套件，实验证明该框架能生成兼具美观与数学准确性的图表，优于开源基线。
2026-08-06 cs.CV
MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
本文提出MS-Diffusion框架，通过结合grounding tokens与特征重采样器并引入布局引导的多主体交叉注意力机制，实现了多主体零样本文本到图像个性化生成，显著提升了图像与文本保真度。
2025-03-04 cs.CV
End-to-End Diffusion Latent Optimization Improves Classifier Guidance
Salesforce Research（赛富时研究院）；Stanford University（斯坦福大学）
本文提出DOODL方法，通过直接优化扩散潜在并利用可逆扩散过程实现内存高效反向传播，解决了传统分类器引导中梯度错位问题，在多种引导任务上优于一步分类器引导。
2023-05-31 cs.AI cs.CV cs.LG
Composition-aware Graphic Layout GAN for Visual-textual Presentation Designs
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
在本文中，我们研究的图形布局生成问题，产生高品质的视觉-文本演示设计给定的图像。我们注意到，图像组合，其中不仅包含全局语义，而且空间信息，将在很大程度上影响布局结果。因此，我们提出了一个深度生成模型，被称为组合感知的图形布局GAN（CGL-GAN），合成布局的基础上的全球和空间的视觉内容的输入图像。为了从已经包含手动设计的图形布局数据的图像中获得训练图像，先前的工作建议掩蔽设计元素（例如，文本和修饰）作为模型输入，这不可避免地留下了地面真相的暗示。我们研究了训练输入（有提示掩码）和测试输入（没有掩码）之间的不对齐，并设计了一种新的域对齐模块（DAM）来缩小这一差距。为了进行训练，我们构建了一个大规模的布局数据集，其中包含60，548张带有注释布局信息的广告海报。为了评估生成的布局，我们提出了三个新的指标，根据审美直觉。通过定量和定性的评价，我们表明，该模型可以合成高质量的图形布局，根据图像组成。
2022-07-13 cs.CV
DiffQRCoder: Diffusion-based Aesthetic QR Code Generation with Scanning Robustness Guided Iterative Refinement
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）
本文提出无需训练的DiffQRCoder，通过SRPG扩散引导与SR-MPGD潜空间迭代优化，在保持QR码视觉美感的同时显著提升扫描鲁棒性。
2025-02-15 cs.CV
LSReGen: Large-Scale Regional Generator via Backward Guidance Framework
Zhejiang University（浙江大学）；Hangzhou University（杭州大学）
针对可控图像生成中现有方法的局限，提出广义反向引导框架及LSReGen大规模布局到图像方法，实验证明其生成高质量且符合布局的图像，优于现有方法。
2024-07-21 cs.CV
Layout-Corrector: Alleviating Layout Sticking Phenomenon in Discrete Diffusion Model
Graduate School of Engineering, Tohoku University（东北大学工程学院）；LY Corporation（LY公司）
本文针对离散扩散模型中的布局粘滞现象，提出了一个基于学习的布局评估模块Layout-Corrector，通过识别并重新初始化不和谐的token，利用高分token作为线索指导模型重新生成，从而显著提升了布局生成的性能与多样性。
2024-09-25 cs.AI cs.CV cs.GR
AccelAes: Accelerating Diffusion Transformers for Training-Free Aesthetic-Enhanced Image Generation
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）
本文提出AccelAes框架，通过空间-时间缩减提升扩散变换器的生成效率与美学质量，在Lumina-Next上实现2.11倍加速并提升ImageReward 11.9%。
2026-06-28 cs.CV
POSTA: A Go-to Framework for Customized Artistic Poster Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对现有自动海报设计方法文本准确性、定制性与审美不足的问题，提出由扩散模型和MLLMs驱动的模块化框架POSTA，含三个功能模块，搭配自建PosterArt数据集训练，在文本准确性与审美质量上优于现有模型。
2025-03-19 cs.AI cs.CV cs.GR
Spatial-Aware Latent Initialization for Controllable Image Generation
The Hong Kong University of Science Technology（香港科技大学）
针对文本到图像扩散模型布局控制效果差的问题，提出基于空间感知初始化噪声的即插即用方法，可集成到免训练布局框架中，在Stable Diffusion和COCO上验证了其提升布局引导效果且保留生成质量的作用。
2024-01-29 cs.AI cs.CV
RSGen: Enhancing Layout-Driven Remote Sensing Image Generation with Diverse Edge Guidance
School of Future Science and Engineering, Soochow University, Suzhou, China（未来科学与工程学院，苏州大学）；D-Robotics, Beijing, China（北京D-机器人）；Fraunhofer Institute for Applied Information Technology, Sankt Augustin, Germany（弗劳恩霍夫应用信息技术研究所）；School of Mathematical and Computing Sciences, Heriot-Watt University Malaysia, Putrajaya, Malaysia（数学与计算科学学院，赫瑞-瓦德大学马来西亚分校）；Institute of Automation, Chinese Academy of Sciences, Beijing, China（自动化研究所，中国科学院北京分院）
RSGen通过多样边缘引导提升布局驱动的遥感图像生成，增强细粒度控制并严格遵守边界框约束，实验表明其显著提升了现有L2I模型性能。
2026-03-17 cs.AI cs.CV
Pareto-Enhanced Portrait Generation: Vision-Aligned Text Supervision for Alignment, Realism, and Aesthetics
本文提出了一种多模态扩散变换器（MM-DiT）的特征监督方法，通过引入轻量级的跨模态对齐机制，隐式提取多粒度的视觉对齐文本表示，以提升文本-图像对齐、真实性和美学质量，从而在Pareto前沿上实现协同改进。
2026-05-20 cs.AI cs.CV
A-Lamp: Adaptive Layout-Aware Multi-Patch Deep Convolutional Neural Network for Photo Aesthetic Assessment
SUNY at Buffalo（布法罗纽约州立大学）；Tianjin University（天津大学）
深度卷积神经网络（CNN）最近被证明可以为美学评估产生有希望的结果。然而，这些深度CNN方法的性能通常受到神经网络仅采用固定大小输入的约束的影响。为了满足这一要求，输入图像需要通过裁剪、扭曲或填充进行变换，这通常会改变图像组成、降低图像分辨率或导致图像失真。因此，原始图像的美学受到损害，因为潜在的损失的细粒度的细节和整体的图像布局。然而，这种细粒度的细节和整体图像布局对于评估图像的美学至关重要。在本文中，我们提出了一个自适应布局感知多补丁卷积神经网络（A-Lamp CNN）架构的照片美学评估。该方案能够接受任意大小的图像，并同时从细粒度细节和整体图像布局中学习。为了能够在这些混合输入上进行训练，我们通过开发专用的双子网神经网络结构来扩展该方法，即多补丁子网和布局感知子网。我们进一步构建了一个聚合层，以有效地结合这两个混合特征。在大规模美学评估基准（AVA）上进行的大量实验表明，与最先进的照片美学评估方法相比，该方法的性能有了显着提高。
2017-04-02 cs.CV
LayoutDiT: Exploring Content-Graphic Balance in Layout Generation with Diffusion Transformer
Tsinghua University（清华大学）；HKUST（香港科技大学）；Tencent（腾讯）
本文提出LayoutDiT框架，通过自适应因子与显著性边界框条件平衡内容与图形特征，并采用扩散Transformer骨干，在受限与非受限布局生成任务中显著优于现有方法。
2024-11-22 cs.CV
AesthetiQ: Enhancing Graphic Layout Design via Aesthetic-Aware Preference Alignment of Multi-modal Large Language Models
Adobe（奥多比公司）；Adobe Research（奥多比研究院）；MDSR（MDSR机构）
提出AAPA技术，利用MLLM的美学偏好进行Direct Preference Optimization，通过数据过滤协议和MLLM评估指标，在Crello和Webui基准上分别提升17%和16%，显著改进图形布局设计的美学感知生成。
2025-03-01 cs.CV
STAY Diffusion: Styled Layout Diffusion Model for Diverse Layout-to-Image Generation
Bosch Center for Artificial Intelligence（博世人工智能中心）；Institute of Industrial Manufacturing and Management IFF, University of Stuttgart（斯图加特大学工业制造与管理研究所）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
针对布局到图像生成，本文提出 STAY Diffusion，通过 EA Norm、自监督语义图与 SM Attention 增强全局条件和对象关系建模，提升图像质量、多样性、准确性与可控性。
2025-03-15 cs.CV
AeSlides: Incentivizing Aesthetic Layout in LLM-Based Slide Generation via Verifiable Rewards
Beijing Institute of Technology（北京理工大学）；Zhipu AI (Z.ai)（智谱AI）
本文提出AeSlides框架，通过可验证奖励优化幻灯片生成的美观布局，实验表明其在布局合规性、空格减少、元素碰撞和视觉平衡方面均优于现有方法。
2026-04-21 cs.CL cs.CV cs.MM
LayoutAgent: A Vision-Language Agent Guided Compositional Diffusion for Spatial Layout Planning
Personalization Team, Walmart Global Tech（Walmart全球科技个性化团队）
本文提出 LayoutAgent 框架，结合视觉-语言模型预处理与机器人学中的组合扩散生成尊重语义和物理关系的边界框，并由前景条件生成器合成完整场景，在布局连贯性、空间真实性和美学对齐上优于现有模型。
2025-09-24 cs.AI cs.CV cs.LG
Editable Visual Design
针对扩散模型生成图像不可分层编辑、编码智能体视觉生成缺乏审美直觉的问题，本文提出可编辑视觉设计范式，结合VLM与图像生成模型，实现兼具精致审美与生产级可编辑性的视觉内容生成。
2026-09-07 cs.CL cs.CV
LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation
UC San Diego（加州大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）；Meta；Amazon（亚马逊）；Lambda
LIFT提出统一框架，通过未来布局控制与在线策略自蒸馏，解决大视角变化下视频生成的内容与布局可控性问题，提升视频质量与可控性。
2026-09-30 cs.CV
Document Layout Analysis with Aesthetic-Guided Image Augmentation
Fudan University（复旦大学）；East China Normal University（华东师范大学）；Videt Lab（Videt实验室）；Zhongshan Hospital, Fudan University（复旦大学附属中山医院）
文档版面分析在信息抽取和文档理解中起着重要的作用。目前，文档布局分析已经取得了里程碑式的成就，然而，非曼哈顿的文档布局分析仍然是一个挑战。在本文中，我们提出了一种图像层建模方法来应对这一挑战。为了衡量所提出的图像层建模方法，我们提出了一个手动标记的非曼哈顿布局细粒度分割数据集，名为FPD。据我们所知，FPD是第一个手动标记的非曼哈顿布局细粒度分割数据集。为了有效地提取文档的细粒度特征，我们提出了一种名为L-E^3 Net的边缘嵌入网络。实验结果表明，本文提出的图像层建模方法能够较好地处理非曼哈顿布局的细粒度分割文档。
2021-11-27 cs.CV
Compositional Image Synthesis with Inference-Time Scaling
Inha University（仁荷大学）
本文提出一种无需训练的框架，结合对象中心方法与自我完善，提升布局忠实度并保持美学质量，通过大语言模型生成布局并注入图像生成过程，利用对象中心视觉-语言模型进行迭代选择，实现更强的场景对齐。
2026-03-27 cs.AI cs.CV
Beyond Flat Text: Dual Self-inherited Guidance for Visual Text Generation
Nankai University（南开大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
针对扩散模型在倾斜、弯曲等复杂文本布局下易生成扭曲文本且与背景不协调的问题，本文提出免训练框架STGen，通过语义校正与结构注入双分支实现高质量协调的复杂布局视觉文本生成。
2025-03-22 cs.CV
Layered Rendering Diffusion Model for Controllable Zero-Shot Image Synthesis
Beihang University（北京航空航天大学）；University of Bristol（布里斯托大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对文本驱动扩散模型空间可控性不足的问题，提出视觉引导优化零样本搜索空间，并构建分层渲染扩散（LRDiff）框架，通过多图层独立视觉引导控制对象去噪方向，在两类布局转图像任务中性能优于现有技术，还支持空间可控编辑。
2024-11-29 cs.CV
Aesthetic Text Logo Synthesis via Content-aware Layout Inferring
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Tencent（腾讯）
文字标志设计在很大程度上依赖于专业设计人员的创造力和专业知识，其中元素布局的安排是最重要的步骤之一。然而，很少有人注意到这项需要考虑许多因素的任务（例如，字体、语言学、主题等）考虑到。在本文中，我们提出了一个内容感知的布局生成网络，该网络将图像及其相应的文本作为输入，并自动合成美学布局。具体来说，我们开发了一个双轮廓模块，包括一个序列轮廓和一个图像轮廓，分别评估合成文本徽标的字符放置轨迹和渲染形状。此外，我们还融合了文本中的语言学信息和字形中的视觉语义信息来指导版面预测，这两种信息在专业版面设计中起着重要的作用。为了训练和评估我们的方法，我们构建了一个名为TextLogo 3 K的数据集，由大约3,500个文本徽标图像及其像素级注释组成。在此数据集上的实验研究证明了我们的方法在合成视觉上令人愉悦的文本徽标方面的有效性，并验证了其对最先进技术的优越性。
2022-04-06 cs.CV
MFTF: Mask-free Training-free Object Level Layout Control Diffusion Model
针对扩散模型仅靠文本难以精确控制物体位置且现有方法依赖额外掩码或重训练的局限，提出无需掩码免训练的物体级布局控制扩散模型（MFTF），通过源与目标扩散模型并行去噪及交叉注意力掩码引导自注意力查询调整，实现精确的单/多物体位置与语义编辑。
2024-12-18 cs.AI cs.CV
Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization
针对文本到图像个性化方法过拟合导致生成多样性不足的问题，提出免训练的Pick-and-Draw语义引导方法，通过外观拾取与布局绘制双组件，在单参考图像下提升身份一致性与生成多样性，推动保真度权衡达到新帕累托前沿。
2024-01-30 cs.CV
SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation
State Grid Corporation of China（中国国家电网公司）；SGIT AI Lab（SGIT人工智能实验室）
提出SSMG扩散模型，利用布局导出的特征图作为引导，结合关系敏感和位置敏感注意力机制，实现自由形式布局到图像生成，在保真度、多样性和可控性上达到新最先进水平。
2024-03-13 cs.AI cs.CV
CountLoop: Training-Free High-Instance Image Generation via Iterative Agent Guidance
University of Surrey（萨里大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Simon Fraser University（西蒙菲莎大学）
CountLoop通过迭代反馈机制实现高密度场景下的精确实例控制，结合视觉语言模型生成布局和评估反馈，减少计数误差并提升空间质量。
2026-10-01 cs.CV
Repurposing 3D Generative Model for Autoregressive Layout Generation
School of Software, Beihang University（北航软件学院）；Tsinghua University（清华大学）；University of Hong Kong（香港大学）；Tencent Hunyuan（腾讯文英）；Peking University（北京大学）
本文提出LaviGen框架，利用3D生成模型直接在3D空间中生成布局，通过自回归过程建模几何关系和物理约束，提升3D场景的物理合理性与效率。
2026-08-19 cs.CV
LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts
Sun Yat-Sen University（中山大学）；Jinan University（暨南大学）；University of Oxford（牛津大学）
本文提出 LAW-Diffusion，通过空间依赖解析、跨对象注意力、自适应布局引导和潜在嫁接实现可控、和谐且可局部重构的复杂场景生成，并以 SRS 指标验证其达到最优效果。
2023-08-13 cs.CV
Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究所）
Venus通过两阶段框架提升多模态大语言模型的审美指导与裁剪能力，实现可解释的审美优化。
2026-02-27 cs.CV
Multi-Scale Diffusion: Enhancing Spatial Layout in High-Resolution Panoramic Image Generation
Zhejiang University（浙江大学）
本文提出多尺度扩散（MSD）框架，利用梯度下降将低分辨率结构信息融入高分辨率输出，解决了高分辨率全景图生成中空间布局不一致的问题，显著提升了生成连贯性。
2025-04-06 cs.CV
GLDesigner: Leveraging Multi-Modal LLMs as Designer for Enhanced Aesthetic Text Glyph Layouts
Dalian University of Technology（大连理工大学）；Alibaba Group（阿里巴巴集团）
本文提出基于视觉-语言模型的GLDesigner框架，通过多模态输入和用户约束生成内容感知的文本标志布局，并构建五倍于现有规模的数据集，在几何美学和人类偏好基准上超越现有方法。
2025-08-02 cs.CV
Create Anything Anywhere: Layout-Controllable Personalized Diffusion Model for Multiple Subjects
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知大学科学与技术大学实验室）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究所）
提出LCP-Diffusion框架，通过动态-静态互补视觉细化模块和双重布局控制机制，在免微调方式下实现多主体身份保持与灵活布局控制。
2025-05-27 cs.CV
Learning Interaction between Image and Layout Priors for Joint Image-Layout Generation in Design Templates
ShanghaiTech University（上海科技大学）
针对设计模板生成中背景与布局依赖缺失的问题，提出InterIL模型，通过可学习通信模块连接冻结的预训练图像与布局扩散模型，联合生成图像和布局，并支持测试时用户偏好引导，显著提升生成和谐度。
2026-09-11 cs.AI cs.CV cs.GR
High Fidelity Text to Image Generation with Contrastive Alignment and Structural Guidance
Columbia University（哥伦比亚大学）
针对文本驱动图像生成在语义对齐与结构一致性上的瓶颈，提出整合文本-图像对比约束与结构引导机制的高保真生成方法，通过联合优化多项损失提升图像质量，在COCO-2014上验证了优越性能。
2025-08-14 cs.CV
Layout-Bridging Text-to-Image Synthesis
Beihang University（北京航空航天大学）；Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））
文本到图像合成的关键在于难以保持输入文本和合成图像之间的跨模态语义一致性。典型的方法，试图直接建模的文本到图像的映射，只能捕获文本中的关键字，表示共同的对象或动作，但不能学习他们的空间分布模式。规避这种限制的有效方法是生成图像布局作为指导，这是通过几种方法尝试的。然而，由于输入文本和对象位置的多样性，这些方法无法生成实际有效的布局。在本文中，我们推动在文本到布局生成和布局到图像合成有效的建模。具体来说，我们制定的文本到布局生成序列到序列建模任务，并建立我们的模型上Transformer学习对象之间的空间关系，通过建模它们之间的顺序依赖关系。在布局到图像合成阶段，我们专注于学习布局中每个对象的文本视觉语义对齐，以精确地将输入文本纳入布局到图像合成过程中。为了评估生成的布局的质量，我们专门设计了一个新的度量标准，称为布局质量分数，它既考虑了布局中边界框的绝对分布误差，也考虑了它们之间的相互空间关系。在三个数据集上进行的大量实验表明，我们的方法在预测布局和从给定文本合成图像方面的性能优于最先进的方法。
2022-08-12 cs.CV
Griffin: Generative Reference and Layout Guided Image Composition
Simon Fraser University（西蒙弗雷泽大学）；Huawei（华为）；University of Toronto（多伦多大学）
针对多图像布局控制问题，本文提出无需训练的 Griffin 方法，以单张参考图像和布局信息实现对象级与部件级的可控图像合成。
2025-09-30 cs.CV
iPLAN: Interactive and Procedural Layout Planning
University of Leeds（利兹大学）
布局设计在许多应用中无处不在，例如建筑/城市规划等，这涉及到漫长的迭代设计过程。最近，人们利用深度学习通过图像生成自动生成布局，这显示出将设计师从繁重的日常工作中解放出来的巨大潜力。虽然自动生成可以大大提高生产力，但设计师的输入无疑至关重要。一个理想的人工智能辅助设计工具应该自动化重复的例程，同时接受人类的指导并提供智能/主动的建议。然而，现有的方法大多是端到端的方法，在很大程度上忽略了人类参与循环的能力。为此，我们提出了一种新的人在回路生成模型iPLAN，它能够自动生成布局，而且在整个过程中与设计师进行交互，使人类和人工智能能够共同发展一个粗略的想法逐渐成为最终的设计。iPLAN在不同的数据集上进行了评估，并与现有的方法进行了比较。结果表明，iPLAN在生成与人类设计师相似的布局时具有很高的保真度，在接受设计师输入并相应地提供设计建议时具有很大的灵活性，并且在面对不可见的设计任务和有限的训练数据时具有很强的泛化能力。
2022-06-08 cs.CV
Aesthetic Language Guidance Generation of Images Using Attribute Comparison
Beijing Electronic Science and Technology Institute（北京电子科技学院）
随着手机摄影技术的蓬勃发展，各大手机厂商都在争相提升设备的拍摄能力和软件的照片美化算法。然而，智能设备和算法的改进并不能取代人的主观摄影技术。本文提出了形象审美语言导向。根据引导规则是基于摄影模板还是基于引导图像，我们将ALG分为ALG-T和ALG-I。无论是ALG-T还是ALG-I，我们都从色彩、光线和构图三个属性来指导摄影。输入图像与摄影模板或引导图像之间的三个属性的差异用自然语言描述，这是美学自然语言引导（ALG）。此外，由于风景图像和肖像图像之间的照明和构图的差异，我们将输入图像分为风景图像和肖像图像。ALG-T和ALG-I分别对两种类型的输入图像（风景图像和肖像图像）进行美学语言指导。
2022-08-09 cs.CV
CityGen: Infinite and Controllable City Layout Generation
Zhejiang University（浙江大学）；University of Washington（华盛顿大学）
CityGen提出端到端城市布局生成框架，通过无限扩展模块和多尺度细化模块实现从局部到城市尺度的无限、多样且可控生成，并支持草图交互引导与2D到3D转换，在多项指标上达到最先进水平。
2025-04-11 cs.CV
LayoutRAG: Retrieval-Augmented Model for Content-agnostic Conditional Layout Generation
Xi’an Jiaotong University（西安交通大学）；Amazon.com, Inc.（亚马逊公司）；Pixocial Technology（Pixocial技术）
LayoutRAG通过检索与给定条件兼容的布局模板作为参考来引导去噪或流匹配生成过程，并设计条件调制注意力选择性吸收检索知识，从而在内容无关的条件布局生成任务中超越现有最先进模型。
2025-06-03 cs.CV
Dense Text-to-Image Generation with Attention Modulation
NAVER AI Lab（NAVER人工智能实验室）；Carnegie Mellon University（卡内基梅隆大学）
针对现有文本到图像扩散模型难以处理密集区域描述的问题，提出无需训练的DenseDiffusion方法，通过注意力调制实现布局控制，在无需额外数据的情况下提升生成效果，媲美专门训练的布局条件模型。
2023-08-24 cs.CV cs.GR cs.LG
TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering
Microsoft Research（微软研究院）；HKUST（香港科技大学）；Sun Yat-sen University（中山大学）
TextDiffuser-2 通过微调大语言模型进行布局规划，并在扩散模型中以行级别编码位置和文本，从而提升文本渲染的布局合理性与生成多样性。
2023-11-28 cs.CV
Diffusion-based Facial Aesthetics Enhancement with 3D Structure Guidance
School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算与人工智能学院）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
针对面部美化中身份易损失的问题，提出NNSG-Diffusion，利用最近邻参考人脸构建三维深度与轮廓引导并控制Stable Diffusion，实现更保身份的美学增强。
2025-03-18 cs.CV
StyleSSP: Sampling StartPoint Enhancement for Training-free Diffusion-based Method for Style Transfer
Zhejiang University（浙江大学）；Dcar（懂车帝）
针对免训练扩散风格迁移中的内容布局改变与风格图内容泄漏，本文提出 StyleSSP，通过优化 DDIM 潜变量频率成分和反演负向引导改进采样起点，提升内容保持并减少泄漏。
2025-03-14 cs.CV
Context-Aware Text-Based Binary Image Stylization and Synthesis
Peking University（北京大学）；Institute of Computer Science and Technology（计算机科学技术研究所）
在这项工作中，我们提出了一个新的框架，基于文本的二进制图像的风格化。首先，我们的方法风格化的基于笔划的几何形状，如文本，符号和图标在目标二进制图像的基础上输入的风格图像。第二，探讨了程式化几何形状和背景图像的构成。为了完成这项任务，我们提出了保持易读性的结构和纹理转移算法，逐步缩小二进制图像和风格图像之间的视觉差异。然后，风格化之后是上下文感知的布局设计算法，其中采用无缝性和美学的线索来确定背景中形状的最佳布局。给定布局，二值图像无缝嵌入到背景下的上下文感知的边界约束下的纹理合成。根据二值图像的内容，我们的方法可以应用到许多领域。我们表明，所提出的方法是能够解决无监督的文本风格化问题，并优于国家的最先进的风格转移方法在自动艺术排版创作。此外，在视觉-文本合成、图标/符号绘制和结构引导的图像修补等多个任务上的大量实验表明了该方法的有效性。
2018-10-09 cs.CV
Text-to-Image Generation via Implicit Visual Guidance and Hypernetwork
University of Chicago（芝加哥大学）；Adobe Research（奥多比研究院）；University of Surrey（萨里大学）
我们开发了一种方法，文本到图像的生成，包括额外的检索图像，隐含的视觉指导损失和生成目标的组合驱动。与大多数现有的文本到图像的生成方法，仅仅把文本作为输入，我们的方法动态饲料的跨模态搜索结果到一个统一的训练阶段，从而提高质量，可控性和多样性的生成结果。我们提出了一种新的超网络调制的视觉-文本编码方案来预测编码层的权重更新，使视觉信息（例如布局，内容）有效地转移到相应的潜在域。实验结果表明，我们的模型指导额外的检索视觉数据优于现有的基于GAN的模型。在COCO数据集上，与最先进的方法相比，我们用最多$3.5 \times$更少的生成器参数实现了$9.13$的更好的FID。
2022-08-17 cs.CV
