LayoutEnhancer: Generating Good Indoor Layouts from Imperfect Data
NJIT（新泽西理工学院）；TU Wien（维也纳工业大学）；Adobe Research（Adobe研究院）
我们解决了室内布局合成问题，这是计算机图形学中持续研究的主题。最新的作品使用数据驱动的生成方法取得了重大进展;然而，这些方法依赖于合适的数据集。在实践中，期望的布局属性可能不存在于数据集中，例如，特定的专家知识可能在数据中缺失。我们提出了一种方法，结合专家知识，例如，人体工程学的知识，与数据驱动的生成器的基础上流行的Transformer架构。知识作为可微标量函数给出，其既可以用作权值，也可以用作损失函数中的附加项。使用这些知识，合成的布局可以被偏置以展示期望的属性，即使这些属性不存在于数据集中。我们的方法还可以缓解数据缺乏和数据不完善的问题。我们的工作旨在改进生成式机器学习建模，并为设计师和业余爱好者提供新颖的工具，以解决室内布局创建的问题。
2022-10-06 cs.AI cs.CV cs.GR
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute（Idiap 研究院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文扩展NVIB框架替换Transformer所有注意力函数，提出恒等初始化将预训练Transformer重新解释为非参数变分模型，并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction
UC Berkeley（加州大学伯克利分校）；UPenn（宾夕法尼亚大学）；UMich（密歇根大学）；THU（清华大学）；Transcengram（瞬像科技）；Tsinghua SIGS（清华大学深圳国际研究生院）；HKU（香港大学）；JHU（约翰斯·霍普金斯大学）
本文提出线性复杂度的Token Statistics Self-Attention (TSSA)模块及ToST架构，通过变分MCR²目标的展开梯度下降推导而成，在视觉和语言等任务上媲美传统Transformer，挑战了成对相似度注意力不可或缺的传统观点。
2024-12-23 cs.LG
Variational Quantum Transformer Architecture for Synthetic Language Generation
Institute of Informatics, LMU Munich（慕尼黑大学信息学院 (LMU Munich 信息学院)）
本文提出一种NISQ兼容的变分量子Transformer架构用于合成语言生成，通过量子编码器和解码器块实现自回归建模，在语法生成任务上验证了可训练性，但性能不及经典基线，不声称量子优势。
2026-09-17 cs.CL cs.LG quant-ph
Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention
Naval Surface Warfare Center, Panama City Division（海军水面作战中心巴拿马城分部）
本文提出变分量子Transformer架构SASQuaTCh，利用基于核的自注意力机制和量子傅里叶变换，以指数级降低参数与运行复杂度，并在仅9量子比特下实现高精度手写数字图像分类。
2025-02-05 cs.LG quant-ph
Dolfin: Diffusion Layout Transformers without Autoencoder
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Tsinghua University（清华大学）
本文提出新型生成模型Dolfin，采用基于Transformer的扩散过程建模布局生成，并提出Dolfin-AR捕捉相邻对象语义相关性，在多项指标上显著提升性能且适用于建模几何结构。
2023-10-25 cs.CV cs.LG
BLT: Bidirectional Layout Transformer for Controllable Layout Generation
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
创建视觉布局是图形设计中的关键步骤。这种布局的自动生成对于可扩展和多样化的视觉设计至关重要。为了提高条件版图生成的速度，我们引入了双向版图Transformer BLT。BLT不同于以前的工作Transformers器采用非自回归Transformers。在训练中，BLT通过在两个方向上关注周围的属性来学习预测被掩蔽的属性。在推理过程中，BLT首先从输入中生成一个草稿布局，然后通过屏蔽低置信度的属性来迭代地将其细化为高质量的布局。在训练和推理中生成的掩码由一种新的分层抽样策略控制。我们验证了所提出的模型上的六个基准的不同的设计任务。实验结果证明了两个好处相比，国家的最先进的布局Transformer模型。首先，我们的模型授权布局Transformers，以实现可控的布局生成。其次，它在推理时生成布局的速度比布局Transformer基线快10倍。代码发布于https://shawnkx.github.io/blt。
2022-07-24 cs.CV
Infinite-Precision Autoregressive Modeling for Vector Graphics and Layouts
Seoul National University（首尔国立大学）；Samsung Electronics（三星电子）
AGDC通过联合建模离散和连续值，实现变长序列的高精度生成，适用于半导体设计等高精度领域。
2026-07-28 cs.AI cs.CV cs.LG
DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer
生成视觉布局是图形设计的一个重要组成部分。对于涉及用户交互的实际应用程序来说，根据组件属性的部分子集来调节布局生成的能力是至关重要的。近年来，扩散模型已在多个领域显示出高质量的生成性能。然而，目前还不清楚如何将扩散模型应用于由离散（类）和连续（位置，大小）属性的混合组成的布局的自然表示。为了解决条件布局生成问题，我们引入DLT，一个联合离散-连续扩散模型。DLT是一种基于transformer的模型，它具有灵活的调节机制，允许对所有布局组件类、位置和大小的任何给定子集进行调节。我们的方法在不同的度量和条件设置方面优于各种布局生成数据集上的最先进的生成模型。此外，我们验证了我们提出的条件反射机制和联合连续扩散过程的有效性。这种联合过程可以被纳入到广泛的混合离散-连续生成任务中。
2023-03-07 cs.AI cs.CV cs.LG
LayoutDM: Transformer-based Diffusion Model for Layout Generation
University of Science and Technology of China（中国科学技术大学）；Tianjin University（天津大学）
针对现有布局生成模型质量与多样性不足的问题，本文提出基于Transformer的布局扩散模型LayoutDM，通过纯Transformer架构的条件布局去噪器学习反向扩散过程，在质量和多样性上均优于当前最优生成模型。
2023-05-04 cs.CV
Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation
The University of Tokyo（东京大学）；CyberAgent（CyberAgent公司）
针对高维布局训练数据有限的问题，提出 RALF，利用基于输入图像检索到的最近邻布局增强自回归 Transformer，在统一架构中完成多种可控布局生成并显著优于基线。
2024-04-15 cs.CV
LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware Transformer Network
East China Normal University（华东师范大学）；Yiwo Technology（易沃科技）
使用深度神经网络通过单个全景图进行3D房间布局估计已经取得了很大进展。然而，以前的方法不能获得有效的几何感知的房间布局与唯一的纬度的边界或水平深度。我们提出，使用水平深度随着房间高度可以获得全向几何意识的房间布局在水平和垂直方向。此外，我们提出了一个平面几何感知的损失函数与法线和法线的梯度，以监督墙壁的平面度和拐角的转折。我们提出了一个有效的网络，LGT-Net，房间布局估计，其中包含一个新的Transformer架构称为SWG-Transformer模型的几何关系。SWG-Transformer由（移位）窗口块和全局块组成，以结合局部和全局几何关系。此外，我们设计了一种新的相对位置嵌入的Transformer，以提高空间识别能力的全景。实验结果表明，建议的LGT-Net取得了更好的性能比当前的最先进的（SOTA）的基准数据集。
2022-03-25 cs.CV
PQ-Transformer: Jointly Parsing 3D Objects and Layouts from Point Clouds
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院）；Intel Labs China（英特尔中国研究院）；Peking University（北京大学）
点云三维场景理解在机器人应用中起着重要的作用。不幸的是，目前最先进的方法使用单独的神经网络用于不同的任务，如目标检测或房间布局估计。这样的方案有两个局限性：1）对于典型的机器人平台，存储和运行用于不同任务的多个网络是昂贵的。2)单独输出的内在结构被忽略并可能被违反。为此，我们提出了第一个Transformer架构，同时预测3D对象和布局，使用点云输入。与现有的估计布局关键点或边缘的方法不同，我们直接将房间布局参数化为一组四边形。因此，所提出的架构被称为P（oint）Q（uad）-Transformer。随着新的四表示，我们提出了一个量身定制的物理约束损失函数，阻止对象布局干扰。在公共基准ScanNet上的定量和定性评估表明，所提出的PQ-Transformer成功地联合解析3D对象和布局，以准实时（8.91 FPS）速率运行，而无需效率优化。此外，新的物理约束损失可以改善强基线，房间布局的F1得分从37.9%显著提升到57.9%。
2022-01-10 cs.CV
PanoViT: Vision Transformer for Room Layout Estimation from a Single Panoramic Image
Alibaba Group（阿里巴巴集团）
在本文中，我们提出了PanoViT，一个全景视觉Transformer估计房间布局从一个单一的全景图像。与CNN模型相比，我们的PanoViT更擅长从全景图像中学习全局信息，以估计复杂的房间布局。考虑到透视图像和等距矩形图像的不同，我们设计了一种新的递归位置嵌入和块采样方法来处理全景图像。除了提取全局信息外，PanoViT还包括频域边缘增强模块和3D损失，以提取全景图像中的局部几何特征。在几个数据集上的实验结果表明，我们的方法在房间布局预测精度方面优于最先进的解决方案。
2022-12-23 cs.CV
Geometry Aligned Variational Transformer for Image-conditioned Layout Generation
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
版面生成是计算机视觉中的一个新课题，它结合了目标定位和美学评价的挑战，广泛应用于广告、海报和幻灯片设计中。一个准确和令人愉快的布局应该同时考虑布局元素内的域间关系和布局元素与图像之间的域间关系。然而，大多数以前的方法只是专注于图像内容不可知的布局生成，而没有利用来自图像的复杂视觉信息。为此，我们探索了一种新的范例，题为图像条件布局生成，其目的是添加文本覆盖到图像中的语义连贯的方式。具体来说，我们提出了一个图像条件变分Transformer（ICVT），自回归生成各种布局的图像。首先，采用自注意力机制对布局元素内部的上下文关系进行建模，同时采用交叉注意力机制对条件图像的视觉信息进行融合。随后，我们把它们作为有条件的变分自编码器（CVAE）的构建块，这表明了吸引人的多样性。其次，为了缩小布局元素域和视觉域之间的差距，设计了一个几何对齐模块，将图像的几何信息与布局表示对齐。此外，我们还构建了一个大规模的广告海报版面设计数据集，该数据集具有精细的版面和显著图注释。实验结果表明，我们的模型可以自适应地生成布局的非侵入性区域的图像，从而在一个和谐的布局设计。
2022-09-02 cs.CV cs.MM
LayoutDiT: Exploring Content-Graphic Balance in Layout Generation with Diffusion Transformer
Tsinghua University（清华大学）；HKUST（香港科技大学）；Tencent（腾讯）
本文提出LayoutDiT框架，通过自适应因子与显著性边界框条件平衡内容与图形特征，并采用扩散Transformer骨干，在受限与非受限布局生成任务中显著优于现有方法。
2024-11-22 cs.CV
A Dual-Cycled Cross-View Transformer Network for Unified Road Layout Estimation and 3D Object Detection in the Bird's-Eye-View
鸟瞰图（BEV）表示允许对自动驾驶的多个任务进行鲁棒学习，包括道路布局估计和3D目标检测。然而，用于统一道路布局估计和3D目标检测的当代方法很少处理训练数据集的类别不平衡和多类别学习以减少所需的网络总数。为了克服这些限制，我们提出了一个统一的模型，道路布局估计和三维目标检测的启发Transformer架构和CycleGAN学习框架。该模型处理由于利用焦点损失和建议的双循环损失的数据集的类不平衡的性能下降。此外，我们建立了广泛的学习场景，研究在各种情况下的道路布局估计的多类学习的效果。为了验证所提出的模型和学习方案的有效性，我们进行了彻底的消融研究和比较研究。实验结果证明了该模型的有效性，在道路布局估计和三维目标检测任务中，我们都达到了最先进的性能。
2022-09-19 cs.CV
Layout Anything: One Transformer for Universal Room Layout Estimation
Nanjing University of Information Science and Technology（南京信息工程大学）；Bangladesh University of Engineering and Technology（孟加拉国工程与技术大学）
Layout Anything通过整合任务条件查询和对比学习，提出了一种基于变换器的通用房间布局估计框架，实现了高速推理和高精度性能。
2025-12-02 cs.CV
LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer
Salesforce Research（Salesforce研究院）
LayoutDETR将内容感知布局生成重新表述为检测问题，在背景图像中检测多模态前景元素的合理位置、尺度和空间关系，在公开基准和新广告横幅数据集上取得最先进性能，并获用户显著偏好。
2024-09-30 cs.CV
LaTr: Layout-Aware Transformer for Scene-Text VQA
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Amazon Web Services（亚马逊云科技）
我们提出了一种新的多模态架构的场景文本视觉问题问答（STVQA），命名为布局感知Transformer（LaTr）。STVQA的任务要求模型对不同的模态进行推理。因此，我们首先调查每种模态的影响，并揭示语言模块的重要性，特别是当丰富的布局信息。考虑到这一点，我们提出了一个单一的目标预训练计划，只需要文本和空间线索。我们表明，在扫描文档上应用这种预训练方案比使用自然图像具有一定的优势，尽管存在领域差距。扫描文档易于获取，文本密集，并具有各种布局，帮助模型学习各种空间线索（例如左，下等）。通过将语言和布局信息结合在一起。与现有的方法相比，我们的方法执行无词汇解码，如图所示，推广远远超出了训练词汇。我们进一步证明了LaTr提高了对OCR错误的鲁棒性，这是STVQA失败案例的常见原因。此外，通过利用视觉Transformer，我们消除了对外部物体检测器的需要。LaTr在多个数据集上优于最先进的STVQA方法。特别是，TextVQA为+7.6%，ST-VQA为+10.8%，OCR-VQA为+4.0%（均为绝对准确度）。
2021-12-24 cs.CV
UniLayDiff: A Unified Diffusion Transformer for Content-Aware Layout Generation
College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）；Amazon.com, Inc.（亚马逊公司）；Pixocial Technology（Pixocial技术）
UniLayDiff通过统一的扩散变换器框架，首次实现了内容感知布局生成任务的端到端统一生成，提升了布局质量和生成性能。
2026-09-14 cs.CV
The Layout Generation Algorithm of Graphic Design Based on Transformer-CVAE
平面设计在人们的日常生活中无处不在。对于图形设计，最耗时的任务是在界面中布局各种组件。重复的手工排版设计会浪费专业平面设计师大量的时间。现有的模板通常是初级的，不适合大多数设计，降低了效率，限制了创造力。本文将Transformer模型和条件变分自编码器（CVAE）应用到平面设计版面生成任务中。提出了一种端到端的平面设计版面生成模型LayoutT-CVAE。我们还提出了元素解缠和基于特征的解缠策略，并在模型中引入了新的图形设计原则和相似性度量，这显著提高了深层模型的可控性和可解释性。与现有的最先进的模型相比，我们生成的布局在许多指标上表现得更好。
2022-01-06 cs.AI cs.CV cs.HC
Structured Graph Variational Autoencoders for Indoor Furniture layout Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon.com, Inc.（亚马逊公司）
我们提出了一个结构化的图变分自编码器，用于生成室内三维场景的布局。考虑到房间类型（例如，起居室或图书馆）和房间布局（例如，诸如地板和墙壁的房间元素），我们的体系结构生成对象的集合（例如，家具项目，如沙发，桌子和椅子），这是符合房间类型和布局。这是一个具有挑战性的问题，因为生成的场景应该满足多个约束，例如，每个物体必须位于房间内，并且两个物体不能占据相同的体积。为了解决这些挑战，我们提出了一种深度生成模型，该模型将这些关系编码为属性图上的软约束（例如，节点捕获房间和家具元素的属性（诸如类别、姿态和尺寸），并且边捕获几何关系（诸如相对取向）。该架构由一个图形编码器，将输入图形映射到一个结构化的潜在空间，和一个图形解码器，生成一个家具图，给定的潜在代码和房间图。潜在空间建模与自回归先验，这有利于高度结构化的场景的生成。我们还提出了一个有效的训练过程，结合匹配和约束学习。在3D-FRONT数据集上的实验表明，我们的方法产生的场景是多样的，并适应房间布局。
2022-07-22 cs.CV
GUILGET: GUI Layout GEneration with Transformer
Polytechnique Montréal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
本文提出GUILGET方法，基于Transformer从GUI排列图自动生成符合位置约束的真实多样GUI布局，并在CLAY数据集上取得最佳性能。
2023-04-18 cs.CV
Mise-en-Scène: Implicit Layout Emergence in Diffusion Transformers for Human-AI Design Co-Creation
Canva Research（Canva研究院）
本文提出Mise-en-Scène框架，通过微调扩散Transformer实现隐式布局涌现，结合匹配放置步骤保证素材保真度，在PrismLayersPlus基准上生成的设计感知质量显著优于现有方法。
2026-08-20 cs.CV
Layout-Guided Controllable Pathology Image Generation with In-Context Diffusion Transformers
Xi'an Jiaotong University（西安交通大学）
本文提出基于布局的可控病理图像生成方法，通过多代理LVLM注释框架构建精细临床对齐的监督数据，提出IC-DiT模型整合空间布局、文本描述和视觉嵌入，实现高保真生成与强空间可控性。
2026-03-11 cs.CV
CreatiLayout: Siamese Multimodal Diffusion Transformer for Creative Layout-to-Image Generation
Institute of Trustworthy Embodied AI（可信具身人工智能研究院）；Fudan University（复旦大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Bytedance Intelligent Creation（字节跳动智能创作）
针对现有布局到图像生成方法局限于UNet模型的问题，提出CreatiLayout，通过孪生多模态扩散Transformer高效融合布局、图像和文本，并构建大规模数据集LayoutSAM与布局设计器，实现高质量可控的创意布局图像生成。
2025-08-06 cs.CV
Laytrol: Preserving Pretrained Knowledge in Layout Control for Multimodal Diffusion Transformers
针对布局到图像生成中预训练知识损失导致视觉质量低、风格不一致的问题，本文构建LaySyn数据集并提出Laytrol网络，通过继承MM-DiT参数及专用初始化方案保留预训练知识，提升生成效果。
2025-11-11 cs.CV
Text Role Classification in Scientific Charts Using Multimodal Transformers
Universität Ulm（乌尔姆大学）
本文研究科学图表中文本角色的语义分类问题，通过微调LayoutLMv3和UDOP两种多模态Transformer，并结合数据增强与平衡方法，在多个数据集上验证了LayoutLMv3的优越性能与泛化能力。
2024-02-08 cs.CL cs.CV cs.LG
Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation
ETH Zurich（苏黎世联邦理工学院）；UCAS-Terminus AI Lab, University of Chinese Academy of Sciences（中国科学院大学UCAS-Terminus人工智能实验室）；University of Trento（特伦托大学）
本文提出图Transformer生成对抗网络GTGAN，结合连接与非连接节点注意力、图建模块、节点分类判别器和图循环一致性损失，并引入40%掩码比例的自引导预训练，在房屋布局、屋顶和建筑布局生成三个任务上以较大幅度取得新最优结果。
2024-01-15 cs.CV
ROAP: A Reading-Order and Attention-Prior Pipeline for Optimizing Layout Transformers in Key Information Extraction
ROAP通过优化布局变换器的注意力分布，提升关键信息提取的性能，解决阅读顺序建模和视觉干扰问题。
2026-01-09 cs.CL cs.CV
DLAFormer: An End-to-End Transformer For Document Layout Analysis
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出端到端 Transformer 模型 DLAFormer，通过统一关系预测标签空间、类型化查询和由粗到细策略，整合文档版面分析多子任务，并在 DocLayNet 与 Comp-HRDoc 上取得优于多分支、多阶段方法的性能。
2024-05-20 cs.CV
Document AI: A Comparative Study of Transformer-Based, Graph-Based Models, and Convolutional Neural Networks For Document Layout Analysis
University of Amsterdam（阿姆斯特丹大学）；Elsevier BV（爱思唯尔公司）
本研究比较评估了基于Transformer、图和CNN的文档布局分析模型，并利用机器翻译探索跨语言知识迁移的潜力，以填补先前缺乏系统比较的空白。
2023-08-29 cs.CL cs.CV
User-Controllable Latent Transformer for StyleGAN Image Layout Editing
University of Tsukuba（筑波大学）
潜在空间探索是一种发现可解释的潜在方向并操纵潜在代码以编辑生成对抗网络（GANs）生成的图像中的各种属性的技术。然而，在以前的工作中，空间控制仅限于简单的变换（例如，平移和旋转），并且识别适当的潜在方向并调整它们的参数是费力的。在本文中，我们通过直接注释图像来解决编辑StyleGAN图像布局的问题。要做到这一点，我们提出了一个交互式的框架，根据用户输入操作潜在的代码。在我们的框架中，用户使用他们想要移动或不移动的位置来注释StyleGAN图像，并通过鼠标拖动指定移动方向。根据这些用户输入和初始潜在代码，我们基于Transformer编码器-解码器架构的潜在Transformer估计输出潜在代码，这些代码被馈送到StyleGAN生成器以获得结果图像。为了训练我们的潜在Transformer，我们利用现成的StyleGAN和光流模型生成的合成数据和伪用户输入，而无需人工监督。定量和定性评价表明，我们的方法比现有的方法的有效性。
2022-08-26 cs.CV cs.GR
Document Layout Analysis on BaDLAD Dataset: A Comprehensive MViTv2 Based Approach
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本研究基于MViTv2和级联掩码R-CNN在BaDLAD数据集上训练文档布局分析模型，并探索多种增强与推理策略以提升提取性能。
2023-08-31 cs.CV cs.LG
Vision Grid Transformer for Document Layout Analysis
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出VGT双流视觉网格Transformer，结合预训练网格Transformer，在文档版面分析任务上取得新最先进结果，并发布D$^4$LA数据集。
2023-08-29 cs.CV
PSMNet: Position-aware Stereo Merging Network for Room Layout Estimation
Zillow Group（Zillow集团）；The City College of New York（纽约城市学院）
在本文中，我们提出了一种新的基于深度学习的方法，用于在给定一对360度全景图的情况下估计房间布局。我们的系统，称为位置感知立体融合网络或PSMNet，是一个端到端的联合布局姿态估计器。PSMNet由一个立体全景姿态（SP2）Transformer和一个新的交叉透视投影（CP2）层组成。立体视图SP2 Transformer用于隐式地推断视图之间的对应关系，并且可以处理噪声姿态。姿态感知CP2层被设计为将来自相邻视图的特征渲染到锚（参考）视图，以便执行视图融合并估计可见布局。我们的实验和分析验证了我们的方法，它显着优于最先进的布局估计，特别是对于大型和复杂的房间空间。
2022-03-30 cs.CV
Lay2Story: Extending Diffusion Transformers for Layout-Togglable Story Generation
JD.com, Inc.（京东公司）
本文提出布局可切换的讲故事任务，开发Lay2Story-1M数据集和Lay2Story-Bench基准，并基于扩散Transformer架构提出Lay2Story框架，通过布局条件实现帧间细粒度交互，在一致性、语义相关性和美学质量上超越SOTA。
2025-08-12 cs.CV
Automatic Text Box Placement for Supporting Typographic Design
Kyushu University（九州大学）；CyberAgent
本研究比较多种模型在不完整布局中的自动文本框放置性能，发现基于Transformer的方法优于视觉语言模型，但小文本和密集布局仍是挑战。
2025-10-09 cs.CV
LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer
University of Science and Technology of China（中国科学技术大学）；Onestory Team（Onestory团队）；East China Normal University（华东师范大学）
LAMIC通过无训练方式实现多参考图像合成，提升布局控制与背景一致性。
2025-12-23 cs.CV
LayoutVAE: Stochastic Scene Layout Generation From a Label Set
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（北极光人工智能）；University of British Columbia（不列颠哥伦比亚大学）
近年来，研究界对场景生成的兴趣越来越大。然而，用于从文本描述生成场景布局的模型在很大程度上忽略了文本所指示的结构内的看似合理的视觉变化。我们提出了LayoutVAE，一个基于变分自编码器的框架，用于生成随机场景布局。LayoutVAE是一个多功能的建模框架，允许在给定标签集的情况下生成完整的图像布局，或者在给定新标签的情况下为现有图像生成每个标签布局。此外，它还能够检测不寻常的布局，潜在地提供了一种方法来评估布局生成问题。在MNIST布局和具有挑战性的COCO 2017 Panoptic数据集上进行的大量实验验证了我们提出的框架的有效性。
2021-06-01 cs.CV
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California（南加州大学）
在本文中，我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入，而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合，用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计，并且它用作并行级联变分自编码器（PC-VAE）的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵，不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
Generative Layout Modeling using Constraint Graphs
KAUST（阿卜杜拉国王科技大学）；Adobe Research（奥多比研究院）；University of Leeds（利兹大学）；Stanford University（斯坦福大学）
提出了一种新的版图生成模型。我们通过三个步骤生成布局。首先，我们将布局元素生成为布局图中的节点。其次，我们计算布局元素之间的约束，作为布局图中的边。第三，我们解决了最终布局使用约束优化。对于前两个步骤，我们构建在最近的Transformer架构上。布局优化有效地实现了约束。我们展示了三个实际的贡献相比，最先进的：我们的工作不需要用户输入，产生更高质量的布局，并使许多新的功能，条件布局生成。
2020-11-26 cs.CV cs.GR
Compositional Transformers for Scene Generation
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）；Facebook, Inc.（Facebook公司）
我们介绍GANformer2模型，这是一个迭代的面向对象的Transformer，用于生成建模的任务。该网络结合了强大而明确的结构先验，以反映视觉场景的组成性质，并通过顺序过程合成图像。它分为两个阶段：一个快速和轻量级的规划阶段，我们起草了一个高层次的场景布局，其次是一个基于注意力的执行阶段，布局正在被细化，演变成一个丰富和详细的图片。我们的模型远离传统的黑盒GAN架构，该架构具有平坦和单片的潜在空间，朝向透明的设计，鼓励效率，可控性和可解释性。我们通过对一系列数据集（从多对象CLEVR场景到具有挑战性的COCO图像）的仔细评估来展示GANformer2的优势和质量，表明它在视觉质量，多样性和一致性方面成功实现了最先进的性能。进一步的实验证明了模型的解纠缠，并提供了对其生成过程的更深入的了解，因为它从粗略的初始草图一步一步地进行，到详细的布局，考虑对象的深度和依赖性，直到最终的高分辨率描绘充满活力和复杂的现实世界场景。有关模型实现，请参见https://github.com/dorarad/gansformer。
2021-11-17 cs.AI cs.CV cs.LG
Variational Transformer: A Framework Beyond the Trade-off between Accuracy and Diversity for Image Captioning
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
准确性和多样性是生成自然和语义正确的字幕的两个基本可度量表现。许多努力已经作出了加强其中一个与另一个衰减由于权衡差距。在这项工作中，我们将表明，从人类注释（留一）的准确性低标准提请不适合机器生成的字幕。为了提高多样性与坚实的准确性性能，我们利用了一种新的变分Transformer框架。通过引入“不可见信息先验”和“自动选择的GMM”，指导编码器学习不同场景中精确的语言信息和对象关系，以保证准确性。通过引入“范围-中位数奖励”基准，我们在基于RL的培训过程中保留了更多具有更高奖励的多元化候选人，以确保多元化。实验表明，我们的方法实现了准确性（CIDEr）和多样性（self-CIDEr）的同时提升，分别达到1.1%和4.8%。此外，与人类注释相比，我们的方法获得了最相似的语义检索性能，R@1（i2 t）为50.3（人类的50.6）。
2022-09-21 cs.CV cs.LG
From Codicology to Code: A Comparative Study of Transformer and YOLO-based Detectors for Layout Analysis in Historical Documents
University of Luxembourg（卢森堡大学）
本文在三个历史文献数据集上对比了五种Transformer与YOLO检测器，发现基于CNN的YOLOv11x-OBB在复杂文档上泛化更强，并证明定向边界框（OBB）是准确建模历史手稿的必要基础。
2025-06-25 cs.CL cs.CV cs.DB
Towards Aligned Layout Generation via Diffusion Model with Aesthetic Constraints
University at Buffalo（布法罗大学）；Adobe Research（奥多比研究院）；MBZUAI（Mohamed bin Zayed 人工智能大学）
针对扩散模型布局生成对齐偏差问题，提出带美学约束的连续扩散模型LACE，通过掩码输入实现条件生成，在多布局任务上性能优于现有最优基线。
2024-05-15 cs.CV cs.LG
PILOT: A Promptable Interleaved Layout-aware OCR Transformer
univ-rouen（鲁昂大学）；LITIS（LITIS研究所）；Malakoff Humanis（马拉科夫人类研究所）
PILOT提出一种统一的OCR模型，通过交错布局感知和提示条件生成，实现手写和印刷文档的文本识别与空间定位，优于传统OCR和端到端HTR模型。
2026-04-17 cs.CV
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
文档布局包括结构和视觉（例如，字体大小）信息，这些信息是重要的，但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容，而忽略了其他形式的内容，如图像的存在。此外，布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距，我们将文档解析为内容块（例如，文本，表格，图像），并提出了一种新的布局感知的多模态层次框架，LAMPreT，模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码，并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标，其中较低级别的模型与多模态接地模型类似地进行训练，而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议，并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR
Transformer-based Image Generation from Scene Graphs
PeRCeiVe Lab（PeRCeiVe实验室）；University of Catania（卡塔尼亚大学）
图形结构的场景描述可以有效地用于生成模型，以控制生成的图像的组成。以前的方法是基于图卷积网络和对抗方法的组合，分别用于布局预测和图像生成。在这项工作中，我们展示了如何采用多头注意力来编码图形信息，以及在潜在空间中使用基于变换的模型来生成图像，可以提高采样数据的质量，而不需要采用具有训练稳定性方面的后续优势的对抗模型。具体地，所提出的方法完全基于Transformer架构，用于将场景图编码成中间对象布局并用于将这些布局解码成图像，通过由矢量量化的变分自编码器学习的较低维度空间。我们的方法相对于最先进的方法显示出更高的图像质量，并且同一场景图的多代之间具有更高程度的多样性。我们在三个公共数据集上评估了我们的方法：Visual Genome，COCO和CLEVR。我们在COCO和Visual Genome上分别获得了13.7和12.8的初始得分以及52.3和60.3的FID。我们对我们的贡献进行消融研究，以评估每个组件的影响。代码可在https://github.com/perceivelab/trf-sg2im上获得
2023-03-08 cs.CV
High-Resolution Complex Scene Synthesis with Transformers
Heidelberg University（海德堡大学）
最近，通过深度生成模型使用粗粒度布局进行复杂场景图像的可控合成已经变得流行。然而，目前的方法的结果仍然达不到其承诺的高分辨率合成。我们假设这主要是由于这些方法的高度工程化性质，这些方法通常依赖于辅助损耗和中间步骤，例如掩模生成器。在本文中，我们提出了一种正交方法来完成这项任务，其中生成模型基于纯似然训练，没有额外的目标。为此，我们首先通过对抗训练优化一个强大的压缩模型，该模型通过离散的潜在瓶颈学习重建其输入，从而有效地剥离高频细节（如纹理）的潜在表示。随后，我们训练一个自回归Transformer模型来学习以布局的标记化版本为条件的离散图像表示的分布。我们的实验表明，生成的系统能够合成与给定布局一致的高质量图像。特别是，我们将COCO-Stuff和Visual Genome上最先进的FID分数提高了19%和53%，并在COCO和Open Images上展示了高达512 x 512 px的图像合成。
2021-05-13 cs.CV
Learning a Layout Transfer Network for Context Aware Object Detection
Minjiang University（闽江学院）；ShanghaiTech University（上海科技大学）；Fuzhou University（福州大学）；NetDragon Inc.（网龙公司）
提出了一种基于检索-变换场景布局模型的上下文感知目标检测方法。给定一个输入图像，我们的方法首先检索一个粗糙的场景布局从典型的布局模板的码本。为了处理大的布局变化，我们使用一个变种的空间Transformer网络来转换和细化检索到的布局，从而在一组可解释的和语义上有意义的对象的位置和规模的特征图。上述步骤被实现为布局传输网络，我们将其集成到Faster RCNN中，以允许目标检测和场景布局估计的联合推理。在三个公共数据集上进行的广泛实验验证了我们的方法在交通监控和自动驾驶领域的各种具有挑战性的任务上为最先进的目标检测基线提供了一致的性能改进。
2019-12-09 cs.CV
PanoContext-Former: Panoramic Total Scene Understanding with a Transformer
Alibaba Group（阿里巴巴集团）；Hong Kong University of Science and Technology（香港科技大学）
提出PanoContext-Former，利用深度先验和Transformer上下文模块从单张全景图联合恢复房间布局、物体边界框与形状，并构建真实数据集，实验表现优于现有方法。
2023-06-05 cs.CV
ResDiT: Evoking the Intrinsic Resolution Scalability in Diffusion Transformers
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
ResDiT通过改进位置嵌入和局部增强机制，实现了无需训练的高分辨率图像生成，有效解决空间布局崩溃和纹理保真度下降问题。
2025-12-01 cs.CV
