Document Layout Analysis with Aesthetic-Guided Image Augmentation
Fudan University（复旦大学）；East China Normal University（华东师范大学）；Videt Lab（Videt实验室）；Zhongshan Hospital, Fudan University（复旦大学附属中山医院）
文档版面分析在信息抽取和文档理解中起着重要的作用。目前，文档布局分析已经取得了里程碑式的成就，然而，非曼哈顿的文档布局分析仍然是一个挑战。在本文中，我们提出了一种图像层建模方法来应对这一挑战。为了衡量所提出的图像层建模方法，我们提出了一个手动标记的非曼哈顿布局细粒度分割数据集，名为FPD。据我们所知，FPD是第一个手动标记的非曼哈顿布局细粒度分割数据集。为了有效地提取文档的细粒度特征，我们提出了一种名为L-E^3 Net的边缘嵌入网络。实验结果表明，本文提出的图像层建模方法能够较好地处理非曼哈顿布局的细粒度分割文档。
2021-11-27 cs.CV
Predictive and Semantic Layout Estimation for Robotic Applications in Manhattan Worlds
University of Pennsylvania（宾夕法尼亚大学）
本文介绍了一种方法，自动提取平面图从各种不完整的测量，可以获得一个自主移动机器人。该方法通过推理自动从现有数据中提取的扩展结构布局表面来进行。该方案可以以在线方式运行，以构建环境的水密表示。该系统有效地推测房间边界和自由空间区域，这为后续的运动规划系统提供了有用的指导。多个数据集上的实验结果。
2018-11-19 cs.CV cs.RO
3D Room Layout Estimation from a Cubemap of Panorama Image via Deep Manhattan Hough Transform
Tsinghua University（清华大学）；ByteDance（字节跳动）
在从单个全景图像估计3D房间布局中，重要的几何结构可以由全局线框来复杂地描述。基于这一观察，我们提出了一种替代方法，通过在可学习的霍夫变换块中建模远程几何图案来估计3D空间中的墙壁。我们将图像特征从立方体图块转换到曼哈顿世界的Hough空间，并直接将特征映射到几何输出。卷积层不仅学习局部梯度线特征，而且利用全局信息，以简单的网络结构成功预测被遮挡的墙壁。与大多数以前的工作不同，预测是在每个立方体贴图块上单独执行的，然后组合以获得布局估计。实验结果表明，我们取得了可比的结果与最近的国家的最先进的预测精度和性能。代码可在https://github.com/Starrah/DMH-Net上获得。
2022-07-19 cs.CV
PolyLayout: Multi-room Manhattan Layout Estimation
针对现有多房间布局估计方法泛化差、未利用建筑结构的问题，提出 PolyLayout 方法，通过联合优化跨房间的曼哈顿 3D 多边形，在新基准上实现了优于现有方法的准确性与鲁棒性。
2026-09-17 cs.CV
LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zillow Group（齐洛集团）
我们提出了一种算法来预测房间布局从一个单一的图像，概括了跨cumbermas和透视图像，长方体布局和更一般的布局（例如L形的房间）。我们的方法直接在全景图像上操作，而不是像最近的作品那样分解成透视图像。我们的网络架构类似于RoomNet，但我们显示了改进，这是由于基于消失点对齐图像，预测多个布局元素（角落，边界，大小和平移），并将受约束的曼哈顿布局拟合到所产生的预测。我们的方法比较好的速度和准确性，其他现有的工作上的cumberamas，实现了最好的精度之间的透视图像，并可以处理长方体形状和更一般的曼哈顿布局。
2018-03-23 cs.AI cs.CV
DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama
National Tsing Hua University（国立清华大学）；KAUST（沙特阿拉伯国王科技大学）
我们提出了一个称为DuLa-Net的深度学习框架，用于从单个RGB全景图预测曼哈顿世界的3D房间布局。为了实现更好的预测精度，我们的方法利用两个投影的全景，即等距矩形的天花板视图和透视天花板视图，每个包含不同的线索的房间布局。我们的网络架构由两个编码器-解码器分支组成，用于分析两个视图中的每一个。此外，提出了一种新的特征融合结构来连接这两个分支，然后联合训练来预测2D平面图和布局高度。为了了解更复杂的房间布局，我们引入了Realtor 360数据集，该数据集包含具有不同数量角的曼哈顿世界房间布局的样本。实验结果表明，我们的工作优于最近的国家的最先进的预测精度和性能，特别是在非长方体布局的房间。
2019-04-02 cs.CV
M$^{6}$Doc: A Large-Scale Multi-Format, Multi-Type, Multi-Layout, Multi-Language, Multi-Annotation Category Dataset for Modern Document Layout Analysis
South China University of Technology（华南理工大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）；IntSig Information Co., Ltd.（合合信息科技股份有限公司）
本文提出大规模多格式多类型多布局多语言多标注的现代文档版面分析数据集$M^{6}$Doc，并提出基于transformer的TransDLANet方法，通过自适应元素匹配和分割分支实现64.5% mAP的最先进性能。
2023-05-21 cs.CV
Technical Comparative Benchmarking Study: Advanced AI Hybrid Methods for Renewable Energy Farm Optimization and Forecasting
本研究对比多种AI方法，在三类风电场数据集上测试后发现，不同架构各有优势，RF BiLSTM混合模型获最佳预测精度。
2026-08-28 cs.LG
Thinking Outside the Box: Generation of Unconstrained 3D Room Layouts
University of Oxford（牛津大学）
我们提出了一种不依赖于典型的盒子近似或曼哈顿世界假设的房间布局估计方法。相反，我们将几何推理问题重新表述为实例检测任务，我们通过使用R-CNN直接回归3D平面来解决。然后，我们使用概率聚类的变体将视频序列中每个帧处回归的3D平面与其各自的相机姿势组合成单个全局3D房间布局估计。最后，我们展示的结果，使垂直对齐没有假设，所以可以有效地处理任何路线的墙壁。
2019-05-08 cs.CV
Self-supervised 360$^{\circ}$ Room Layout Estimation
National Tsing Hua University（国立清华大学）
我们提出了第一个自我监督的方法来训练全景房间布局估计模型，没有任何标记的数据。与提供丰富的对应约束的每像素密集深度不同，布局表示是稀疏和拓扑的，阻碍了在图像上使用自监督重投影一致性。为了解决这个问题，我们提出了可区分的布局视图渲染，它可以扭曲源图像的目标摄像机的姿态给定的估计布局从目标图像。由于每个渲染的像素相对于估计的布局是可微的，所以我们现在可以通过最小化重投影损失来训练布局估计模型。此外，我们引入正则化损失来鼓励曼哈顿对齐，天花板对齐，周期一致性和布局拉伸一致性，这进一步改善了我们的预测。最后，我们在ZilloIndoor和MatterportLayout数据集上展示了第一个自监督结果。我们的方法也显示了有前途的解决方案，在数据稀缺的情况下和主动学习，这将有一个即时的价值，在房地产虚拟旅游软件。代码可在https://github.com/joshua049/Stereo-360-Layout上获得。
2022-03-30 cs.CV
Floorplan-Jigsaw: Jointly Estimating Scene Layout and Aligning Partial Scans
The University of Hong Kong（香港大学）
我们提出了一种新的方法来对齐部分3D重建可能没有实质性的重叠。使用平面图先验，我们的方法联合预测房间布局，并估计从一组部分3D数据的转换。与现有的方法依赖于特征描述符来建立对应关系，我们利用了3D“盒子”结构的一个典型的房间布局，满足曼哈顿世界的属性。我们首先估计一个局部布局为每个部分扫描分别，然后结合这些局部布局，形成一个全局对齐的布局与循环关闭。在不需要特征匹配的情况下，所提出的方法可以实现一些新的应用，包括大型或无特征的场景重建和稀疏输入的建模。我们验证我们的方法定量和定性的各种大小和复杂性的真实和合成场景。评价和比较表明，我们的方法优越的有效性和准确性。
2019-12-03 cs.CV
Corners for Layout: End-to-End Layout Recovery from 360 Images
University of Zaragoza（萨拉戈萨大学）；Université Bourgogne Franche-Comté（勃艮第弗朗什孔泰大学）
室内场景中的三维布局恢复问题是近十多年来的一个核心研究课题。然而，仍有若干重大挑战尚未解决。在最相关的方法中，最先进的方法的主要部分对场景进行了隐式或显式假设-例如盒形或曼哈顿布局。此外，目前的方法计算成本高，不适合机器人导航和AR/VR等实时应用。在这项工作中，我们提出了CFL（角落布局），第一个端到端的360图像上的3D布局恢复模型。我们的实验结果表明，我们优于最先进的放松假设的场景，并在较低的成本。我们还表明，我们的模型比传统的方法更好地推广到相机的位置变化，通过使用EquiConvs，一种直接应用于球体投影的卷积，因此对等矩形失真不变。CFL网页：https://cfernandezlab.github.io/CFL/
2019-03-25 cs.CV
Layouts from Panoramic Images with Geometry and Deep Learning
Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究所（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一种新的程序从单个360度全景图像的室内场景的三维布局恢复。有了这样的图像，所有的场景都可以一次看到，允许恢复封闭的几何形状。我们的方法策略性地将几何推理（线和消失点）提供的准确性与深度学习技术（边缘和法线映射）实现的更高级别的数据抽象和模式识别相结合。因此，我们提取结构的角落，我们产生假设曼哈顿世界的房间布局假设。选择了最佳布局模型，在简单房间（箱式）和复杂形状房间（四面墙以上）上都取得了良好的性能。在两个公共数据集SUN 360和Stanford（2D-3D-S）上进行了所提出方法的实验，证明了通过结合几何和深度学习来估计布局的优势以及我们的建议相对于最先进技术的有效性。
2018-06-21 cs.CV
Disentangling Orthogonal Planes for Indoor Panoramic Room Layout Estimation with Cross-Scale Distortion Awareness
Beijing Key Laboratory of Advanced Information Science and Network Technology（北京先进信息科学与网络技术重点实验室）
基于曼哈顿世界假设，大多数现有的室内布局估计方案集中于从垂直压缩的1D序列恢复布局。然而，压缩过程混淆了不同平面的语义，产生了具有模糊可解释性的较差性能。为了解决这个问题，我们建议解开这个一维表示预分割正交（垂直和水平）平面从一个复杂的场景，明确捕捉室内布局估计的几何线索。考虑到地板边界和天花板边界的对称性，我们还设计了一种软翻转融合策略来辅助预分割。此外，我们提出了一个特征组装机制，有效地整合浅层和深层特征与失真分布意识。为了补偿预分割中的潜在错误，我们进一步利用三重注意力来重建解纠缠序列以获得更好的性能。四个流行的基准测试的实验表明，我们优于现有的SoTA解决方案，特别是在3DIoU指标。代码可在\url{https://github.com/zhijieshen-bjtu/DOPNet}上获得。
2023-03-04 cs.CV
Document AI: A Comparative Study of Transformer-Based, Graph-Based Models, and Convolutional Neural Networks For Document Layout Analysis
University of Amsterdam（阿姆斯特丹大学）；Elsevier BV（爱思唯尔公司）
本研究比较评估了基于Transformer、图和CNN的文档布局分析模型，并利用机器翻译探索跨语言知识迁移的潜力，以填补先前缺乏系统比较的空白。
2023-08-29 cs.CL cs.CV
Scaled 360 layouts: Revisiting non-central panoramas
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
本文提出基于深度学习与非中心全景几何处理的新方法，统一解决曼哈顿和亚特兰大环境的3D布局恢复，首次实现单张全景的尺度恢复，性能优于现有方法。
2024-02-02 cs.CV
Layout Anything: One Transformer for Universal Room Layout Estimation
Nanjing University of Information Science and Technology（南京信息工程大学）；Bangladesh University of Engineering and Technology（孟加拉国工程与技术大学）
Layout Anything通过整合任务条件查询和对比学习，提出了一种基于变换器的通用房间布局估计框架，实现了高速推理和高精度性能。
2025-12-02 cs.CV
Self-training Room Layout Estimation via Geometry-aware Ray-casting
National Tsing Hua University（国立清华大学）；Industrial Technology Research Institute ITRI（工业技术研究院）；Google（谷歌）
提出几何感知光线投射的自训练框架，通过多视图一致性与空间邻近性生成可靠伪标签，无需人工标注即可提升房间布局估计模型在未见场景中的性能。
2024-07-21 cs.AI cs.CV
Predicting Complete 3D Models of Indoor Scenes
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
视觉的一个主要目标是从传感器推断物体、表面及其布局的物理模型。在本文中，我们的目标是解释室内场景从一个RGBD图像。我们的表示编码的墙壁布局，这必须符合曼哈顿的结构，但在其他方面是灵活的，和布局和对象的范围，与CAD类似的3D形状建模。我们表示场景的可见部分和遮挡部分，从而产生完整的3D解析。这样的场景解释对于机器人和视觉推理是有用的，但是由于众所周知的分割挑战、高度遮挡以及室内场景中对象的多样性而难以产生。我们采用数据驱动的方法，生成潜在对象区域集，与训练图像中的区域进行匹配，并传输和对齐相关的3D模型，同时鼓励与观察结果和整体一致性的拟合。我们在NYU v2数据集上展示了令人鼓舞的结果，并强调了未来工作的各种有趣方向。
2017-08-18 cs.CV
Learning Structural Graph Layouts and 3D Shapes for Long Span Bridges 3D Reconstruction
Harbin Institute of Technology（哈尔滨工业大学）
提出了一种基于学习的大跨度桥梁三维重建方法。三维重建是从图像中生成真实物体或场景的三维计算机模型，它涉及许多阶段和开放性问题。现有的基于点的方法主要集中在曼哈顿世界约束下的城市场景、土木结构重建中的三维点云生成及其重建的多边形网格或基于拟合的几何模型，并取得了很大的成就。当试图将这些系统转移到具有复杂拓扑结构和部分关系的结构（如钢桁架和大跨度桥梁）时，会出现困难，这可能归因于点云通常不均匀分布，带有噪声，并且遭受遮挡和不完整，从这些高度非结构化的点云中恢复令人满意的3D模型，在保持几何和拓扑性质的前提下，对现有算法提出了巨大的挑战。考虑到人类的先验知识，这些结构是符合规则的空间布局的组件，本文提出了一种基于学习的拓扑感知的三维重建方法，可以获得高层次的结构图布局和低层次的三维形状从图像。通过对两座大跨度钢桁梁斜拉桥的实测，验证了该方法的可行性。
2020-05-21 cs.CV cs.GR
Multimodal Approaches for Visually-Rich Document Type Classification: A Comparative Analysis
OTH Regensburg（雷根斯堡应用技术大学）
针对视觉丰富文档类型分类中多模态建模策略难以系统比较的问题，本文在统一实验框架下对基于Transformer和LLM的四种代表性模型进行受控对比，发现专用多模态Transformer优于LLM方法，且图像信息贡献最大。
2026-06-01 cs.AI cs.CL cs.CV
Comparative Study of Domain-adapted VLMs for General Document Visual Question Answering
Universidad Autónoma de Madrid (UAM)（马德里自治大学）；BiometricsAI（生物识别人工智能）
研究对8个开源预训练VLMs在三种文档领域的DocVQA进行全面评估，通过多种评估方式发现其在不同布局性能有差异，参数缩放影响性能，视觉理解是瓶颈，还表明少样本微调能让模型快速适应目标域文档。
2026-07-09 cs.CV cs.LG
From Codicology to Code: A Comparative Study of Transformer and YOLO-based Detectors for Layout Analysis in Historical Documents
University of Luxembourg（卢森堡大学）
本文在三个历史文献数据集上对比了五种Transformer与YOLO检测器，发现基于CNN的YOLOv11x-OBB在复杂文档上泛化更强，并证明定向边界框（OBB）是准确建模历史手稿的必要基础。
2025-06-25 cs.CL cs.CV cs.DB
Training-Free Layout Control with Cross-Attention Guidance
University of Oxford（牛津大学）
本文提出一种免训练的扩散模型布局控制方法，通过操控交叉注意力层实现前向与后向引导，并证明后向引导在多个基准上优于前向引导及已有工作。
2023-11-29 cs.CV
A Grid-based Method for Removing Overlaps of Dimensionality Reduction Scatterplot Layouts
University of São Paulo（圣保罗大学）；São Paulo State University（圣保罗州立大学）；Linnaeus University（林奈大学）；Eindhoven University of Technology (TU/e)（埃因霍温理工大学（TU/e））
本文提出DGrid后处理方法，通过网格策略消除降维散点图重叠，保留原始布局特征并限定字形最小尺寸，在多项指标上超越现有技术且速度快，用户研究证实其视觉保真度与美观性。
2023-10-10 cs.CV
FlexiEdit: Frequency-Aware Latent Refinement for Enhanced Non-Rigid Editing
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对DDIM Inversion在非刚性图像编辑中的局限，FlexiEdit通过细化DDIM潜变量以减少目标区域高频分量，并结合重反转增强编辑保真度，显著提升了复杂非刚性编辑能力。
2024-07-25 cs.CV
How Well Do Vision--Language Models Understand Cities? A Comparative Study on Spatial Reasoning from Street-View Images
Korea Advanced Institute of Science and Technology（韩国科学技术院）
该研究比较 BLIP-2、InstructBLIP 与 LLaVA-1.5 的城市空间推理能力，并通过分割、深度和检测信息构建带 CoT 监督的合成街景 VQA 数据集，证明微调可显著提升模型表现。
2025-08-29 cs.CV
Towards Hierarchical Structure Understanding of Newspaper Images
University of Rouen Normandy（鲁昂诺曼底大学）；INSA of Rouen Normandy（鲁昂诺曼底国立应用科学学院）；Teklia（泰克莱亚公司）；Bibliothèque nationale de France（法国国家图书馆）
针对报纸图像复杂层次结构理解难题，提出模块化自底向上流程结合开源模型及新型端到端Tiramisu架构，利用其并行注意力机制实现多任务，还发布新数据集，实验证明两种方法有效，突出各自优势。
2026-07-17 cs.AI cs.CV cs.IR
Perspective from a Broader Context: Can Room Style Knowledge Help Visual Floorplan Localization?
∗ Corresponding author（通讯作者）
本文提出利用无监督预训练的房间判别器提取场景上下文信息，注入视觉平面图定位算法，以消除重复结构导致的定位模糊，在两个基准上超越现有方法。
2025-08-02 cs.CV cs.RO
Automatic image annotation base on Naive Bayes and Decision Tree classifiers using MPEG-7
University of Raparin（拉帕林大学）
近年来，随着数字图像的飞速发展，如何方便地搜索和检索高分辨率、高效率的图像已成为一个迫切需要解决的问题，目前的许多图像标注算法面临着一个很大的挑战，即在表示图像时存在高层表示图像语义、低层表示图像特征的差异，即语义gab问题。本文采用MPEG-7标准对图像进行特征提取，其中颜色特征采用可伸缩颜色描述符（SCD）和颜色布局描述符（CLD）提取，纹理特征采用边缘直方图描述符（EHD）提取，CLD产生高维特征向量，通过主成分分析（PCA）对特征向量进行约简。由这三个描述符提取的特征可以传递到分类器（朴素贝叶斯和决策树）进行训练。最后，他们对查询图像进行了注释。本研究使用了TUDarmstadt图像库。测试和性能评估结果表明，朴素贝叶斯分类器比决策树分类器具有更好的分类精度和执行时间。
2021-01-27 cs.CV
Semi-automated reconstruction of indoor geometry from 360-degree video for CFD-based airflow analysis in classrooms
Iowa State University（爱荷华州立大学）
提出一种半自动工作流程，从360度视频通过NeRF、SAM 3分割和ICP配准重建教室可编辑几何，用于CFD通风分析，实现低成本逐房间建模并验证清除时间不可跨房间外推。
2026-09-22 cs.CE cs.CV physics.flu-dyn
Zero-shot Sequential Neuro-symbolic Reasoning for Automatically Generating Architecture Schematic Designs
University of Washington（华盛顿大学）；WinnDevelopment（温恩开发公司）
本研究提出一种基于GPT-4的零样本序列神经-符号推理方法，结合生成式AI与数学规划求解器，模拟传统设计流程自动生成建筑方案设计，无需额外训练，经真实建筑对比验证有效，有望变革建筑方案设计领域。
2024-01-25 cs.AI cs.CV cs.GR
