Parallax-Tolerant Unsupervised Deep Image Stitching
Beijing Jiaotong University（北京交通大学）；University of Electronic Science and Technology of China（电子科技大学）
提出 UDIS++ 无监督深度图像拼接技术，通过全局到局部 warp、迭代策略和无缝合成掩码解决大视差问题，性能优于现有方法。
2023-07-22 cs.CV
Automated Stitching of Coral Reef Images and Extraction of Features for Damselfish Shoaling Behavior Analysis
University of the Philippines（菲律宾大学）
动物行为分析包括观察环境中各种生物之间的种内和种间相互作用。集体行为，如农场动物的放牧，鸟类的群集，鱼群的浅滩和集群提供了关于集体生存，健身，繁殖模式，群体决策和动物流行病学影响的好处的信息。在海洋动物行为学中，对集群物种行为模式的研究可以为海洋资源的规划和管理提供补充信息。目前，雀鲷物种，虽然普遍存在于热带水域，没有足够的建立基本行为的信息。这限制了珊瑚礁管理人员在保护珊瑚礁方面有效地规划压力和灾害应对措施。在野外捕获的视觉海洋数据是稀缺的，容易出现多种场景变化，主要是由运动和自然环境的变化引起的。本研究收集的雀鲷视频显示出采集过程中相机不稳定运动引起的几处场景失真。为了有效地分析浅滩行为所带来的问题，在野外捕获数据，我们提出了一个预处理系统，利用颜色校正和图像拼接技术，并提取行为特征进行手动分析。
2020-06-28 cs.CV
GPU Accelerated Color Correction and Frame Warping for Real-time Video Stitching
Center for Robotics, University of Electronic Science and Technology of China（电子科技大学机器人中心）
针对视频拼接中的时间闪烁、颜色不一致及相机参数不准问题，提出GPU加速的实时系统，结合时空3D-M颜色校正、在线颜色平衡与光流局部变形生成高质量全景视频。
2023-08-17 cs.AI cs.CV cs.GR
GloFlow: Global Image Alignment for Creation of Whole Slide Images for Pathology from Video
深度学习在病理学中的应用假设存在病理学切片的数字全切片图像。然而，载玻片数字化受到载玻片扫描仪中精确电动载物台的高成本的阻碍，所述载物台需要用于载玻片缝合的位置信息。我们提出了GloFlow，一个两阶段的方法，用于创建一个完整的幻灯片图像，使用基于光流的图像配准与全局对齐，使用计算上易处理的图形修剪方法。在第一阶段中，我们训练光流预测器来预测连续视频帧之间的成对平移以近似缝合。在第二阶段中，使用该近似缝合来创建邻域图以产生校正的缝合。在一个模拟的数据集的视频扫描的WSI，我们发现，我们的方法优于已知的方法来幻灯片拼接，并缝合WSI类似于幻灯片扫描仪产生的。
2020-11-12 cs.CV cs.LG eess.IV
SynStitch: a Self-Supervised Learning Network for Ultrasound Image Stitching Using Synthetic Training Pairs and Indirect Supervision
SynStitch提出自监督框架，利用合成拼接对和间接监督实现2D超声图像拼接，在肾脏数据集上性能优于现有方法。
2024-11-11 cs.CV eess.IV
2D Reconstruction of Small Intestine's Interior Wall
University of Sheffield（谢菲尔德大学）；Tsinghua University（清华大学）；University of Lincoln（林肯大学）
检查和解释来自胃肠道的大量无线内窥镜图像对于医生来说是一项令人厌烦的任务。一个实用的解决方案是自动构建胃肠道的二维表示，以便于检查。然而，目前对无线内窥镜图像拼接的研究还很少，更谈不上系统的研究。提出的新的无线内窥镜图像拼接方法包括两个主要步骤，以提高图像配准的准确性和效率。首先，通过主成分分析和尺度不变特征变换（PCA-SIFT）算法提取关键点，并使用最大似然估计样本一致性（MLESAC）离群值去除进行细化，以找到最可靠的关键点。其次，从第一步中获得的最佳变换参数被馈送到归一化互信息（NMI）算法作为初始解。在多尺度框架下，采用改进的Marquardt-Levenberg搜索策略，NMI可以在最短的时间内找到最优的变换参数。所提出的方法已在两个不同的数据集上进行了测试-一个是真实的无线内窥镜图像，另一个是从Micro-Ball（一种具有六个图像传感器的新型无线立方体内窥镜系统）获得的图像。结果表明，所提出的方法的准确性和鲁棒性的视觉和定量。
2018-03-15 cs.CV eess.IV eess.SP
From Perspective X-ray Imaging to Parallax-Robust Orthographic Stitching
Johns Hopkins University（约翰斯·霍普金斯大学）；Technical University of Munich（慕尼黑工业大学）
在透视投影几何下获取的拼接图像是计算机视觉中的一个相关主题，具有从智能手机屏幕到数字地图构建的多种应用。图像拼接是医学成像中同样突出的挑战，其中由单个图像捕获的有限视场禁止对患者解剖结构进行整体分析。阻碍2D图像直接拼接的障碍是视差引起的深度不匹配。在这项工作中，我们利用傅立叶切片定理聚合信息，从多个传输图像中的X射线图像形成的基本原则，在无光域。拼接图像的语义使用一种新的深度学习策略来恢复，该策略利用围绕频率以及密集和稀疏空间图像内容设计的相似性度量。我们的管道不仅缝合图像，而且还提供正交重建，使临床相关量的度量测量直接在2D图像平面上。
2020-03-05 cs.CV eess.IV
Weakly-Supervised Stitching Network for Real-World Panoramic Image Generation
Chungnam National University（忠南大学）；Electronics and Telecommunication Research Institute（电子与电信研究院）
最近，基于端到端深度学习的拼接模型受到越来越多的关注。然而，基于深度学习的拼接中最具挑战性的一点是获得具有窄视场的输入图像和从真实世界场景捕获的具有宽视场的地面实况图像对。为了克服这个困难，我们开发了一种弱监督学习机制来训练拼接模型，而不需要真正的地面实况图像。此外，我们提出了一个拼接模型，以多个真实世界的鱼眼图像作为输入，并创建一个360输出图像的等距矩形投影格式。特别是，我们的模型包括颜色一致性校正，扭曲和混合，并通过感知和SSIM损失进行训练。在两个真实的拼接数据集上验证了该算法的有效性。
2022-09-13 cs.CV
Towards Robust Image Stitching: An Adaptive Resistance Learning against Compatible Attacks
Dalian University of Technology（大连理工大学）
本文首次针对图像拼接的对抗鲁棒性问题，提出面向拼接的攻击SoA和自适应对抗训练AAT，在保持拼接精度的同时有效抵抗对抗扰动，并在真实与合成数据集上验证了其优越性。
2024-02-25 cs.CV
Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京先进信息科学与网络技术重点实验室）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
传统的基于特征的图像拼接技术严重依赖于特征检测质量，往往无法拼接特征较少或分辨率较低的图像。基于学习的图像拼接解决方案由于缺乏标记数据而很少被研究，使得监督方法不可靠。为了解决上述限制，我们提出了一个无监督的深度图像拼接框架，包括两个阶段：无监督的粗图像对齐和无监督的图像重建。在第一阶段，我们设计了一个基于烧蚀的损失来约束一个无监督的单应性网络，它更适合于大基线场景。此外，一个Transformer层被引入到扭曲的输入图像在空域空间。在第二阶段中，基于像素级的失调可以在一定程度上在特征级消除的认识，我们设计了一个无监督的图像重建网络来消除从特征到像素的伪影。具体地说，重建网络可以由一个低分辨率变形分支和一个高分辨率细化分支来实现，学习图像拼接的变形规则，同时提高分辨率。为了建立评估基准并训练学习框架，提出并发布了用于无监督深度图像拼接的全面真实世界图像数据集。大量的实验很好地证明了我们的方法优于其他国家的最先进的解决方案。即使与监督解决方案相比，我们的图像拼接质量仍然受到用户的青睐。
2021-06-24 cs.CV
Vanishing Point Guided Natural Image Stitching
Wuhan University（武汉大学）；University of Trento（特伦托大学）
近年来，提高拼接图像的自然度的工作得到了越来越广泛的关注。以往的方法存在严重的投影失真和不自然的旋转，特别是当涉及的图像数量很大或图像覆盖的视场很宽时。在本文中，我们提出了一种新的自然图像拼接方法，它考虑到消失点的指导，以解决上述故障。受曼哈顿世界中相互正交的消失点可以提供真正有用的方向线索这一重要观察的启发，我们设计了一个方案来有效地估计图像相似性的先验。给定这种估计的全局相似性约束的先验，我们将其馈送到一个流行的网格变形框架中，以实现令人印象深刻的自然拼接性能。与其他现有的方法，包括APAP，SPHP，AANAP，和GSP相比，我们的方法实现了最先进的性能在定量和定性的自然图像拼接实验。
2020-04-06 cs.CV
Robust Multi-Modal Image Stitching for Improved Scene Understanding
SRM Institute of Science and Technology（SRM科学技术学院）
本文提出一种基于 OpenCV 拼接模块的多模态图像拼接流水线，融合特征匹配、变换估计与融合技术，在多样化数据集上验证了其对场景理解和实际应用的有效性。
2023-12-28 cs.CV
Fully automatic integration of dental CBCT images and full-arch intraoral impressions with stitching error correction via individual tooth segmentation and identification
Yonsei University（延世大学）；College of Dentistry, Yonsei University（延世大学牙科学院）；Oral Science Research Center（口腔科学研究中心）
本文提出一种全自动整合口内扫描与牙科CBCT图像的方法，通过个体牙齿分割识别、全局到局部配准及拼接误差校正，在补偿CBCT牙齿表面低质量的同时修正全牙弓IOS累积拼接误差，实验标志点误差为112.4 μm、表面距离误差为301.7 μm。
2023-03-02 cs.CV eess.IV
A Bi-channel Aided Stitching of Atomic Force Microscopy Images
UT-Battelle, LLC（UT-巴特勒有限责任公司）；U.S. Department of Energy（美国能源部）
针对AFM图像特征稀疏、现有工具难以处理全部变换的问题，提出利用振幅通道辅助形貌通道特征匹配与定位的双通道拼接方法，并以x轴微分实现无振幅图像时的泛化。
2025-03-13 cs.CV cs.LG eess.IV
Graph-based Hypothesis Generation for Parallax-tolerant Image Stitching
Nankai University（南开大学）；Tianjin University（天津大学）
接缝驱动方法已被证明是相当有效的宽容的图像拼接，其策略是从有限的局部对齐的代表性假设搜索一个不可见的接缝。在本文中，我们提出了一个基于图的假设生成和接缝引导的局部对齐，以提高接缝驱动方法的有效性和效率。实验表明，显着减少的假设数量和提高质量的自然最终拼接结果，相比国家的最先进的方法SEAGESTRUCTURE。
2018-04-20 cs.CV
Learning Edge-Preserved Image Stitching from Large-Baseline Deep Homography
Beijing Jiaotong University（北京交通大学）
图像拼接是计算机视觉中的一项经典而关键的技术，其目的是生成大视场的图像。传统的方法严重依赖于特征检测，要求场景特征在图像中密集且均匀分布，导致重影效果多变，鲁棒性差。学习方法通常受到固定视图和输入大小的限制，在其他真实数据集上缺乏泛化能力。在本文中，我们提出了一个图像拼接学习框架，它由一个大基线深度单应性模块和一个边缘保持变形模块。首先，我们提出了一个大基线深度单应性模块来估计参考图像和目标图像在不同尺度的特征之间的精确投影变换。然后设计了一个边缘保持变形模块，学习图像拼接从边缘到内容的变形规律，尽可能地消除鬼影效应。特别是，所提出的学习框架可以拼接任意视图和输入尺寸的图像，从而有助于监督深度图像拼接方法在其他真实图像中具有出色的泛化能力。实验结果表明，我们的单应性模块显着优于现有的深度单应性方法在大基线场景。在图像拼接中，我们的方法优于现有的学习方法，并显示出与最先进的传统方法的竞争性能。
2020-12-11 cs.CV
6D Robotic OCT Scanning of Curved Tissue Surfaces
Institute of Medical Technology and Intelligent Sys.（医学技术与智能系统研究所）；Hamburg University of Technology（汉堡理工大学）；Faculty of Electrical and Electronics Eng.（电气与电子工程系）；Kaunas University of Technology（卡斯图技术大学）；Interdisciplinary Competence Center for Interface Research（界面研究跨学科能力中心）；SustAInLivWork Center of Excellence（SustAInLivWork卓越研究中心）
本文提出六维手眼标定方法，用于机器人OCT探头扫描曲面组织，解决传统翻译扫描的局限性，提高扫描一致性和重复性。
2026-03-23 cs.CV cs.RO
Generalized Content-Preserving Warps for Image Stitching
Wuhan University（武汉大学）
全局单应性引起的局部错位是图像拼接中的一个常见问题。内容保持变形（Content-Preserving Warping，CPW）是一种典型的变形方法，它通过几何约束和光度约束来指导变形过程。然而，其基本条件之一是颜色一致性，这在现实世界的应用中是一个难以捉摸的目标。在本文中，我们提出了一个广义内容保持Warping（GCPW）方法来缓解这个问题。GCPW通过应用局部地表示图像之间的颜色变换的颜色模型来扩展原始CPW，从而满足有效图像拼接的光度约束要求。我们结合了光度和几何约束，并共同估计的颜色变换和扭曲的网格顶点，同时。我们将图像与我们的GCPW方法生成的最佳网格进行局部对齐。合成和真实图像上的实验表明，我们的新方法是强大的颜色变化，优于其他国家的最先进的CPW为基础的图像拼接方法。
2018-09-18 cs.CV
Local-peak scale-invariant feature transform for fast and random image stitching
Northwest University（西北大学）；Shanghai Jiao Tong University（上海交通大学）；Northwestern Polytechnical University（西北工业大学）
受流体湍流启发，提出基于多尺度局部峰值的快速特征点检测算法LP-SIFT，结合RANSAC实现图像拼接，速度较SIFT提升数个数量级，在158.94秒内完成9张大图随机拼接。
2024-07-30 cs.CV
Image stitching with perspective-preserving warping
State Key Laboratory of Information Engineering in Surveying, Mapping, and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）
图像拼接算法通常采用全局变换，如单应性，并适用于平面场景或无视差摄像机运动。然而，这些条件在实践中很容易被违反。对于随意的相机运动、可变的拍摄视图、大的深度变化或复杂的结构，拼接这些图像是一项具有挑战性的任务。全局变换模型通常会提供糟糕的拼接结果，例如未对齐或投影失真，特别是透视失真。为此，我们提出了一个保持视角的图像拼接翘曲，空间上结合了局部投影变换和相似性变换。通过加权组合方案，将重叠区域的局部投影变换逐步外推到非重叠区域，从而使最终的变形平滑地从投影变换过渡到相似变换.该方法在保证对准精度的同时，有效地减小了投影失真，保持了多视角的视觉效果。在各种具有挑战性的图像上的实验证实了该方法的有效性。
2016-05-17 cs.CV
SAFRON: Stitching Across the Frontier for Generating Colorectal Cancer Histology Images
University of Warwick（华威大学）；University Hospitals Coventry and Warwickshire（考文垂和沃里克大学医院）；The Alan Turing Institute（艾伦·图灵研究所）
合成图像可用于在数据有限的情况下开发和评估深度学习算法。在计算病理学领域，组织学图像的尺寸很大，视觉环境是至关重要的，通过生成建模合成大的高分辨率图像是一项具有挑战性的任务。这是由于内存和计算限制阻碍了大图像的生成。为了解决这一挑战，我们提出了一种新的SAFRON（拼接跨越前沿）框架，以构建现实的，大的高分辨率组织图像瓷砖地面实况注释，同时保留形态特征和最小的边界伪影。我们表明，所提出的方法可以生成逼真的图像瓷砖的任意大尺寸训练后，它相对较小的图像补丁。我们证明了我们的模型可以生成高质量的图像，无论是在视觉上还是在Frechet初始距离方面。与其他现有的方法相比，我们的框架在训练的内存需求方面是有效的，并且在构建大型高分辨率图像的计算数量方面也是有效的。我们还表明，对SAFRON生成的合成数据进行训练可以显着提高最先进的结直肠癌组织学图像腺体分割算法的性能。使用SAFRON生成的高分辨率图像示例可在以下网址获得：https://warwick.ac.uk/TIALab/SAFRON
2021-03-26 cs.CV eess.IV
Image Stitching by Line-guided Local Warping with Global Similarity Constraint
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）
低纹理图像拼接仍然是一个具有挑战性的问题。很难实现良好的对准，并且由于不充分和不可靠的点对应，很容易破坏图像结构。此外，由于多幅图像之间的视点变化，拼接图像遭受投影失真。为了解决这些问题，本文提出了一种基于全局相似性约束的线引导局部变形图像拼接方法。线特征作为图像的几何描述和场景约束，用于指导图像的精确拼接。一方面，通过设计权函数将线特征整合到局部变形模型中;另一方面，采用线特征来施加强几何约束，包括线对应和线共线性，通过网格优化来提高拼接性能。为了减轻投影变形，我们采用了一个全球性的相似性约束，这是通过设计的权重策略与投影变形。该约束导致最终扭曲缓慢地从投影变换改变为图像上的相似性变换。最后，图像经过两阶段的对齐方案，提供准确的对齐，并减少投影失真。我们评估我们的方法上的一系列图像，并与其他几种方法进行比较。实验结果表明，该方法提供了令人信服的拼接性能，它优于其他国家的最先进的方法。
2017-10-30 cs.CV
Object-centered image stitching
Cornell Tech（康奈尔科技校区）；Google Research（谷歌研究院）
图像拼接通常分为三个阶段：配准，将源图像与共同的目标图像对齐;接缝查找，为每个目标像素确定它应该来自的源图像;以及混合，平滑接缝上的过渡。如[1]中所述，接缝查找阶段尝试在源图像之间的过渡不明显的像素之间放置接缝。在这里，我们观察到这种方法最有问题的失败发生在对象被裁剪、省略或复制时。因此，我们采取以对象为中心的方法来解决这个问题，利用目标检测的最新进展[2，3，4]。我们惩罚候选解决方案与这类错误修改的能量函数中使用的接缝寻找阶段。这会在具有挑战性的图像上产生更加逼真的拼接结果。此外，这些方法可用于确定何时在输入数据中存在不可恢复的遮挡，并且还提出了可用于评估拼接算法的输出的简单评估度量。
2020-11-23 cs.CV
Patch Stitching Data Augmentation for Cancer Classification in Pathology Images
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
本文提出一种补丁拼接数据增强方法，从现有病理图像生成新图像以丰富数据集，在结直肠癌数据集上提升分类性能，缓解数据稀缺与不平衡问题。
2025-02-22 cs.CV eess.IV
Image Stitching and Rectification for Hand-Held Cameras
NEC Labs America（NEC美国实验室）
在本文中，我们推导出一个新的差分单应性，可以占扫描线变化的相机姿态在滚动快门（RS）相机，并演示了它的应用进行RS感知图像拼接和纠正在一个中风。尽管RS几何的高复杂性，我们在本文中集中在一个特殊的但常见的输入-两个连续的帧从视频流，其中帧间运动被限制为任意大。这使得我们可以采用更简单的微分运动模型，从而得到一个简单实用的最小求解器。针对拼接过程中存在的非平面场景和摄像机视差问题，提出了一种基于尽可能投影原理的RS感知空间变化单应性场。我们表现出优越的性能超过国家的最先进的方法，无论是在RS图像拼接和纠正，特别是手持抖动相机拍摄的图像。
2020-08-20 cs.CV
Correspondence Insertion for As-Projective-As-Possible Image Stitching
School of Computer Science（计算机科学学院）；The University of Adelaide（阿德莱德大学）
空间变化的扭曲越来越受欢迎的图像对齐。特别是，尽可能投影（APAP）扭曲已被证明是有效的精确全景拼接，特别是在具有显著深度视差的情况下，击败标准的单应性扭曲。然而，估计空间变化的翘曲需要足够数量的特征匹配。在特征检测或匹配失败的图像区域中，翘曲失去指导并且不能准确地对真实的潜在翘曲进行建模，从而导致不良配准。在本文中，我们提出了一个对应插入方法的APAP经线，重点是全景拼接。我们的方法自动识别未对齐的区域，并插入适当的点对应，以增加变形的灵活性和改善对齐。与其他扭曲类型不同，APAP扭曲的底层投影正则化减少了过度拟合和几何失真，尽管增加了扭曲复杂性。与最近的技术比较宽容的图像拼接证明了我们的方法的有效性和简单性。
2016-08-29 cs.CV
Enhanced Feature-based Image Stitching for Endoscopic Videos in Pediatric Eosinophilic Esophagitis
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
针对小儿嗜酸性食管炎内镜视频因表面光滑等问题导致传统特征拼接方法失效的问题，提出含关键帧选择、旋转调整、极坐标展开和自适应直方图均衡化增强匹配的预处理流水线，在20个视频上实验显著提升拼接质量。
2025-02-13 cs.CV
Single-Perspective Warps in Natural Image Stitching
Nankai University（南开大学）；Tianjin University（天津大学）
图像拼接的结果在视觉上可以分为单视角和多视角。与多视角结果相比，单视角结果在视角一致性方面有优势，但存在投影失真。在本文中，我们提出了两个单透视变形自然图像拼接。第一种是参数化变形，它是通过对偶特征将尽可能投射变形和准单应性变形结合起来。第二种是基于网格的变形，其通过优化总能量函数来确定，该总能量函数同时强调单视角变形的不同特征，包括对齐、自然度、失真和显著性。综合评价表明，提出的warp优于一些最先进的warp，包括单应性，APAP，AutoStitch，SPHP和GSP。
2018-03-07 cs.CV
Pixel-wise Deep Image Stitching
KAIST（韩国科学技术院）
图像拼接的目的是将从不同视点拍摄的图像拼接成一幅具有更宽视场的图像。现有的方法使用估计的变形函数将目标图像变形到参考图像，而单应性是最常用的变形函数之一。然而，当图像由于非平面场景和摄像机的平移运动而具有大视差时，单应性不能完全描述两个图像之间的映射。基于全局或局部单应性估计的现有方法不能摆脱这个问题，并且由于视差而遭受不期望的伪影。在本文中，我们提出了一种新的深度图像拼接框架，而不是依赖于基于单应性的翘曲，利用像素级翘曲场来处理大视差问题。提出的深度图像拼接框架由两个模块组成：逐像素变形模块（PWM）和拼接图像生成模块（SIGMo）。PWM采用光流估计模型来获得整个图像的逐像素变形，并利用所获得的变形场来重新定位目标图像的像素。SIGMo混合变形的目标图像和参考图像，同时消除不必要的伪影，如错位、接缝和孔洞，这些伪影会损害拼接结果的可拼接性。为了训练和评估所提出的框架，我们构建了一个大规模的数据集，其中包括具有相应的逐像素地面真值扭曲和样本拼接结果图像的图像对。我们表明，所提出的框架的结果是定性优于传统的方法，特别是当图像有大的视差。代码和拟议的数据集将很快公开。
2021-12-12 cs.CV
Learning Residual Elastic Warps for Image Stitching under Dirichlet Boundary Condition
DGIST（大邱庆北科学技术院）；Korea University（高丽大学）
提出REwarp，利用Dirichlet边界条件和残差学习，通过预测单应性和TPS实现无间断、无空洞的图像拼接，性能优越且计算成本低。
2023-10-18 cs.CV
PIS3R: Very Large Parallax Image Stitching via Deep 3D Reconstruction
Hunan University（湖南大学）；Institut Pascal, Université Clermont Auvergne / CNRS（帕斯卡尔研究所，克莱蒙特-奥弗涅大学 / CNRS）
PIS3R通过深度3D重建技术实现对大视差图像的高效拼接，保留几何完整性并提升下游3D视觉任务的应用能力。
2026-10-28 cs.CV
High-quality Panorama Stitching based on Asymmetric Bidirectional Optical Flow
The University of Sydney（悉尼大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出了一种基于非对称双向光流的全景图拼接算法。该算法以鱼眼镜头相机拍摄的多幅照片为输入，通过该算法将这些照片融合成高质量的360度球面全景图像。对于从远处拍摄的照片，它们之间的视差相对较小，并且所获得的全景图像可以是几乎无缝且不失真的。对于从近距离视角或具有相对大的视差拍摄的照片，也可以获得无缝但部分失真的全景图像。此外，该算法在图形处理器（GPU）的帮助下，能够以非常快的速度完成整个拼接过程：通常，只需不到30 s即可获得9000 x 4000像素的全景图像，这意味着我们的全景拼接算法在许多实时应用中具有很高的价值。我们的代码可在https://github.com/MungoMeng/Panorama-OpticalFlow上获得。
2020-08-29 cs.CV cs.GR eess.IV
Parallax-Tolerant Image Stitching with Epipolar Displacement Field
School of Automation, Southeast University（东南大学自动化学院）；Key Laboratory of Measurement and Control of Complex Systems of Engineering, Ministry of Education（教育部复杂工程系统测量与控制重点实验室）
针对存在视差的图像拼接难题，提出基于极几何位移场的扭曲方法，结合无穷远单应性与薄板样条构建位移场，兼顾对齐质量与全景投影特性，大视差拼接效果优于现有方法。
2024-05-13 cs.CV
Multiple Combined Constraints for Image Stitching
Wuhan University（武汉大学）
图像拼接的几种方法使用不同的约束来估计图像对之间的运动模型。这些约束可以大致分为两类：几何约束和光度约束。本文基于几何约束和光度约束的互补性，提出了将这两种约束相结合的方法来提高对准质量。一方面，几何约束（例如，点和线对应）通常在空间上有偏差，并且在某些极端场景中是不够的，而光度约束总是均匀且密集地分布。另一方面，光度约束对位移敏感，不适用于具有大松弛的图像，而几何约束通常由特征匹配施加，并且对于处理松弛更鲁棒。因此，所提出的方法将它们结合在一起，在一个有效的基于网格的图像变形框架。该方法比仅使用几何约束的方法具有更好的对准质量，并且比基于光度约束的方法能够处理更大的视差。在不同图像上的实验结果表明，该方法优于文献中报道的代表性的最先进的图像拼接方法。
2018-09-18 cs.CV
Neural Augmentation Based Panoramic High Dynamic Range Stitching
Wuhan University of Science and Technology（武汉科技大学）；Beihang University（北京航空航天大学）；University of Science and Technology Beijing（北京科技大学）；Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属））
针对HDR场景下多曝光LDR图像全景拼接易产生伪影的问题，提出结合物理驱动与数据驱动的神经增强全景HDR拼接算法，经多尺度曝光融合生成高质量全景图，性能优于现有方法。
2025-02-21 cs.CV
Object-level Geometric Structure Preserving for Natural Image Stitching
Southeast University（东南大学）
针对现有图像拼接方法难以维持目标结构的问题，提出基于全局相似性先验的OBJ-GSP方法，结合语义分割提取目标轮廓、三角网格保护形状，还构建StitchBench基准，实验表明其在像素对齐和形状保留上均优于现有方法。
2024-12-10 cs.CV
A Reconstruction System for Industrial Pipeline Inner Walls Using Panoramic Image Stitching with Endoscopic Imaging
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出一种利用内窥镜和全景图像拼接技术实现工业管道内壁高效重建的系统，提升检测效率与准确性。
2026-02-28 cs.CV
Image Stitching Based on Planar Region Consensus
Nanjing University（南京大学）
在没有全局变换的情况下，两幅图像的图像拼接是非常困难的。在本文中，注意到透视几何下的平面结构的重要性，我们提出了一种新的图像拼接方法，缝合图像的一组匹配的主导平面区域的对齐。与以前的平面分割方法明显不同，我们的方法的关键是直接利用RGB图像中丰富的语义信息，利用深度卷积神经网络（CNN）提取平面图像区域。我们专门设计了一个新的模块，充分利用现有的语义分割网络，以适应平面分割。为了训练网络，提供了用于平面区域分割的数据集。利用平面区域知识，可以通过约束匹配区域来获得一组局部变换，从而使得重叠区域中的对准更加精确。我们还使用平面知识来估计整个图像的变换场。最后的拼接是通过一个基于网格的优化框架，保持高的对齐精度，并在同一时间放松相似性变换。大量的定量比较实验表明，我们的方法可以处理不同的情况下，并优于国家的最先进的具有挑战性的场景。
2020-07-06 cs.CV
CRISP: Corneal Confocal Microscopy Real-Time Image Stitching Pipeline
Qilu Hospital, Shandong University（山东大学齐鲁医院）
CRISP提出首个开源实时角膜神经宽场拼接框架，通过焦点门控、位姿传播和稀疏锚点图实现常规CCM视频流的低延迟拼接，降低临床采用门槛。
2026-09-10 cs.CV
Automatic Image Unfolding and Stitching Framework for Esophageal Lining Video Based on Density-Weighted Feature Matching
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
针对食管内窥镜视频视野狭窄、拼接困难的问题，提出融合 LoFTR、SIFT、ORB 与 DWHO 的自动展开拼接框架，以低 RMSE、高 SSIM 生成食管全景图。
2024-10-02 cs.CV
UniStitch: Unifying Semantic and Geometric Features for Image Stitching
CQUPT（中国科学技术大学紫金学院）；PolyU；NTU（国立台湾大学）；NUS（新加坡国立大学）；BJTU（北京交通大学）
本文提出UniStitch框架，通过融合语义和几何特征提升图像拼接性能，采用Neural Point Transformer和Adaptive Mixture of Experts模块实现特征融合，实验表明其显著优于现有方法。
2026-03-21 cs.CV
Robust Alignment for Panoramic Stitching via an Exact Rank Constraint
The Pennsylvania State University（宾夕法尼亚州立大学）
研究了全景拼接中的图像对齐问题。与大多数现有的基于特征的方法不同，我们的算法直接对像素进行处理，并在全局范围内考虑整个图像的错误。从技术上讲，我们制定的秩1和稀疏矩阵分解变换图像的对齐问题，并开发了一个有效的算法来解决这个具有挑战性的非凸优化问题。该算法减少到解决一系列的子问题，我们分析建立精确的恢复条件，收敛性和最优性，以及收敛速度和复杂性。我们将其推广到同时对齐多个图像和恢复多个单应性，将其应用范围扩展到绝大多数实际场景。实验结果表明，该算法能够更准确地对齐的图像，并产生更高质量的拼接图像比国家的最先进的方法。
2019-04-01 cs.CV
Analyzing an Imitation Learning Network for Fundus Image Registration Using a Divide-and-Conquer Approach
FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University of Leeds（利兹大学）
眼底镜图像上微血管循环的比较是用于诊断和监测疾病（例如糖尿病和高血压）的非侵入性临床指征。患者内图像之间的差异可以通过配准连续采集来定量评估。由于图像的可变性（即对比度、亮度）和视网膜的解剖学变化，眼底图像的配准仍然是一项具有挑战性的任务。最近，已经提出了几种深度学习方法来以端到端的方式配准眼底图像，取得了显着的效果。然而，结果很难解释和分析。在这项工作中，我们提出了一个模仿学习框架，用于注册的二维彩色眼底图像的疾病监测，图像拼接和超分辨率等广泛的应用。我们遵循分而治之的方法来提高所提出的网络的可解释性，并分析了输入图像和超参数对配准结果的影响。结果表明，该配准网络将初始目标配准误差降低到95%.
2019-12-19 cs.CV cs.LG eess.IV
RecDiffusion: Rectangling for Image Stitching with Diffusion Models
University of Electronic Science and Technology of China（电子科技大学）；Southwest Jiaotong University（西南交通大学）；Megvii Technology（旷视科技）；Paradigm Inc（第四范式公司）
本文提出RecDiffusion框架，结合运动扩散模型与内容扩散模型，通过加权图迭代校正，解决图像拼接中的非矩形边界问题，在公共基准上取得最优效果。
2024-03-28 cs.CV
Human Face Recognition from Part of a Facial Image based on Image Stitching
College of Science and Arts in Qurayyat, Jouf University（焦夫大学古拉亚特文理学院）；Jouf University（焦夫大学）
目前的人脸识别技术大多需要待识别人的完整面部存在，而这种情况在实际中很难实现，所需的人可能会出现他的面部的一部分，这需要预测没有出现的部分。目前的大多数预测过程都是通过所谓的图像插值来完成的，这并不能给出可靠的结果，特别是如果丢失的部分很大的话。在这项工作中，我们采用了通过翻转图片中显示的部分来完成缺失部分的拼接过程，这取决于人脸在大多数情况下具有对称性的事实。为了创建一个完整的模型，使用了两种人脸识别方法来证明算法的效率。这里应用的所选人脸识别算法是特征脸和几何方法。图像拼接是将不同的摄影图像组合成完整场景或高分辨率图像的过程。多幅图像被整合以形成广角全景图像。通过计算拼接图像和原始图像之间的相似性以及通过拼接图像中接缝线的存在来确定图像拼接的质量。特征脸方法利用PCA计算来减少特征向量的维数。它为发现低维空间提供了一种有效的途径。此外，为了使所提出的算法能够识别人脸，它还确保了一种快速有效的人脸分类方法。特征提取阶段之后是分类器阶段。
2022-03-10 cs.CV
Ratio-Preserving Half-Cylindrical Warps for Natural Image Stitching
Center for Combinatorics, Nankai University（南开大学组合数学中心）
提出了一种新的用于自然图像拼接的扭曲算法，该算法利用了圆柱扭曲的性质和水平像素选择策略。提出的保持比率的半圆柱形变形是单应性和圆柱形变形的结合，它保证了单应性的对齐，并具有较小的圆柱形变形的投影失真。与以往的方法应用单应性之前的圆柱形扭曲，我们使用分区线划分成不同的部分，并应用单应性的重叠区域，而在非重叠区域的单应性和圆柱形扭曲的组合。然后，像素选择策略在水平方向上对点进行采样，并通过插值来重建图像，以通过保持比率作为相似性来进一步减少水平失真。通过半圆柱扭曲和水平像素选择，同时减轻了垂直和水平方向的投影失真。实验表明，我们的翘曲是有效的，并产生一个更自然的缝合结果比以前的方法。
2018-03-18 cs.CV
Leveraging Local Patch Alignment to Seam-cutting for Large Parallax Image Stitching
College of Information Science and Engineering, Henan University of Technology, China（信息科学与工程学院，河南理工大学，中国）
针对大视差图像拼接中接缝质量受初始对齐限制的问题，提出集成局部块对齐模块（LPAM）的对齐补偿范式，通过局部SIFT-flow对齐与自适应接缝切割提升拼接质量并保持效率。
2025-07-09 cs.CV
SX-Stitch: An Efficient VMS-UNet Based Framework for Intraoperative Scoliosis X-Ray Image Stitching
Southern University of Science and Technology（南方科技大学）；Peking Union Medical College Hospital（北京协和医院）；Dalhousie University（达尔豪斯大学）
提出两阶段术中 X 射线拼接框架 SX-Stitch，结合 VMS-UNet 分割与能量函数配准、接缝优化，在临床数据上优于现有 SOTA 方法。
2024-09-09 cs.CV
Coarse-to-fine Seam Estimation for Image Stitching
Center for Combinatorics, Nankai University（南开大学组合数学中心）
在图像拼接中，边缘切割和接缝驱动技术被证明是处理不完整图像序列的有效方法。通常，接缝驱动是利用接缝切割来基于预定义的接缝质量度量从一个或有限的对准假设中找到最佳接缝。然而，大多数方法中的质量度量被定义为测量接缝上像素的平均性能，而没有考虑它们之间的相关性和方差。这可能会导致具有最小测量值的接缝在人类感知中不是最佳的（感知不一致）。在本文中，我们提出了一种新的由粗到细的接缝估计方法，该方法以不同的方式应用评估。对于接缝上的像素，我们开发了一个补丁点评价算法集中更多的相关性和变化。然后使用评估来重新计算重叠区域的差异图并重新估计缝合缝。这种评估-重新估计过程迭代，直到当前接缝与先前接缝相比变化可以忽略不计。实验结果表明，该方法经过多次迭代后，最终可以找到一个接近感知一致的接缝，其性能优于传统的接缝切割和其他接缝驱动方法。
2018-05-24 cs.CV
Eliminating Warping Shakes for Unsupervised Online Video Stitching
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Nanyang Technological University（南洋理工大学）；Communication University of Zhejiang（浙江传媒学院）；University of Electronic Science and Technology of China（电子科技大学）
针对视频拼接中非重叠区域的扭曲抖动问题，提出无监督框架StabStitch，整合时空扭曲推导拼接轨迹并通过平滑模型优化，构建新数据集验证其在拼接、稳定效果、鲁棒性和速度上的优势，实现实时在线视频拼接。
2024-07-10 cs.CV
Reconstructing the Image Stitching Pipeline: Integrating Fusion and Rectangling into a Unified Inpainting Model
Tongji University（同济大学）
本文提出SRStitcher，将图像拼接中的融合与矩形化整合为统一修复模型，无需训练，利用加权掩码引导扩散模型，性能与稳定性优于现有方法。
2024-05-26 cs.CV
Quasi-homography warps in image stitching
Tianjin University（天津大学）；Nankai University（南开大学）
在图像拼接中，变形的自然性受到了广泛的关注。最近的扭曲，如SPHP和AANAP，使用全局相似性扭曲，以减轻投影失真（扩大区域），但是，它们必然会带来透视失真（产生不一致性）。在本文中，我们提出了一种新的准单应性变形，它有效地平衡了非重叠区域中的透视变形和投影变形，以创建一个更自然的全景图。我们的方法制定的翘曲作为一个双变量系统的解决方案，其中透视失真和投影失真的特点是分别为斜率保持和规模线性化。因为我们提出的扭曲只依赖于一个全局单应性，因此它是完全无参数的。综合实验表明，准单应性扭曲优于城市场景中的一些最先进的扭曲，包括单应性，AutoStitch和SPHP。用户研究表明，与单应性和SPHP相比，它赢得了大多数用户的青睐。
2018-03-18 cs.CV
Aerial Image Stitching Using IMU Data from a UAV
Sabanci University（萨班哲大学）
本文提出一种结合IMU数据与计算机视觉的无人机航拍图像拼接方法，通过估计位移旋转、校正透视畸变并计算单应性矩阵，在精度和鲁棒性上优于现有基于特征的拼接算法。
2025-11-10 cs.CV cs.RO cs.SY
Dual-fisheye lens stitching for 360-degree imaging
University of Texas – Arlington（德克萨斯大学阿灵顿分校）；Samsung Research America（三星美国研究院）
双鱼眼镜头相机越来越多地用于360度沉浸式成像。然而，有限的重叠视场和两个透镜之间的未对准引起拼接边界中的可见不连续性。本文介绍了一种新的方法，双鱼眼相机拼接，自适应地最大限度地减少重叠区域中的不连续性，以产生完整的球形360度图像。结果表明，这种方法可以为三星Gear 360（一种双鱼眼相机）生成高质量的拼接图像，即使拼接边界中有难以拼接的对象。
2017-08-20 cs.CV cs.MM
