OpenSGA: Efficient 3D Scene Graph Alignment in the Open World
Autonomous Multi-Robots Lab, Department of Cognitive Robotics, School of Mechanical Engineering, Delft University of Technology, 2628 CD, Delft, Netherlands(代尔夫特理工大学机械工程学院认知机器人学系自主多机器人实验室);Mobile Robotics Lab, School of Computation, Information and Technology, Technical University of Munich(慕尼黑技术大学计算、信息与技术学院移动机器人实验室)
本文提出OpenSGA框架,通过融合视觉-语言、文本和几何特征实现高效的3D场景图对齐,包含空间注意力编码器、最小成本流分配器和全局场景嵌入生成器模块,实验表明在F2S和S2S任务中表现最佳。
2026-05-11 cs.CV cs.RO
End-to-End CAD Model Retrieval and 9DoF Alignment in 3D Scans
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新颖的,端到端的方法来对齐CAD模型的3D扫描的场景,使嘈杂的,不完整的3D扫描到一个紧凑的,CAD重建干净,完整的对象几何形状的转换。我们的主要贡献在于制定一个可微的Procrustes对齐,是配对的感知密集对象对应预测。为了同时将CAD模型与扫描场景的所有对象对齐,我们的方法检测对象位置,然后在统一的对象空间中预测扫描和CAD几何形状之间的密集对象对应关系,以及最近邻CAD模型,然后两者都用于通知可微的Procrustes对齐。我们的方法以完全卷积的方式运行,使CAD模型与扫描对象在单个向前传递中对齐。这使得我们的方法能够优于$19.04\%$用于CAD模型与扫描对齐的最先进方法,并且$\approx 250\times$的运行时间比以前的数据驱动方法更快。
2019-06-10 cs.CV
Empirical Studies of Large Scale Environment Scanning by Consumer Electronics
University of Ottawa(Ottawa 大学);Huawei Canada(华为加拿大)
本文实证评估消费级设备Matterport Pro3在大规模环境扫描中的性能,通过对比iPhone展示其更密集点云与更高精度,证明其适用于大规模3D重建。
2025-03-27 cs.CV cs.ET cs.MM
OV-SCAN: Semantically Consistent Alignment for Novel Object Discovery in Open-Vocabulary 3D Object Detection
University of Waterloo(滑铁卢大学)
OV-SCAN通过语义一致性对齐解决开放词汇3D检测中跨模态特征对不一致问题,利用精确3D标注和噪声过滤策略,在nuScenes上取得最优性能。
2025-03-09 cs.CV
Exploiting 2D Floorplan for Building-scale Panorama RGBD Alignment
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出了一种新的算法,利用二维平面图对齐全景RGBD扫描。虽然存在有效的全景RGBD对准技术,但是这样的系统需要极其密集的RGBD图像采样。我们的方法可以显着减少必要的扫描次数的帮助下的平面图图像。我们制定了一个新的马尔可夫随机场的推理问题,作为一个扫描布局,而不是传统的扫描到扫描对齐。技术贡献在于多模态图像对应线索(扫描和示意性平面图之间)以及避免固有堆叠偏差的新覆盖潜力。所提出的方法已经在五个具有挑战性的大型室内空间进行了评估。据我们所知,我们提出了第一个有效的系统,利用二维平面图图像的建设规模的三维点云对齐。源代码和数据将与社区共享,以进一步加强室内测绘研究。
2016-12-08 cs.CV
SceneCAD: Predicting Object Alignments and Layouts in RGB-D Scans
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学);Occipital Inc.(Occipital公司)
我们提出了一种新的方法来重建轻量级的,基于CAD的表示商品RGB-D传感器扫描的3D环境。我们的主要思想是共同优化的CAD模型对齐以及布局估计的扫描场景,明确建模对象之间的相互关系对象和对象布局。由于对象的安排和场景布局是内在耦合,我们表明,共同处理的问题显着有助于产生全局一致的表示场景。通过建立几何体之间的密集对应关系,将CAD对象模型与场景对齐,并引入层次化布局预测方法,从场景的角点和边估计布局平面,为此,提出了一种消息传递图神经网络来建模对象与布局之间的相互关系,指导场景中全局对象对齐的生成.通过考虑全局场景布局,与最先进的方法相比,我们实现了显着改进的CAD对齐,在SUCG上的对齐准确度从41.83%提高到58.41%,在ScanNet上的对齐准确度从50.05%提高到61.24%。由此产生的CAD为基础的表示,使我们的方法非常适合在内容创建,如增强或虚拟现实的应用程序。
2020-03-27 cs.CV
Minimal Solvers for Mini-Loop Closures in 3D Multi-Scan Alignment
KTH Royal Institute of Technology(瑞典皇家理工学院);The University of Utah(犹他大学)
3D扫描配准是一个经典的,但在3D传感器(如Kinect和Velodyne)的背景下非常有用的问题。虽然有几种现有的方法,但这些技术通常是增量的,其中首先配准相邻扫描以获得初始姿态,然后进行运动平均和调整调整细化。在本文中,我们采取了不同的方法,并开发最小的求解器,共同计算的初始构成的相机在小循环,如3,4,和5周期。注意,2次扫描的经典配准可以使用最少3个点匹配来完成,以计算6度的相对运动。另一方面,为了联合计算n个循环中的3D配准,我们在前n-1个连续对之间进行2点匹配(即,扫描1和扫描2,.和扫描n-1 &扫描n),并且扫描1和扫描n之间有1或2个点匹配。总的来说,我们使用5,7和10点匹配3,4和5个周期,并恢复12,18和24度的变换变量,分别。使用模拟和真实数据,我们表明,使用迷你n-循环的3D配准计算效率高,可以提供替代和更好的初始姿态相比,标准的成对方法。
2019-04-08 cs.CV
Self-Supervised Multi-Modal Alignment for Whole Body Medical Imaging
University of Oxford(牛津大学);Plexalis Ltd.(Plexalis有限公司)
本文探讨了在医学成像中使用自监督深度学习的情况下,两种扫描模式可用于同一主题。具体而言,我们使用了来自英国生物银行的超过20,000名受试者的大型公开数据集,包括全身Dixon技术磁共振(MR)扫描和双能X射线吸收测定法(DXA)扫描。我们做出三个贡献:(i)我们引入了一个多模态图像匹配对比框架,该框架能够学习以高精度匹配同一受试者的不同模态扫描。(ii)在没有任何自适应的情况下,我们证明了在这个对比训练步骤中学习到的对应关系可以用于以完全无监督的方式执行自动交叉模态扫描配准。(iii)最后,我们使用这些配准将分割图从DXA扫描转移到MR扫描,在MR扫描中,它们用于训练网络来分割解剖区域,而不需要地面真实MR示例。为了帮助进一步的研究,我们的代码将公开提供。
2021-08-06 cs.CV
Can generalised relative pose estimation solve sparse 3D registration?
University of Utah(犹他大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
流行的3D扫描配准项目,如斯坦福数字米开朗基罗或KinectFusion,利用高分辨率传感器数据进行扫描对齐。在没有RGB分量的情况下解决稀疏3D扫描的配准特别具有挑战性。在这种情况下,我们无法建立点对应关系,因为无法在两次连续扫描中捕获相同的3D点。与基于对应关系的方法相比,我们采取了不同的观点,并制定了稀疏的3D配准问题的基础上,从相邻扫描的线段的交叉点的约束。我们通过将每条水平和垂直扫描线建模为分段线性段来获得线段。我们提出了一种新的交替投影算法来解决扫描对齐问题使用线相交的约束。我们开发了两个新的最小解算器的扫描对准存在的平面对应:1)3线相交和1平面对应,和2)1线相交和2平面对应。我们在Kinect和LiDAR数据集上优于其他竞争方法。
2019-06-13 cs.CV
EVA: Bridging Performance and Human Alignment in Hard-Attention Vision Models for Image Classification
The University of Tokyo(东京大学)
EVA通过硬注意力机制显式调整性能与人类对齐的权衡,提升扫描路径对齐性同时保持高精度。
2026-03-28 cs.CV
Detecting Pancreatic Ductal Adenocarcinoma in Multi-phase CT Scans via Alignment Ensemble
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medical Institutions(约翰斯·霍普金斯医疗机构)
胰腺导管腺癌(PDAC)是人群中最致命的癌症之一。CT动态增强扫描筛查PDAC有助于早期诊断。在本文中,我们研究的问题,自动检测PDAC在多相(动脉和静脉)CT扫描。多个相位比单个相位提供更多的信息,但它们在纹理上是不对齐和不均匀的,使得难以无缝地组合交叉相位信息。我们研究了多相位对齐策略,即,早期对准(图像配准)、晚期对准(高级特征配准)和缓慢对准(多级特征配准),并且建议所有这些对准的集合作为提高PDAC检测的性能的有希望的方式。我们对两个PDAC数据集进行了广泛的实证评估,结果表明,所提出的对齐集合显著优于以前最先进的方法,说明了临床应用的强大潜力。
2020-07-01 cs.CV eess.IV
Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training
Peking University(北京大学);National Engineering Laboratory for Big Data Analysis and Applications(大数据分析与应用国家工程实验室);Center for Data Science(数据科学中心);Beijing International Center for Mathematical Research (BICMR)(北京国际数学研究中心);Center for Data Science in Health and Medicine(健康医疗数据科学中心)
提出了一种基于像素对齐和自训练的无监督跨模态领域自适应方法。像素对齐将ceT1扫描转换为hrT2模态,有助于减少训练分割模型中的域偏移。自训练调整分割网络的决策边界以适应hrT2扫描的分布。实验结果表明,PAST显著优于非UDA基线,在CrossMoDA验证阶段排行榜上获得了2级,平均Dice得分为0.8395。
2021-09-29 cs.CV
Complete Scene Reconstruction by Merging Images and Laser Scans
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Ocean University of China(中国海洋大学);University of Chinese Academy of Sciences(中国科学院大学);Henan Polytechnic University(河南理工大学)
基于图像的建模和激光扫描是目前大规模建筑场景重建中常用的两种方法。为了生成完整的场景重建,一种有效的方法是利用地面和航空影像对场景进行完全覆盖,并辅之以激光对某些纹理较低、结构复杂的区域进行扫描。因此,关键问题是在一个统一的框架中准确校准相机和记录激光扫描。为此,我们提出了一个三步流水线,通过合并图像和激光扫描完成场景重建。首先,以多视图和多尺度的方式在架构周围捕获图像,并将其馈送到运动恢复结构(SfM)流水线中以生成SfM点。然后,基于SfM结果,通过考虑纹理丰富性、场景结构复杂性和激光扫描的空间布局来自动规划激光扫描位置。最后,图像和激光扫描以由粗到精的方式精确合并。在两个中国古代建筑数据集上的实验验证了本文提出的完整场景重建流水线的有效性。
2019-09-18 cs.CV
Adaptive Image Sampling using Deep Learning and its Application on X-Ray Fluorescence Image Reconstruction
Northwestern University(西北大学);Art Institute of Chicago(芝加哥艺术学院);Northwestern University / Art Institute of Chicago Center for Scientific Studies in the Arts (NU-ACCESS)(西北大学/芝加哥艺术学院艺术科学研究中心(NU-ACCESS))
提出了一种基于深度学习(DL)的自适应图像采样算法。自适应采样掩模生成网络与图像修补网络联合训练。在掩码生成网络中控制了采样率,并研究了一种二值化策略,使采样掩码二值化。除了图像采样和重建应用程序,我们表明,所提出的自适应采样算法是能够加快光栅扫描过程,如X射线荧光(XRF)图像扫描过程。最近,由于X射线产生和检测方面的技术进步,基于实验室的XRF系统已经发展成为轻型和便携式仪器。然而,XRF图像的扫描时间通常很长,这是由于需要长时间曝光(例如,每点$100 μs-1ms$)。我们提出了一种XRF图像修补方法来解决扫描时间长的问题,从而加快扫描过程,同时仍然保持重建高质量XRF图像的可能性。将提出的自适应图像采样算法应用于扫描目标的RGB图像以生成采样掩模。然后根据采样掩模驱动XRF扫描仪以扫描总图像像素的子集。最后,通过融合RGB图像对扫描图像进行修补,重建出全扫描的XRF图像。实验结果表明,该算法能够有效地对图像进行采样,并获得比现有方法更好的重建精度。
2019-11-17 cs.CV
ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images
Rochester Institute of Technology(罗切斯特理工学院)
我们介绍了扫描Single Shot检测器(ScanSSD),用于定位从文本偏移并嵌入文本行中的数学公式。ScanSSD仅使用视觉特征进行检测:不使用格式或排版信息,如布局,字体或字符标签。给定600 dpi文档页面图像,Single Shot Detector(SSD)使用滑动窗口以多个尺度定位公式,之后汇集候选检测以获得页面级结果。对于我们的实验,我们使用TFD-ICDAR 2019 v2数据集,这是GTDB扫描数学文章集合的修改。ScanSSD以高准确度检测公式中的字符,获得0.926的f分数,并检测整体召回率高的公式。检测错误很大程度上很小,例如在大的空白间隙处分割公式(例如,对于变量约束)和合并相邻文本行上的公式。获得公式检测f分数为0.796(IOU $\geq0.5$)和0.733(IOU $\ge 0.75$)。我们的数据、评估工具和代码是公开的。
2020-03-18 cs.CV
Deep Photo Scan: Semi-Supervised Learning for dealing with the real-world degradation in Smartphone Photo Scanning
Hosei University(法政大学)
物理照片现在可以方便地通过智能手机扫描并永久存储为数字版本,但扫描的照片无法很好地恢复。一种解决方案是在许多数码照片和相应的扫描照片上训练有监督的深度神经网络。然而,它需要高的劳动力成本,导致有限的训练数据。以前的作品通过使用图像处理技术模拟退化来创建训练对。他们的合成图像是由潜在空间中完美扫描的照片形成的。即便如此,智能手机照片扫描的真实世界退化仍然没有解决,因为它由于镜头散焦,照明条件,通过打印丢失细节而变得更加复杂。此外,局部结构错位仍然发生在数据中,由于在三维世界中捕获的扭曲形状,降低恢复性能和定量评估的可靠性。为了解决这些问题,我们提出了一种半监督深度照片扫描(DPScan)。首先,我们提出了一种产生真实世界退化的方法,并为智能手机扫描的照片恢复提供DIV2K-SCAN数据集。此外,局部对齐被提出来减少数据中剩余的微小不对齐。其次,我们使用低级图像变换来模拟真实世界退化的许多不同变体,以获得智能手机扫描图像属性的泛化,然后训练退化网络来泛化所有类型的退化,并为未扫描的图像提供伪扫描照片,就像它们被智能手机扫描一样。最后,我们提出了一个半监督学习,允许我们的恢复网络在扫描和未扫描的图像上进行训练,使训练图像内容多样化。因此,在智能手机照片扫描方面,所提出的DPScan在数量和质量上都优于其基线架构、最先进的学术研究和工业产品。
2021-08-18 cs.CV
MambaCSR: Dual-Interleaved Scanning for Compressed Image Super-Resolution With SSMs
University of Science and Technology of China(中国科学技术大学);Bytedance Inc.(字节跳动公司)
针对压缩图像超分辨率任务,提出基于Mamba的MambaCSR框架,通过双交错扫描范式(含分层、水平-垂直交错扫描)及位置对齐跨尺度扫描,在多基准上取得优异性能,代码即将开源。
2024-11-26 cs.CV
Automatic symmetry based cluster approach for anomalous brain identification in PET scan image : An Analysis
Sathyabama University(萨蒂亚巴马大学);Narasu’s Sarathy Institute of Technology(纳拉苏萨拉蒂技术学院)
医学图像分割是指从不同的医学图像中分割出已知的解剖结构。通常情况下,医学数据研究是一个比较复杂和独特的结构。这种计算机辅助诊断用于辅助医生评估医学图像或识别医学图像中的异常发现。整合医学数据处理的专业知识,有助于形成一个真正有用的医疗决策系统。本文研究了聚类算法中应用的不同对称性距离,并分析了正电子发射断层扫描(PET)扫描图像分割的对称性方法。与CT和MRI不同,PET扫描可以识别进出器官的血流结构。PET扫描还有助于癌症和心脏,大脑和胃肠疾病的早期诊断,并检测治疗进展。本文将PET图像的诊断范围扩展到脑的各种功能。
2013-03-04 cs.CV
Unsupervised Difference Learning for Noisy Rigid Image Alignment
Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学)
刚性图像配准是计算机视觉中的一项基本任务,而传统的配准算法要么对噪声过于敏感,要么耗时较长。基于空间Transformer网络的无监督图像对齐方法在干净图像上显示出更好的性能,但由于其严重依赖于像素值比较,因此在噪声图像上不会达到令人满意的性能。为了处理这些具有挑战性的应用,我们提出了一种新的无监督差分学习(UDL)策略,并将其应用于刚性图像对齐。UDL利用回归任务的量化特性,将原始的无监督问题转化为伪监督问题。在新的基于UDL的图像对齐流水线下,可以在干净和有噪声的图像上准确估计旋转,然后可以轻松解决平移问题。自然和冷冻EM图像上的实验结果表明,我们的UDL为基础的无监督刚性图像对齐方法的有效性。
2022-05-24 cs.CV
Rethinking Scanning Strategies with Vision Mamba in Semantic Segmentation of Remote Sensing Imagery: An Experimental Study
CSIRO Mineral Resources(联邦科学与工业研究组织矿产资源部)
本文通过在 LoveDA、ISPRS Potsdam 和 ISPRS Vaihingen 上的实验,评估 Mamba 不同扫描方向及组合对遥感影像语义分割的影响,发现简单单一扫描方向已足够。
2024-05-14 cs.CV
Diagnosing Heterogeneous Dynamics for CT Scan Images of Human Brain in Wavelet and MFDFA domain
IISER, Kolkata(印度科学教育与研究所);IEM, Kolkata(印度工程学院);BCKV, Kalyani(Bidhan Chandra Krishi Viswavidyalaya大学);CEM, Kolaghat(科尔加特工程学院)
采集了一个特定病人的大脑不同截面的CT扫描图像,对图像进行了小波变换和多重分形分析。在分析这些图像之前完成图像的垂直和水平展开。通过小波归一化能量图和小波半对数图对不同截面的人脑CT扫描图像进行了系统的去噪研究,明确指出了垂直和水平展开结果之间的不匹配。结果的不匹配证实了空间域的异质性。利用多重分形去趋势波动分析(MFDFA),垂直和水平展开的Hurst指数和奇异谱宽度之间的不匹配证实了这一点。
2015-03-12 cs.CV
A deep learning-based method for relative location prediction in CT scan images
Center for Biomedical imaging(生物医学影像中心);University of Science and Technology of China(中国科学技术大学)
计算机断层扫描(CT)图像中的相对位置预测是一个具有挑战性的问题。本文提出了一种基于一维卷积神经网络的回归模型,用于确定CT扫描图像的相对位置,既鲁棒又精确。一个公共的数据集,使用5倍交叉验证来验证该研究提出的方法的性能。实验结果表明,所提出的模型与最先进的技术相比,具有良好的性能,实现了1.04厘米的中位数绝对误差和1.69厘米的平均绝对误差。
2017-11-21 cs.CV
How should a fixed budget of dwell time be spent in scanning electron microscopy to optimize image quality?
German Research Center for Artificial Intelligence GmbH (DFKI)(德国人工智能研究中心有限公司(DFKI));Saarland University(萨尔兰大学);FEI(FEI公司)
在扫描电子显微镜中,可实现的图像质量通常受到每个数据集的最大可行采集时间的限制。特别是对于三维或大视场成像,必须在导致低信噪比的大量散粒噪声与过多的采集时间之间找到折衷。假设一个固定的采集时间每帧,我们比较了三种不同的策略,算法辅助图像采集扫描电子显微镜。我们评估了(1)光栅扫描,每个像素的停留时间减少,然后采用最先进的去噪算法,(2)光栅扫描,分辨率降低,结合最先进的超分辨率算法,以及(3)稀疏扫描方法,其中光束访问固定百分比的像素,结合最先进的修复算法。此外,我们考虑了每种策略的束流增加。实验表明,稀疏扫描使用适当的重建技术是优于其他策略。
2018-01-12 cs.CV
3DFill:Reference-guided Image Inpainting by Self-supervised 3D Image Alignment
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
现有的大多数图像修补算法都是基于单个视图的,难以处理大孔洞或包含复杂场景的孔洞。一些参考引导算法通过参考另一个视点图像来填充孔,并使用2D图像对齐。由于摄像机成像过程的原因,简单的二维变换很难达到令人满意的效果。在本文中,我们提出了3DFill,一个简单而有效的方法参考引导图像修补。给定具有任意孔洞区域的目标图像和来自另一视点的参考图像,3DFill首先通过两阶段方法对齐两个图像:3D投影+ 2D变换,其效果优于2D图像对齐。3D投影是图像之间的整体对准,而2D变换是聚焦于孔区域的局部对准。图像对齐的整个过程是自我监督的。然后,我们用对齐图像的内容填充目标图像中的孔。最后,我们使用一个条件生成网络细化填充图像,以获得修复结果。3DFill在各种宽视图偏移的图像修补上实现了最先进的性能,并且具有比其他修补模型更快的推理速度。
2022-11-09 cs.CV
Adaptive sampling for scanning pixel cameras
扫描像素相机是一种新型的低成本、低功耗的传感器,不受衍射限制。它产生的数据是在扫描过程中从场景的各个部分提取的样本序列。它可以提供非常详细的图像,代价是采样率和缓慢的图像采集时间。本文提出了一种新的算法,它允许传感器在这个序列的过程中适应采样率。这使得有可能通过最小化成像和传输场景所需的带宽和时间来克服这些限制中的一些,同时保持图像质量。我们研究了图像分类和语义分割的应用,并能够实现与完全采样输入相比类似的结果,同时使用少80%的样本
2022-08-01 cs.CV
Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D Networks for 3D Coherent Layer Segmentation of Retina OCT Images
Xiamen University(厦门大学);Tencent Jarvis Lab(腾讯天衍实验室)
视网膜层表面的自动分割是光学相干断层成像(OCT)分析中的重要问题,也是一个挑战。最近,许多基于深度学习的方法已经被开发出来,并产生了显着的性能。然而,由于OCT数据的B扫描之间存在较大的空间间隙和潜在的不匹配,所有这些都是基于单个B扫描的2D分割,这可能会丢失跨B扫描的连续性信息。此外,视网膜层的3D表面可以提供更多的诊断信息,这在定量图像分析中至关重要。在这项研究中,提出了一种新的框架的基础上混合2D-3D卷积神经网络(CNN),以获得连续的3D视网膜层表面OCT。单个B扫描的2D特征提取的编码器组成的2D卷积。然后,这些2D特征用于通过两个3D解码器产生对准位移场和层分割,这两个3D解码器经由空间Transformer模块耦合。整个框架都是端到端训练的。据我们所知,这是第一个尝试基于CNN的体积OCT图像中的3D视网膜层分割的研究。在公开数据集上的实验表明,我们的框架在层分割精度和交叉B扫描3D连续性方面都取得了优于最先进的2D方法的结果,从而提供了比以前的作品更多的临床价值。
2022-03-04 cs.CV eess.IV
Face morphing detection in the presence of printing/scanning and heterogeneous image sources
University of Bologna(博洛尼亚大学)
人脸变形是当今电子身份证件中的一个巨大安全威胁,也是人脸识别领域研究人员面临的一个有趣挑战。尽管最先进的数字图像处理方法取得了良好的效果,但迄今为止还没有找到令人满意的解决办法来处理跨数据库测试和打印-扫描图像(通常在许多国家用于文件签发)。在这项工作中,提出了新的方法来训练深度神经网络进行变形检测:特别是生成模拟的打印扫描图像以及其他数据增强策略,并在大型人脸识别数据集上进行预训练,从而在来自异构图像源的具有挑战性的数据集上达到最先进的精度。
2021-02-24 cs.CV
Regression-Based Image Alignment for General Object Categories
Queensland University of Technology(昆士兰科技大学);Carnegie Mellon University(卡内基梅隆大学)
自适应下降方法在面部领域的图像对齐方面表现出快速可靠的性能,但在很大程度上被更广泛的视觉社区所忽视。它们要求图像函数是平滑的和(数值上)可微的--这些属性适用于服从自然图像统计的基于像素的表示,但不适用于更一般的非线性特征变换。我们表明,转换,如密集SIFT可以纳入卢卡斯Kanade对齐框架通过回归预测下降方向。这使得鲁棒匹配的实例从一般的对象类别,同时保持理想的属性卢卡斯Kanade,如处理高维翘曲参数化和快速收敛的能力。我们在ImageNet中的一些对象上呈现了对齐结果,并将该方法扩展到图像语料库中对象的无监督联合对齐。
2014-07-08 cs.CV
Embedded Line Scan Image Sensors: The Low Cost Alternative for High Speed Imaging
KU Leuven(鲁汶大学);Flanders Make
本文提出了一种低成本的高速成像线扫描系统。我们用定制的廉价现成组件取代了昂贵的工业线阵相机和照明,从而获得了具有相当质量的测量系统,而成本却降低了约20倍。我们使用低成本的线性(1D)图像传感器,廉价的光学器件(包括基于LED或基于激光的照明)和嵌入式平台来处理图像。提出了一种分步设计这种自定义高速成像系统和选择合适的元器件的方法。模拟允许预测的最终图像质量得到的设置已经开发。最后,我们在实验室中应用我们的方法,密切代表现实生活中的情况。我们的研究结果表明,我们的模拟是非常准确的,我们的低成本线扫描设置获得的图像质量相比,高端商业视觉系统,价格的一小部分。
2016-12-07 cs.CV
Medical Image Imputation from Image Collections
MIT(麻省理工学院);Massachusetts General Hospital(麻省总医院);HMS(哈佛医学院);Google(谷歌);Cornell University(康奈尔大学)
我们提出了一种算法,用于创建高分辨率解剖学上合理的图像与获得的临床脑MRI扫描与大切片间的间距一致。尽管临床图像的大数据集包含丰富的信息,但采集期间的时间限制导致无法捕获大部分解剖结构的稀疏扫描。这些特征通常使得计算分析不切实际,因为许多图像分析算法在应用于此类图像时往往会失败。显式处理稀疏切片间距的高度专业化算法不能很好地推广到问题域。相比之下,我们的目标是使现有的算法,最初开发的高分辨率研究扫描显着欠采样扫描的应用程序。我们引入了一种生成模型,该模型在临床图像集合中捕获受试者的精细尺度解剖结构,并推导出一种算法,用于填充具有大切片间间距的扫描中的缺失数据。我们的实验结果表明,所得到的方法优于最先进的上采样超分辨率技术,并有望促进后续分析,以前不可能与这种质量的扫描。我们的实现可以在https://github.com/adalca/papago上免费获得。
2018-08-17 cs.CV
Generative Image Inpainting with Submanifold Alignment
The University of Melbourne(墨尔本大学)
图像修补的目的是修复受损图像中的缺失区域,在图像复原、目标去除等方面有着广泛的应用。然而,目前基于GAN的生成修复模型并没有明确地利用恢复内容与其周围上下文之间的结构或纹理一致性。为了解决这一限制,我们建议在基于GAN的修复模型的学习过程中,强制恢复图像周围的局部数据子流形(或子空间)与原始(未损坏)图像周围的局部数据子流形(或子空间)之间的对齐(或接近度)。我们利用局部内在相似性(LID)来测量,在深特征空间中,从图像(表示为iLID)和图像的局部补丁(表示为pLID)的角度来看,由GAN模型学习的数据子流形与原始数据子流形之间的对齐。然后,我们将iLID和pLID作为基于GAN的修复模型的正则化,以鼓励两个级别的子流形对齐:1)用于提高结构一致性的图像级对齐,以及2)用于改善纹理细节的补丁级对齐。在四个基准数据集上的实验结果表明,我们提出的模型可以生成比最先进的模型更准确的结果。
2020-09-12 cs.CV
Segmentation of scanning electron microscopy images from natural rubber samples with gold nanoparticles using starlet wavelets
University of Campinas(坎皮纳斯大学);Univ Estadual Paulista(圣保罗州立大学)
电子显微镜已被用于不同材料结构的形态评估。然而,显微镜检查结果可能会受到几个因素的影响。图像处理方法可用于校正和改善这些结果的质量。本文提出了一种基于星型分割的扫描电镜图像分割算法。提出了一个应用程序,以确定金纳米粒子在天然橡胶膜。在这个应用程序中,我们的方法对所有测试图像的准确率都大于85%。该方法的结果将用于未来的研究,计算估计天然橡胶样品中的金纳米粒子的密度分布,并预测在不同的时间段的金纳米粒子的还原动力学。
2016-06-12 cs.CV
A Combined Method Of Fractal And GLCM Features For MRI And CT Scan Images Classification
Ibn Tofail University(伊本·托法勒大学);Cheikh Anta Diop University(谢赫·安塔·迪奥普大学);Abdelmalek Essaadi University(阿卜杜勒马利克·埃萨迪大学)
分形分析在图像处理中用于表征形状和灰度复杂性是有用的。分形特征是一种紧凑的描述符,用于给出医学图像不规则程度的数值度量。此描述符属性不提供本地图像结构的所有权。在本文中,我们提出了一个组合的这个参数的基础上盒计数与灰度共生矩阵特征。这种强大的组合已被证明是良好的效果,特别是在分类的医学纹理的MRI和CT扫描图像的骨小梁。这种方法有可能改善骨质疏松症病理的临床诊断测试。
2014-09-16 cs.CV
Automatically Annotating Indoor Images with CAD Models via RGB-D Scans
Graz University of Technology(格拉茨技术大学);École des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
提出了一种基于RGB-D扫描的室内场景图像自动标注方法。通过3D专家的视觉评估,我们表明,我们的方法检索的注释至少与手动注释一样准确,因此可以用作地面实况,而无需手动注释3D数据的负担。我们使用合成分析方法来实现这一点,该方法将CAD模型的渲染与捕获的场景进行比较。我们引入了一个“克隆过程”,识别具有相同几何形状的对象,用相同的CAD模型注释这些对象。这使我们能够获得ScanNet数据集和最近的ARKitScenes数据集的完整注释。
2022-12-22 cs.CV
Step-Wise Hierarchical Alignment Network for Image-Text Matching
Tianjin University(天津大学)
图像-文本匹配在弥合视觉和语言之间的语义鸿沟方面起着核心作用。实现精确的视觉语义对齐的关键在于捕捉图像和文本之间的细粒度跨模态对应。以往的方法大多依赖于单步推理来发现视觉-语义交互,缺乏利用多层次信息定位层次细粒度关联的能力。与之不同的是,本文提出了一种分步层次对齐网络(SHAN),它将图像-文本匹配分解为多步跨模态推理过程。具体来说,我们首先实现局部到局部对齐在片段级别,其次是执行全局到局部和全局到全局对齐在上下文级别顺序。这种渐进式对齐策略为我们的模型提供了更多的互补性和足够的语义线索来理解图像和文本之间的层次关系。在两个基准数据集上的实验结果证明了该方法的优越性。
2021-06-11 cs.CV
Deep Visual-Semantic Alignments for Generating Image Descriptions
Stanford University(斯坦福大学)
我们提出了一个模型,生成图像及其区域的自然语言描述。我们的方法利用图像及其句子描述的数据集来学习语言和视觉数据之间的模态间对应关系。我们的对齐模型是基于图像区域上的卷积神经网络、句子上的双向递归神经网络以及通过多模态嵌入对齐两种模态的结构化目标的新颖组合。然后,我们描述了一个多模态递归神经网络架构,它使用推断的对齐来学习生成图像区域的新描述。我们证明了我们的对齐模型在Flickr8K,Flickr30K和MSCOCO数据集上的检索实验中产生了最先进的结果。然后,我们表明,所生成的描述显着优于检索基线上的完整图像和区域级注释的新数据集。
2015-04-14 cs.CV
Dense Cross-Scale Image Alignment With Fully Spatial Correlation and Just Noticeable Difference Guidance
针对现有无监督图像对齐精度有限、计算复杂的问题,提出考虑跨尺度特征相关性、支持精度效率权衡、含全空间相关性模块及恰可察觉差异引导的模型,实验证明其优于现有最优方法。
2025-11-12 cs.CV
DMAligner: Enhancing Image Alignment via Diffusion Model Based View Synthesis
University of Electronic Science and Technology of China(电子科技大学);Qianyuan Laboratory(钱元实验室);Southwest Jiaotong University(西南交通大学);Independent Researcher(独立研究者)
DMAligner通过扩散模型基于视角合成的方法提升图像对齐效果,解决传统光流方法在遮挡和光照变化下的局限性,提出动态感知扩散训练和动态场景图像对齐数据集。
2026-03-26 cs.CV
Adaptive Digital Scan Variable Pixels
Enview R&D Labs, India(Enview研发实验室(印度))
用于感测和显示目的的数字图像中的像素的正方形和矩形形状在数字图像的表示中引入了若干不准确性。正方形像素形状的主要缺点是不能准确地捕捉和显示具有可变方向的边缘、形状和区域的对象中的细节。这种影响可以通过低分辨率方形像素图像中对角边缘的不准确表示来观察。本文探讨了一个较少研究的想法,使用可变形状的像素,提高图像扫描的视觉质量,而不增加平方像素的分辨率。所提出的自适应滤波技术报告了图像PSNR的改善。
2015-06-22 cs.CV
VisIRNet: Deep Image Alignment for UAV-taken Visible and Infrared Image Pairs
Ozyegin University(厄齐耶因大学)
本文提出VisIRNet,一种基于双分支CNN的多模态图像对齐方法,通过预测图像四角坐标或单应性矩阵避免LK方法,在四个航空数据集上取得最优结果。
2024-02-15 cs.CV
GPU-accelerated image alignment for object detection in industrial applications
National Taiwan University of Science and Technology(台湾科技大学)
本研究提出了一种实用的方法来检测无特征的对象,使用图像对齐方法与一个强大的相似性度量在工业应用中。该相似性度量对遮挡、光照变化和背景杂波具有鲁棒性。在CPU和GPU实现的对比实验中,所提出的GPU(图形处理单元)加速算法的性能被认为是成功的
2021-12-10 cs.CV
GloFlow: Global Image Alignment for Creation of Whole Slide Images for Pathology from Video
深度学习在病理学中的应用假设存在病理学切片的数字全切片图像。然而,载玻片数字化受到载玻片扫描仪中精确电动载物台的高成本的阻碍,所述载物台需要用于载玻片缝合的位置信息。我们提出了GloFlow,一个两阶段的方法,用于创建一个完整的幻灯片图像,使用基于光流的图像配准与全局对齐,使用计算上易处理的图形修剪方法。在第一阶段中,我们训练光流预测器来预测连续视频帧之间的成对平移以近似缝合。在第二阶段中,使用该近似缝合来创建邻域图以产生校正的缝合。在一个模拟的数据集的视频扫描的WSI,我们发现,我们的方法优于已知的方法来幻灯片拼接,并缝合WSI类似于幻灯片扫描仪产生的。
2020-11-12 cs.CV cs.LG eess.IV
Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D Networks for 3D Coherent Layer Segmentation of Retinal OCT Images with Full and Sparse Annotations
Xiamen University(厦门大学);National Institute for Data Science in Health and Medicine, Xiamen University(厦门大学健康医疗大数据国家研究院);Tencent YouTu Lab(腾讯优图实验室);Southern University of Science and Technology(南方科技大学)
提出混合2D-3D CNN框架,通过空间变换耦合的双3D解码器同时完成B扫描对齐与视网膜层表面回归,并利用平滑损失支持全监督和稀疏标注半监督的3D相干分割。
2023-12-04 cs.CV eess.IV
Unsupervised Image to Image Translation for Multiple Retinal Pathology Synthesis in Optical Coherence Tomography Scans
Indian Institute of Information Technology, Sri City(印度信息技术学院,斯里城)
图像到图像翻译(I2I)是一个具有挑战性的计算机视觉问题,用于许多领域的多个任务。近年来,眼科成为I2I应用迅速增长的主要领域之一。一种这样的应用是生成合成视网膜光学相干断层扫描(OCT)扫描。现有的I2I方法需要训练多个模型来将图像从正常扫描转换为特定的病理:由于其复杂性,限制了这些模型的使用。为了解决这个问题,我们提出了一个无监督的多域I2I网络与预训练的风格编码器,将视网膜OCT图像在一个域转换到多个域。我们假设图像分为域不变的内容和域特定的样式代码,并对这些样式代码进行预训练。实验结果表明,该模型优于MUNIT和CycleGAN等最先进的模型,可以合成各种病理扫描。
2021-12-11 cs.CV eess.IV
PECon: Contrastive Pretraining to Enhance Feature Alignment between CT and EHR Data for Improved Pulmonary Embolism Diagnosis
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Sheikh Shakbout Medical City(谢赫·沙赫布特医疗城)
针对仅靠CT影像特征不足以精准诊断肺栓塞的问题,提出融合CT与EHR数据的有监督对比预训练方法PECon,通过对齐双模态特征提升诊断效果,在RadFusion数据集上取得SOTA性能并探究了可解释性。
2023-08-27 cs.AI cs.CV
Super-Resolution on Rotationally Scanned Photoacoustic Microscopy Images Incorporating Scanning Prior
Southern University of Science and Technology(南方科技大学);Jiaxing Research Institute, Southern University of Science and Technology(南方科技大学嘉兴研究院)
针对旋转扫描光声显微镜成像速度与分辨率的权衡问题,提出结合奇偶行配准、位移退化训练和基于Transformer的超分辨率框架,有效提升了旋转扫描PAM图像的分辨率与泛化能力。
2025-03-05 cs.CV eess.IV
SCENEFORGE: Enhancing 3D-text alignment with Structured Scene Compositions
Department of Electronics, Information and Bioengineering(电子、信息与生物工程系)
SceneForge通过结构化多对象场景组合增强3D点云与文本的对比对齐,解决数据稀缺问题,在零样本分类、少样本分割、3D问答和检索等任务上显著提升性能,且与模型架构无关。
2025-10-16 cs.CV cs.MM
Diagnosis of COVID-19 disease using CT scan images and pre-trained models
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学)
COVID-19的诊断对于预防和控制疾病是必要的。深度学习方法被认为是一种快速而准确的方法。在本文中,通过三个著名的预训练网络的并行组合,我们试图区分冠状病毒感染的样本和健康样本。负对数似然损失函数已被用于模型训练。使用SARS-CoV-2数据集中的CT扫描图像进行诊断。SARS-CoV-2数据集包含2482张肺部CT扫描图像,其中1252张图像属于COVID-19感染样本。该模型的准确率接近97%。
2022-08-16 cs.CV eess.IV
JSSR: A Joint Synthesis, Segmentation, and Registration System for 3D Multi-Modal Image Alignment of Large-scale Pathological CT Scans
PAII Inc.(PAII公司);Johns Hopkins University(约翰斯·霍普金斯大学);Vanderbilt University(范德堡大学);Chang Gung Memorial Hospital(长庚纪念医院);Ping An Technology(平安科技)
多模态图像配准是一个具有挑战性的问题,也是许多实际应用和场景的重要临床任务。作为分析的第一步,通常需要在不同图像模态之间进行可变形配准,以便提供互补的视觉信息。在配准过程中,语义信息是匹配同源点和像素的关键。然而,许多传统的配准方法无法捕捉高层次的语义解剖密集的对应关系。在这项工作中,我们提出了一种新的多任务学习系统,JSSR,基于端到端的3D卷积神经网络,由一个生成器,注册和分割组件。该系统被优化,以满足不同的任务之间的隐含约束,在一个无监督的方式。首先将源域图像合成到目标域,然后对合成图像和目标图像进行模态内配准。然后将分割模块应用于合成图像和目标图像,根据语义对应关系提供额外的线索。来自另一个完全注释的数据集的监督用于正则化分割。我们在一个包含1,485名患者CT成像研究的大规模医学图像数据集上广泛评估了JSSR,这些患者CT成像研究具有四个不同的对比度阶段(即,5,940个病理肝脏的3D CT扫描),用于配准、分割和合成任务。与高度竞争和准确的深度学习基线相比,在对配准和分割任务进行联合训练后,性能分别提高了0.9%和1.9%。配准也始终优于传统的最先进的多模态配准方法。
2020-07-17 cs.CV eess.IV
Groupwise Multimodal Image Registration using Joint Total Variation
The Wellcome Centre for Human Neuroimaging, UCL(伦敦大学学院惠康人类神经影像中心)
在医学成像中,通常的做法是采集广泛的模态(MRI、CT、PET等),以突出不同的结构或病理。由于患者在扫描或扫描会话之间的移动是不可避免的,因此配准通常是任何后续图像分析之前的重要步骤。在本文中,我们引入了一个基于联合总变分的代价函数,这样的多模态图像配准。该代价函数具有能够实现多个图像的原则性的、成组的对准的优点,同时对强强度非均匀性不敏感。我们评估我们的算法严格对齐模拟和真实的3D大脑扫描。该验证显示了CT/PET到MRI对准的强强度不均匀性和低配准误差的鲁棒性。我们的实现可以在https://github.com/brudfors/coregistration-njtv上公开获得。
2020-05-06 cs.CV eess.IV
A 3D CNN Network with BERT For Automatic COVID-19 Diagnosis From CT-Scan Images
Shenzhen Deepcam Information Technologies(深圳深图信息技术有限公司);LinkSprite Technologies(联芯通科技)
我们提出了一个自动COVID 1 -19诊断框架,从肺部CT扫描切片图像。在这个框架中,首先使用分割技术对CT扫描体积的切片图像进行预处理,以过滤掉闭合肺的图像,并去除无用的背景。然后,使用一种重新排序方法来选择一组或多组固定数量的切片图像用于训练和验证。使用具有BERT的3D CNN网络来对这组所选切片图像进行分类。在该网络中,还提取了嵌入特征。在体积中存在多于一组切片图像的情况下,提取所有组的特征并将其汇集到整个CT扫描体积的全局特征向量中。一个简单的多层感知器(MLP)网络被用来进一步分类的聚合特征向量。模型在提供的训练和验证数据集上进行训练和评估。在验证数据集上,准确度为0.9278,F1得分为0.9261。
2021-10-04 cs.CV eess.IV
TFANet: Three-Stage Image-Text Feature Alignment Network for Robust Referring Image Segmentation
本文提出TFANet,通过KPS、KFS和KIS三阶段分层框架及MLAM、CFSM、WFDM模块,系统增强多模态对齐,解决复杂场景下指代图像分割中的错位与语义丢失问题。
2025-09-16 cs.AI cs.CV
Deep Denoising Method for Side Scan Sonar Images without High-quality Reference Data
Harbin Institute of Technology(哈尔滨工业大学)
在自主水下机器人(AUV)深海探测过程中,侧扫声纳(SSS)测量的海底图像是必不可少的视觉数据。它们可以生动地反映海底地形,但通常伴随着复杂和严重的噪音。提出了一种无高质量参考数据的SSS图像深度去噪方法,该方法利用一幅含噪SSS图像进行自监督去噪。与经典的人工设计滤波器相比,深度去噪方法显示出明显的优势。对实际海底SSS图像进行去噪实验,结果表明,该方法能有效地降低SSS图像的噪声,同时最大限度地减少图像质量和细节损失。
2021-08-27 cs.CV eess.IV
Counting Molecules: Python based scheme for automated enumeration and categorization of molecules in scanning tunneling microscopy images
Institute of Physics of the Czech Academy of Sciences, v.v.i.(捷克科学院物理研究所);Regional Centre of Advanced Technologies and Materials, Palacký University(帕拉茨基大学先进技术与材料区域中心);RWTH Aachen University(亚琛工业大学)
扫描隧道显微镜和原子力显微镜(STM/nc-AFM)正在迅速发展,以提供前所未有的空间分辨率的不同阵列的化学物种。特别是,它们通过直接检查前体和产物来表征表面化学反应。也可以研究手性效应和自组装结构。这个开源的、模块化的、基于Python的方案自动化了中等大小(10 $\times$ 10到100 $\times$ 100 nm)扫描探针图像中存在的各种分子的分类。
2022-03-03 cond-mat.mes-hall cs.CV