Shifting Transformation Learning for Out-of-Distribution Detection
NVIDIA(英伟达)
检测分布外(OOD)样本在开放世界和安全关键型应用(如自治系统和医疗保健)中起着关键作用。最近,自我监督的表示学习技术(通过对比学习和借口学习)已经显示出有效地提高OOD检测。然而,这种方法的一个主要问题是选择移位变换和借口任务,这取决于域内分布。在本文中,我们提出了一个简单的框架,利用移位变换学习设置来学习训练集的多个移位表示,以改进OOD检测。为了解决选择最佳移位变换和借口任务的问题,我们提出了一种简单的机制,用于自动选择变换并调节它们对表示学习的影响,而不需要任何OOD训练样本。在广泛的实验中,我们证明了我们的简单框架在几个图像数据集上的性能优于最先进的OOD检测模型。我们还描述了一个理想的OOD检测器的标准,为现实世界的应用,并证明了我们提出的技术对国家的最先进的OOD检测技术的功效。
2021-10-08 cs.CV
Neuron Linear Transformation: Modeling the Domain Shift for Crowd Counting
Northwestern Polytechnical University(西北工业大学)
跨域人群计数(CDCC)由于其在公共安全中的重要性而成为一个热门话题。CDCC的目的是减轻源域和目标域之间的域转移。最近,典型的方法试图通过图像平移和对抗学习来提取域不变特征。当涉及到特定的任务,我们发现,域转移反映在模型参数的差异。为了直接在参数水平上描述域间隙,我们提出了一种神经元线性变换(NLT)方法,利用域因子和偏置权重来学习域偏移。具体而言,对于源模型的特定神经元,NLT利用少量标记的目标数据来学习域移位参数。最后,通过线性变换生成目标神经元。在六个真实数据集上进行的大量实验和分析验证了NLT与其他领域自适应方法相比具有最佳性能。一项消融研究也表明,NLT是强大的,比监督和微调训练更有效。代码可从以下网址获得:\url{https://github.com/taohan10200/NLT}。
2021-01-14 cs.CV
Geometric Image Synchronization with Deep Watermarking
FAIR, Meta Superintelligence Labs(FAIR、Meta超智能实验室);ETH Zurich(苏黎世联邦理工学院)
本文提出SyncSeal水印方法,通过嵌入与提取网络端到端预测并反演图像几何变换,可增强现有水印对几何攻击的鲁棒性。
2025-09-18 cs.CV
Talk2Move: Reinforcement Learning for Text-Instructed Object-Level Geometric Transformation in Scenes
AWS Agentic AI(AWS智能AI);Amazon Web Services(亚马逊网络服务);Amazon Robotics(亚马逊机器人技术);CUHK(香港中文大学)
Talk2Move通过强化学习实现文本指令下的场景中物体级几何变换,利用组相对策略优化和空间奖励引导模型,提升学习效率并实现精确且一致的物体变换。
2026-01-08 cs.CV
The Virtual Electromagnetic Interaction between Digital Images for Image Matching with Shifting Transformation
WSEAS Research Department(WSEAS研究部);Automation Engineering College, Qingdao University(青岛大学自动化工程学院);Department of Computer Science, Military Institutions of University Education, Hellenic Naval Academy(希腊海军学院大学教育军事机构计算机科学系);Technical University of Sofia(索非亚技术大学)
研究了一种利用平移变换进行两幅图像匹配的新方法。该方法是基于虚拟的边缘电流在图像中的呈现,也是由电磁学启发的两个相关的图像之间的虚拟电磁相互作用的研究。基于Canny-like边缘检测方法提取图像中的重要边缘线,提出了图像边缘电流作为物理电流的离散模拟。然后通过模拟载流导线间的电磁相互作用,研究了相关图像间边缘电流的虚拟相互作用。基于两幅相关图像之间的虚拟相互作用力,提出了一种新的平移变换图像匹配方法。初步实验结果表明了该方法的有效性。
2016-10-12 cs.CV
Deformable Registration Using Average Geometric Transformations for Brain MR Images
Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
医学图像的精确配准对于医生的诊断和定量分析至关重要。提出了一种基于平均几何变换和VoxelMorph CNN结构的医学图像形变配准方法。我们计算微分几何信息,包括雅可比行列式(JD)和旋度向量(CV)的超纯注册字段,并使用它们作为多通道的VoxelMorph CNN的第二个训练。此外,我们使用平均变换来构建一个标准的脑MRI图谱,可以作为固定图像使用。我们验证了我们的方法在两个数据集,包括ADNI数据集和MRBrainS18挑战数据集,并获得良好的改善MR图像配准的平均Dice分数和非负雅可比位置相比,MIT的原始方法。实验结果表明,该方法在脑MRI诊断中取得了较好的效果。
2019-07-23 cs.CV
Simba: Towards High-Fidelity and Geometrically-Consistent Point Cloud Completion via Transformation Diffusion
Simba通过变换扩散方法,结合对称先验和扩散模型,实现高保真的点云补全,解决传统方法的过拟合和噪声敏感问题,取得最先进性能。
2025-11-20 cs.CV
MGAug: Multimodal Geometric Augmentation in Latent Spaces of Image Deformations
University of Virginia(弗吉尼亚大学)
本文提出MGAug模型,首次在微分同胚潜在空间中用高斯混合先验建模多模态几何变换,并通过VAE采样形变图像进行增强,在2D分类和3D脑MRI分割上优于现有方法。
2025-03-09 cs.CV
GAN Inversion for Out-of-Range Images with Geometric Transformations
POSTECH(浦项科技大学)
对于真实图像的成功语义编辑,GAN反演方法找到与预训练的GAN模型的域对齐的域内潜在代码是至关重要的。不幸的是,这种域内潜码只能在与GAN模型的训练图像对齐的范围内图像中找到。在本文中,我们提出了BDInvert,一种新的GAN反演方法,用于对与GAN模型的训练图像几何不对齐的范围外图像进行语义编辑。为了找到一个语义上可编辑的潜在代码,BDInvert将输入的超出范围的图像反转到一个替代潜在空间中,而不是原始潜在空间。我们还提出了一个正则化的反演方法,找到一个解决方案,支持语义编辑的替代空间。我们的实验表明,BDInvert有效地支持语义编辑的范围外的图像与几何变换。
2021-08-20 cs.CV
Geometric Data Augmentation Based on Feature Map Ensemble
NTT Corporation(日本电报电话公司);Tokyo Institute of Technology(东京工业大学)
深度卷积网络已经成为计算机视觉应用的主流。尽管CNN在许多计算机视觉任务中取得了成功,但它也并非没有缺点。CNN的性能会因几何变换(如大旋转)而显著降低。在本文中,我们提出了一种新的CNN架构,可以提高对几何变换的鲁棒性,而无需修改其CNN的现有骨干。关键是用几何变换(以及相应的逆变换)和特征图集成来封装现有的主干。所提出的方法可以继承到目前为止已经提出的现有CNN的优点。此外,所提出的方法可以与最先进的数据增强算法相结合,以提高其性能。我们使用标准数据集,如CIFAR,CUB-200和Mnist-rot-12 k证明了所提出的方法的有效性。
2021-07-22 cs.CV
Performance Analysis of Keypoint Detectors and Binary Descriptors Under Varying Degrees of Photometric and Geometric Transformations
University of Nevada, Reno(内华达大学雷诺分校)
通过特征匹配检测图像对应性形成了众多计算机视觉应用的基础。过去已经提出了几种检测器和描述符,解决了从图像中的兴趣点(关键点)有效生成特征的问题。在本文中,我们研究了八个二进制描述符(AKAZE,BoostDesc,BRIEF,BRISK,FREAK,LATCH,LUCID和ORB)和八个兴趣点检测器(AGAST,AKAZE,BRISK,FAST,HarrisLapalce,KAZE,ORB和StarDetector)。我们已经解耦的检测和描述阶段来分析兴趣点检测器,然后评估不同的检测器和描述符的成对组合的性能。我们在标准数据集上进行了实验,并分析了不同图像变换下每种方法的比较性能。我们注意到:(1)FAST、AGAST、ORB检测器更快,检测到更多关键点,(2)AKAZE和KAZE检测器在光度变化下表现更好,而ORB对几何变化更鲁棒,(3)一般来说,当与KAZE和AKAZE检测器配对时,描述符表现更好,(4)BRIEF、LUCID、ORB描述符相对更快,(5)没有一个描述符在几何变换下表现得特别好,只有BRISK、FREAK和AKAZE表现出合理的弹性。
2020-12-08 cs.CV
A General Homogeneous Matrix Formulation to 3D Rotation Geometric Transformations
该研究提出三维旋转的代数射影几何定义与通用齐次矩阵公式,支持旋转轴不过原点的场景,给出类Euler-Rodrigues公式的旋转形式,可用于存在万向节锁问题的数值应用。
2024-11-01 cs.CV
Adversarial Attacks on Black Box Video Classifiers: Leveraging the Power of Geometric Transformations
University of California(加利福尼亚大学)
与图像分类模型相比,对视频分类模型的黑盒对抗攻击在很大程度上研究不足。这是可能的,因为对于视频,时间维度在梯度估计中提出了显著的额外挑战。查询高效的黑盒攻击依赖于有效地估计梯度,以最大限度地提高错误分类目标视频的概率。在这项工作中,我们证明了这样的有效梯度可以通过参数化的时间结构的搜索空间与几何变换。具体来说,我们设计了一种新的迭代算法几何变换扰动(GEO-TRAP),攻击视频分类模型。GEO-TRAP采用标准的几何变换操作,将有效梯度的搜索空间减少到搜索定义这些操作的一小组参数。这组参数描述了梯度的几何级数,从而导致减小的和结构化的搜索空间。我们的算法固有地导致成功的扰动,令人惊讶的是很少的查询。例如,从GEO-TRAP生成的对抗性示例具有更好的攻击成功率,与广泛使用的Jester数据集上的视频对抗攻击的最新方法相比,查询减少了约73.55%。总的来说,我们的算法暴露了不同视频分类模型的漏洞,并在两个大型数据集的黑盒设置下获得了新的最先进的结果。代码可在这里:https://github.com/sli057/Geo-TRAP
2021-10-26 cs.CV
Learning-based Natural Geometric Matching with Homography Prior
Nankai University(南开大学)
几何匹配是计算机视觉任务中的关键步骤。以往的基于学习的几何匹配方法更多地关注于提高对齐质量,而我们同时强调了自然性问题的重要性。为了解决这一问题,首先,皮尔逊相关性被应用到处理大的类内变化的特征在特征匹配阶段。然后,我们在网络的全连接层中使用9个参数参数对单应性变换进行参数化,以更好地表征与仿射变换相比的大视点变化。此外,一个新的损失函数与高斯权重保证了模型的准确性和效率的训练过程。最后,我们提供了两种选择,用于不同的目的,在几何匹配。当合成单应性与仿射变换时,对准精度提高并且所有线被保留,这导致更自然的变换图像。将单应矩阵与非刚性薄板样条变换相结合,进一步提高了对准精度。在Proposal Flow数据集上的实验结果表明,我们的方法在对齐准确性和自然度方面都优于最先进的方法。
2018-07-13 cs.CV
Estimation of geometric transformation matrices using grid-shaped pilot signals
Graduate School of Sciences and Technology for Innovation, Yamaguchi University(创新科学与技术研究生学校,山口大学)
本文提出一种利用网格状导引信号估计几何变换矩阵的水印方法,以提高在裁剪等操作后的同步精度。
2026-01-26 cs.CV
HSFusion: A high-level vision task-driven infrared and visible image fusion network via semantic and geometric domain transformation
Central University of Finance and Economics(中央财经大学);People’s Public Security University of China(中国人民公安大学);Beijing Normal University(北京师范大学)
针对现有任务驱动型红外可见光图像融合方法存在的语义几何域差距问题,提出HSFusion网络,通过双CycleGAN域变换分支与掩码引导自适应融合提升效果,在视觉与分割任务上优于11种SOTA方法。
2024-07-14 cs.CV
Provable Defense Against Geometric Transformations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);VMware Research(威睿研究院)
针对几何变换对深度神经网络的威胁,提出首个确定性可认证几何鲁棒性防御框架,利用GPU优化验证器大幅提速,实现最先进鲁棒性并首次验证自动驾驶场景。
2023-05-06 cs.CV cs.LG
Prediction of Geometric Transformation on Cardiac MRI via Convolutional Neural Network
DongHua University(东华大学)
在医学图像领域,深度卷积神经网络(ConvNets)在分类、分割和配准任务方面取得了巨大成功,这要归功于其无与伦比的学习图像特征的能力。然而,这些任务通常需要大量手动注释的数据,并且是劳动密集型的。因此,研究无监督语义特征学习任务具有重要意义。在我们的工作中,我们建议通过训练ConvNets来学习医学图像中的特征,以识别应用于图像的几何变换,并提出一个简单的自我监督任务,可以轻松预测几何变换。我们精确地定义了一组几何变换的数学术语,并将此模型推广到3D,同时考虑到空间和时间维度之间的区别。我们评估了我们的自监督方法在不同模态(bSSFP,T2,LGE)的CMR图像上的准确率分别为96.4%,97.5%和96.4%。我们论文的代码和模型将发布在:https://github.com/gaoxin492/Geometric_Transformation_CMR
2022-11-12 cs.CV cs.LG eess.IV
Revisiting Transformation Invariant Geometric Deep Learning: An Initial Representation Perspective
Department of Computer Science and Technology(计算机科学与技术系)
本文提出变换不变神经网络(TinvNN),通过修改多维缩放得到变换不变且保持距离的初始点表示,实现几何数据的严格变换不变性,在点云分析和组合优化中验证了其有效性与通用性。
2025-10-27 cs.CV cs.LG
TransformNet: Self-supervised representation learning through predicting geometric transformations
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
深度神经网络需要大量的训练数据,而在现实世界中,可用于训练目的的数据稀缺。为了解决这个问题,使用无监督方法来训练有限的数据。在这份报告中,我们描述了无监督的语义特征学习方法,用于识别应用于输入数据的几何变换。我们方法的基本概念是,如果某人不知道图像中的对象,他/她将无法定量预测应用于它们的几何变换。该自监督机制基于前置任务和下游任务。量化几何变换的借口分类任务应该迫使CNN学习对图像分类有用的对象的高级显著特征。在我们的基线模型中,我们将图像旋转定义为90度的倍数。在此前提任务上训练的CNN将用于CIFAR-10数据集中的图像分类,作为下游任务。我们使用各种模型运行基线方法,包括ResNet,DenseNet,VGG-16和NIN,在特征提取和微调设置中具有不同的旋转次数。在这个基线模型的扩展中,我们在借口任务中尝试了旋转以外的变换。我们比较了所选模型在各种设置中的性能,这些设置具有应用于图像的不同变换、各种数据增强技术以及使用不同的优化器。这一系列不同类型的实验将帮助我们证明我们的自监督模型在应用于下游分类任务时的识别准确性。
2022-02-08 cs.CV cs.LG
Blind Deep-Learning-Based Image Watermarking Robust Against Geometric Transformations
Ghent University(根特大学);imec(校际微电子中心);IDLab
针对现有图像水印方法缺乏抗几何变换鲁棒性的问题,本文基于 HiDDeN 架构引入多种可微噪声层,提出了一种对几何攻击具有鲁棒性的盲深度学习水印方法,在几何鲁棒性上优于现有技术。
2024-02-14 cs.CR cs.CV cs.MM
Performance degradation of ImageNet trained models by simple image transformations
Georgia Institute of Technology(佐治亚理工学院)
ImageNet训练的PyTorch模型通常是首选的现成模型,用于直接使用或在大多数计算机视觉任务中进行初始化。在本文中,我们简单地测试了这些卷积和基于Transformer的模型的代表集,在许多简单的图像变换下,如水平移动,垂直移动,缩放,旋转,高斯噪声的存在,剪切,水平翻转和垂直翻转,并报告了由这些变换引起的性能下降。我们发现,即使是像旋转图像10°或放大20%这样的简单变换,也会使ResNet 152等模型的top-1精度降低1%以上。该代码可在https://github.com/harshm121/imagenet-transformation-degradation上获得。
2022-07-17 cs.CV cs.LG
Global Symmetry and Orthogonal Transformations from Geometrical Moment $n$-tuples
ICB UMR CNRS 6303, Universite de Bourgogne(法国布尔格奥恩大学ICB UMR CNRS 6303)
本文提出了一种基于几何矩 $n$-元组的方法,用于检测物体的对称性和估计正交变换,通过实验验证了其在 2D 和 3D 物体中的有效性。
2026-02-08 cs.CV cs.RO
Nonlinear Metric Learning for kNN and SVMs through Geometric Transformations
Ohio University(俄亥俄大学)
近年来,将线性度量学习模型扩展到处理非线性结构的研究引起了人们极大的兴趣。在本文中,我们提出了一种新的非线性解决方案,通过利用可变形几何模型来学习空间变化的度量,并应用该策略来提高kNN和SVM分类器的性能。薄板样条(TPS)被选为几何模型,由于其显着的通用性和代表性的权力,在占高阶变形。通过TPS对输入空间进行变换,我们可以在kNN中将同类邻居拉得更近,同时将不同类的点推得更远,并使支持向量机中的输入数据点更具线性可分性。kNN分类性能的改进通过在合成和真实世界数据集上的实验来证明,并与几种最先进的度量学习解决方案进行了比较。我们基于SVM的模型也实现了显着的改进,传统的线性和内核SVM相同的数据集。
2015-08-06 cs.CV cs.LG
gvnn: Neural Network Library for Geometric Computer Vision
Imperial College London(伦敦帝国理工学院);ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
我们介绍了Torch中的神经网络库gvnn,旨在弥合经典几何计算机视觉和深度学习之间的差距。受空间Transformer网络最近成功的启发,我们提出了几个新的层,这些层通常用作几何计算机视觉中数据的参数化变换。这些层可以在原始空间Transformers的精神下插入神经网络中,并允许反向传播,以实现涉及几何计算机视觉中任何领域知识的网络的端到端学习。这打开了在学习不变性到3D几何变换中的应用,用于位置识别、端到端视觉里程计、深度估计和无监督学习,通过针对图像重建误差的参数变换进行翘曲。
2016-08-12 cs.CV cs.LG
Geometric operations implemented by conformal geometric algebra neural nodes
University of Fukui(福井大学)
几何代数是向量计算的最佳框架。空间的几何代数包括表示其所有子空间(线、平面、体积等)的元素。共形几何代数扩展了这种方法的任意点,点对,线,圆,平面和领域的基本表示。除了包括弯曲的物体,共形几何代数有一个优雅的统一的四元数表示所有正确的和不正确的欧几里得变换,包括反射球,一般螺旋变换和缩放。扩展实神经元和复神经元的概念,我们到达新的强大的概念,共形几何代数神经元。这些神经元可以很容易地将上述几何对象或这些对象的集合作为输入,并通过几何代数值权重应用广泛的几何变换。
2013-06-06 cs.CV cs.NE math.RA
Unified theory for joint covariance properties under geometric image transformations for spatio-temporal receptive fields according to the generalized Gaussian derivative model for visual receptive fields
Computational Brain Science Lab(计算脑科学实验室);Division of Computational Science and Technology(计算科学与技术系);KTH Royal Institute of Technology(皇家理工学院)
本文针对视觉感受野模型,证明了一组在空间缩放、仿射、伽利略和时间缩放变换组合下的时空感受野联合协方差性质,并将尺度归一化导数扩展为仿射归一化导数,为不同视角和速度下的时空感受野响应匹配提供了理论基础。
2025-06-17 cs.CV q-bio.NC
BiCLIP: Domain Canonicalization via Structured Geometric Transformation
University of Houston(休斯顿大学);The University of Oklahoma(俄克拉荷马大学)
BiCLIP通过结构几何变换提升跨模态对齐,利用少量锚点样本实现领域规范化,实验表明其在11个基准测试中均取得最优性能。
2026-04-11 cs.AI cs.CL cs.CV
Towards Verifying the Geometric Robustness of Large-scale Neural Networks
University of Exeter(埃克塞特大学);University of Liverpool(利物浦大学)
本文提出黑盒鲁棒性分析器GeoRobust,基于全局优化和Lipschitz理论验证大规模DNN对多种几何变换组合的鲁棒性,发现模型几何鲁棒性与参数量正相关且加深比加宽更有效。
2023-03-30 cs.AI cs.CV cs.LG