Transformer for Image Quality Assessment
NORCE Norwegian Research Centre（挪威研究中心）；Shenzhen University（深圳大学）
Transformer已成为自然语言处理的新的标准方法，也引起了计算机视觉领域的研究兴趣。本文研究了Transformer在图像质量评价中的应用。在视觉Transformer（ViT）中采用的原始Transformer编码器之后，我们提出了一种在卷积神经网络（CNN）提取的特征图顶部使用浅层Transformer编码器的架构。自适应位置嵌入在Transformer编码器中被采用以处理具有任意分辨率的图像。Transformer体系结构的不同设置已在公开可用的图像质量数据库上进行了研究。我们已经发现，所提出的TRIQ架构实现了出色的性能。TRIQ的实现发布在Github上（https：//github.com/junyongyou/triq）。
2021-01-08 cs.CV cs.LG eess.IV
Choose a Transformer: Fourier or Galerkin
Washington University in St. Louis（圣路易斯华盛顿大学）
在本文中，我们首次将Attention Is All You Need中最先进的Transformer中的自注意力应用于与偏微分方程相关的数据驱动算子学习问题。努力放在一起解释的原理，并提高注意力机制的功效。利用Hilbert空间中的算子逼近理论，首次证明了在标度点积注意力中的softmax归一化是充分的，但不是必要的。在没有softmax的情况下，可以证明线性化的Transformer变体的近似能力与逐层的Petrov-Galerkin投影相当，并且估计与序列长度无关。提出了一种新的层归一化方案，该方案模仿Petrov-Galerkin投影，以允许缩放通过注意层传播，这有助于模型在具有未归一化数据的算子学习任务中实现显着的准确性。最后，我们提出了三个操作学习实验，包括粘性Burgers方程，界面达西流，和反界面系数识别问题。新提出的简单的基于注意力的算子学习器Galerkin Transformer，在训练成本和评估精度方面都比其softmax归一化的同类算法有了显着的改进。
2021-11-01 cs.LG cs.NA math.NA
SAOT: An Enhanced Locality-Aware Spectral Transformer for Solving PDEs
SAOT是一种结合局部感知和全局频谱表示的增强型频谱变换器，通过小波注意模块有效解决偏微分方程求解中的局部细节和高频捕捉问题。
2025-11-24 cs.LG
Kolmogorov-Arnold Attention: Is Learnable Attention Better For Vision Transformers?
Department of Computer Science（计算机科学系）；Department of Mathematics（数学系）
本研究提出首款适用于视觉Transformer的可学习注意力机制KArAt，通过低秩近似解决内存爆炸问题，在多个数据集上取得与传统softmax注意力相当或更优的性能，首次证明注意力可被学习，为相关研究提供新方向。
2025-10-21 cs.CV cs.LG
WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability
UC San Diego（加州大学圣地亚哥分校）；Mindverse
本文提出 Wavelet Space Attention（WavSpA），通过在可学习小波系数空间中进行注意力学习来替代传统 Transformer 注意力，在保持线性时间复杂度的同时捕获位置与频率信息，显著提升了模型的长序列学习与推理外推能力。
2023-05-22 cs.CL cs.LG
Fast RoPE Attention: Combining the Polynomial Method and Fast Fourier Transform
Columbia University（哥伦比亚大学）；University of California, Berkeley（加州大学伯克利分校）
针对RoPE使注意力难以近似线性计算的问题，本文提出融合多项式方法与快速傅里叶变换的新算法，在有界元素情形下实现RoPE注意力的近似线性时间计算。
2025-05-17 cs.DS cs.LG
Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition
New Jersey Institute of Technology（新泽西理工学院）
本文发现循环神经网络在模加法任务中采用傅里叶乘法策略，识别出权重中的低秩结构及傅里叶空间稀疏表示，并实验证明其对单频率移除鲁棒，多频率消融则性能骤降。
2025-03-28 cs.LG eess.SP stat.ML
The Discrete-Log Clock: How a Transformer Learns Modular Multiplication
Stanford University（斯坦福大学）
通过乘法特征变换分析，发现Transformer在模乘法任务中学习到稀疏的傅里叶谱，其嵌入和MLP神经元主要编码少数乘法频率，表明模型实现了离散对数空间中的加法运算，即“离散对数时钟”算法。
2026-08-31 cs.AI cs.LG
Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers
NVIDIA（英伟达）；California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
视觉Transformer在表示学习方面取得了巨大的成功。这主要是由于通过自我注意进行有效的令牌混合。然而，这与像素的数量成二次方，这对于高分辨率输入变得不可行。为了应对这一挑战，我们提出了自适应傅立叶神经运算器（AFNO）作为一个有效的令牌混合器，学习在傅立叶域混合。AFNO基于算子学习的原则基础，允许我们将令牌混合作为连续的全局卷积，而不依赖于输入分辨率。这一原理以前被用于设计FNO，它在傅立叶域中有效地解决了全局卷积，并在学习具有挑战性的偏微分方程方面表现出了希望。为了应对视觉表示学习中的挑战，例如图像和高分辨率输入的不连续性，我们提出了对FNO的原则性架构修改，从而提高内存和计算效率。这包括在通道混合权重上施加块对角结构，在令牌之间自适应地共享权重，以及通过软阈值和收缩来稀疏化频率模式。所得到的模型是高度并行的，具有准线性复杂度，并且在序列大小上具有线性记忆。AFNO在效率和准确性方面优于用于Few-Shot分割的自注意力机制。对于具有Segformer-B3主干的Cityscapes分割，AFNO可以处理65 k的序列大小，并且优于其他有效的自我注意力机制。
2022-03-27 cs.CV cs.LG
F2former: When Fractional Fourier Meets Deep Wiener Deconvolution and Selective Frequency Transformer for Image Deblurring
Space Applications Centre (SAC)（空间应用中心（SAC））；Indian Institute of Space Science and Technology (IIST)（印度空间科学技术学院（IIST））
本文提出F2former，利用分数阶傅里叶变换结合深度维纳反卷积与选择性频率Transformer，通过分数频率感知自注意力和频分复用前馈网络实现运动与散焦图像去模糊，性能优于现有SOTA方法。
2024-09-03 cs.CV
ShadowRefiner: Towards Mask-free Shadow Removal via Fast Fourier Transformer
McMaster University（麦克马斯特大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出无掩模阴影去除网络ShadowRefiner，通过空间与频率表示学习及快速傅里叶注意力Transformer实现精细阴影去除，在NTIRE 2024阴影去除挑战赛中获得感知赛道冠军和保真度赛道第二名。
2024-07-03 cs.CV
Steerable Transformers for Volumetric Data
Department of Statistics, University of Chicago, Chicago, USA（统计系，芝加哥大学，芝加哥，美国）；Department of Computer Science, University of Chicago, Chicago, USA（计算机科学系，芝加哥大学，芝加哥，美国）
本文提出可转向Transformer，扩展视觉Transformer以保持对SE(d)群的等变性，通过等变注意力和傅里叶空间非线性，在2D和3D实验中提升可转向卷积网络性能。
2025-10-24 cs.CV
LTCF-Net: A Transformer-Enhanced Dual-Channel Fourier Framework for Low-Light Image Restoration
University of Sussex（萨塞克斯大学）；City College of New York（纽约城市学院）
本文提出LTCF-Net，通过LAB与YUV双颜色空间、Transformer架构和频域傅里叶亮度调整模块，在保持模型轻量化的同时提升低光图像复原质量，并在多个指标和数据集上超越现有方法。
2024-11-24 cs.AI cs.CV
FractMorph: A Fractional Fourier-Based Multi-Domain Transformer for Deformable Image Registration
Faculty of Computer Science and Engineering, Shahid Beheshti University（谢赫·贝赫什特大学计算机科学与工程学院）；School of Computing Science, University of Glasgow（格拉斯哥大学计算机科学学院）；Alan Turing Institute（艾伦·图灵研究所）
针对可变形图像配准难以同时捕捉局部与全局变形的问题，提出FractMorph架构，通过多域分数阶傅里叶变换分支增强特征匹配，在医学图像数据集上实现高精度，且轻量级变体保持性能同时降低复杂度。
2025-08-24 cs.CV eess.IV
Contextual Learning in Fourier Complex Field for VHR Remote Sensing Images
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Xidian University（西安电子科技大学）
甚高分辨率（VHR）遥感（RS）图像分类是遥感图像分析和理解的基础性工作。最近，基于transformer的模型表现出出色的潜力，学习高阶上下文关系的自然图像与一般分辨率（224 × 224像素），并取得了显着的成果一般图像分类任务。然而，朴素Transformer的复杂性随着图像大小的增加而二次增长，这阻止了基于变换的模型进行VHR RS图像（500 × 500像素）分类和其他计算上昂贵的下游任务。为此，我们建议通过离散傅立叶变换（DFT）将昂贵的自注意力（SA）分解为实部和虚部，从而提出一种有效的复杂自注意力（CSA）机制。利用DFT的共轭对称性质，CSA能够以不到朴素SA一半的计算量来建模高阶上下文信息。为了克服傅立叶复场中的梯度爆炸，我们用精心设计的Logmax函数代替Softmax函数来规范CSA的注意力图并稳定梯度传播。通过堆叠不同层次的CSA块，我们提出了傅立叶复Transformer（FCT）模型来学习全局上下文信息的VHR航空图像以下的分层方式。在常用的遥感分类数据集上进行的通用实验证明了FCT的有效性和效率，特别是在非常高分辨率的遥感图像上。
2022-10-28 cs.CV
A Closer Look at Reference Learning for Fourier Phase Retrieval
Heinrich Heine University（海因里希·海涅大学）
从它们的傅立叶星等测量值重建图像是在不同研究领域经常出现的问题。这个过程也被称为相位恢复。在这项工作中，我们考虑一个修改版本的相位恢复问题，它允许一个参考图像被添加到图像之前的傅立叶幅度进行测量。我们分析了一个展开的Gerchberg-Saxton（GS）算法，该算法可用于从数据集中学习一个好的参考图像。此外，我们仔细研究了学习的参考图像，并提出了一种简单有效的启发式方法来构建参考图像，在某些情况下，这种方法可以产生与学习参考图像质量相当的重建。我们的代码可在https://github.com/tuelwer/reference-learning上获得。
2021-10-26 cs.CV cs.LG eess.IV
FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining
University of Science and Technology of China（中国科学技术大学）
本文提出FourierMamba框架，首次将Mamba引入傅里叶空间，通过空间维度的锯齿形扫描编码和通道维度的直接Mamba关联来建模不同频率间的依赖关系，从而提升图像去雨性能。
2024-08-07 cs.CV eess.IV
Image quality measurements and denoising using Fourier Ring Correlations
TOOPLOOX（TOOPLOOX 公司）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）
图像质量是一个模糊的概念，对不同的人有不同的含义。为了量化图像质量，通常计算受损图像与地面实况图像之间的相对差。但是，我们应该用什么标准来衡量这种差异呢？理想情况下，该指标应该对自然和科学图像都表现良好。结构相似性指数（SSIM）是衡量人类如何感知图像相似性的一个很好的指标，但对显微镜中具有科学意义的差异并不敏感。在电子和超分辨率显微镜中，傅立叶环相关（FRC）经常使用，但在这些领域之外鲜为人知。在这里，我们展示了FRC同样可以应用于自然图像，例如Google Open Images数据集。然后，我们定义了一个基于FRC的损失函数，证明了它是解析可微的，并用它来训练一个U-网络图像去噪。与使用基于L1或L2的损失相比，这种基于FRC的损失函数允许网络更快地训练并实现类似或更好的结果。我们还研究了FRC分析的神经网络去噪的特性和局限性。
2022-01-11 cs.CV cs.LG eess.IV
COVID-19 Detection in Chest X-ray Images Using Swin-Transformer and Transformer in Transformer
Zhejiang University（浙江大学）；Northeastern University（东北大学）
2019冠状病毒病（COVID-19）已在全球蔓延并造成严重损害。胸部X光图像广泛用于COVID-19诊断，人工智能方法可提高效率和准确性。在Challenge of Chest XR COVID-19 detection in Ethics and Explainability for Responsible Data Science（EE-RDS）conference 2021中，我们提出了一种方法，该方法结合了Swin Transformer和Transformer中的Transformer，将胸部X射线图像分类为三类：COVID-19、肺炎和正常（健康），并在测试集上达到了0.9475的准确率。
2022-12-31 cs.CV eess.IV
Fourier-CPPNs for Image Synthesis
Element AI
组成图案产生网络（CPPN）是独立地将（x，y）像素坐标映射到（r，g，b）颜色值的可微分网络。最近，CPPN已被用于出于创造性目的创建有趣的图像，例如，然而，它们的架构偏见产生的图像过于平滑，缺乏高频细节。在这项工作中，我们扩展CPPN明确建模的频率信息，为每个像素输出，捕捉频率超过直流分量。我们表明，我们的傅立叶CPPN（F-CPPN）提供了改进的视觉细节的图像合成。
2019-09-20 cs.CV eess.IV
FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information
Sun Yat-sen University（中山大学）
本文提出两阶段傅里叶低光增强网络FourLLIE，利用幅度与亮度正相关关系在傅里叶空间提升亮度，并结合SNR图融合全局频率与局部空间信息恢复细节，在四个数据集上超越SOTA方法且保持高效。
2023-08-06 cs.CV eess.IV
A Closer Look at Fourier Spectrum Discrepancies for CNN-generated Images Detection
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）
基于CNN的生成建模已经发展到在RGB像素空间中产生与真实图像无法区分的合成图像。最近的工作已经观察到，CNN生成的图像在复制高频傅立叶频谱衰减属性方面存在系统性缺陷。此外，这些工作已经成功地利用了这一系统缺陷来检测CNN生成的图像，在多个最先进的GAN模型中报告高达99%的准确率。在这项工作中，我们调查的断言，声称CNN生成的图像是无法实现高频谱衰减的一致性的有效性。我们精心构建了一个反例空间的高频频谱衰减一致CNN生成的图像出现在我们的手工实验使用DCGAN，LSGAN，WGAN-GP和StarGAN，在那里我们经验表明，这种频率差异可以避免在最后一次上采样操作的微小架构变化。随后，我们使用来自这个反例空间的图像成功地绕过了最近提出的取证检测器，该检测器利用高频傅立叶频谱衰减属性进行CNN生成的图像检测。通过这项研究，我们表明，高频傅立叶频谱衰减差异不是现有的基于CNN的生成模型的固有特征-与一些现有工作的信念相反-，并且这些特征对于执行合成图像检测并不鲁棒。我们的研究结果促使重新思考使用高频傅立叶谱衰减属性进行CNN生成的图像检测。代码和模型可在https://keshik6.github.io/Fourier-Discrepancies-CNN-Detection/上获得
2021-03-31 cs.CV eess.IV
FREDSR: Fourier Residual Efficient Diffusive GAN for Single Image Super Resolution
Massachusetts Institute of Technology（麻省理工学院）；Phillips Exeter Academy（菲利普斯埃克塞特学院）
FREDSR是一种GAN变体，旨在以每个数据集的泛化为代价，在特定任务（如单图像超分辨率）中超越传统的GAN模型。FREDSR集成了快速傅立叶变换、残差预测、扩散鉴别器等，与UHDSR 4K数据集上的其他模型相比，FREDSR在360 p和720 p的单图像3倍超分辨率方面具有强大的性能，仅需37000个参数。该模型遵循给定数据集的特征，导致泛化能力较低，但在实时的升级等任务上性能更高。
2022-11-30 cs.CV eess.IV
Evaluating Transformer-based Semantic Segmentation Networks for Pathological Image Segmentation
Department of Computer Science, Vanderbilt University（范德堡大学计算机科学系）
组织学在癌症诊断中发挥了重要作用。随着卷积神经网络（CNN）的快速发展。在计算机辅助病理图像分析中，已经开发了各种基于CNN的自动病理图像分割方法。在过去的几年里，Transformer神经网络（Transformer）已经显示出捕捉整个图像的全局长距离依赖关系作为一种新的深度学习范式的独特优点。这种优点对于探索空间异构的病理图像是有吸引力的。然而，已经有很少的，如果有的话，研究系统地评估了目前的基于变换器的方法在病理图像分割。为了评估Transformer分割模型在全载玻片图像（WSI）上的性能，我们使用广泛使用的PAIP肝脏组织病理学数据集定量评估了六种流行的基于transformer的肿瘤分割模型。为了进行更全面的分析，我们还将基于变压器的模型与六种主要的传统基于CNN的模型进行了比较。结果表明，基于Transformer的模型表现出优于基于CNN的模型的一般性能。特别是，Segmenter，Swin-Transformer和TransUNet-所有基于transformer的-在12个评估模型中表现最好。
2021-09-22 cs.CV eess.IV
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注，并有着广泛的应用。Transformers开始接管深度学习的所有领域，视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中，我们利用了一个视觉Transformer为基础的定制设计的模型，张量到图像，图像到图像的翻译。在自我注意的帮助下，我们的模型能够推广并应用于不同的问题，而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
FourierSR: A Fourier Token-based Plugin for Efficient Image Super-Resolution
Pattern Recognition and Intelligent System Laboratory, School of Artificial Intelligence, Beijing University of Posts and Telecommunications（模式识别与智能系统实验室，人工智能学院，北京邮电大学）；School of Microelectronics, Tianjin University（微电子学院，天津大学）
FourierSR通过基于傅里叶变换的令牌混合方法，提升图像超分辨率的效率和性能，实现参数和计算成本的显著降低。
2025-12-15 cs.CV
Alignment of Similarity-Transformed Images Based on Fourier--Mellin Transform Using Auxiliary Function Method
Tokai University（东海大学）；Tokyo Metropolitan University（东京都立大学）
该研究针对傅里叶-梅林配准的亚像素精度不足问题，提出结合对数极坐标谱估计与辅助函数法的两阶段配准算法，可降低相似变换的估计误差。
2026-08-13 cs.CV eess.IV
F2T2-HiT: A U-Shaped FFT Transformer and Hierarchical Transformer for Reflection Removal
OPPO AI Center（OPPO人工智能中心）
针对真实场景中复杂多变的单图像反射去除问题，提出在UNet中融合FFT Transformer与分层Transformer的F2T2-HiT，并在三个公开测试集上达到最先进性能。
2025-06-05 cs.CV
CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
基于变换的文本到图像模型的发展受到其生成速度慢和高分辨率图像复杂性的阻碍。在这项工作中，我们提出了一个解决方案的基础上，分层Transformers和本地并行自回归生成。我们使用简单灵活的自监督任务跨模态通用语言模型（CogLM）预训练6 B参数Transformer，并对其进行微调以实现快速超分辨率。新的文本到图像系统CogView 2与并发的最先进的DALL-E-2相比显示出非常有竞争力的生成，并且自然地支持交互式文本引导的图像编辑。
2022-05-27 cs.CV cs.LG
Towards End-to-End Image Compression and Analysis with Transformers
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）；Peking University（北京大学）
针对基于云的图像分类应用，提出了一种基于Transformers的端到端图像压缩与分析模型。我们的目标是重新设计视觉Transformer（ViT）模型，以从压缩特征执行图像分类，并利用来自Transformer的长期信息促进图像压缩，而不是将现有的基于Transformer的图像分类模型直接放置在图像编解码器之后。具体来说，我们首先替换补丁化茎（即，图像分割和嵌入）与由卷积神经网络建模的轻量级图像编码器。由图像编码器生成的压缩特征被注入卷积电感偏置，并被馈送到Transformer以绕过图像重建进行图像分类。同时，我们提出了一个特征聚合模块，将压缩后的特征与Transformer的中间特征进行融合，并将聚合后的特征输入到解卷积神经网络进行图像重建。聚合特征可以从Transformer的自注意力机制中获得长期信息，提高压缩性能。最终通过两步训练策略解决了率失真精度优化问题。实验结果表明，该模型在图像压缩和分类任务的有效性。
2021-12-17 cs.CV eess.IV
Underwater Image Enhancement Using Pre-trained Transformer
Khalifa University（哈利法大学）；Technology Innovation Institute（技术创新研究所）
本文的目的是应用一种去噪图像变换器（Transformer）来去除水下图像中的失真，并与其他类似的方法进行比较。水下图像的自动恢复起着重要的作用，因为它可以提高图像的质量，而不需要更昂贵的设备。这是机器学习算法支持海洋勘探和监测的重要作用的一个重要例子，减少了人工干预的需要，如手动处理图像，从而节省了时间，精力和成本。本文是第一次应用的图像变换为基础的方法称为“预训练图像处理Transformer”水下图像。该方法在UFO-120数据集上进行了测试，该数据集包含1500张图像以及相应的干净图像。
2022-04-08 cs.CV eess.IV
A Hybrid CNN-Transformer Architecture with Frequency Domain Contrastive Learning for Image Deraining
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）
本文提出一种融合频域对比学习的CNN-Transformer混合架构，用于解决图像去雨问题，以恢复受雨纹影响的退化图像。
2023-08-07 cs.CV eess.IV
Residual Swin Transformer Channel Attention Network for Image Demosaicing
Tampere University（坦佩雷大学）
图像去马赛克是指从原始传感器（彩色滤光片阵列）数据中插值出全分辨率彩色图像的问题.在过去的十年中，深度神经网络已被广泛用于图像复原，特别是在去马赛克中，获得了显着的性能改善。近年来，视觉Transformer已被设计并成功地用于各种计算机视觉应用。基于Swin Transformer（ST）的最近的图像复原方法之一SwinIR以比基于神经网络的方法更少的参数展示了最先进的性能。受SwinIR成功的启发，本文提出了一种新的基于Swin变换的图像去马赛克网络，称为RSTCANet。为了提取图像特征，RSTCANet堆叠几个残余Swin Transformer通道注意块（RSTCAB），为每两个连续ST块引入通道注意。大量的实验表明，RSTCANet-执行国家的最先进的图像去马赛克方法，并具有较少的参数。
2022-04-14 cs.CV eess.IV
Frequency-Aware Vision Transformers for High-Fidelity Super-Resolution of Earth System Models
Computer Science, Texas State University（德克萨斯州立大学计算机科学系）；Chemical Engineering, The University of Utah（犹他大学化学工程系）
本文提出ViSIR和ViFOR两种频率感知框架，通过结合视觉变换器与正弦激活或傅里叶过滤，提升地球系统模型超分辨率的保真度和结构相似度。
2026-02-18 cs.CV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University（杜克大学）；University of Arizona（亚利桑那大学）
我们展示了一个物理感知的Transformer，用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案，合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应，瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
Fourier-Net+: Leveraging Band-Limited Representation for Efficient 3D Medical Image Registration
University of Birmingham（伯明翰大学）；Ultromics Ltd（Ultromics有限公司）；University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）
本文提出Fourier-Net及Fourier-Net+，通过在带限傅里叶域学习位移场低维表示并减少U-Net卷积层，以更低计算成本实现与最先进方法可比的三维医学图像配准性能。
2023-07-06 cs.CV eess.IV
Alpha-rooting color image enhancement method by two-side 2-D quaternion discrete Fourier transform followed by spatial transformation
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；City University of New York / CSI（纽约市立大学/斯塔滕岛学院）
本文提出了一种四元数增强方法，将图像中的颜色视为单一实体。这种新的方法被称为α-生根的方法，彩色图像增强的二维四元数离散傅里叶变换（2-D QDFT），其次是一个空间变换。用二维DFT对该方法与相应的逐通道彩色图像增强算法进行了比较。将图像增强量化为基于视觉感知的增强测度，称为颜色增强测度估计（CEME）。初步实验结果表明，四元数图像增强方法是一种有效的彩色图像增强技术。
2018-07-20 cs.CV eess.IV
ButterflyNet2D: Bridging Classical Methods and Neural Network Methods in Image Processing
Fudan University（复旦大学）
经典的基于傅里叶变换的方法和神经网络方法都广泛应用于图像处理任务中。前者具有更好的可解释性，而后者往往在实践中取得更好的性能。本文介绍了ButterflyNet2D，一种具有稀疏交叉通道连接的常规CNN。提出了一种ButterflyNet2D的傅立叶初始化策略，以逼近傅立叶变换。数值实验验证了ButterflyNet2D对傅里叶变换和傅里叶逆变换的逼近精度。此外，通过四个图像处理任务和图像数据集，我们证明了从傅立叶初始化训练ButterflyNet2D确实比随机初始化的神经网络具有更好的性能。
2022-11-29 cs.CV cs.LG cs.NA
Periodic Artifact Reduction in Fourier transforms of Full Field Atomic Resolution Images
Cornell University（康奈尔大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
离散傅里叶变换是高分辨率扫描/透射电子显微镜（S/TEM）中最常用的工具之一。然而，当计算傅里叶变换时，施加周期性边界条件，并且图像边缘之间的尖锐不连续性导致沿着倒易空间轴的交叉图案伪影。这种伪影会干扰原子分辨率图像的倒易晶格峰的分析。在这里，我们证明了最近开发的周期性加平滑分解技术提供了一个简单，有效的方法，可靠地去除工件造成的边缘不连续性。在该方法中，通过减去平滑背景来减少边缘伪影，该平滑背景求解具有由图像边缘设置的边界条件的泊松方程。与传统的加窗傅里叶变换不同，周期加平滑分解在图像的整个视场中保持尖锐的倒易晶格峰。
2022-10-14 cond-mat.mtrl-sci cs.CV eess.IV
Bootstrapping Interactive Image-Text Alignment for Remote Sensing Image Captioning
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
本文提出BITA方法，通过两阶段视觉-语言预训练和轻量级交互式Fourier Transformer实现遥感图像与文本的高效对齐，在多个数据集上取得优于先进方法的图像描述性能。
2023-12-02 cs.CV
Off-the-Grid Recovery of Piecewise Constant Images from Few Fourier Samples
University of Iowa（爱荷华大学）
我们介绍了一种方法来恢复一个连续的域表示的分段恒定的二维图像从几个低通傅立叶样本。假设图像的边缘集被局部化到三角多项式的零点集，我们证明了图像的偏导数的傅立叶系数满足线性湮没关系。我们提出的必要条件和充分条件，唯一恢复的图像从有限的低通傅立叶样本使用的湮灭关系。我们还提出了一个实用的两阶段恢复算法，该算法对模型失配和噪声具有鲁棒性。在第一阶段中，我们估计图像的边缘集的连续域表示。在第二阶段，我们执行外推在傅立叶域的最小二乘二维线性预测，恢复的确切的傅立叶系数的基础图像。我们证明了我们的算法的超分辨率恢复的MRI幻影和真正的MRI数据从低通傅立叶样本，这表明单图像超分辨率MRI的标准方法的好处。
2016-04-21 cs.CV
The Image Local Autoregressive Transformer
School of Data Science（数据科学学院）；Fudan University（复旦大学）
最近，由Transformers授权的用于整个图像生成的自回归（AR）模型已经实现了与生成对抗网络（GANs）相当甚至更好的性能。然而，直接应用这种AR模型来编辑/改变局部图像区域，可能遭受全局信息丢失、推理速度慢和局部指导信息泄漏的问题。针对这些局限性，我们提出了一种新的模型--图像局部自回归Transformer（iLAT），以更好地促进局部引导的图像合成。我们的iLAT学习新的本地离散表示，通过新提出的本地自回归（LA）Transformer的注意力掩模和卷积机制。因此，iLAT可以有效地合成局部图像区域的关键指导信息。我们的iLAT在各种本地引导的图像合成上进行评估，例如姿势引导的人物图像合成和面部编辑。定量和定性的结果都显示了我们的模型的有效性。
2021-10-18 cs.CV eess.IV
Perceptual Image Quality Assessment with Transformers
LG Electronics（LG电子）
在本文中，我们提出了一个图像质量Transformer（IQT），成功地将Transformer架构的感知全参考图像质量评估（IQA）的任务。感知表征在图像质量评价中变得越来越重要。在这种情况下，我们使用卷积神经网络（CNN）主干从每个输入图像中提取感知特征表示。所提取的特征图被馈送到Transformer编码器和解码器中，以便比较参考图像和失真图像。遵循基于transformer的视觉模型的方法，我们使用额外的可学习质量嵌入和位置嵌入。将Transformer的输出传递到预测头，以便预测最终质量分数。实验结果表明，我们提出的模型具有出色的性能标准IQA数据集。对于一个包含生成模型输出图像的大规模IQA数据集，我们的模型也显示了有希望的结果。拟议的IQT在NTIRE 2021感知图像质量评估挑战赛的13名参与者中排名第一。我们的工作将是一个机会，以进一步扩大的感知IQA任务的方法。
2021-05-05 cs.CV eess.IV
Transformer-based SAR Image Despeckling
Johns Hopkins University（约翰斯·霍普金斯大学）
合成孔径雷达（SAR）图像通常会受到乘性噪声（称为斑点噪声）的影响，这给SAR图像的处理和判读带来了困难。在本文中，我们介绍了一种基于变换的网络的SAR图像去斑。所提出的去斑网络包括一个基于变换的编码器，该编码器允许网络学习不同图像区域之间的全局依赖关系-有助于更好地去斑。该网络使用复合损失函数用合成生成的斑点图像进行端到端训练。实验结果表明，该方法在合成图像和真实SAR图像上的相干斑抑制效果均优于传统的相干斑抑制方法和基于卷积神经网络的相干斑抑制方法。
2022-01-23 cs.CV eess.IV
Implementation and discussion of the Pith Estimation on Rough Log End Images using Local Fourier Spectrum Analysis method
本文提出一种基于局部傅里叶谱分析的木料端面皮质估计方法，并通过两个数据集验证其有效性。
2026-03-14 cs.CV
Improved Super Resolution of MR Images Using CNNs and Vision Transformers
Inception Institute of AI（人工智能初创研究所）
使用卷积神经网络（CNN）的现有技术磁共振（MR）图像超分辨率方法（ISR）由于CNN的有限空间覆盖而利用有限的上下文信息。Vision Transformers（ViT）可以更好地学习全局背景，有助于生成高质量的HR图像。我们将CNN的局部信息和ViTs的全局信息相结合，以实现图像超分辨率，并输出比最先进方法产生的图像质量更高的超分辨率图像。我们包括额外的限制，通过多个新的损失函数，保留结构和纹理信息，从低分辨率到高分辨率的图像。
2022-07-24 cs.CV eess.IV
Recovery of Piecewise Smooth Images from Few Fourier Samples
University of Iowa（爱荷华大学）
我们引入了一个Prony样的方法来恢复连续域的2-D分段光滑图像从几个傅立叶样本。假设图像的不连续集被局部化到三角多项式的零水平集，我们证明了信号的偏导数的傅里叶变换系数满足湮灭关系。我们提出的必要条件和充分条件，唯一恢复分段常数图像使用上述湮没关系。我们提出的恢复的傅立叶系数的信号从测量作为一个凸矩阵完成算法，它依赖于提升的傅立叶数据的结构化低秩矩阵，这种方法联合估计的信号和零化滤波器。最后，我们证明了我们的算法从几个低分辨率傅立叶样本的MRI幻影的恢复。
2015-02-03 cs.CV
SwinIR: Image Restoration Using Swin Transformer
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
图像恢复是一个长期存在的低级视觉问题，其目的是从低质量图像（例如，缩小、噪声和压缩图像）。虽然最先进的图像恢复方法是基于卷积神经网络，但很少有人尝试使用Transformers，这些方法在高级视觉任务中表现出令人印象深刻的性能。在本文中，我们提出了一个强基线模型SwinIR图像恢复的基础上Swin Transformer。SwinIR由三部分组成：浅层特征提取、深层特征提取和高质量图像重建。特别地，深度特征提取模块由若干残余Swin Transformer块（RSTB）组成，每个残余Swin transformer块具有若干Swin Transformer层以及残余连接。我们对三个有代表性的任务进行了实验：图像超分辨率（包括经典，轻量级和真实世界的图像超分辨率），图像去噪（包括灰度和彩色图像去噪）和JPEG压缩伪影减少。实验结果表明，SwinIR优于国家的最先进的方法在不同的任务由$\textbf{up to 0.14$ \sim $0.45dB}$，而总的参数的数量可以减少$\textbf{up to 67%}$。
2021-08-23 cs.CV eess.IV
Eformer: Edge Enhancement based Transformer for Medical Image Denoising
Birla Institute of Technology Science Pilani（比尔拉理工学院皮拉尼分校）
在这项工作中，我们提出了基于变形器-边缘增强的Transformer，一种新的架构，使用Transformer块构建编码器-解码器网络，用于医学图像去噪。在Transformer块中使用了非重叠的基于窗口的自关注，这降低了计算要求。这项工作进一步结合了可学习的Sobel-Feldman算子来增强图像中的边缘，并提出了一种有效的方法来将它们连接在我们架构的中间层中。针对医学图像去噪的任务，通过比较确定性学习和残差学习进行了实验分析。为了捍卫我们的方法的有效性，我们的模型在AAPM-Mayo Clinic低剂量CT Grand Challenge数据集上进行了评估，并实现了最先进的性能，$i.e.$，43.487 PSNR，0.0067 RMSE和0.9861 SSIM。我们相信，我们的工作将鼓励更多的研究基于变换的架构，医疗图像去噪使用残差学习。
2021-11-09 cs.CV eess.IV
SRTransGAN: Image Super-Resolution using Transformer based Generative Adversarial Network
Indian Institute of Information Technology（印度信息技术学院）
本文提出SRTransGAN，用基于Transformer的编码器-解码器生成器和视觉Transformer判别器实现2倍和4倍图像超分辨率，在PSNR和SSIM上平均优于现有方法4.38%。
2023-12-04 cs.CV eess.IV
U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
CEDRIC - Conservatoire National des Arts et Metiers（国立工艺学院CEDRIC实验室）；Visible Patient SAS（Visible Patient SAS公司）
对于复杂和低对比度的解剖结构，医学图像分割仍然特别具有挑战性。在本文中，我们介绍了U-变压器网络，它结合了一个U形的架构，图像分割与自我和交叉注意力的Transformers。U-Transformer克服了U-Nets无法对长距离上下文交互和空间依赖性进行建模的问题，这对于在具有挑战性的上下文中进行准确分割至关重要。为此，注意力机制被纳入两个主要层面：自我注意力模块利用编码器特征之间的全局交互，而跳过连接中的交叉注意力通过过滤掉非语义特征，允许在U-Net解码器中进行精细的空间恢复。在两个腹部CT图像数据集上的实验表明，与U-Net和Local Attention U-Nets相比，U-Transformer带来了很大的性能增益。我们还强调了使用自我注意力和交叉注意力的重要性，以及U-Transformer带来的良好的可解释性功能。
2021-03-12 cs.CV eess.IV
Image Restoration Learning via Noisy Supervision in the Fourier Domain
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；Key Laboratory of Image Processing and Intelligent Control, Ministry of Education（教育部图像处理与智能控制重点实验室；华中科技大学人工智能与自动化学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology
本文提出在傅里叶域中建立噪声监督的统一图像恢复学习框架，利用空间相关噪声傅里叶系数的稀疏性、独立性及高斯收敛性质，证明含噪目标与干净目标的等价性，并在多种任务、网络和噪声模型上验证了其优越性能。
2025-05-31 cs.CV eess.IV
XCiT: Cross-Covariance Image Transformers
Facebook AI（脸书人工智能）；Inria（法国国家信息与自动化研究所）；Sorbonne University（索邦大学）
继在自然语言处理方面取得成功之后，Transformers最近在计算机视觉方面表现出了很大的希望。Transformers底层的自注意操作产生了所有标记（即单词或图像块）之间的全局交互，并使图像数据的灵活建模超越了卷积的局部交互。然而，这种灵活性带来了时间和内存的二次复杂性，阻碍了长序列和高分辨率图像的应用。我们提出了一个“转置”版本的自我注意力，跨功能通道，而不是令牌，其中的相互作用是基于关键字和查询之间的互协方差矩阵。由此产生的互协方差注意力（XCA）在令牌的数量上具有线性复杂度，并且允许高效地处理高分辨率图像。我们的互协方差图像Transformer（XCiT）是基于XCA构建的。它将传统Transformers的准确性与卷积架构的可扩展性相结合。我们通过报告多个视觉基准测试的出色结果来验证XCiT的有效性和通用性，包括ImageNet-1 k上的图像分类和自监督特征学习，COCO上的目标检测和实例分割，以及ADE 20 k上的语义分割。
2021-06-18 cs.CV cs.LG
Modified Alpha-Rooting Color Image Enhancement Method On The Two-Side 2-D Quaternion Discrete Fourier Transform And The 2-D Discrete Fourier Transform
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；City University of New York / CSI（纽约城市大学 / 斯塔滕岛学院）
图像中的颜色被分解为3或4个颜色分量，这些分量的2-D图像存储在单独的通道中。大多数彩色图像增强算法都是逐通道地对每幅图像进行增强。但是这样的彩色图像处理系统并不是处理原始颜色。当彩色图像被表示为四元数图像时，以原始颜色进行处理。本文提出了一种基于二维四元数离散傅里叶变换（2-DQDFT）的改进α-求根彩色图像增强算法。该方法的增强结果与二维DFT逐通道图像增强的结果进行了比较。彩色图像中的增强通过颜色增强度量估计（CEME）定量地测量，其允许通过遗传算法选择用于处理的最佳参数。通过基于四元数的方法增强彩色图像允许获得更接近真实原始颜色的真实表示的图像。
2017-07-15 cs.CV
