StarVQA+: Co-training Space-Time Attention for Video Quality Assessment
Guangzhou University（广州大学）；Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）
提出StarVQA+，一种协同训练时空注意力的视频质量评估网络，通过向量化回归损失和图像-视频协同训练解决数据饥饿，在多个野外数据集上超越现有方法。
2023-06-21 cs.CV cs.LG eess.IV
Transformer with Leveraged Masked Autoencoder for video-based Pain Assessment
Chonnam National University（全南大学）
本文提出一种结合 Masked Autoencoder 与 Transformers 分类器的深度学习模型，通过面部视频的表情与微表情有效捕捉疼痛指标，在 AI4Pain 数据集上取得良好结果，为客观全面的医疗疼痛评估提供创新方案。
2024-09-30 cs.CV
VLCE: A Knowledge-Enhanced Framework for Image Description in Disaster Assessment
Clark Atlanta University（克拉克亚特兰大大学）；BRAC University（布拉克大学）；United International University（国际联合大学）；Daffodil International University（花王国际大学）
VLCE通过整合知识图谱提升灾害影像描述的准确性和领域相关性，其在RescueNet上优于QwenVL基线。
2026-03-09 cs.CV cs.LG
Large-scale Building Damage Assessment using a Novel Hierarchical Transformer Architecture on Satellite Images
Simon Fraser University（西蒙弗雷泽大学）；Texas A&M University（德克萨斯A&M大学）
本文提出了\dahitra，这是一种新型的深度学习模型，具有分层Transformers，用于在自然灾害发生后基于卫星图像对建筑物损坏进行分类。卫星图像提供了实时和高覆盖率的信息，并为大规模灾后建筑物损坏评估提供了信息，这对于快速应急至关重要。在这项工作中，提出了一种新的变压器为基础的网络评估建筑物损坏。该网络利用多分辨率的分层空间特征，并在对空间特征应用Transformer编码器之后捕获特征域中的时间差异。该网络在用于建筑定位和损坏分类的大规模灾难损坏数据集（xBD）以及用于变化检测任务的LEVIR-CD数据集上进行测试时，达到了最先进的性能。此外，这项工作还引入了一个新的高分辨率卫星图像数据集Shakespea-BD（与2021年路易斯安那州的2021年飓风Ida有关），用于领域自适应。此外，它展示了一种使用该数据集的方法，通过有限的微调调整模型，从而将模型应用于数据稀缺的新受损地区。
2023-02-04 cs.CV
SEMT: Static-Expansion-Mesh Transformer Network Architecture for Remote Sensing Image Captioning
Austrian Institute of Technology（奥地利技术研究院）；University of Technology of Troyes（图卢兹技术大学）；Ho Chi Minh University of Technology（胡志明技术大学）；Ton Duc Thang University（-ton Duc Thang大学）
本文提出SEMT遥感图像描述网络架构，融合静态扩展、记忆增强自注意力与网格Transformer技术，在UCM-Caption和NWPU-Caption数据集上多数指标超越现有最优系统。
2025-07-17 cs.AI cs.CV
Visual Mechanisms Inspired Efficient Transformers for Image and Video Quality Assessment
NORCE Norwegian Research Centre（NORCE挪威研究中心）；Hong Kong University of Science and Technology（香港科技大学）
视觉（图像、视频）质量评估可以通过不同域中的视觉特征来建模，例如，空间、频率和时间域。人类视觉系统（HVS）中的感知机制在质量感知的产生中起着至关重要的作用。本文提出了一个通用的框架，无参考的视觉质量评估使用有效的窗口Transformer架构。Swin（移位窗口）Transformer中集成了一个用于多级通道注意的轻量级模块。这样的模块可以代表适当的感知机制，在图像质量评估（IQA）建立一个准确的IQA模型。同时，在空间和频率域的图像质量感知的代表性特征也可以从IQA模型，然后被馈送到另一个窗口的Transformer架构的视频质量评估（VQA）。VQA模型有效地跨局部窗口重用注意力信息，以解决原始Transformer的昂贵时间和存储复杂性的问题。在大规模IQA和VQA数据库上的实验结果表明，所提出的质量评估模型的性能大大优于其他国家的最先进的模型。完整的源代码将在Github上发布。
2022-08-19 cs.CV eess.IV
Perceptual Image Quality Assessment with Transformers
LG Electronics（LG电子）
在本文中，我们提出了一个图像质量Transformer（IQT），成功地将Transformer架构的感知全参考图像质量评估（IQA）的任务。感知表征在图像质量评价中变得越来越重要。在这种情况下，我们使用卷积神经网络（CNN）主干从每个输入图像中提取感知特征表示。所提取的特征图被馈送到Transformer编码器和解码器中，以便比较参考图像和失真图像。遵循基于transformer的视觉模型的方法，我们使用额外的可学习质量嵌入和位置嵌入。将Transformer的输出传递到预测头，以便预测最终质量分数。实验结果表明，我们提出的模型具有出色的性能标准IQA数据集。对于一个包含生成模型输出图像的大规模IQA数据集，我们的模型也显示了有希望的结果。拟议的IQT在NTIRE 2021感知图像质量评估挑战赛的13名参与者中排名第一。我们的工作将是一个机会，以进一步扩大的感知IQA任务的方法。
2021-05-05 cs.CV eess.IV
MSTRIQ: No Reference Image Quality Assessment Based on Swin Transformer with Multi-Stage Fusion
ByteDance Inc（字节跳动公司）
由于图像质量在图像采集、传输、增强等过程中会发生劣化，因此自动测量图像的感知质量是计算机视觉领域的一项重要任务。许多图像质量评估（IQA）算法已经被设计来解决这个问题。然而，由于各种类型的图像失真和缺乏大规模的人类评级数据集，它仍然没有得到解决。在本文中，我们提出了一种基于Swin Transformer [31]的新算法，该算法具有多个阶段的融合特征，它聚合了来自局部和全局特征的信息，以更好地预测质量。为了解决小规模数据集的问题，考虑了图像的相对排名以及回归损失，以同时优化模型。此外，有效的数据增强策略也被用来提高性能。与以往的工作相比，实验进行了两个标准的IQA数据集和挑战数据集。结果证明了我们工作的有效性。所提出的方法在标准数据集上优于其他方法，并在NTIRE 2022感知图像质量评估挑战赛的无参考轨道中排名第二[53]。实验结果表明，该方法在解决各种IQA问题上具有良好的应用前景。
2022-05-23 cs.CV
Transformer for Image Quality Assessment
NORCE Norwegian Research Centre（挪威研究中心）；Shenzhen University（深圳大学）
Transformer已成为自然语言处理的新的标准方法，也引起了计算机视觉领域的研究兴趣。本文研究了Transformer在图像质量评价中的应用。在视觉Transformer（ViT）中采用的原始Transformer编码器之后，我们提出了一种在卷积神经网络（CNN）提取的特征图顶部使用浅层Transformer编码器的架构。自适应位置嵌入在Transformer编码器中被采用以处理具有任意分辨率的图像。Transformer体系结构的不同设置已在公开可用的图像质量数据库上进行了研究。我们已经发现，所提出的TRIQ架构实现了出色的性能。TRIQ的实现发布在Github上（https：//github.com/junyongyou/triq）。
2021-01-08 cs.CV cs.LG eess.IV
Action Quality Assessment using Transformers
动作质量评估（AQA）是基于视频的应用中的一个活跃的研究问题，这是一个具有挑战性的任务，由于每帧的分数方差。现有的方法通过基于卷积的方法来解决这个问题，但受到其有效捕获长程依赖性的限制。随着Transformers的最新进展，我们表明它们是传统的基于卷积的架构的合适替代方案。具体来说，基于transformer的模型是否可以通过有效地捕获远程依赖关系，并行计算并为潜水视频提供更广泛的接受域来解决AQA的任务？为了证明我们提出的架构的有效性，我们进行了全面的实验，并取得了竞争力的斯皮尔曼相关性得分为0.9317。此外，我们还探讨了超参数对模型性能的影响，为在AQA中开发Transformers提供了一条新的途径。
2022-07-20 cs.CV cs.LG
Multi-Scale Features and Parallel Transformers Based Image Quality Assessment
IIT Jammu（印度理工学院查谟分校）
随着多媒体内容的增加，与多媒体相关联的失真类型也在增加。图像质量评价问题在PIPAL数据集中得到了很好的扩展，这仍然是研究人员需要解决的一个开放问题。虽然，最近提出的Transformers网络已经在文献中用于图像质量评估。同时，我们注意到多尺度特征提取已被证明是一种很有前途的图像质量评估方法。然而，Transformer网络用于图像质量评估的方式到目前为止缺乏多尺度特征提取的这些性质。我们利用这一事实，在我们的方法，并提出了一个新的架构，通过整合这两个有前途的图像质量评估技术。我们在各种数据集上的实验，包括PIPAL数据集，表明所提出的集成技术优于现有的算法。所提出的算法的源代码可在线获得：https://github.com/KomalPal9610/IQA
2022-04-20 cs.CV cs.MM eess.IV
Action Quality Assessment with Temporal Parsing Transformer
Durham University（杜伦大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Warwick（华威大学）；Baidu Inc.（百度公司）
动作质量评估（AQA）对于动作理解和解决任务非常重要，由于细微的视觉差异，任务提出了独特的挑战。现有的最先进的方法通常依赖于整体视频表示的分数回归或排名，这限制了泛化以捕获细粒度的类内变化。为了克服上述限制，我们提出了一个时间解析Transformer分解的整体功能到时间部分级表示。具体来说，我们利用一组可学习的查询来表示特定操作的原子时间模式。我们的解码过程将帧表示转换为固定数量的时间排序的部分表示。为了获得质量分数，我们采用了最先进的对比回归的基础上的部分表示。由于现有的AQA数据集不提供时间部分级别的标签或分区，我们提出了两个新的损失函数的交叉注意响应的解码器：排名损失，以确保可学习的查询，以满足时间顺序的交叉注意和稀疏损失，以鼓励部分表示更具歧视性。大量的实验表明，我们提出的方法优于以前的工作在三个公共AQA基准相当大的利润。
2022-07-19 cs.CV
Unleashing Vision Transformer Potential In Image Quality Assessment via Global-Local Adaptive Interaction
Harbin Institute of Technology（哈尔滨工业大学）；Meituan（美团）
本文提出了一种全局-局部自适应交互框架，通过双流特征提取机制和交互式全局-局部融合，提升图像质量评估的预测精度和鲁棒性，同时减少可训练参数数量。
2026-05-18 cs.CV
VTAMIQ: Transformers for Attention Modulated Image Quality Assessment
Centre for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）；McGill University（麦吉尔大学）
继自我注意和Transformers在图像分析中取得的重大成功之后，我们研究了在图像质量评估（IQA）的背景下使用这种注意力机制，并提出了一种新的全参考IQA方法，视觉Transformer注意力调制图像质量（VTAMIQ）。我们的方法在现有的IQA数据集上实现了具有竞争力或最先进的性能，并且在跨数据库评估中显着优于以前的指标。大多数补丁明智的IQA方法独立地对待每个补丁，这部分地丢弃了全局信息，并限制了建模长距离相互作用的能力。我们完全避免了这个问题，采用一个Transformer编码的补丁序列作为一个单一的全球表示，它的设计考虑补丁之间的相互依赖性。我们依赖于各种注意力机制--首先是Transformer中的自我注意力，其次是差异调制网络中的通道注意力--特别是为了揭示和增强整个架构中更显著的特征。通过对分类和IQA任务进行大规模的预训练，VTAMIQ可以很好地推广到看不见的图像和失真集，进一步证明了基于transformer的网络在视觉建模方面的优势。
2021-10-04 cs.CV eess.SP
Video Quality Assessment Based on Swin TransformerV2 and Coarse to Fine Strategy
University of Science and Technology of China（中国科学技术大学）
本文提出一种基于Swin Transformer V2和由粗到细对比策略的无参考视频质量评估方法，通过增强空间感知与轻量时序融合模块提升对不同码率压缩视频的质量判别能力。
2024-01-16 cs.CV cs.LG eess.IV
TRACE: Transformer-based Risk Assessment for Clinical Evaluation
National Technical University of Athens（雅典国立技术大学）；Universitas Mercatorum（梅尔卡托鲁姆大学）
TRACE提出基于Transformer的临床风险评估方法，利用自注意力机制处理多模态数据并检测高风险个体，在多个基线上表现优异且具备可解释性。
2025-05-22 cs.AI cs.CV cs.LG
Dual-Tasks Siamese Transformer Framework for Building Damage Assessment
United Nations Satellite Centre（联合国卫星中心）
关于建筑物受损程度的准确和精细信息对于人道主义救济和救灾至关重要。然而，作为遥感解译任务中最常用的结构，卷积神经网络（CNN）对像素间非局部关系的建模能力有限。最近，Transformer体系结构首次提出用于在自然语言处理中建模长距离依赖，在计算机视觉任务中显示出有希望的结果。考虑到Transformer体系结构在计算机视觉领域的前沿进展，本文首次尝试设计一种基于Transformer的损伤评估体系结构（DamFormer）。在DamFormer中，首先构造了一个连体Transformer编码器，从输入的多时相图像对中提取非局部和代表性的深度特征。然后，设计了一个多时间融合模块，用于融合下游任务的信息。最后，一个轻量级的双任务解码器聚合多级特征进行最终预测。据我们所知，这是第一次提出这样一个基于transformer的深度网络用于多时相遥感解译任务。在大规模损伤评估数据集xBD上的实验结果证明了基于transformer的架构的潜力。
2022-05-28 cs.CV cs.LG eess.IV
EX-FIQA: Leveraging Intermediate Early eXit Representations from Vision Transformers for Face Image Quality Assessment
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究研究所IGD）；Department of Computer Science, TU Darmstadt（图腾大学计算机科学系）
本文提出利用视觉变换器中间层表示进行人脸图像质量评估，通过早期退出机制和分数融合策略，发现不同深度层捕获互补的质量信息，提出深度加权平均融合方法，提升评估性能并实现计算效率。
2026-04-21 cs.CV eess.IV
A Point Cloud Transformer for Remote Monitoring and Automated Assessment of Physical Rehabilitation Exercises
Department of Electrical and Computer Engineering, North South University（北南大学电气与计算机工程系）；Apurba Technologies Limited（阿普尔巴技术有限公司）
提出基于Transformer的点云框架，利用RGBD数据中的关节位置自动评估康复锻炼质量，通过曲线特征聚合和轴向自注意力提升性能，在三个数据集上优于现有方法。
2026-06-29 cs.CV
Twins-PainViT: Towards a Modality-Agnostic Vision Transformer Framework for Multimodal Automatic Pain Assessment using Facial Videos and fNIRS
Computational Biomedicine Laboratory of the Foundation for Research and Technology (FORTH)（希腊国家研究与技术基金会计算生物医学实验室）；Department of Electrical & Computer Engineering Hellenic Mediterranean University（希腊地中海大学电气与计算机工程系）
本文提出Twins-PainViT框架，通过双ViT配置和波形表示融合面部视频与fNIRS，实现模态无关的多模态自动疼痛评估，在AI4PAIN挑战中达到46.76%准确率。
2024-07-29 cs.AI cs.CV
A Spatial-Temporal Transformer based Framework For Human Pose Assessment And Correction in Education Scenarios
Fudan-Xiding AI Joint LAB（复旦-西鼎人工智能联合实验室）；Shangshai Xiding AI Research Center Co., Ltd（上海西鼎人工智能研究中心有限公司）；R&D Center Shangshai Xiding AI Research Center Co., Ltd（上海西鼎人工智能研究中心有限公司研发中心）；School of Information Science and Technology Fudan University（复旦大学信息科学与技术学院）
本文提出基于时空Transformer的STTF框架，结合骨骼跟踪、姿态估计、评估与纠正模块，并利用自建数据集验证其在教育场景中对学生动作质量进行准确评估和有效纠正的能力。
2023-11-01 cs.AI cs.CV
Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
提出一种基于Transformer的无参考图像质量评估模型，通过预训练模型生成预测误差图并结合视觉Transformer提取感知质量令牌进行特征融合，在真实和合成图像数据库上均超越现有最先进方法。
2023-05-16 cs.CV eess.IV
Braided Vision Transformer for Stroke Detection in Multi-view Retinal Fundus Imaging
VTT Technical Research Centre of Finland（芬兰国家技术研究中心）
该研究提出BViT模型，利用双眼多视角视网膜眼底成像检测卒中，在自制Stroke-Data数据集上AUC达0.75，性能优于常规视觉Transformer。
2026-08-18 cs.CV
Shifted Windows Transformers for Medical Image Quality Assessment
Istanbul Technical University（伊斯坦布尔技术大学）；Mehmet Akif Ersoy Thoracic and Cardiovascular Surgery Training and Research Hospital（穆罕默德·阿基夫·埃尔索伊胸心血管外科培训研究医院）；Acibadem University（阿哲巴登大学）；King’s College London（伦敦国王学院）
为了保持医学成像研究的标准，图像应具有必要的图像质量以用于潜在的诊断用途。虽然基于CNN的方法被用来评估图像质量，但它们的性能仍然可以在准确性方面得到提高。在这项工作中，我们通过使用Swin Transformer来解决这个问题，该算法提高了导致医学图像质量下降的低质量图像分类性能。我们测试我们的方法上的异物分类问题的胸部X射线（Object-CXR）和左心室流出道分类问题的心脏MRI与四腔视图（LVOT）。虽然我们在Object-CXR和LVOT数据集上获得了87.1%和95.48%的分类准确率，但我们的实验结果表明，使用Swin Transformer提高了Object-CXR分类性能，同时获得了LVOT数据集的可比性能。据我们所知，我们的研究是第一个Vision Transformer应用于医学图像质量评估。
2022-08-11 cs.CV eess.IV
Shifting Focus: From Global Semantics to Local Prominent Features in Swin-Transformer for Knee Osteoarthritis Severity Assessment
Université d'Orléans（奥尔良大学）；IULM Libera Università di Lingue e Comunicazione（IULM语言与传播自由大学）；IDP - UMR CNRS 7013（IDP - 法国国家科学研究中心联合研究单位7013）
针对膝骨关节炎分级，利用Swin Transformer层次结构细化局部特征并面向分类器分布，提升模型鲁棒性和精度，在两大基准上验证有效。
2024-03-15 cs.CV
Local Distortion Aware Efficient Transformer Adaptation for Image Quality Assessment
WHU（武汉大学）；NTU（南洋理工大学）；Sensetime Research（商汤科技研究院）；Tetras AI（Tetras人工智能公司）
针对图像质量评估任务，提出结合预训练CNN局部特征提取与ViT特征注入的适配方法，仅训练轻量模块即达到SOTA，验证了高层预训练特征对该任务的增益。
2023-08-23 cs.CV
DamageCAT: A Deep Learning Transformer Framework for Typology-Based Post-Disaster Building Damage Categorization
本文提出DamageCAT框架，通过构建BD-TypoSAT数据集和分层U-Net Transformer架构，实现基于类型学的灾后建筑损坏分类，提供比传统方法更具可操作性的评估以支持应急响应。
2025-08-08 cs.CV
ST360IQ: No-Reference Omnidirectional Image Quality Assessment with Spherical Vision Transformers
Hacettepe University（哈斯特帕大学）；AIST Japan（日本产业技术综合研究所）
全向图像，又名360图像，可以提供身临其境的交互式视觉体验。随着近年来360度图像的普及程度急剧增加，评估360度图像的质量已成为一个令人感兴趣的问题，因为它为捕捉、传输和消费这种新媒体提供了见解。然而，直接适应质量评估方法提出的标准自然图像的全向数据提出了一定的挑战。这些模型需要处理非常高分辨率的数据和由于图像的球形形式而引起的隐式失真。在这项研究中，我们提出了一种无参考360图像质量评估方法。我们提出的ST 360 IQ模型从输入全向图像的显著部分提取切线视口，并采用基于视觉变换器的模块处理显著性选择性补丁/令牌，该模块估计每个视口的质量分数。然后，它汇总这些分数以给出最终的质量分数。我们在两个基准数据集，即OIQA和CVIQ数据集上的实验表明，与最先进的方法相比，我们的方法预测与人类感知的图像质量相关的全向图像的质量。该代码已在https://github.com/Nafiseh-Tofighi/ST360IQ上提供
2023-03-13 cs.CV eess.IV
Attention Down-Sampling Transformer, Relative Ranking and Self-Consistency for Blind Image Quality Assessment
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿业大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（沙特数据与人工智能局-法赫德国王石油与矿业大学人工智能联合研究中心）
该研究针对无参考图像质量评估任务，结合注意力下采样Transformer与CNN提取多尺度特征，引入相对排序强化主客观评估关联，提出自一致性自监督方法提升模型鲁棒性，在多个数据集上取得SOTA性能，小数据集优势更明显。
2024-09-11 cs.AI cs.CV cs.LG
RTN: Reinforced Transformer Network for Coronary CT Angiography Vessel-level Image Quality Assessment
University of Science and Technology of China（中国科学技术大学）；The First Affiliated Hospital of Dalian Medical University（大连医科大学附属第一医院）
冠状动脉CT血管造影（CCTA）易受各种失真（例如，伪影和噪声），这严重损害了心血管疾病的准确诊断。适当的CCTA血管级图像质量评估（CCTA VIQA）算法可用于降低错误诊断的风险。CCTA VIQA的主要挑战是难以定位决定最终质量的冠状动脉局部。为了应对这一挑战，我们将CCTA VIQA制定为多实例学习（MIL）问题，并利用基于Transformer的MIL主干（称为T-MIL）将冠状动脉中心线上的多个实例聚合为最终质量。然而，并非所有实例都能为最终质量提供信息。存在一些与质量无关/负面的情况干扰确切的质量评估（例如，仅覆盖背景的实例或无法识别实例中的冠状动脉）。因此，我们提出了一个渐进式强化学习为基础的实例丢弃模块（称为PRID），逐步删除质量无关/负面的CCTA VIQA的实例。基于上述两个模块，我们提出了一个加强型Transformer网络（RTN）的自动CCTA VIQA的端到端优化。大量的实验结果表明，我们提出的方法在真实世界的CCTA数据集上实现了最先进的性能，大大超过了以前的MIL方法。
2022-07-13 cs.CV cs.MM
Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
针对现有无参考图像质量评估方法在未知真实失真数据集上性能有限的问题，提出基于监督对比学习和Transformer的SaTQA模型，通过多流骨干网络和补丁注意力模块融合特征，在7个标准数据集上性能优于现有最优方法。
2023-12-12 cs.CV eess.IV
Learning Transformer Features for Image Quality Assessment
City University of Hong Kong（香港城市大学）
客观图像质量评价是一项具有挑战性的任务，其目的是自动测量给定图像的质量。根据参考图像的可用性，分别有全参考和无参考IQA任务。大多数深度学习方法使用从由卷积神经网络提取的深度特征的回归。对于FR任务，另一种选择是对深层特征进行统计比较。对于所有这些方法，非局部信息通常被忽略。此外，FR和NR任务之间的关系也较少被探讨。受最近Transformers在上下文信息建模方面取得的成功的启发，我们提出了一个统一的IQA框架，该框架利用CNN主干和Transformer编码器来提取特征。所提出的框架与FR和NR模式兼容，并允许联合训练方案。在三个标准IQA数据集上进行了评估实验，即，LIVE，CSIQ和TID 2013，和KONIQ-10 K，表明我们提出的模型可以实现最先进的FR性能。此外，在大量的实验中实现了相当的NR性能，结果表明，NR性能可以通过联合训练方案来利用。
2022-03-23 cs.CV eess.IV
Self-accumulative Vision Transformer for Bone Age Assessment Using the Sauvegrain Method
VUNO Inc.（VUNO公司）；University of Ulsan, College of Medicine（蔚山大学医学院）；Asan Medical Center（峨山医学中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出了一种新的骨龄评估（BAA）方法，使用多视图，多任务分类模型的基础上Sauvegrain方法。自动化Sauvegrain方法的一个简单的解决方案是独立地训练分类器来对每个感兴趣区域（RoI）进行评分，该方法评估肘部每个标志的成熟度评分并预测骨龄，但这种方法将可访问的信息限制在局部形态上并增加了计算成本。因此，这项工作提出了一种自累积的视觉Transformer（SAT），减轻各向异性的行为，这通常发生在多视图，多任务的问题，并限制了有效性的视觉Transformer，通过应用令牌重放和区域注意力偏差。大量的实验表明，SAT成功地利用地标之间的关系，学习全局形态特征，导致BAA的平均绝对误差比以前的工作低0.11。此外，建议SAT有四倍减少的参数比以前的工作的个人分类器的合奏。最后，这项工作也提供了有益的启示，为临床实践，提高BAA诊断的准确性和效率在青少年异常生长。
2023-03-30 cs.AI cs.CV
No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency
Bosch Center for AI（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
无参考图像质量评价（NR-IQA）的目标是根据主观评价来估计图像的感知质量，由于缺乏原始参考图像，这是一个复杂且尚未解决的问题。在本文中，我们提出了一种新的模型来解决NR-IQA任务，利用混合方法，受益于卷积神经网络（CNN）和自注意力机制的Transformers从输入图像中提取本地和非本地的功能。我们通过CNN捕获图像的局部结构信息，然后为了规避提取的CNN特征之间的局部偏差并获得图像的非局部表示，我们在提取的特征上使用Transformers，将其建模为Transformer模型的顺序输入。此外，为了改善主观和客观分数之间的单调性相关性，我们利用每批图像之间的相对距离信息，并执行它们之间的相对排名。最后但并非最不重要的是，我们观察到，当我们对输入应用等变变换（例如水平翻转）时，NR-IQA模型的性能会下降。因此，我们提出了一种方法，利用自我一致性作为自我监督的来源，以提高NRIQA模型的鲁棒性。具体来说，我们对每个图像的质量评估模型的输出及其转换（水平翻转）之间进行自我一致性，以利用丰富的自我监督信息并减少模型的不确定性。为了证明我们工作的有效性，我们在七个标准IQA数据集（合成和真实）上进行了评估，并表明我们的模型在各种数据集上都取得了最先进的结果。
2022-01-05 cs.CV eess.IV
ViTNT-FIQA: Training-Free Face Image Quality Assessment with Vision Transformers
Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
ViTNT-FIQA通过测量视觉变换器中间块补丁嵌入演变的稳定性，实现无训练的面部图像质量评估，具有高效计算和广泛适用性。
2026-01-09 cs.CV cs.LG
Blind CT Image Quality Assessment Using DDPM-derived Content and Transformer-based Evaluator
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本研究提出一种模拟人类视觉内部生成机制的盲CT图像质量评估方法，通过DDPM推导图像主要内容生成差异图，结合Transformer评估器，在MICCAI 2023低剂量CT感知质量挑战赛中获亚军且性能可进一步提升。
2023-10-04 cs.CV eess.IV
Dual Cross-Attention Siamese Transformer for Rectal Tumor Regrowth Assessment in Watch-and-Wait Endoscopy
Total Neoadjuvant Treatment (TNT)（总新辅助治疗）；Watch-and-Wait (WW) surveillance（观察等待（WW）监视）；Swin Transformer（Swin变压器）；Dual Cross-Attention (SSDCA)（双交叉注意力（SSDCA））
提出双交叉注意力孪生Swin Transformer（SSDCA），结合再分期和随访内镜图像区分临床完全缓解与局部再生长，在62名患者上实现81.76%平衡准确率。
2026-06-15 cs.CV
ATTN-FIQA: Interpretable Attention-based Face Image Quality Assessment with Vision Transformers
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究研究所IGD）；Department of Computer Science, TU Darmstadt（图腾大学计算机科学系）
本文提出ATTN-FIQA，通过预训练视觉Transformer模型的预softmax注意力分数评估面部图像质量，无需额外训练，利用注意力模式的空间重要性进行质量判断。
2026-04-21 cs.CV eess.IV
Swin transformers are robust to distribution and concept drift in endoscopy-based longitudinal rectal cancer assessment
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
本研究提出使用Swin transformer进行基于内镜的纵向直肠癌评估，发现其在分布内和外部分布数据集上对颜色偏移引起的分布漂移具有更强的鲁棒性，优于ResNet和ViT等模型。
2025-01-30 cs.CV eess.IV
PollutionNet: A Vision Transformer Framework for Climatological Assessment of NO$_2$ and SO$_2$ Using Satellite-Ground Data Fusion
Technological University Dublin（都柏林科技大学）；University College Dublin（都柏林大学学院）；ADAPT Research Ireland Centre（ADAPT爱尔兰研究中心）
本文提出PollutionNet框架，结合卫星与地面数据融合，利用自注意力机制提升对NO₂和SO₂的时空依赖性建模，实现高精度污染评估，减少预测误差14%，为气候研究提供高效工具。
2026-03-31 cs.CV physics.ao-ph
AAPMT: AGI Assessment Through Prompt and Metric Transformer
Shanghai Jiao Tong University（上海交通大学）
本文提出AAPMT方法，通过提示设计与Metric Transformer建模AGI质量指标间复杂关系，以更贴近人类感知的方式评估文本到图像模型的感知质量、真实性及图文对应性。
2024-03-28 cs.AI cs.CV
MS-SCANet: A Multiscale Transformer-Based Architecture with Dual Attention for No-Reference Image Quality Assessment
Department of Computer Science Texas State University San Marcos, USA（计算机科学系得克萨斯州立大学桑马科斯分校）
MS-SCANet通过多尺度变换器架构和双注意力机制，实现无参考图像质量评估的高精度与高效性。
2026-02-03 cs.CV cs.MM eess.IV
Video-based Surgical Skills Assessment using Long term Tool Tracking
Johnson & Johnson（强生公司）；Johnson & Johnson Medical GmbH（强生医疗有限公司）
掌握手术所需的技术技能是一项极具挑战性的任务。基于视频的评估允许外科医生接收关于其技术技能的反馈，以促进学习和发展。目前，这种反馈主要来自手动视频审查，这是时间密集型的，并限制了跟踪外科医生在许多情况下的进展的可行性。在这项工作中，我们介绍了一种基于运动的方法来自动评估手术技能的手术案例视频饲料。所提出的流水线首先可靠地跟踪手术工具以创建运动轨迹，然后使用这些轨迹来预测外科医生的技术技能水平。跟踪算法采用了一个简单而有效的重新识别模块，与其他最先进的方法相比，改进了ID切换。当仪器定期在屏幕上和屏幕外移动或定期被遮挡时，这对于创建可靠的工具轨迹至关重要。基于运动的分类模型采用了最先进的自我注意力Transformer网络来捕获技能评估所必需的短期和长期运动模式。在体内（Cholec80）数据集上评估所提出的方法，其中使用Calot三角解剖的专家级GOALS技能评估作为定量技能测量。我们比较基于变压器的技能评估与传统的机器学习方法，使用建议和国家的最先进的跟踪。我们的研究结果表明，使用可靠的跟踪方法的运动轨迹是有益的评估外科医生的技能，仅基于视频流。
2022-07-05 cs.CV
D-STGCNT: A Dense Spatio-Temporal Graph Conv-GRU Network based on transformer for assessment of patient physical rehabilitation
CESI LINEACT
提出D-STGCNT模型，结合改进STGCN与Transformer，利用图结构处理骨架数据，在KIMORE和UI-PRMD数据集上超越现有方法，实现高效准确的康复锻炼自动评估。
2025-02-25 cs.AI cs.CV cs.LG
MMTA: Multi Membership Temporal Attention for Fine-Grained Stroke Rehabilitation Assessment
Department of Electrical and Computer Engineering, University of Kentucky, Lexington, KY, USA（电气与计算机工程系，肯塔基大学，路易斯维尔，KY，美国）；College of Medicine, University of Kentucky, Lexington, KY, USA（医学学院，肯塔基大学，路易斯维尔，KY，美国）；Department of Electrical and Computer Engineering, University of California, Davis, CA, USA（电气与计算机工程系，加州大学戴维斯分校，CA，美国）
MMTA通过多成员时序注意机制提升细粒度笔画康复评估的精度和鲁棒性，适用于视频和可穿戴设备输入。
2026-03-01 cs.CV
A Robust and Scalable Attention Guided Deep Learning Framework for Movement Quality Assessment
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
身体康复计划通常从短暂的住院开始，并继续以家庭为基础的康复。缺乏对运动正确性的反馈是家庭康复中的一个重要问题。使用经由深度成像设备收集的骨骼运动数据（下文称为骨骼数据）的自动运动质量评估（MQA）可以通过提供必要的定量反馈来辅助基于家庭的康复。本文旨在利用深度学习的最新进展来解决MQA问题。运动质量分数生成是MQA的重要组成部分。我们提出了三种新的骨架数据增强方案。我们表明，使用所提出的增强生成运动质量分数的结果显着的性能提升现有的方法。最后，我们提出了一种新的Transformer为基础的MQA架构。四个新的特征提取器，提出和研究，使Transformer网络操作的骨架数据。我们表明，在建议的特征提取器的设计中添加注意力机制，允许Transformer网络注意特定的身体部位，使执行运动的显着贡献。我们报告了与现有方法相比，在UI-PRMD数据集上运动质量分数预测提高了12%，在KIMORE数据集上提高了21%。
2022-04-16 cs.AI cs.CV
Leveraging Transformers to Improve Breast Cancer Classification and Risk Assessment with Multi-modal and Longitudinal Data
New York University（纽约大学）；NYU Langone Health（纽约大学朗格尼医学中心）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
提出多模态Transformer（MMT），融合乳腺X线摄影和超声数据并利用纵向影像，在130万次检查上训练，实现癌症检测AUROC 0.943和5年风险预测AUROC 0.826，优于单模态基线。
2023-11-15 cs.CV cs.LG eess.IV
Multiple Inputs and Mixwd data for Alzheimer's Disease Classification Based on 3D Vision Transformer
Universidad de Salamanca（萨拉曼卡大学）；Universidad Surcolombiana（南哥伦比亚大学）；Corporación Universitaria Autónoma de Nariño（纳里尼奥自治大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）
本研究提出MIMD-3DVT方法，通过多输入和混合数据提升阿尔茨海默病分类准确率至97.14%
2026-02-28 cs.CV
DGIQA: Depth-guided Feature Attention and Refinement for Generalizable Image Quality Assessment
RoboPI laboratory, Department of ECE, University of Florida（罗波PI实验室，电子与计算机工程系，佛罗里达大学）
针对无参考图像质量评估对未见自然失真泛化性不足的问题，提出DGIQA模型，通过深度引导交叉注意力机制融合场景深度与空间特征，并结合Transformer-CNN桥接模块，在多基准数据集及跨数据集评估中达到SOTA。
2025-05-29 cs.CV
CB-HVTNet: A channel-boosted hybrid vision transformer network for lymphocyte assessment in histopathological images
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Air University（空军大学）；Universiti Teknologi PETRONAS（马来西亚国油科技大学）；Korea National University of Transportation（韩国交通大学）
本文提出CB-HVT网络，通过迁移学习生成增强通道并结合Transformer与CNN，在组织病理图像中实现优于现有模型的淋巴细胞检测与分割。
2023-07-19 cs.CV cs.LG eess.IV
Data-Efficient Vision Transformers for Multi-Label Disease Classification on Chest Radiographs
Hamburg University of Technology（汉堡工业大学）；Jung Diagnostics GmbH（荣格诊断有限公司）
X光片是一种多功能的诊断工具，用于检测和评估病理，用于治疗计划或用于临床干预中的导航和定位目的。然而，放射科医生对它们的解释和评估可能是繁琐且容易出错的。因此，已经提出了各种各样的深度学习方法来支持放射科医师解释射线照片。大多数情况下，这些方法依赖于卷积神经网络（CNN）来从图像中提取特征。特别是对于胸部X光片（胸部X光，CXR）上的病理的多标签分类，CNN已被证明非常适合。相反，视觉Transformer（ViTs）尚未应用于该任务，尽管它们在通用图像和可解释的局部显著性图上具有高分类性能，这可能会增加临床干预的价值。ViT不依赖于卷积，而是依赖于基于补丁的自我注意力，与CNN相反，不存在本地连接的先验知识。虽然这导致容量增加，但ViT通常需要过量的训练数据，这代表了医疗领域中的障碍，因为高成本与收集大型医疗数据集相关联。在这项工作中，我们系统地比较了不同数据集大小的ViT和CNN的分类性能，并评估了更有效的ViT变体（DeiT）。我们的研究结果表明，虽然ViTs和CNN之间的性能与ViTs的小优势相当，但如果有相当大的数据集可用于训练，DeiTs的性能优于前者。
2022-08-17 cs.CV
A No-Reference Quality Assessment Method for Digital Human Head
Shanghai Jiao Tong University（上海交通大学）；China University of Mining Technology（中国矿业大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出一种基于Transformer的无参考数字人头部质量评估方法，通过多任务模块联合分类失真类型与预测感知质量，实验证明其性能优于现有方法。
2023-10-25 cs.CV eess.IV
Multiclass Post-Earthquake Building Assessment Integrating High-Resolution Optical and SAR Satellite Imagery, Ground Motion, and Soil Data with Transformers
Department of Civil and Environmental Engineering, University of Houston, TX, USA（土木与环境工程系，德克萨斯大学）；Department of Electrical and Computer Engineering, University of Houston, TX, USA（电气与计算机工程系，德克萨斯大学）；Department of Earth and Atmospheric Science, University of Houston, TX, USA（地球与大气科学系，德克萨斯大学）；German Aerospace Center (DLR), Microwaves and Radar Institute, Munich, Germany（德国航天中心（DLR）微波与雷达研究所）
提出一种元数据增强的Transformer框架，融合高分辨率卫星影像与地震烈度、土壤和SAR数据，实现多类震后建筑损坏评估，在土耳其-叙利亚地震数据上达到最先进性能。
2025-06-18 cs.AI cs.CV eess.IV
Style-Guided Inference of Transformer for High-resolution Image Synthesis
NCSOFT（NCSoft公司）
Transformer非常适合于自回归图像合成，它递归地从过去的值预测离散值以组成完整的图像。特别地，结合矢量量化的隐表示，最先进的自回归Transformer显示逼真的高分辨率图像。然而，从离散概率分布中对潜在代码进行采样使得输出不可预测。因此，它需要产生大量的不同的样本，以获得所需的输出。为了减轻重复生成大量样本的过程，在本文中，我们建议将所需的输出（样式图像）作为附加条件，而无需重新训练Transformer。为此，我们的方法将风格转换为概率约束，以重新平衡先验，从而指定目标分布而不是原始先验。因此，从重新平衡先验中生成的样本具有与参考样式相似的样式。在实践中，我们可以选择一个图像或一类图像作为附加条件。在我们的定性评估中，我们发现大多数输出的风格与输入风格相似。
2022-10-11 cs.CV
