We propose a novel framework to evaluate the robustness of transformer-based form field extraction methods via form attacks. We introduce 14 novel form transformations to evaluate the vulnerability of the state-of-the-art field extractors against form attacks from both OCR level and form level, including OCR location/order rearrangement, form background manipulation and form field-value augmentation. We conduct robustness evaluation using real invoices and receipts, and perform comprehensive research analysis. Experimental results suggest that the evaluated models are very susceptible to form perturbations such as the variation of field-values (~15% drop in F1 score), the disarrangement of input text order(~15% drop in F1 score) and the disruption of the neighboring words of field-values(~10% drop in F1 score). Guided by the analysis, we make recommendations to improve the design of field extractors and the process of data collection.
Box-Free Model Watermarks Are Prone to Black-Box Removal Attacks
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Infocomm Technology (ICT) Cluster, Singapore Institute of Technology (SIT)（新加坡理工学院信息通信技术集群）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机系）
Mimic and Fool: A Task Agnostic Adversarial Attack
Indian Statistical Institute（印度统计研究所）
目前，对抗攻击是以特定于任务的方式设计的。然而，对于下游计算机视觉任务，例如图像描述、图像分割等，当前的深度学习系统使用像VGG 16、ResNet 50、Inception-v3等的图像分类器作为特征提取器。考虑到这一点，我们提出了Mimic和Fool，一种任务不可知的对抗攻击。给定一个特征提取器，所提出的攻击找到一个敌对的图像，可以模仿原始图像的图像特征。这确保了无论任务如何，两个图像都给出相同（或相似）的输出。我们随机选择1000个MSCOCO验证图像进行实验。我们在两个图像描述模型Show and Tell、Show Attend and Tell和一个VQA模型端到端神经模块网络（N2 NMN）上进行了实验。该攻击对Show and Tell、Show Attend and Tell和N2 NMN的成功率分别为74.0%、81.0%和87.1%。我们还对我们的攻击进行了轻微的修改，以生成看起来自然的对抗图像。此外，我们还证明了所提出的攻击可逆架构的适用性。由于Mimic和Fool只需要模型的特征提取器的信息，因此可以将其视为灰盒攻击。
Towards Transferable Adversarial Attacks on Vision Transformers
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Department of Computer Science, University of Maryland（马里兰大学计算机科学系）
Can We Get Rid of Handcrafted Feature Extractors? SparseViT: Nonsemantics-Centered, Parameter-Efficient Image Manipulation Localization through Spare-Coding Transformer
Sichuan University（四川大学）；Engineering Research Center of Machine Learning and industry inteligence, Ministry of Education of China（教育部机器学习与产业智能工程研究中心）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Macao（澳门大学）
针对图像篡改定位中手工提取非语义特征损害泛化能力的问题，提出 SparseViT，通过将 ViT 的密集自注意力重构为稀疏离散形式以自适应提取非语义特征，在无手工特征提取器的情况下实现了更优的泛化性并大幅降低计算量。
Rethinking Surgical Captioning: End-to-End Window-Based MLP Transformer Using Patches
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Imperial College London（帝国理工学院）；National University of Singapore (Suzhou) Research Institute（新加坡国立大学（苏州）研究院）
TORE: Token Recycling in Vision Transformers for Efficient Active Visual Exploration
University of Warsaw（华沙大学）；Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院）；Ardigen SA（Ardigen SA公司）；Center for Molecular Medicine Cologne (CMMC), University of Cologne（科隆大学科隆分子医学中心）；IDEAS NCBR
Task-Aware Dynamic Transformer for Efficient Arbitrary-Scale Image Super-Resolution
School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；College of Computer Science, Nankai University（南开大学计算机学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Tencent Data Platform（腾讯云与智慧产业事业群数据平台部）；Zhejiang University（浙江大学）；Systems Engineering Research Institute, China State Shipbuilding Corporation Limited（中国船舶重工集团公司系统工程研究院）；Guangdong Provincial Key Laboratory of Big Data Computing, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）广东省大数据计算重点实验室）
Efficient End-to-End Video Question Answering with Pyramidal Multimodal Transformer
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
Probing the Robustness of Vision-Language Pretrained Models: A Multimodal Adversarial Attack Approach
School of Computing, Macquarie University（麦考瑞大学计算学院）；Microsoft Corporation（微软公司）；School of Information Technology, Deakin University（迪肯大学信息技术学院）；Data61, CSIRO（联邦科学与工业研究组织Data61研究院）
Breaking the Illusion of Security via Interpretation: Interpretable Vision Transformer Systems under Attack
Department of Computer Science and Engineering, Sungkyunkwan University（计算机科学与工程系，全州大学）；Department of Computer Science, Loyola University（计算机科学系，洛伊拉大学）
Backdoor Attack Against Vision Transformers via Attention Gradient-Based Image Erosion
University of Electronic Science and Technology of China（电子科技大学）；Laboratory Of Intelligent Collaborative Computing, University of Electronic Science and Technology of China（电子科技大学智能协同计算实验室）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
On the Robustness of Vision Transformers to Adversarial Examples
University of Connecticut（康涅狄格大学）；CWI（荷兰国家数学与计算机科学研究所）
基于注意力的网络的最新进展表明，视觉Transformer可以在许多图像分类任务上实现最先进或接近最先进的结果。这使得Transformers处于独特的位置，成为传统卷积神经网络（CNN）的一个有前途的替代品。虽然CNN已经被仔细研究了对抗攻击，但视觉Transformer却不能这么说。在本文中，我们研究了视觉Transformer对抗性的例子的鲁棒性。我们对Transformer安全性的分析分为三个部分。首先，我们在标准白盒和黑盒攻击下测试Transformer。其次，我们研究了CNN和Transformers之间对抗性示例的可移植性。我们表明，对抗性的例子不容易在CNN和Transformers之间转移。基于这一发现，我们分析了CNN和Transformers的简单集成防御的安全性。通过创建一个新的攻击，自注意混合梯度攻击，我们表明，这样的合奏是不安全的白盒对手。然而，在黑盒对手，我们表明，合奏可以实现前所未有的鲁棒性，而不牺牲干净的准确性。我们对这项工作的分析是使用六种类型的白盒攻击和两种类型的黑盒攻击。我们的研究包括多个视觉Transformer，Big Transfer Models和CNN架构，这些架构在CIFAR-10，CIFAR-100和ImageNet上进行了训练。
DBIA: Data-free Backdoor Injection Attack against Transformer Networks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Boston University（波士顿大学）
Megatron: Evasive Clean-Label Backdoor Attacks against Vision Transformer
School of Computer Science, Wuhan University（武汉大学计算机学院）；Department of Computer Science and Engineering of Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）；College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）
Erased, But Not Forgotten: Erased Rectified Flow Transformers Still Remain Unsafe Under Concept Attack
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院未来区块链与隐私计算北京高精尖创新中心）；University of Science and Technology of China（中国科学技术大学）；National University of Defense Technology（国防科技大学）；GigaAI（极佳科技）；National University of Singapore（新加坡国立大学）
An Effective and Resilient Backdoor Attack Framework against Deep Neural Networks and Vision Transformers
Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology（香港科技大学）；Wuhan Textile University（武汉纺织大学）；Zhejiang University（浙江大学）；Wuhan University（武汉大学）
Decision-based Black-box Attack Against Vision Transformers via Patch-wise Adversarial Removal
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）；School of Cyberspace Science and Technology（网络空间安全学院）；Beijing Institute of Technology（北京理工大学）；National Key Laboratory of Science and Technology on Information System Security（信息系统安全科学与技术国家重点实验室）
