TinyFormer: Efficient Transformer Design and Deployment on Tiny Devices
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Qingdao Research Institute, Beihang University（北京航空航天大学青岛研究所）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学（深圳）计算机科学与工程系）；Fert Beijing Research Institute, School of Integrated Circuit Science and Engineering, Beihang University（北京航空航天大学集成电路科学与工程学院）
TinyFormer是一种专为微型设备设计的高效变换器框架，通过SuperNAS、SparseNAS和SparseEngine实现资源高效的模型设计与部署，显著提升推理速度。
2025-11-26 cs.AR cs.LG
RECAST: Interactive Auditing of Automatic Toxicity Detection Models
Georgia Institute of Technology（佐治亚理工学院）；Mailchimp
随着有毒语言在网上变得几乎无处不在，人们越来越关注利用自然语言处理（NLP）的进步，从非常大的Transformer模型到自动检测和删除有毒评论。尽管存在公平性问题，缺乏对抗性鲁棒性，以及深度学习系统的预测可解释性有限，但目前几乎没有工作来审计这些系统并了解它们如何为开发人员和用户工作。我们提出了我们正在进行的工作，RECAST，一个交互式工具，用于检查毒性检测模型，通过可视化解释预测和检测到的有毒语音提供替代措辞。
2020-07-01 cs.CL cs.CY cs.LG
A New Generation of Perspective API: Efficient Multilingual Character-level Transformers
Jigsaw；Google Research（谷歌研究院）
在万维网上，有毒内容检测器是抵御潜在仇恨和攻击性信息的关键防线。因此，构建高效的分类器以实现更安全的互联网是一个重要的研究领域。此外，网络是一个高度多语言、跨文化的社区，随着时间的推移，它会发展出自己的行话。因此，开发跨各种语言、用法和风格的有效模型至关重要。在本文中，我们介绍了Google Jigsaw的下一个版本的Perspective API背后的基本原理。该方法的核心是一个单一的多语言无令牌Charformer模型，适用于各种语言，域和任务。我们证明，通过放弃静态词汇表，我们获得了各种设置的灵活性。我们还概述了技术，使这样一个字节级模型的生产效率和可行性。通过对来自真实API流量的多语言有毒评论分类基准进行广泛的实验，并对一系列代码切换，隐蔽毒性，基于表情符号的仇恨，人类可读混淆，分布偏移和偏见评估设置进行评估，我们表明我们提出的方法优于强大的基线。最后，我们提出了我们的调查结果，从部署这个系统在生产中。
2022-02-22 cs.AI cs.CL cs.CY
JoFormer (Journey-based Transformer): Theory and Empirical Analysis on the Tiny Shakespeare Dataset
Mahesh Godavarti（独立研究者）
本文提出基于非交换代数、沿序列复合可学习方向变换的 JoFormer，从理论上推广 RoFormer，并在 Tiny Shakespeare 字符级建模中取得更低困惑度与更快收敛。
2025-06-10 cs.AI cs.LG
Reliability-Calibrated Edge-IoT Early Fault Warning for Rotating Machinery with a Physics-Guided Tiny-Mamba Transformer
Great Bay University（大亚湾大学）；Huizhou University（惠州大学）；National University of Singapore（国立新加坡大学）；Shenzhen University（深圳大学）；James Cook University（詹姆斯库克大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出一种可靠性校准的边缘物联网早期故障预警框架，使用物理引导的Tiny-Mamba Transformer提取特征，结合极值理论校准误报率，在低计算资源下实现高精度、低延迟的旋转机械故障预警。
2026-06-11 cs.AI cs.LG
Arbitrary-Length Generalization for Addition in a Tiny Transformer
Universidade de São Paulo（圣保罗大学）
本文提出一种从右向左的自回归训练方法，使小型 Transformer 能将两位数加法泛化到未见过的任意数字长度，并提供可复现的 R 代码。
2024-06-12 cs.LG stat.AP stat.ML
Automating Versatile Time-Series Analysis with Tiny Transformers on Embedded FPGAs
Department of Intelligent Embedded Systems, University of Duisburg-Essen（智能嵌入式系统系，杜伊斯堡- Essen大学）
本文提出一个面向嵌入式FPGA的全自动微型Transformer部署框架，融合量化感知训练、硬件感知超参数搜索和自动VHDL生成，在预测、分类和异常检测任务上实现低至0.033 mJ的毫秒级推理。
2025-09-19 cs.LG
Transformer-based toxin-protein interaction analysis prioritizes airborne particulate matter components with potential adverse health effects
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
该研究开发了基于Transformer的深度学习工具tipFormer，通过双重预训练语言模型和交叉注意力机制捕捉毒素与蛋白质的相互作用，以高通量识别并优先筛选空气颗粒物中具有潜在不良健康影响的有毒成分。
2024-12-21 cs.LG q-bio.BM
Tiny-VBF: Resource-Efficient Vision Transformer based Lightweight Beamformer for Ultrasound Single-Angle Plane Wave Imaging
Indian Institute of Technology Palakkad（印度理工学院帕拉卡德分校）；New York University（纽约大学）
本文提出Tiny-VBF，一种基于视觉Transformer的轻量级超声波束形成器，直接处理单角度平面波原始射频数据，以极低计算量实现快速包络检测，并在对比度和分辨率上优于Tiny-CNN及传统DAS方法，同时在FPGA上通过混合量化实现资源减半的高效部署。
2024-01-16 cs.LG eess.IV
Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Huawei Research Center（华为研究中心）
针对联邦学习中LoRA微调存在的内存和FLOP低效问题，提出新型层微调方案，使资源受限设备能高效利用预训练模型，在同/异构约束下精度优于现有技术且通信量与LoRA相当。
2025-04-16 cs.AI cs.DC cs.LG
Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers
IBM Research（IBM研究院）
该研究提出一种仅需280个参数的通用Transformer，将算法任务建模为电路模型，结合特定位置编码与自主终止准则，在布尔运算、模运算等基准测试上实现了完美长度泛化。
2026-09-01 cs.LG
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
Independent Researcher（独立研究者）
研究信息输入方式对变压器组合信息绑定的影响，用完全可枚举的有限分解世界研究约6-10K参数变压器，发现端点不变性、少样本绑定的双因素解释、训练早期的双重解离及失败剖析等结果。
2026-07-07 cs.AI cs.LG
Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers
本研究在微型Transformer上探索多步算术推理，发现序列填充、预训练和架构组件的影响，提出逐位长除法草稿纸与课程分阶段使除法准确率大幅提升，并揭示乘法草稿纸设计缺陷及泛化与遗忘边界。
2026-10-08 cs.AI cs.LG
A Tiny Transformer for Low-Power Arrhythmia Classification on Microcontrollers
University of Cagliari（卡利亚里大学）；ETH Zürich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
本研究提出仅6k参数的微型Transformer模型，用于ECG心律失常分类，在MIT-BIH数据库5类心律失常识别中达98.97%准确率，经数据增强提升抗噪性后部署在GAP9处理器上，实现低功耗快速推理，适用于可穿戴心脏监测。
2024-06-21 cs.HC cs.LG eess.SP
Optimizing the Deployment of Tiny Transformers on Low-Power MCUs
ETH Zürich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）；Politecnico di Torino（都灵理工大学）
提出面向单核与多核 MCU 的端到端 Tiny Transformer 部署框架，通过融合权重注意力与深度优先分块降低延迟、内存和参数开销。
2024-04-03 cs.AI cs.DC cs.LG
Tiny Reinforcement Learning for Quadruped Locomotion using Decision Transformers
Harvard University（哈佛大学）
本文提出用决策变换器结合专家演示与自定义奖励进行模仿学习，并通过量化和剪枝压缩模型，使四足机器人Bittle在资源受限平台上实现自然步态且模型体积减少约30%。
2024-02-20 cs.AI cs.LG cs.RO
Lightweight Transformer Models for On-Device Fault Detection: A Benchmark Study on Resource-Constrained Deployment
Department of Computer Science（计算机科学系）；California State University, Fullerton（弗雷斯诺州立大学）
针对资源受限硬件上的故障检测，比较传统ML与轻量级Transformer，发现Transformer在匹配精度时模型大小和延迟显著增加，但TinyBERT-4L和量化自适应流水线可缓解问题，同时揭示极端类别不平衡的局限性。
2026-06-24 cs.AI cs.LG
Tiny Transformers for Environmental Sound Classification at the Edge
Florida Institute of Technology（佛罗里达理工学院）
随着物联网的发展和大数据的兴起，数据处理和机器学习应用正在向边缘的廉价、低尺寸、低重量和低功耗（SWaP）设备转移，通常以移动电话、嵌入式系统或微控制器的形式出现。网络物理测量和特征情报（MASINT）领域利用这些设备以其他方式无法分析和利用数据，从而提高数据质量，提高安全性并降低带宽。然而，在边缘处训练和部署模型的方法是有限的，并且具有足够精度的模型对于边缘设备来说通常太大。因此，显然需要在边缘创建高效AI/ML的技术。这项工作提出了在边缘环境声音分类领域的音频模型的训练技术。具体来说，我们设计并训练Transformers来对音频片段中的办公室声音进行分类。结果表明，在Mel频谱图上训练的基于BERT的Transformer可以使用少99.85%的参数胜过CNN。为了实现这一结果，我们首先测试了几种为Transformers设计的音频特征提取技术，使用ESC-50进行评估，以及各种增强。我们的最终模型在办公室声音数据集上的性能优于最先进的基于MFCC的CNN，使用了6,000多个参数-小到足以在微控制器上运行。
2021-03-22 cs.LG cs.SD eess.AS
Damage-Aware Bandit Pruning for Vision and Language Transformers
University of Salford（索尔福德大学）
提出损伤感知Bandit剪枝方法，将Transformer结构化单元选择建模为多臂Bandit问题，在固定预算下通过掩蔽损失配对评估，实验表明优于预算贪心方法。
2026-09-09 cs.AI cs.LG
Towards Safer Pretraining: Analyzing and Filtering Harmful Content in Webscale datasets for Responsible LLMs
Microsoft（微软）
本文分析了网络规模预训练数据集中的有害内容，提出有害网页分类体系，并构建了高精度过滤模型HarmFormer与毒性基准HAVOC，为构建负责任的LLM提供安全保障与合规资源。
2025-08-12 cs.CL cs.LG
The Tiny Time-series Transformer: Low-latency High-throughput Classification of Astronomical Transients using Deep Model Compression
University College London（伦敦大学学院）；Université Paris-Saclay（巴黎萨克雷大学）；The Alan Turing Institute（艾伦·图灵研究所）
天文学的一个新的黄金时代即将到来，由数据主导。大型天文调查正在以前所未有的速度传播信息，这要求机器学习作为现代科学管道中的关键组成部分来处理大量数据。即将到来的空间和时间遗产调查（LSST）的维拉C。鲁宾天文台将提高时域天文学的大数据标准，预计每晚将发出1000万次警报，并在调查的整个生命周期内生成许多PB的数据。对于时间紧迫的事件，需要快速有效的分类算法，这些算法可以实时操作，但又可靠和准确，因为在这些事件中，可以寻求额外的资源进行后续分析。为了处理这些数据，最先进的深度学习架构以及利用现代硬件加速器的工具是必不可少的。我们展示了如何使用现代深度压缩方法可以实现模型大小的$18\times$减少，同时保持分类性能。我们还表明，除了深度压缩技术，仔细选择文件格式可以提高推理延迟，从而提高警报的吞吐量，在本地处理的顺序为$8\times$，并在现场生产环境中的$5\times$。为了在现场环境中测试这一点，我们将原始时间序列Transformer的优化版本t2部署到FINK的社区警报经纪系统中，对真实的Zwicky Transient Facility（ZTF）警报数据进行分析，并将吞吐量性能与FINK中存在的其他科学模块进行比较。本文所示的结果强调了时间序列Transformer在LSST规模及以上的实时分类中的适用性，并引入了深度模型压缩作为改进深度学习模型的部署能力和可扩展推理…
2023-03-15 astro-ph.IM cs.LG
Powerful Design of Small Vision Transformer on CIFAR10
Surrey Institute for People-Centred AI（萨里以人为本人工智能研究所）
针对视觉Transformer在小型数据集上性能弱于CNN的问题，本文以CIFAR-10为基准探索微型ViT的优化，验证了低秩压缩等策略的效果，为高效ViT设计提供了实用框架。
2025-01-07 cs.CV cs.LG
A Cost-Efficient FPGA Implementation of Tiny Transformer Model using Neural ODE
Keio University（庆应义塾大学）
本文提出一种以Neural ODE为骨干的轻量级混合Transformer模型，并通过QAT量化后在FPGA上实现，在STL10上达到79.68%准确率，整体加速9.85倍、能效提升7.10倍。
2024-10-17 cs.AR cs.LG
Comparative Analysis of Vision Transformer, Convolutional, and Hybrid Architectures for Mental Health Classification Using Actigraphy-Derived Images
University of Nigeria Nsukka（尼日利亚大学恩苏卡分校）
本文比较了三种图像方法在心理健康分类中的表现，发现CoAtNet-Tiny在准确率和稳定性上表现最佳，而VGG16和ViT-B/16结果参差不齐，表明混合架构在活动记录图像应用中更具优势。
2025-11-27 cs.CV cs.LG
Butterfly Effect Attack: Tiny and Seemingly Unrelated Perturbations for Object Detection
Fraunhofer IKS（弗劳恩霍夫智能感知与系统研究所）
这项工作的目的是探索和识别微小的和看似无关的扰动图像中的目标检测，将导致性能下降。虽然tininess可以很自然地定义使用$L_p$规范，我们的特点的程度“无关性”的对象之间发生的扰动和对象的像素距离。在满足两个目标的同时触发预测误差可以被配制成一个多目标优化问题，我们利用遗传算法来指导搜索。结果成功地证明了图像右侧部分的（不可见的）扰动可以极大地改变左侧目标检测的结果。一个广泛的评估重申了我们的猜想，基于transformer的目标检测网络更容易受到蝴蝶效应相比，单级目标检测网络，如YOLOv5。
2022-11-14 cs.CV cs.LG cs.SE
Is More Data Worth the Cost? Dataset Scaling Laws in a Tiny Attention-Only Decoder
Institute of Computer Science, University of St. Gallen（圣加仑大学计算机科学研究所）；Institute of Computer Science in Vorarlberg, University of St. Gallen（圣加仑大学福拉尔贝格计算机科学研究所）
本文通过极小注意力解码器研究数据集规模扩展定律，发现数据量增加带来性能提升但存在边际效益递减，为数据与计算成本平衡提供指导。
2026-04-10 cs.CL cs.LG
Benchmarking Vision Transformers and CNNs for Thermal Photovoltaic Fault Detection with Explainable AI Validation
Institute of Computer Science, Ludwig Maximilian University of Munich (LMU)（慕尼黑大学计算机科学研究所）
本研究首次系统比较CNN与视觉Transformer在热光伏故障检测中的性能，Swin Transformer最优（二分类准确率94%），并通过XRAI验证模型决策符合热物理原理，为AI在能源监测中的可信部署提供方法论。
2025-09-08 cs.CV cs.LG
Leveraging Multilingual Transformers for Hate Speech Detection
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
近年来，检测和分类社交媒体文本中的仇恨实例一直是自然语言处理中感兴趣的问题。我们的工作利用最先进的Transformer语言模型来识别多语言环境中的仇恨言论。捕捉社交媒体上的帖子或评论的意图需要仔细评估语言风格，语义内容和其他指针，如标签和表情符号。在本文中，我们来看看识别Twitter帖子是否具有仇恨性和攻击性的问题。我们进一步将检测到的有毒内容区分为以下三类之一：（a）仇恨言论（HATE），（b）攻击性（OFFN）和（c）亵渎性（PRFN）。通过预先训练的基于多语言transformer的文本编码器，我们能够成功地识别和分类来自多种语言的仇恨言论。在所提供的测试语料库，我们实现了90.29，81.87和75.40分别为英语，德语和印地语的宏F1分数，同时进行仇恨言论检测和60.70，53.28和49.74在细粒度分类。在我们的实验中，我们展示了Perspective API功能对仇恨言论分类的有效性以及利用多语言训练方案的效果。一个特征选择的研究，以说明特定功能的架构的分类头的影响。
2021-01-08 cs.AI cs.CL cs.CY
