Harnessing Attention Mechanisms: Efficient Sequence Reduction using Attention-based Autoencoders
Centre for Artificial Intelligence Research, University of Agder(阿格德尔大学人工智能研究中心);Department of ICT, University of Agder(阿格德尔大学信息与通信技术系);Oslo Metropolitan University(奥斯都会大学)
本研究提出了一种基于注意力的序列长度缩减方法,并在自编码器模型中验证其有效性,发现将序列缩减至原长度的四分之一时仍能以约90%的准确率重现原始序列。
2023-10-23 cs.AI cs.LG
Sparse Query Attention (SQA): A Computationally Efficient Attention Mechanism with Query Heads Reduction
针对Transformer多头注意力计算复杂度高、长序列扩展难的问题,提出通过减少查询头降低浮点运算量的稀疏查询注意力SQA,长序列场景下最高提3倍吞吐量且对模型质量影响极小。
2025-10-02 cs.CL cs.LG
Multi-Head Attention as Ensemble Nadaraya-Watson Estimation: Variance Reduction, Decorrelation, and Optimal Head Diversity
School of Mathematics and Statistics, College of Science(数学与统计学学院,科学学院)
本文提出多头注意力可以视为恩德里亚-沃森核回归估计器的集合,通过分析头输出的去相关性,推导出方差减少与头多样性之间的关系,并提出头多样性指数来衡量不同头之间的去相关程度,最终得出最优的头数量和维度分配方案。
2026-05-18 cs.LG stat.ML
Log-Linear Attention
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学);Together AI;Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);GenBio AI
本文提出了一种对数线性注意力机制,通过使用以对数方式增长的隐藏状态,平衡了线性注意力的效率与softmax注意力的表达能力,并在Mamba-2和Gated DeltaNet等架构上实现了性能提升。
2026-03-01 cs.LG
Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters
Nara Institute of Science and Technology(奈良科学技术研究所)
针对 KV 缓存 token 剪枝仅依赖注意力分数的问题,本文提出 VATP,联合注意力分数与 value 向量 $\ell_1$ 范数评估重要性,并在 16 项 LongBench 任务中验证其优势。
2024-10-02 cs.CL cs.LG
Graph Attention Neural Network for Botnet Detection: Evaluating Autoencoder, VAE and PCA-Based Dimension Reduction
School of Systems and Computing, University of New South Wales(新南威尔士大学系统与计算学院)
本文提出先降维再构图的方法,评估VAE、AE和PCA三种降维技术对图注意力网络(GAT)在物联网僵尸网络检测中的影响,以缓解大型图结构的计算开销。
2025-05-23 cs.CV cs.LG
Interpretable non-linear dimensionality reduction using gaussian weighted linear transformation
本文提出一种结合线性可解释性与非线性表达能力的高斯加权线性变换降维方法,并提供解释工具,兼顾性能与透明性。
2025-04-24 cs.LG
TurboPairFormer: Fast and Stable Protein Folding Model Training with an Optimized Triangle Attention Kernel
Stevens Institute of Technology(史蒂文斯理工学院);Lambda;Open Molecular Software Foundation(开放分子软件基金会)
TurboPairFormer提出优化的三角注意力核,解决AlphaFold3式模型训练中梯度归约和BF16精度问题,在Hopper GPU上实现确定性累积和残差补偿,显著提升训练速度与梯度精度。
2026-10-06 cs.LG
2Mamba2Furious: Linear in Complexity, Competitive in Accuracy
Lyle School of Engineering(莱尔学校工程学院);Southern Methodist University(南方 Methodist 大学)
本文通过简化并改进Mamba-2,提出2Mamba方法,在保持高准确度的同时显著提升长上下文的内存效率。
2026-05-15 cs.LG
FRWKV:Frequency-Domain Linear Attention for Long-Term Time Series Forecasting
College of Information Science and Engineering(信息科学与工程学院)
FRWKV通过频率域线性注意力机制提升长序列时间序列预测的效率与准确性
2025-12-09 cs.LG
Power-based Partial Attention: Bridging Linear-Complexity and Full Attention
本文提出基于功率的局部注意力机制,通过调整参数p,在线性复杂度与全注意力之间实现性能平衡,证明亚二次注意力可达到全注意力效果。
2026-01-27 cs.LG
Online Vector Quantized Attention
Zyphra
本文提出OVQ注意机制,通过稀疏内存更新提升长上下文处理能力,在保持线性计算和常数内存的同时,显著优于线性注意和SSM。
2026-05-14 cs.LG
Exact Flow Linear Attention: Exact Solution from Continuous-Time Dynamics
Nanyang Technological University(南洋理工大学);Fudan University(复旦大学)
本文提出EFLA,通过连续时间动态的精确闭式流替代delta规则线性注意力的一阶更新,保持其代数结构和效率,提升稳定性和性能。
2026-09-29 cs.LG
NoiseFormer -- Noise Diffused Symmetric Attention Transformer
Intel Corporation(英特尔公司)
NoiseFormer通过引入噪声扩散对称注意力机制,在保持内存优势的同时提升模型准确性和推理效率。
2026-10-27 cs.AI cs.LG
A Novel Attention-based Aggregation Function to Combine Vision and Language
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
视觉和语言的联合理解最近在计算机视觉和自然语言处理社区中获得了很多关注,出现了图像描述,图像-文本匹配和视觉问答等任务。由于图像和文本都可以被编码为元素的集合或序列(如区域和单词),因此需要适当的归约函数将一组编码元素转换为单个响应,如分类或相似性得分。在本文中,我们提出了一种新的全注意力的减少方法的视觉和语言。具体来说,我们的方法计算一组分数为每个元素的每一个模态采用一种新的变种的交叉注意,并执行一个可学习的和跨模态的减少,这可以用于分类和排名。我们测试我们的方法在图像-文本匹配和视觉问答,建立公平的比较与其他减少选择,COCO和VQA 2.0数据集。实验表明,我们的方法导致这两个任务的性能提高。此外,我们进行消融研究,以验证该方法的每个组成部分的作用。
2020-07-13 cs.CL cs.CV cs.LG
Tree Attention: Topology-aware Decoding for Long-Context Attention on GPU clusters
Zyphra(齐夫拉公司);EleutherAI(EleutherAI 研究机构)
本文提出Tree Attention算法,通过树形归约在多个GPU上并行化精确注意力计算,相比Ring Attention解码速度最高提升8倍,通信量和峰值内存显著降低,并在Llama 3.1-8B及多种硬件上验证了效果。
2025-02-09 cs.CL cs.LG
ConvFormer: Parameter Reduction in Transformer Models for 3D Human Pose Estimation by Leveraging Dynamic Multi-Headed Convolutional Attention
Inseer, Inc.(Inseer公司)
提出ConvFormer卷积Transformer,利用动态多头卷积自注意力机制全面建模时空关节关系,在三个基准数据集上实现SOTA或接近SOTA性能的同时显著减少了模型参数。
2023-04-04 cs.CV cs.LG
Single-modal and Multi-modal False Arrhythmia Alarm Reduction using Attention-based Convolutional and Recurrent Neural Networks
Northern Arizona University(北亚利桑那大学)
这项研究提出了一种深度学习模型,可以有效地抑制重症监护病房(ICU)中的假警报,而不会忽略使用单一和多模态生物信号的真实警报。目前文献中的大多数工作是基于规则的方法,需要心律失常分析的先验知识来构建规则,或者是经典的机器学习方法,这取决于手工设计的特征。在这项工作中,我们应用卷积神经网络来自动提取时不变特征,一种注意力机制来更加强调输入分段信号的重要区域,这些区域更有可能有助于报警,以及长短期记忆单元来捕获信号片段中呈现的时间信息。我们使用两步训练算法(即,预训练和微调拟议的网络)的数据集提供的生理网络计算在心脏病学挑战2015年。评估结果表明,该方法获得了更好的结果相比,其他现有的算法在ICU的虚警减少任务。该方法实现了93.88%的灵敏度和92.05%的特异性报警分类,考虑三种不同的信号。此外,我们对5种单独的警报类型的实验得出了显著的结果,其中我们只考虑单导联ECG(例如,对室性心动过速心律失常报警类型的敏感性为90.71%,特异性为88.30%,AUC为89.51)
2019-09-25 cs.LG eess.SP q-bio.QM
Why Softmax Attention Outperforms Linear Attention
The University of Washington(华盛顿大学);Adobe Research(Adobe研究);University of Bologna(博洛尼亚大学);University of Southern California(南加州大学)
本文通过对比分析Softmax与线性注意力机制,揭示了Softmax在多数场景下性能更优的原因,探讨了两者在计算效率与性能间的权衡。
2026-03-13 cs.CL cs.LG
Sparse Attention to Emotion: Efficient Facial Emotion Recognition via Token Reduction
针对现有视觉Transformer面部表情识别方法复杂度高难以边缘部署的问题,提出SAE模型,通过丢弃90%无价值图像令牌实现轻量FER,在RAF-DB数据集上达最优结果且复杂度降90%。
2026-08-11 cs.CV cs.LG
Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
本文提出线性注意力神经算子(LinearNO),通过将物理注意力重新表述为线性注意力,提升PDE求解效率,实现参数和计算成本的显著降低。
2026-01-07 cs.AI cs.LG
The Hedgehog & the Porcupine: Expressive Linear Attentions with Softmax Mimicry
Stanford University(斯坦福大学)
针对线性注意力质量不足问题,提出Hedgehog可学习线性注意力,保留Softmax尖峰与单调特性,实现线性复杂度,恢复99%以上Transformer质量,并支持预训练模型转换。
2024-02-06 cs.CL cs.LG
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
University of Copenhagen(哥本哈根大学)
提出NAtS-L框架,在同一层内对不同令牌自适应选择线性注意力或softmax注意力,以平衡效率与表达能力。
2026-06-02 cs.CL cs.LG
SEA: Sparse Linear Attention with Estimated Attention Mask
School of Computing(计算机学院);Graduate School of AI(人工智能研究生院)
提出SEA方法,通过基于核的线性注意力估计矩阵并结合top-k选择执行稀疏注意力,在节省内存的同时超越OPT-1.3B基线困惑度并保持可解释性。
2024-03-25 cs.CL cs.LG
KVBuffer: IO-aware Serving for Linear Attention
Department of Computer Science(计算机科学系)
本文提出KVBuffer,一种I/O感知的线性注意力服务机制,通过缓冲最近的键和值,使服务系统能够更灵活且高效地计算线性注意力输出,从而减少内存访问和解码延迟,提升服务性能。
2026-11-19 cs.AI cs.LG
In-Context Learning in Linear vs. Quadratic Attention Models: An Empirical Study on Regression Tasks
University of California, Berkeley(加州大学伯克利分校)
本文通过实证研究比较了线性与二次注意力模型在回归任务中的上下文学习表现,分析了模型深度对性能的影响,并揭示了两者在ICL任务中的异同。
2026-02-19 cs.AI cs.LG
Softmax Attention on Gaussian Mixtures: Linear When It Can, Selective When It Must
Institut Universitaire de France(法国高等研究院)
该研究探讨高斯混合模型上Softmax注意力的无限提示极限,表明其可通过梯度方法学习统计任务最优解,兼具线性注意力的线性任务处理能力与依赖查询的非线性任务解决能力。
2026-10-09 cs.LG stat.ML
Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction
Idiap Research Institute(Idiap研究机构);Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对线性注意力模型因有限内存导致的遗忘问题,本文提出结合稀疏注意力与可学习令牌驱逐的混合方法,在保持线性复杂度下提升检索性能。
2025-10-24 cs.CL cs.LG
Enhancing Linear Attention with Residual Learning
Peking University(北京大学);The University of Hong Kong(香港大学);Minimax
本文从预测—校正视角分析线性注意力的单 token 校正瓶颈,提出带辅助残差状态的 RLA 及融合门控与裁剪的 RDN,在保持线性复杂度下提升语言建模与回忆任务表现。
2025-09-24 cs.AI cs.LG
Linear Log-Normal Attention with Unbiased Concentration
Huawei Technologies(华为技术有限公司)
本文通过分析注意力矩阵的分布与集中性,提出线性对数正态注意力机制,在自然语言基准上优于其他线性化注意力方案,提升了Transformer处理长序列的可扩展性。
2024-02-26 cs.AI cs.LG
Luna: Linear Unified Nested Attention
USC(南加州大学);CMU(卡内基梅隆大学);Facebook AI
Transformer的注意力机制的二次计算和存储复杂性限制了其对长序列建模的可扩展性。在本文中,我们提出了Luna,一个线性统一的嵌套注意力机制,它用两个嵌套的线性注意力函数近似softmax注意力,只产生线性(而不是二次)时间和空间复杂度。具体来说,在第一个attention函数中,Luna将输入序列打包成一个固定长度的序列。然后,使用第二注意函数对打包的序列进行解包。与传统的注意力机制相比,Luna引入了一个固定长度的附加序列作为输入和一个附加的相应输出,这使得Luna能够线性地执行注意力操作,同时还存储了足够的上下文信息。我们对序列建模任务的三个基准进行了广泛的评估:长上下文序列建模,神经机器翻译和大规模预训练的掩蔽语言建模。具有竞争力甚至更好的实验结果证明了Luna与各种
2021-11-02 cs.CL cs.LG
SLAY: Geometry-Aware Spherical Linearized Attention with Yat-Kernel
Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind)
SLAY通过几何感知的球面线性化注意力机制,实现了接近softmax注意力的性能,同时保持线性时间复杂度。
2026-02-09 cs.AI cs.LG
Supervised Linear Dimension-Reduction Methods: Review, Extensions, and Comparisons
Wells Fargo & Company(富国银行)
主成分分析(PCA)是一种线性降维方法,在数据分析和建模中得到了广泛的应用。它是一种无监督学习技术,为包含最大变化的输入变量确定合适的线性子空间,并保留尽可能多的信息。PCA也被用于预测模型中,其中在进行回归分析之前,将预测因子的原始高维空间减少到更小、更易于管理的集合。然而,这种方法在降维阶段没有将信息纳入响应中,因此可能具有较差的预测性能。为了解决这个问题,在文献中已经提出了几种监督线性降维技术。本文回顾了选定的技术,扩展了其中的一些,并通过模拟比较它们的性能。其中两种技术,偏最小二乘(PLS)和最小二乘PCA(LSPCA),始终优于其他在这项研究中。
2021-09-09 cs.LG stat.ML
Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
Purdue University(普渡大学)
提出Eigen Attention,在低秩空间进行注意力操作以压缩KV缓存,与现有技术兼容,在OPT、MPT、Llama上实现缓存大小减40%、延迟减60%,性能损失小。
2024-11-08 cs.AI cs.CL cs.LG
SLA2: Sparse-Linear Attention with Learnable Routing and Quantization-aware Training
Tsinghua University(清华大学)
SLA2通过可学习路由和量化感知训练,提升稀疏-线性注意力的效率和性能
2026-10-20 cs.AI cs.CV cs.LG
PRISM: Deriving a White-Box Transformer as a Signal-Noise Decomposition Operator via Maximum Coding Rate Reduction
Institute of Physics, Chinese Academy of Sciences(中国科学院物理研究所)
Prism通过几何构造实现白盒变换器,通过信号-噪声分解提升模型可解释性与性能
2026-02-03 cs.AI cs.CL cs.LG
GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus
Zhejiang University(浙江大学);United Arab Emirates University(阿联酋大学)
GraphTARIF通过增强注意力的秩和焦点,改进了图变换器的表达能力,从而在保持线性时间复杂度的同时提升了分类性能。
2026-01-28 cs.CV cs.LG
Degrees of Freedom for Linear Attention: Distilling Softmax Attention with Optimal Feature Efficiency
The University of Tokyo(东京大学);RIKEN AIP(日本科学技术研究所AIP)
本文提出利用统计自由度自动确定线性注意力各层特征维度,并设计逐层训练策略,在固定计算预算下提升蒸馏模型性能。
2025-07-04 cs.LG stat.ML
MetaLA: Unified Optimal Linear Approximation to Softmax Attention Map
The Hong Kong Polytechnic University(香港理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);UC Santa Cruz(加州大学圣克鲁兹分校);Shanghai AI Lab(上海人工智能实验室)
针对现有线性复杂度模型无法同时满足动态记忆、静态近似和最少参数近似三个最优条件的问题,提出统一最优线性近似框架MetaLA,在多项任务上优于现有线性模型。
2024-11-16 cs.AI cs.LG
The Devil in Linear Transformer
SenseTime Research(商汤科技研究院);Australian National University(澳大利亚国立大学);OPPO Research Institute(OPPO研究院);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
线性Transformers的目标是降低vanilla Transformers的二次空间-时间复杂度。然而,他们通常遭受各种任务和语料的性能下降。在本文中,我们研究了现有的基于内核的线性Transformers,并确定了两个关键问题,导致这种性能差距:1)在注意力计算的无界梯度的线性Transformer模型的收敛性产生不利影响; 2)注意力稀释,平凡地分布在长序列的注意力得分,而忽略了相邻的结构。为了解决这些问题,我们首先确定注意力矩阵的缩放是无界梯度中的魔鬼,这在线性注意力中是不必要的,因为我们从理论和经验上证明了这一点。为此,我们提出了一个新的线性注意力,取代了缩放操作的归一化,以稳定梯度。对于注意力稀释的问题,我们利用对角注意力将注意力限制在早期层中的相邻标记上。受益于稳定的梯度和改进的注意力,我们的新线性Transformer模型transNormer在文本分类和语言建模任务以及具有挑战性的Long-Range Arena基准测试中表现出卓越的性能,明显超过了vanilla Transformer和现有的线性变体,同时具有更高的时空效率。该代码可在https://github.com/OpenNLPLab/Transnormer上获得。
2022-10-19 cs.CL cs.LG
Flowformer: Linearizing Transformers with Conservation Flows
Tsinghua University(清华大学)
基于注意力机制的Transformers在各个领域都取得了令人瞩目的成功。然而,注意力机制具有二次复杂性,这显著阻碍了Transformers处理大量令牌并扩展到更大的模型。以往的方法主要是利用矩阵乘法的相似性分解和结合性来设计线性时间的注意力机制。它们通过重新引入诸如局部性之类的归纳偏差,从而以牺牲模型的通用性和表达性为代价,避免了注意力退化到一个平凡的分布。在本文中,我们线性化的Transformers从特定的感性偏见的基础上的流网络理论。我们将注意力视为通过学习流能力(注意力)从源(值)聚集到汇(结果)的信息流。在此框架下,我们将流守恒的性质应用到注意中,提出了线性复杂度的流-注意力机制。通过分别保存源竞争和源分配的源的流出的流入的汇,流注意固有地产生信息的注意力,而不使用特定的归纳偏差。在Flow-Attention的支持下,Flowformer在线性时间内为广泛的领域提供强大的性能,包括长序列,时间序列,视觉,自然语言和强化学习。代码和设置可在以下存储库中找到:https://github.com/thuml/Flowformer。
2022-06-16 cs.AI cs.LG
Flexformer: Flexible Linear Transformer with Learnable Attention Kernel
Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计科学研究中心与统计学院)
提出Flexformer,通过将随机傅里叶特征中的频谱频率作为可训练参数,实现数据驱动的注意力核学习,在保持线性复杂度的同时提升表达能力,并在语言建模和序列分类任务上优于基线。
2026-06-29 cs.AI cs.LG
Linear Complexity Randomized Self-attention Mechanism
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
最近,随机特征注意力(RFAs)被提出来近似softmax注意力的线性时间和空间复杂度通过线性化的指数核。在本文中,我们首先提出了一个新的角度来理解这种近似的偏见,通过重新铸造RFAs作为自归一化的重要性采样器。这种观点进一步揭示了整个softmax注意力的\emph{unbiased}估计量,称为随机注意力(RA)。RA通过查询特定的分布构造正随机特征,并极大地提高了近似保真度,尽管表现出二次复杂性。通过结合RA的表达能力和RFA的效率,我们开发了一种新的线性复杂性自注意力机制,称为线性随机注意(LARA)。在各个领域的广泛实验表明,RA和LARA显着提高了RFA的性能,由一个相当大的利润。
2022-06-15 cs.CL cs.CV cs.LG
RADLADS: Rapid Attention Distillation to Linear Attention Decoders at Scale
Recursal AI;Eleuther AI;USI;IDSIA;GMU
RADLADS通过快速注意力蒸馏技术,在大规模上将softmax注意力转换为线性注意力解码器,实现高效模型转换与高性能下游任务表现。
2026-01-22 cs.AI cs.CL cs.LG
When Linear Attention Meets Autoregressive Decoding: Towards More Effective and Efficient Linearized Large Language Models
School of Computer Science, Georgia Institute of Technology(佐治亚理工学院计算机学院);Google DeepMind(谷歌DeepMind)
针对自回归LLMs注意力复杂度高和生成效率低的问题,首次结合线性注意力与投机解码,提出兼容性增强技术,在LLaMA模型上实现困惑度降低6.67和2倍生成加速。
2024-07-25 cs.AI cs.CL cs.LG
Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
University of California Los Angeles(加州大学洛杉矶分校)
针对线性注意力多项式核近似误差问题,提出可学习低秩多项式概型LLoPS,其近似误差更小,在多基准测试中性能优于多种线性注意力基线。
2026-10-14 cs.AI cs.CL cs.LG
Switching Linear Attention
Stanford University(斯坦福大学)
本文提出切换线性注意力(SwiLA),通过在线期望最大化在混合线性回归中实现动态组件选择,在保持线性注意力固定内存的同时增强表达能力,并在多个基准上接近或超越 softmax 注意力。
2026-10-01 cs.AI cs.CL cs.LG
A Cheap Linear Attention Mechanism with Fast Lookups and Fixed-Size Representations
MILA, University of Montréal(蒙特利尔大学 MILA)
softmax基于内容的注意力机制已被证明在递归神经网络的许多应用中非常有益。然而,它受到两个主要的计算限制。首先,它对注意力查找的计算在关注序列的大小上线性缩放。其次,它不将序列编码为固定大小的表示,而是需要记住所有隐藏状态。这两个限制将softmax注意力机制的使用限制在具有短序列和每个序列很少查找的相对小规模的应用中。在这项工作中,我们介绍了一个家庭的线性注意力机制,旨在克服上述两个限制。我们表明,从传统的注意力公式中去除softmax非线性,可以产生恒定时间的注意力查找和固定大小的出席序列表示。这些属性使得这些线性注意力机制特别适合于具有极端查询负载、实时要求和存储器约束的大规模应用。在问答任务上的早期实验表明,这些线性机制产生的准确性结果明显优于没有注意力,但明显不如他们的softmax替代方案。
2016-09-19 cs.IR cs.LG cs.NE
Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting
Georgia Institute of Technology(佐治亚理工学院)
本文提出SAMoVAR,一种将Transformer架构与自回归目标对齐的线性变换器变体,通过整合可解释的动态VAR权重,提升时间序列预测的性能和可解释性。
2026-02-05 cs.AI cs.LG stat.ML
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
Taylor Lab, Huawei(华为泰勒实验室);Key Laboratory of Interdisciplinary Research of Computation and Economics(计算与经济学交叉研究关键实验室);Shanghai University of Finance and Economics(上海财经大学)
本文通过理论分析,揭示了混合注意力与全注意力在表达能力上的差异,证明了混合注意力在解决多步推理任务时的局限性。
2026-02-02 cs.AI cs.CC cs.LG