Scalable Peptide Design via Memory-Efficient Equivariant Transformer
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Department of Chemistry, Tsinghua University(清华大学化学系)
提出内存高效等变变压器(MEET),通过线性内存缩放和几何特征改进,实现全原子肽的序列与结构协同设计,在生成质量、结合亲和力和多样性上超越现有方法。
2026-06-26 cs.LG
Scalars are universal: Equivariant machine learning, structured like classical physics
Johns Hopkins University(约翰斯·霍普金斯大学);Flatiron Institute(熨斗研究所);New York University(纽约大学)
在过去的几年里,在设计尊重物理定律的基本对称性和协调自由的神经网络方面取得了巨大的进展。这些框架中的一些使用不可约表示,一些使用高阶张量对象,一些应用强制约束。不同的物理定律遵循不同的基本对称性组合,但经典物理学的很大一部分(可能是全部)是平移、旋转、反射(宇称)、助推(相对论)和排列等变的。在这里,我们表明,它是简单的参数化普遍逼近多项式函数,是在这些对称下,或根据欧几里德,洛伦兹,庞加莱群,在任何维数$d$的等变。关键的观察是,非线性O($d$)等变(和相关群等变)函数可以通用地表示为标量的轻量级集合-标量、向量和张量输入的标量积和标量收缩。我们补充我们的理论与数值例子表明,标量为基础的方法是简单的,高效的,可扩展的。
2023-02-07 cs.LG math-ph math.MP
E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory
University of Science and Technology of China(中国科学技术大学)
提出E2Former-V2架构,通过等变轴对齐稀疏化(EAAS)和即时等变注意力机制,利用SO(3)到SO(2)基变换和自定义Triton内核,实现线性激活内存和20倍TFLOPS提升,在SPICE和OMol25数据集上加速推理并保持预测性能。
2026-06-05 cs.AI cs.LG
Equivariant Polynomial Functional Networks
National University of Singapore(新加坡国立大学);FPT Software AI Center, Vietnam(越南FPT软件AI中心);VinUniversity, Vietnam(越南Vin大学)
本文提出MAGEP-NFN,通过多项式形式构建非线性等变层,实现低内存消耗和高表达性的排列和缩放等变神经功能网络。
2025-12-20 cs.LG
Structured Affinity for Unsupervised Visual Class-Incremental Memory in Deep Artificial Immune Networks
University of Johannesburg(约翰内斯堡大学)
该研究提出结构化亲和性等关键机制,构建无需重放、反向传播的深度人工免疫网络,在多视觉数据集上实现高效无监督视觉类增量记忆学习。
2026-08-21 cs.AI cs.CV cs.LG
EgoMap: Projective mapping and structured egocentric memory for Deep RL
INRIA(法国国家信息与自动化研究所);INSA Lyon(里昂国立应用科学学院)
在部分可观察的3D环境中,涉及定位、记忆和规划的任务是深度强化学习中的一个持续挑战。我们提出了EgoMap,一个空间结构化的神经记忆体系结构。EgoMap增强了深度强化学习代理在3D环境中对具有多步目标的挑战性任务的性能。EgoMap架构结合了几种归纳偏差,包括CNN特征向量到自上而下的空间结构化地图上的可微分逆投影。通过可微仿射变换,用自我运动测量更新地图。我们表明,这种架构优于标准的经常性代理和最先进的代理结构化记忆。我们证明,将这些归纳偏见纳入代理的架构允许稳定的训练与奖励单独,规避收购和标签专家轨迹的费用。一个详细的消融研究展示了架构的关键方面的影响,并通过广泛的定性分析,我们展示了代理如何利用其结构化的内部存储器,以实现更高的性能。
2020-02-07 cs.AI cs.LG
Equivariant Deep Dynamical Model for Motion Prediction
Northeastern University(东北大学)
通过深度生成建模学习表示是动态建模的一种强大方法,可以发现数据的最简化和压缩的底层描述,然后将其用于其他任务,如预测。大多数学习任务具有内在对称性,即,输入变换保持输出不变,或者输出经历类似的变换。然而,学习过程通常不了解这些对称性。因此,针对单独变换的输入的所学习的表示可能没有意义地相关。在本文中,我们提出了一个用于运动预测的SO(3)等变深度动力学模型(EqDDM),该模型在嵌入随对称变换而变化的意义上学习输入空间的结构化表示。EqDDM配备了等变网络来参数化状态空间发射和转换模型。我们证明了所提出的模型对各种运动数据的优越的预测性能。
2022-02-27 cs.AI cs.LG
Identifying Systems with Symmetries using Equivariant Autoregressive Reservoir Computers
Department of Statistics and Research, CNBS(统计与研究系,CNBS);Department of Applied Mathematics, UNAH(应用数学系,UNAH);Department of Chemical Engineering, Norwegian University of Science and Technology(化学工程系,挪威科学技术大学)
本文研究利用等变自回归储备池计算机识别具有对称性的动力系统,通过对称保持时间延迟嵌入与稀疏最小二乘辨识输出耦合矩阵,显著提升了结构化辨识精度。
2025-07-02 cs.LG cs.SY eess.SY
StructPrune: Structured Global Pruning asymptotics with $\mathcal{O}(\sqrt{N})$ GPU Memory
Emory University(埃默里大学);Amazon(亚马逊)
提出STRUPRUNE,一种基于ADMM的结构化全局剪枝框架,通过分治策略将全局剪枝分解为协调子问题,将内存从O(N)降至O(√N),并匹配全局剪枝的困惑度,实现十亿参数规模的高效部署。
2025-09-25 cs.AI cs.LG
Efficient Equivariant High-Order Crystal Tensor Prediction via Cartesian Local-Environment Many-Body Coupling
The Hong Kong Polytechnic University(香港理工大学)
CEITNet通过笛卡尔局部环境多体耦合高效预测高阶晶体张量,实现高精度与高效计算。
2026-02-04 cs.AI cs.LG
Hybrid Self-evolving Structured Memory for GUI Agents
University of California, San Diego(加州大学圣迭戈分校)
HyMEM通过结合离散符号节点与连续轨迹嵌入,提升GUI代理的结构化记忆与自进化能力,使开源模型性能超越闭源模型。
2026-03-11 cs.AI cs.LG
COSMIR: Chain Orchestrated Structured Memory for Iterative Reasoning over Long Context
Microsoft(微软)
针对大语言模型长上下文推理的信息丢失与错误放大问题,提出采用结构化记忆和固定工作微周期的COSMIR链式框架,在HELMET长问答任务上相比CoA基线减少信息损失、提升准确率。
2025-10-06 cs.AI cs.LG
Preserving Continuous Symmetry in Discrete Spaces: Geometric-Aware Quantization for SO(3)-Equivariant GNNs
本文提出几何感知量化框架,通过分离不变长度与等价方向,改进等价GNNs的量化方法,实现对称性保护并提升计算效率。
2026-03-16 cs.LG
An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(伯克利国家实验室)
本文提出一种面向O(3)-等变深度网络中Clebsch-Gordon张量积的GPU稀疏核生成器,通过编译期共享内存管理、寄存器级分解和与图卷积融合等优化,相比cuEquivariance和e3nn分别实现最高1.3倍和10倍加速,并使MACE模型FP64推理加速达6.2倍。
2025-05-08 cs.AI cs.LG
Volumetric landmark detection with a multi-scale shift equivariant neural network
Cornell University(康奈尔大学);Weill Cornell Medical College(威尔康奈尔医学院)
深度神经网络在广泛的计算机视觉应用中产生了有希望的结果,包括地标检测。在诸如临床CT扫描的体积图像中进行准确的解剖标志检测的主要挑战是,由于GPU存储器限制,大规模数据通常会约束所采用的神经网络架构的容量,这反过来又会限制输出的精度。我们提出了一种多尺度、端到端的深度学习方法,可以在3D图像中实现快速且节省内存的地标检测。我们的架构由移位等变网络块组成,每个网络块在不同的空间尺度上执行地标检测。这些块从粗到细的尺度上连接起来,具有可区分的恢复层,因此所有级别都可以一起训练。我们还提出了一个噪声注入策略,增加了模型的鲁棒性,并允许我们在测试时量化不确定性。我们评估了我们的方法,颈动脉分叉检测263 CT卷,并实现了优于国家的最先进的准确性,平均欧氏距离误差为2.81毫米。
2020-10-16 cs.CV cs.LG eess.IV
Flow Equivariant Recurrent Neural Networks
Harvard University(哈佛大学)
本文提出流等变递归神经网络,通过引入时间参数化的对称性,提升序列模型在训练速度、长度泛化和速度泛化方面的性能。
2025-12-01 cs.CV cs.LG
ZifaMem: Structured Memory for Persona, Preference, and Emotional Continuity in AI Companions
ZifaCorp(紫发公司);University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学)
研究针对人工智能伴侣情感连续性问题,提出结构化记忆系统ZifaMem,通过组织对话形成多种记忆模型。实验表明其能提升情商得分、改善人物形象基础等,多种记忆系统均有改善,且ZifaMem与Mem0在主要偏好端点统计等效,相关工具已开源。
2026-07-21 cs.AI cs.LG
Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models
IBM Research – Zurich(IBM瑞士研究中心);Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系)
本文提出Flash PD-SSM,一种内存优化的结构稀疏状态空间模型,通过在保持高效的同时提升表达能力,实现了与传统结构化状态空间模型相当的吞吐量,并在多个任务中展示了更高的准确性和效率。
2026-05-18 cs.AI cs.LG
Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning
Rice University(莱斯大学);IBM Research(IBM研究院)
针对LLM在线持续学习中的上下文膨胀问题,提出图结构记忆GraphMemory,按查询检索相关子图,在保持性能的同时减少81-85%的记忆构建令牌。
2026-10-07 cs.AI cs.LG
Motion Equivariant Convolutional LSTM: When Motion Becomes a Gauge Symmetry
South Dakota State University(南达科他州立大学);The Kempner Institute at Harvard University(哈佛大学坎普纳研究所);Cusp AI;Department of Mathematics & Statistics(数学与统计系)
该研究提出运动等变卷积LSTM(MELSTM),将运动视为规范对称性,扩展流等变思路到卷积LSTM、时变运动和速度估计,在三类任务中性能优于同类模型。
2026-10-22 cs.CV cs.LG
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks
Stanford University(斯坦福大学);MetaMind Inc.(MetaMind公司)
由于其随时间推移保留序列信息的卓越能力,长短期记忆(LSTM)网络(一种具有更复杂计算单元的递归神经网络)在各种序列建模任务上获得了很好的结果。到目前为止,我们唯一探索过的LSTM底层结构是线性链。然而,自然语言表现出自然地将单词组合成短语的句法属性。我们介绍了Tree-LSTM,这是LSTM对树结构网络拓扑的推广。Tree-LSTM在两个任务上优于所有现有系统和强大的LSTM基线:预测两个句子的语义相关性(SemEval 2014,任务1)和情感分类(斯坦福情感树库)。
2015-05-30 cs.AI cs.CL cs.LG
MSM-Mem: A Universal Medical Structured Multimodal Memory Framework for Medical AI Agents
University of Georgia(佐治亚大学);New Jersey Institute of Technology(新泽西理工学院)
针对现有医疗AI智能体无法内化临床经验的问题,提出MSM-Mem框架,整合多类型临床经验并逐步更新,经MoE-LLaVA评估可提升性能,助力医疗AI智能体随实践进化推理能力。
2026-11-10 cs.CV cs.LG
Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Vienna University of Economics and Business(维也纳经济大学);The University of Hong Kong(香港大学)
该研究提出S-SALAAD框架,联合学习模型权重的低秩与结构化稀疏组件,结合预算感知压缩及专用内核加速,在Llama2和Qwen3模型实验中,推进了多硬件平台上的帕累托前沿,实现大模型在边缘设备的高效部署。
2026-10-26 cs.AI cs.LG
Equivariant Efficient Joint Discrete and Continuous MeanFlow for Molecular Graph Generation
School of Software, Shandong University(山东大学软件学院)
本文提出EQUIMF框架,通过同步MeanFlow动态联合建模离散和连续成分,实现高效生成并保持物理一致性,优于现有扩散和流匹配方法。
2026-04-09 cs.LG
AlphaMemo: Structured Search-Process Memory for Self-Evolving Alpha Mining Agents
University of Sydney(悉尼大学);University of Edinburgh(爱丁堡大学)
提出AlphaMemo,一种具有结构化搜索过程记忆的自我进化Alpha挖掘智能体,通过记录编辑模式在特定父因子上下文中的成败证据,结合置信门控残差记忆和非对称否决控制,提升样本外表现和固定预算发现效率。
2026-10-26 cs.AI cs.CL cs.LG
Structured Ensembles: an Approach to Reduce the Memory Footprint of Ensemble Methods
Sapienza University of Rome(罗马第一大学)
在本文中,我们提出了一种用于深度神经网络的新集成技术,与其他方法相比,该技术能够大幅减少所需的内存。特别是,我们建议从一个单一的,未经训练的神经网络中提取多个子网络,通过解决一个端到端的优化任务相结合的可微缩放的原始架构,与多个正则化项有利于合奏的多样性。由于我们的建议旨在检测和提取子结构,因此我们称之为结构化Entrance。在一个大型的实验评估,我们表明,我们的方法可以实现更高或可比的准确性竞争的方法,同时需要显着减少存储。此外,我们评估我们的合奏预测校准和不确定性方面,显示他们比较有利的国家的最先进的。最后,我们画一个链接与持续学习文献,我们提出了一个修改我们的框架,以处理连续流的任务与次线性内存成本。我们比较了一些替代策略,以减轻灾难性遗忘,突出的平均准确性和记忆方面的优势。
2021-09-17 cs.AI cs.LG stat.ML
StructZO: Structured Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning
Peking University(北京大学);Beijing Normal University(北京师范大学)
StructZO是一种结构化零阶优化框架,通过激活诱导子空间的ZO估计与谱控制,在内存高效的前提下大幅缩小了零阶优化与一阶优化的性能差距,在LLM微调任务上表现优异。
2026-10-14 cs.AI cs.LG
RetroAgent: Harnessing LLMs to Search Over Structured Memory for Agentic Retrosynthesis Planning
UCLA(加利福尼亚大学洛杉矶分校);MIT(麻省理工学院);Amazon(亚马逊公司);UPenn(宾夕法尼亚大学)
研究多步逆合成规划难题,提出RetroAgent智能体,通过结合结构化记忆桥接符号搜索与神经推理,利用记忆和化学工具观察搜索状态,实验证明其在分布内和分布外基准测试中性能强且泛化能力好。
2026-07-22 cs.AI cs.CL cs.LG
ButterflyMoE: Compression-Scalable Ternary Experts via Structured Butterfly Orbits
Indian Institute of Information Technology, Nagpur(印度纳格浦信息科技学院)
ButterflyMoE通过结构化的蝴蝶轨道实现子线性三次专家,有效降低内存消耗并保持精度。
2026-07-09 cs.AI cs.LG
GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters
Department of Computer Science Stanford University(计算机科学系 斯坦福大学)
GeoAda提出SE(3)-等变适配器框架,通过耦合-可训练层-解耦与零初始化卷积实现参数高效微调,在多种几何控制任务中保持原始性能并缓解过拟合与灾难性遗忘。
2025-07-02 cs.AI cs.LG
Graph Memory: A Structured and Interpretable Framework for Modality-Agnostic Embedding-Based Inference
Institute of Mathematics and Statistics, University of São Paulo(数学统计研究所,圣保罗大学)
图记忆通过紧凑的可靠性标注原型区域图表示嵌入空间,结合原型关系编码局部几何和区域模糊性,实现查询证据扩散推理,统一实例检索、原型推理和图扩散,提供更准确和可解释的多模态推理。
2026-03-25 cs.CV cs.LG
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
Huawei Technologies(华为技术有限公司);University of Waterloo(滑铁卢大学)
该研究提出克罗内克积注意力(KPA),通过结构化分解压缩KV缓存,性能优于或匹配现有注意力方法,可实现最高10倍KV缓存压缩,且无需额外位置编码机制。
2026-10-12 cs.AI cs.LG
QS4D: Quantization-aware training for efficient hardware deployment of structured state-space sequential models
JARA(于利希亚琛研究联盟);University of Groningen(格罗宁根大学);RWTH Aachen University(亚琛工业大学)
本研究提出量化感知训练方法,显著降低结构化状态空间模型复杂度,增强模拟噪声鲁棒性并实现结构化剪枝,最终成功部署于忆阻器模拟存内计算硬件,提升计算效率。
2025-07-08 cs.AI cs.LG
Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients
Carnegie Mellon University(卡内基梅隆大学)
本文提出Grass方法,利用稀疏投影将梯度转化为结构化稀疏更新,显著降低LLM训练的内存、计算与通信开销,在单张40GB A100上实现13B LLaMA半精度预训练并提升2倍吞吐量。
2024-06-25 cs.LG
Neural Map: Structured Memory for Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
在部分可观察的环境中实现智能推理的一个关键组成部分是记忆。尽管如此重要,深度强化学习(DRL)代理到目前为止使用相对简单的内存架构,克服部分可观察性的主要方法是过去k帧的时间卷积或LSTM层。最近的工作(Oh等人,2016)已经通过使用存储器网络超越了这些架构,该存储器网络可以允许在过去的k帧上更复杂的寻址方案。但是,即使这些架构也是不令人满意的,因为它们仅限于记住来自最后k帧的信息。在本文中,我们开发了一个内存系统,具有自适应的写操作,是定制的DRL代理通常与各种3D环境。这种架构被称为神经地图,它使用空间结构化的2D记忆图像来学习在长时间滞后的情况下存储有关环境的任意信息。我们凭经验证明,神经地图超越了以前的DRL记忆在一组具有挑战性的2D和3D迷宫环境,并表明它能够推广到在训练过程中没有看到的环境。
2017-02-27 cs.LG
Branch-and-Browse: Efficient and Controllable Web Exploration with Tree-Structured Reasoning and Action Memory
University of Michigan(密歇根大学);Alibaba Group(阿里巴巴集团);McMaster University(麦马斯特大学)
提出Branch-and-Browse框架,通过树状结构化推理、网页状态重放和页面动作记忆,实现LLM网页代理的高效可控多分支探索,在WebArena上成功率35.8%,执行时间降低40.4%。
2026-06-17 cs.AI cs.CL cs.LG
Scale-Equivariant Unrolled Neural Networks for Data-Efficient Accelerated MRI Reconstruction
Stanford University(斯坦福大学)
展开的神经网络为加速磁共振成像(MRI)重建任务提供了最先进的重建性能和快速推理时间。然而,这些方法依赖于完全采样的扫描作为地面实况数据,这在许多临床医学成像应用中是昂贵的或不可能获取的;因此,期望减少对数据的依赖。在这项工作中,我们提出用尺度等变卷积神经网络对展开神经网络的近端算子进行建模,以提高数据效率和对图像尺度漂移的鲁棒性,这些漂移可能源于患者解剖结构的变化或不同MRI扫描仪的视场变化。我们的方法表现出强大的改进,在相同的内存约束下,在分布和分布范围外的缩放图像上都有和没有数据增强,而不会显着增加训练或推理时间的最先进的展开神经网络。
2022-04-21 cs.CV cs.LG eess.IV
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
OptAI Inc.(OptAI公司)
提出MeSP方法,通过手动推导利用LoRA低秩结构的反向传播,在计算数学等价梯度的同时平均减少49%内存,使内存受限设备上的微调成为可能。
2026-05-29 cs.CL cs.LG
Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension
Microsoft Research(微软研究院)
本研究从结构化Fisher信息矩阵近似视角出发,提出两项大语言模型高效优化器设计策略,推导了RACS和Alice两种新型低内存优化器,在LLaMA预训练实验中实现了优于现有基线的收敛速度与内存效率。
2025-02-20 cs.AI cs.LG stat.ML
EDGI: Equivariant Diffusion for Planning with Embodied Agents
Qualcomm AI Research(高通人工智能研究院);Mila(米拉研究所);McGill University(麦吉尔大学)
提出等变扩散模型EDGI,利用SE(3)、Z和Sn对称群改进MBRL与规划,在物体操作和导航任务中显著提升样本效率与泛化能力。
2023-10-19 cs.LG cs.RO stat.ML
Artificial Intelligence Software Structured to Simulate Human Working Memory, Mental Imagery, and Mental Continuity
本文提出了一种模拟人类工作记忆、心理 imagery 和心理连续性的 AI 架构,通过层次化神经网络实现类人认知和意识。
2026-02-09 cs.AI cs.LG cs.NE
Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC
Vector Institute(向量研究所);University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
针对 KFAC 二阶方法在神经网络训练中存在的内存低效与低精度数值不稳定问题,提出结构化免逆自然梯度下降 (SINGD),实现内存高效与数值稳健,并在半精度下常优于 AdamW,填补了低精度训练中一阶与二阶方法的空白。
2024-07-23 cs.LG stat.ML
Structured Sparsity and Weight-adaptive Pruning for Memory and Compute efficient Whisper models
Indian Institute of Technology Madras, India(印度理工学院马德拉斯分校);National Institute of Technology Karnataka, Surathkal(卡纳塔克国家理工学院,苏拉特卡尔)
提出结构化稀疏与权重自适应剪枝框架,在保持WER不降的前提下,显著减少Whisper模型参数、内存和FLOPs,并优于现有剪枝方法。
2025-10-14 cs.LG
Unsupervised Learning of Equivariant Structure from Sequences
Preferred Networks, Inc.(Preferred Networks公司);University of Tübingen(图宾根大学);The Institute of Statistical Mathematics(统计数学研究所)
在这项研究中,我们提出了元序列预测(MSP),一个无监督的框架来学习对称性的时间序列的长度至少为3。我们的方法利用时间序列的平稳特性(例如,恒定速度,恒定加速度),通过简单地训练编码器-解码器模型来学习数据集的潜在等变结构,以便能够预测未来的观察结果。我们将证明,在我们的框架中,数据集的隐藏的解纠缠结构自然地作为副产品出现,通过将同时块对角化应用于潜在空间中的转换算子,该过程通常用于表示论中,以基于对组动作的响应类型来分解特征空间。我们将从经验和理论两个角度展示我们的方法。我们的研究结果表明,找到一个简单的结构关系和学习一个具有外推能力的模型是同一枚硬币的两面。该代码可在www.example.com上获得。
2022-10-12 cs.LG stat.ML
QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models
Fudan University(复旦大学);JF SmartInvest Holdings(JF智投控股);Zhejiang University(浙江大学);Columbia University(哥伦比亚大学);Soochow University(苏州大学)
QPruner通过结构化剪枝与逐层混合精度量化及贝叶斯优化,在降低内存消耗的同时保持或提升大型语言模型性能。
2024-12-16 cs.LG
Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究)
Bonsai通过仅前向传递的扰动剪枝方法,实现了无需反向传播的高效结构化剪枝,显著降低内存和计算成本,同时提升模型压缩效率和性能。
2026-01-22 cs.CL cs.LG
PagedEviction: Structured Block-wise KV Cache Pruning for Efficient Large Language Model Inference
针对大语言模型推理中KV缓存随序列长度增长的内存瓶颈问题,提出适配vLLM分页内存的PagedEviction分块KV缓存剪枝方法,无需修改注意力核即可提升长上下文任务的内存效率与准确率。
2025-09-04 cs.LG
Quaternion Equivariant Capsule Networks for 3D Point Clouds
University of Padova(帕多瓦大学);Stanford University(斯坦福大学);TU Munich(慕尼黑工业大学);TU Dortmund(多特蒙德工业大学);Google(谷歌)
我们提出了一个3D胶囊模块处理点云,是等变的3D旋转和平移,以及不变的输入点的排列。该操作员接收一组稀疏的本地参考系,从输入点云计算,并建立端到端的变换等方差通过一种新的动态路由程序的四元数。此外,我们从理论上连接胶囊之间的动态路由到著名的Weiszfeld算法,一个解决\emph{iterative re-weighted least squares}(IRLS)问题的可证明收敛性的计划。结果表明,这样的组动态路由可以被解释为强大的IRLS旋转平均胶囊投票,信息路由的基础上,最终的内点得分。基于我们的算子,我们构建了一个胶囊网络,将几何形状从姿势中分离出来,为更多信息的描述符和结构化的潜在空间铺平了道路。我们的架构允许联合对象分类和方向估计,而无需明确的监督旋转。我们验证我们的算法经验上常见的基准数据集。
2020-08-23 cs.CV cs.GR cs.LG
SACQ: Structured Decoding with Memory-Conditioned Refinement for Long-Horizon Forecasting
University of Science and Technology Beijing(北京科技大学);Zhejiang University of Technology(浙江工业大学);Institution of Artificial Intelligence, University of Science and Technology Beijing(北京科技大学人工智能研究院)
SACQ是一种插件式结构化预测头,通过两阶段解码流程和批量自适应缩放对数-cosh损失,在PatchTST等骨干网络上实现长时序预测的顶级性能,且对输入损坏和标签噪声的鲁棒性显著优于扁平化读出头。
2026-10-09 cs.LG
AIBL: Augmented Instance-Based Learning with Structured Memory and Neural Embeddings
University of Washington(华盛顿大学)
AIBL将实例学习扩展到神经嵌入空间,通过活跃、遗忘和惊喜记忆结构及毕业算法处理高维顺序数据,在多个任务上准确率提升6-17个百分点。
2026-10-05 cs.LG
Rethinking Token Prediction: Tree-Structured Diffusion Language Model
本文提出树结构扩散语言模型,通过利用标记间的内在结构,减少参数和内存使用,实现在有限资源下提升性能。
2026-04-04 cs.CL cs.LG
Emergence of the Primacy Effect in Structured State-Space Models
Academy of Emerging Sciences(新兴科学学院);Chubu University(名古屋大学)
本研究揭示结构化状态空间模型在记忆任务中表现出首因效应,即优先保留初始输入,挑战了其记忆随时间单调衰减的理论预期。
2025-09-08 cs.LG cs.NE q-bio.NC
Compressing the Backward Pass of Large-Scale Neural Architectures by Structured Activation Pruning
Heidelberg University(海德堡大学)
本文提出基于BSR格式和幅值准则的结构化激活剪枝方法,并设计高效GPU块稀疏算子,在ResMLP图像分类训练中实现最高32%的内存降低且保持准确率。
2023-11-29 cs.LG cs.PF
Linear-memory and Decomposition-invariant Linearly Convergent Conditional Gradient Algorithm for Structured Polytopes
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
最近,一些工作表明,自然修改的经典条件梯度法(又名Frank-Wolfe算法)约束凸优化,可证明收敛线性速度时:i)的可行集是一个多面体,ii)的目标是光滑和强凸。然而,所有这些结果都有两个显著的缺点:由于需要存储显式的凸分解的当前迭代的大内存需求,因此,每次迭代的大运行时间开销,以及不利地依赖于维度的最坏情况下的收敛速度。在这项工作中,我们提出了一个新的条件梯度变量和相应的分析,改善了上述两个缺点。特别是:内存和计算开销在维度上都是线性的。此外,在情况下的最优解是稀疏的,新的收敛速度取代了一个因素,这是至少在以前的作品中的维度是线性的,与非零的最优解的数量的线性依赖。在我们的方法和相应的分析的核心,是一种新的方法来计算分解不变的远离步骤。虽然我们的理论保证不适用于任何多面体,但它们适用于几个重要的结构化多面体,这些多面体捕获了中心概念,如图中的路径,二部图中的完美匹配,结构化预测任务中出现的边缘分布等。我们的理论研究结果得到了经验证据的补充,这表明我们的方法提供了最先进的性能。
2016-05-20 cs.LG math.OC