A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University(卡尔顿大学);Computer Engineering Carleton University Ottawa, Canada(计算机工程系卡尔顿大学渥太华加拿大);School of Information Technology Carleton University Ottawa, Canada(信息科技学院卡尔顿大学渥太华加拿大)
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络(DNN)基于网络入侵检测系统(NIDS),而无需额外显式防御。通过数千次实验,发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性,且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
Effective prevention of semantic drift as angular distance in memory-less continual deep neural networks
National University of Computer and Emerging Sciences(国立计算机与新兴科学大学)
终身机器学习或持续学习模型试图通过在一系列任务中积累知识来逐步学习。因此,这些模型学习得更好、更快。它们用于必须与人类或任何动态环境交互的各种智能系统中,聊天机器人和自动驾驶汽车。无记忆方法更常用于深度神经网络,该网络在其架构内容纳来自任务的传入信息。它允许他们在所有可见的任务上表现良好。这些模型遭受语义漂移或可塑性稳定性困境。现有的模型使用Minkowski距离度量来决定冻结、更新或复制哪些节点。这些距离度量不提供更好的节点分离,因为它们易受高维稀疏向量的影响。在我们提出的方法中,我们使用角距离来评估单个节点中的语义漂移,从而提供更好的节点分离,从而更好地平衡稳定性和可塑性。所提出的方法通过在标准数据集上保持更高的准确性而优于最先进的模型。
2021-12-16 cs.LG
Sparse PointPillars: Maintaining and Exploiting Input Sparsity to Improve Runtime on Embedded Systems
University of Pennsylvania(宾夕法尼亚大学)
鸟瞰视图(BEV)是一种用于处理3D点云的流行表示方法,并且其本质上是稀疏的。受移动机器人平台的计算限制的影响,我们创建了一个快速,高性能的BEV 3D对象检测器,该检测器保持并利用这种输入稀疏性来减少非稀疏基线的运行时间,并避免伪图像区域和运行时间之间的权衡。我们目前的结果KITTI,一个典型的3D检测数据集,和Matterport-Chair,一个新的Matterport 3D衍生的椅子检测数据集,从场景中的真实家具的家庭。我们使用桌面GPU,嵌入式ML加速器和机器人CPU评估运行时特性,证明我们的方法可以显著提高嵌入式系统的检测速度(2倍或更高),而检测质量仅略有下降。我们的工作为从业者提供了一种新的方法,通过在整个管道中维护和利用输入稀疏性来优化嵌入式系统的模型,以减少运行时间和资源使用,同时保持检测性能。
2022-03-01 cs.CV cs.LG
Supernova: Achieving More with Less in Transformer Architectures
Faculty of Mathematics and Computer Science(数学与计算机科学学院)
本文提出6.5亿参数解码器Transformer模型Supernova,通过RoPE、GQA、RMSNorm、SwiGLU及128K词表BPE分词器等设计,以更少参数和训练token达到10亿参数模型90%的性能,挑战了主流扩展范式。
2025-07-22 cs.AI cs.CL cs.LG
Less is More: Proxy Datasets in NAS approaches
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));TU Kaiserslautern(凯泽斯劳滕工业大学)
本文在NAS-Bench-201上通过约1400次实验,系统分析了代理数据集对NAS搜索的影响,发现将训练数据减少至25%可保持同等精度并缩短搜索时间,且部分子集设计准确率可提升22个百分点。
2022-03-14 cs.AI cs.CV cs.LG
'Less Than One'-Shot Learning: Learning N Classes From M<N Samples
University of Waterloo(滑铁卢大学)
深度神经网络需要大的训练集,但具有高计算成本和长训练时间的缺点。在更小的训练集上进行训练,同时保持几乎相同的准确性将是非常有益的。在少样本学习设置中,模型必须学习一个新的类,只有少量的样本来自该类。单次学习是少样本学习的一种极端形式,其中模型必须从单个示例中学习一个新类。我们提出了“少于一次”的学习任务,模型必须学习$N$新的类只给$M<N$的例子,我们表明,这是可以实现的软标签的帮助下。我们使用软标签泛化的k-最近邻分类器来探索复杂的决策景观,可以在“小于一次”的学习设置中创建。我们分析这些决策景观,以获得理论上的下限分离$N$类使用$M<N$软标签样本,并调查所产生的系统的鲁棒性。
2020-09-17 cs.LG stat.ML
Efficient passive membership inference attack in federated learning
Inria(法国国家信息与自动化研究所);Univ. Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);I3S(信息、科学与社会实验室)
在跨设备联邦学习(FL)设置中,诸如移动设备的客户端与服务器协作以训练全局机器学习模型,同时在本地维护其数据。然而,最近的工作表明,客户端的私人信息仍然可以透露给对手谁只是窃听客户端和服务器之间交换的消息。例如,攻击者可以推断客户端是否拥有特定的数据实例,这被称为被动成员推断攻击。在本文中,我们提出了一种新的被动推理攻击,需要更少的计算能力和内存比现有的方法。我们的实验结果表明,我们的攻击达到了更高的准确率CIFAR100数据集(超过$4$百分点),少三个数量级的内存空间和五个数量级的计算。
2021-10-31 cs.CR cs.DC cs.LG
FastForest: Increasing Random Forest Processing Speed While Maintaining Accuracy
Charles Sturt University(查尔斯特大学)
随机森林仍然是数据采掘最持久的集成算法之一,实现了有据可查的准确性和处理速度,并经常出现在新的研究中。然而,随着数据采掘现在到达诸如智能手机和物联网(IoT)设备等硬件受限设备的领域,继续需要对算法效率进行进一步研究,以在不牺牲准确性的情况下提供更高的处理速度。与随机森林相比,我们提出的FastForest算法在处理速度上平均提高了24%,同时在涉及45个数据集的测试中保持(并经常超过)分类精度。FastForest通过三个优化组件的组合实现了这一结果-子样本聚合(“Subbagging”),对数分裂点采样和动态限制子空间。此外,对Subbagging大小的详细测试发现了一个最佳标量,可提供处理性能和准确性的积极组合。
2020-04-06 cs.LG stat.ML
Big-Little Adaptive Neural Networks on Low-Power Near-Subthreshold Processors
University of Bristol(布里斯托大学);Sensata Systems(森萨塔系统公司)
本文针对近亚阈值处理器内存受限问题,提出大小自适应神经网络策略,在人类活动识别应用中实现能耗降低80%且精度不下降。
2023-04-19 cs.AR cs.LG
Koopcon: A new approach towards smarter and less complex learning
North Carolina State University(北卡罗来纳州立大学)
本文提出基于Koopman算子理论和自编码器的数据集压缩模型Koopcon,利用最优传输和Wasserstein距离减少分布差异,两阶段压缩并验证分类性能相当,降低计算资源,推动数据高效学习。
2024-05-22 cs.CV cs.LG eess.IV
From Machine Learning to Machine Unlearning: Complying with GDPR's Right to be Forgotten while Maintaining Business Value of Predictive Models
Shanghai University of Finance and Economics(上海财经大学);Beihang University(北京航空航天大学);Hefei University of Technology(合肥工业大学);University of South Florida(南佛罗里达大学);University of Maryland(马里兰大学)
本文提出ETID框架,通过集成学习与定制化蒸馏遗忘机制,在满足GDPR被遗忘权删除请求的同时保持预测模型性能与商业价值。
2024-12-03 cs.LG
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers
ShanghaiTech University(上海科技大学);BIGAI(北京智源人工智能研究院)
针对自回归Transformer长序列处理的计算与内存瓶颈,提出结合评分网络与可微SPARSEK算子的稀疏注意力机制,实现生成阶段线性复杂度与恒定内存,性能与速度优于现有方法且易集成到预训练LLMs。
2024-06-24 cs.CL cs.LG
Do Less, Get More: Streaming Submodular Maximization with Subsampling
Open University of Israel(以色列开放大学);Yale University(耶鲁大学)
在本文中,我们开发了第一个单程流算法子模块最大化,不评估整个流,甚至一次。通过仔细地对数据流的每个元素进行子采样,我们的算法在各种设置中享有最严格的近似保证,同时具有最小的内存占用和最少的函数求值次数。更具体地说,对于单调子模函数和$p$ -拟阵约束,我们的随机算法实现了$4p$近似比(预期)与$O(k)$内存和每个元素的$O(km/p)$查询($k$是最大可行解的大小和$m$是用于定义约束的拟阵的数量)。对于非单调的情况下,我们的近似比仅略微增加到$4p+2-o(1)$。据我们所知,我们的算法是第一个以一种新颖的方式结合流和子采样的优点,以便真正将子模块最大化扩展到大规模机器学习问题。为了展示其实用性,我们经验性地评估了我们的算法在视频摘要应用程序上的性能,并观察到它比最先进的算法性能高出50倍,同时保持几乎相同的实用性。
2018-02-20 cs.DS cs.LG
ShuffleNASNets: Efficient CNN models through modified Efficient Neural Architecture Search
University of Tübingen(蒂宾根大学)
通过诡辩搜索算法发现的神经网络架构实现了惊人的良好测试性能,远远超过了大多数人工构建的网络模型。虽然计算效率很高,但它们的设计往往非常复杂,影响了执行速度。此外,在搜索空间之外查找模型在设计上是不可能的。虽然我们的空间仍然有限,但我们在ShuffleNet V2的设计原则和架构的指导下,将无法解释的专家知识实现到经济搜索算法Efficient Neural Architecture Search(ENAS)中。虽然在CIFAR-10上保持了2.85%的基线测试误差,但我们的ShuffleNASNet的复杂性明显降低,需要的参数更少,并且在分类任务中比ENAS基线快两倍。这些模型也可以很好地扩展到低参数空间,实现小于5%的测试误差,几乎没有正则化,只有236 K个参数。
2018-12-07 cs.LG stat.ML
Block Circulant Adapter for Large Language Models
Sun Yat-sen University(中山大学)
针对大型语言模型微调成本高的问题,提出基于块循环矩阵和一维傅里叶变换的微调方法,结合稳定训练启发式策略降低存储与计算开销,在保持性能的同时显著减少参数量与计算量。
2025-07-15 cs.CL cs.LG
Selective Network Linearization for Efficient Private Inference
New York University Tandon School of Engineering(纽约大学坦登工程学院)
私有推理(PI)允许直接对加密安全数据进行推理。虽然有望解决许多隐私问题,但由于极端的运行时间,它的使用受到限制。与延迟由FLOP主导的明文推理不同,在PI中,非线性函数(即ReLU)是瓶颈。因此,实际的PI需要新的ReLU感知优化。为了减少PI延迟,我们提出了一种基于梯度的算法,该算法选择性地线性化ReLU,同时保持预测精度。我们评估我们的算法在几个标准的PI基准。结果表明,与当前技术水平相比,$4.25\%$具有更高的准确性(50 K时的iso-ReLU计数)或$2.2\times$具有更少的延迟(70\%时的iso-accuracy),并在延迟-准确性空间上推进了Pareto边界。为了补充实证结果,我们提出了一个“没有免费的午餐”定理,揭示了如何以及何时网络线性化是可能的,同时保持预测精度。公共代码可在\url{https://github.com/NYU-DICE-Lab/selective_network_linearization}获得。
2022-06-08 cs.CR cs.LG
Edit Less, Achieve More: Dynamic Sparse Neuron Masking for Lifelong Knowledge Editing in LLMs
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(智能信息处理重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Agriculture Information Institute, CAAS(农业信息研究所,中国农业科学院)
本文提出NMKE框架,通过神经元归因和熵引导动态稀疏掩码实现精确知识编辑,减少参数修改,在终身编辑中优于现有方法。
2025-10-25 cs.CL cs.LG
Less is More: Non-uniform Road Segments are Efficient for Bus Arrival Prediction
Faculty of Information Technology, Beijing University of Technology(信息科技学院,北京理工大学)
本文提出基于强化学习的方法,通过非均匀道路段提升公交到达预测的效率和性能。
2025-12-08 cs.LG
Less is More: AMBER-AFNO -- a New Benchmark for Lightweight 3D Medical Image Segmentation
Department of Physics E. Pancini, University of Naples Federico II(那不勒斯费德里科二世大学物理系);Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II(那不勒斯费德里科二世大学电气工程与信息技术系)
本文提出AMBER-AFNO模型,通过频域token混合替代自注意力机制,实现轻量3D医学图像分割,实验表明其在Dice和HD95指标上达到SOTA性能。
2026-02-27 cs.AI cs.CV cs.LG
Learn Here, Move Less Elsewhere: Input-Conditioned Plasticity from Retained-Domain Activation Atlases
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与运载学院);SZ DJI Technology Co., Ltd.(深圳市大疆创新科技有限公司);Tencent Holdings Limited(腾讯控股有限公司)
本文提出ATLAS方法,利用保留域激活图谱为低秩残差提供输入条件规则,在保持现有行为的同时实现任务微调,在多个模型上降低保留输出KL散度并提升编码性能。
2026-09-29 cs.AI cs.LG
Optimal Strategies for Federated Learning Maintaining Client Privacy
IIIT Hyderabad(印度信息技术与管理大学海得拉巴分校)
本文理论分析联邦学习中模型性能与通信复杂度的权衡,证明每轮全局训练一个本地轮次在保持隐私预算下最优,并发现增加客户端可提升效用,实验验证了结论。
2025-01-24 cs.LG
Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection
University of Southampton(南安普顿大学);Queen Mary University of London(伦敦玛丽女王大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出参数高效微调框架 PersLLM,通过动态记忆层存储大语言模型提取的高维特征,并利用可替换的轻量级输出网络适配不同人格检测场景,在 Kaggle 和 Pandora 等基准上显著降低计算成本的同时保持竞争性能。
2025-04-07 cs.CL cs.LG
Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models
Iowa State University(爱荷华州立大学)
本文证明深度平衡模型(DEQ)在宽度趋于无穷时收敛为高斯过程,且深度与宽度极限可交换,并保证核矩阵非退化,为DEQ训练与泛化研究奠定基础。
2023-10-16 cs.LG stat.ML
Maintaining Adversarial Robustness in Continuous Learning
Tongji University(同济大学);Huawei Technologies Ltd(华为技术有限公司)
针对持续学习中神经网络权重更新易导致对抗鲁棒性丧失的问题,提出一种梯度投影技术,通过正交投影反向传播梯度稳定过往样本梯度,结合防御算法维持鲁棒性,实验验证其在强攻击下仍能缓解鲁棒性快速下降。
2024-08-13 cs.AI cs.LG
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT(麻省理工学院)
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers,同时保持了BLEU。然而,目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers,我们发现复杂的语义信息首先被降级。内部激活的分析表明,高层分歧最修剪的过程中,逐渐变得不那么复杂,比密集的同行。同时,稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加,注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
AB/BA analysis: A framework for estimating keyword spotting recall improvement while maintaining audio privacy
Amazon(亚马逊)
评估关键词发现(KWS)系统,检测语音中的关键词是一个具有挑战性的任务,现实的隐私限制。KWS旨在仅在关键字存在时收集数据,限制可能包含假阴性的硬样本的可用性,并防止从生产数据直接估计模型召回。或者,从其他来源收集的补充数据可能不能完全代表实际应用。在这项工作中,我们提出了一种评估技术,我们称之为AB/BA分析。我们的框架评估了候选KWS模型B对基线模型A,使用跨数据集离线解码相对召回估计,而不需要负面的例子。此外,我们提出了一个公式的假设,允许估计模型之间的相对误报率低方差,即使当误报的数量很小。最后,我们建议利用机器生成的软标签,我们称之为半监督AB/BA分析的技术,可以提高分析时间,隐私和成本。模拟和真实数据的实验表明,AB/BA分析是成功的,在衡量召回率的提高与相对误报率的权衡。
2022-04-18 cs.CR cs.LG cs.SD
Sample More to Think Less: Group Filtered Policy Optimization for Concise Reasoning
Microsoft Research(微软研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出GFPO方法,通过在训练时增加采样并基于响应长度和token效率过滤数据,有效抑制了LLM的响应长度膨胀,在保持准确性的同时大幅减少了推理时的计算量。
2025-08-13 cs.CL cs.LG