Malicious URL Detection using optimized Hist Gradient Boosting Classifier based on grid search method
Universiti Kebangsaan Malaysia(马来西亚国立大学);University of Birjand(比尔詹德大学);Technical and Vocational University(技术职业大学)
本文针对恶意URL检测问题,提出基于网格搜索优化的多种机器学习方法,并在1781条网站数据上验证HGBC分类器在准确率、F1分数和AUC等指标上表现最优。
2024-06-12 cs.CR cs.LG
The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol
University of Warsaw(华沙大学)
针对可微神经架构搜索中的离散化误差问题,提出单阶段搜索协议,不依赖解码连续架构,在Cityscapes上达75.3%准确率,性能优于DCNAS,且仅需5.5GPU天,并提出新数据集划分程序防止架构退化。
2024-05-26 cs.AI cs.CV cs.LG
NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks
Georgia Institute of Technology(佐治亚理工学院);Nanjing University(南京大学);Rice University(莱斯大学)
乘法可以说是现代深度神经网络(DNN)中成本最占主导地位的操作,限制了它们可实现的效率,从而限制了它们在资源受限应用中的更广泛部署。为了解决这一限制,开创性的工作已经开发了手工制作的免乘法DNN,这需要专业知识和耗时的手动迭代,需要快速开发工具。为此,我们提出了一个名为NASA的神经架构搜索和加速框架,它可以实现自动化的乘法减少DNN开发,并集成了一个专用的乘法减少加速器,以提高DNN的可实现效率。具体来说,NASA采用了神经架构搜索(NAS)空间,该空间使用硬件启发的无乘法运算符(如移位和加法器)来增强最先进的空间,并配备了新颖的渐进式预训练策略(PGP)以及定制的训练配方,以自动搜索最佳的乘法减少DNN;最重要的是,NASA进一步开发了一个专用的加速器,该加速器提倡基于块的模板和自动映射器,专门用于NASA-NAS生成的DNN,以更好地利用其算法特性来提高硬件效率。实验结果和烧蚀研究一致验证了NASA的算法硬件协同设计框架在可实现的精度和效率权衡方面的优势。代码可在https://github.com/GATECH-EIC/NASA上获得。
2022-12-19 cs.AR cs.LG
Efficient Forward Architecture Search
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一个神经架构搜索(NAS)算法,Petridish,迭代地添加快捷连接到现有的网络层。添加的快捷连接有效地在增强层上执行梯度提升。该算法的动机是由特征选择算法向前逐步线性回归,因为我们认为NAS作为一个泛化的特征选择回归,其中NAS选择层之间的捷径,而不是选择功能。为了减少可能的连接组合的试验次数,我们在每个生长阶段联合训练所有可能的连接,同时利用特征选择技术来选择它们的子集。我们的实验表明,这个过程是一个有效的前向架构搜索算法,可以找到竞争力的模型,使用几个GPU天在搜索空间的可重复的网络模块(细胞搜索)和空间的一般网络(宏搜索)。Petridish特别适合于从对终身学习场景至关重要的现有模型中进行热启动。
2019-05-31 cs.LG stat.ML
Incremental Learning with Differentiable Architecture and Forgetting Search
Georgia Institute of Technology(佐治亚理工学院);SRI International(斯坦福国际研究院)
随着在递增扩展分类任务上训练机器学习模型(即,增量学习),下一步是将这一进展转化为行业预期。增量学习中缺少的一种技术是通过神经架构搜索(NAS)进行自动架构设计。在本文中,我们证明了利用NAS进行增量学习可以为分类任务带来强大的性能增益。具体来说,我们做出了以下贡献:首先,我们基于可区分架构搜索(DARTS)和最先进的增量学习策略创建了一个强大的增量学习基线方法,优于许多使用类似规模的流行架构训练的现有策略;其次,我们扩展了架构搜索的概念,以规范架构遗忘,提高性能超过我们提出的基线。我们评估我们的方法对RF信号和图像分类任务,并证明我们可以实现高达10%的性能提高超过国家的最先进的方法。最重要的是,我们的贡献使得能够从真实世界应用数据的连续分布中学习,其中数据分布的复杂性是未知的,或者模态较少探索(例如RF信号分类)。
2022-05-19 cs.AI cs.LG
Model Adaptation via Model Interpolation and Boosting for Web Search Ranking
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Bing Search(微软必应搜索)
本文探讨了两类Web搜索排名的模型自适应方法:模型插值和基于boosting算法的错误驱动学习方法。结果表明,模型插值虽然简单,但在所有测试数据与训练数据差异很大的开放测试集上都能获得最佳结果。基于树的Boosting算法在大多数测试数据和训练数据相似的封闭测试集上取得了最佳性能,但在开放测试集上由于树的不稳定性,其性能显著下降。有几种方法被探索,以提高算法的鲁棒性,有限的成功。
2019-07-22 cs.LG stat.ML
Boosting Weak Positives for Text Based Person Search
本文提出一种基于经典提升思想的动态权重更新技术,在训练中识别并强调困难弱正样本,以解决TBPS任务中模型偏向简单样本的问题,在四个行人数据集上取得性能提升。
2025-01-30 cs.CV cs.LG
A Modified Bayesian Optimization based Hyper-Parameter Tuning Approach for Extreme Gradient Boosting
VMware Software India Pvt. Ltd.(威睿软件印度私人有限公司)
在文献中已经报道了机器学习算法的性能受到执行适当的超参数优化的极大影响。执行超参数优化的方法之一是手动搜索,但这很耗时。执行超参数优化的一些常见方法是网格搜索随机搜索和使用Hyperopt的贝叶斯优化。在本文中,我们提出了一个全新的超参数改进的方法,即随机Hyperopt,然后调整XGBoost的超参数,即极端梯度提升算法在10个数据集上通过应用随机搜索,随机Hyperopt,Hyperopt和网格搜索。这四种技术的性能进行了比较,同时考虑到预测精度和执行时间。我们发现,Randomized-Hyperopt比其他三个传统的方法进行XGBoost的超参数优化。
2020-04-10 cs.LG stat.ML
Quantune: Post-training Quantization of Convolutional Neural Networks using Extreme Gradient Boosting for Fast Deployment
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院)
为了对一系列资源受限的目标采用卷积神经网络(CNN),有必要通过执行量化来压缩CNN模型,由此将精度表示转换为较低比特表示。为了克服诸如训练数据集的敏感性、高计算要求和大时间消耗之类的问题,已经提出了不需要再训练的后训练量化方法。此外,为了在不进行再训练的情况下补偿精度下降,以前关于后训练量化的研究提出了几种补充方法:校准、方案、裁剪、粒度和混合精度。为了生成具有最小误差的量化模型,有必要研究这些方法的所有可能组合,因为它们中的每一个都是互补的,并且CNN模型具有不同的特性。然而,穷举或启发式搜索要么太耗时,要么是次优的。为了克服这一挑战,我们提出了一种称为Quantune的自动调谐器,它构建了一个梯度树提升模型,以加速搜索量化配置并减少量化误差。我们评估和比较Quantune与随机,网格,和遗传算法。实验结果表明,Quantune将量化的搜索时间减少了约36.5倍,在六个CNN模型中的准确性损失为0.07~0.65%,包括脆弱的模型(MobileNet,SqueezeNet和ShuffleNet)。为了支持多个目标并采用不断发展的量化工作,Quantune作为一个开源项目在一个成熟的深度学习编译器上实现。
2022-02-21 cs.LG
EMBERSim: A Large-Scale Databank for Boosting Similarity Search in Malware Analysis
CrowdStrike(CrowdStrike公司)
针对恶意软件相似性研究数据稀缺且多忽略良性数据的问题,研究团队基于大规模恶意软件分类数据集EMBER构建了增强版数据库EMBERSim,补充相似性标签与自动标注的恶意软件类别标签,并开源相关方法实现。
2023-10-03 cs.LG
Boosting Search Engines with Interactive Agents
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
本文介绍了第一个成功的步骤,在设计搜索代理,学习元策略迭代查询细化信息搜索任务。我们的方法使用机器阅读来指导从聚合搜索结果中选择细化术语。然后,代理被赋予简单但有效的搜索操作符,对查询和搜索结果进行细粒度和透明的控制。我们开发了一种生成合成搜索会话的新方法,该方法通过(自)监督学习利用基于transformer的语言模型的功能。我们还提出了一个强化学习代理与动态约束的行动,从头开始学习交互式搜索策略。我们的搜索代理获得检索和答案质量性能与最近的神经方法相当,只使用传统的基于术语的BM 25排名功能和可解释的离散重新排名和过滤操作。
2022-06-07 cs.AI cs.CL cs.IR
Selecting Hyperparameters for Tree-Boosting
Seminar for Statistics, ETH Zurich(苏黎世联邦理工学院统计研究所)
本文通过59个数据集比较了多种超参数优化方法,发现SMAC方法显著优于其他方法,并揭示了超参数调优的关键因素。
2026-11-03 cs.LG stat.AP stat.ML
O-HAS: Optical Hardware Accelerator Search for Boosting Both Acceleration Performance and Development Speed
Rice University(莱斯大学)
深度神经网络(DNN)最近的突破和令人望而却步的复杂性激发了人们对特定领域DNN加速器的广泛兴趣,其中光学DNN加速器特别有前途,这要归功于其实现卓越性能每瓦的前所未有的潜力。然而,光学DNN加速器的发展比电DNN加速器慢得多。一个关键的挑战是,虽然已经开发了许多技术来促进电DNN加速器的开发,但支持或加速光学DNN加速器设计的技术仍然很少探索,限制了光学DNN加速器的可实现性能和创新发展。为此,我们开发了首个名为O-HAS的框架,该框架首次展示了自动化光学硬件加速器搜索,以提高光学DNN加速器的加速效率和开发速度。具体地,我们的O-HAS由两个集成的使能器组成:(1)O-成本预测器,其可以基于DNN模型参数和光学加速器设计准确而有效地预测光学加速器的能量和延迟;以及(2)O-搜索引擎,其可以自动探索光学DNN加速器的大设计空间并识别最佳加速器(即,微体系结构和算法到加速器的映射方法),以便最大化目标加速效率。广泛的实验和烧蚀研究一致验证了我们的O-成本预测器和O-搜索引擎的有效性以及O-HAS产生的光学加速器的出色效率。
2021-08-17 cs.AR cs.ET cs.LG
Click prediction boosting via Bayesian hyperparameter optimization based ensemble learning pipelines
Istanbul Technical University(伊斯坦布尔理工大学);Donders Institute for Brain, Cognition and Behaviour, Radboud University Medical Center(拉德堡德大学医学中心唐德斯脑、认知与行为研究所);Kadir Has University(卡迪尔哈斯大学)
本文通过贝叶斯超参数优化和集成学习提升酒店点击预测性能,实验表明集成模型比单一模型提升了约10%的预测效果。
2022-06-24 cs.LG
QLASS: Boosting Language Agent Inference via Q-Guided Stepwise Search
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
QLASS 通过逐步估计 Q 值自动生成中间标注,结合推理树和过程奖励建模为语言智能体提供逐步指导,并提出 Q 引导生成策略,在有限监督下显著提升复杂交互任务的推理性能。
2025-02-04 cs.AI cs.LG
Boosting Trust Region Policy Optimization by Normalizing Flows Policy
Columbia University(哥伦比亚大学)
我们提出了改进的信赖域策略搜索与规范化流的政策。我们说明了当信任区域由KL发散约束构造时,规范化流策略生成远离前一策略的“中心”的样本,这可能使更好的探索,并有助于避免坏的局部最优。通过广泛的比较,我们表明,规范化流政策显着改善基线架构,特别是在高维任务与复杂的动态。
2019-02-01 cs.AI cs.LG stat.ML
Fast ABC-Boost: A Unified Framework for Selecting the Base Class in Multi-Class Classification
Baidu Research(百度研究院)
ICML'09中的工作表明,经典多类逻辑回归损失函数的导数可以根据预先选择的“基类”重写,并在流行的boosting框架中应用新的导数。为了利用新的衍生物,必须有一个策略来识别/选择在每次提升迭代的基类。ICML'09中的“自适应基类提升”(ABC-Boost)的思想,在每次迭代时对基类采用了计算昂贵的“穷举搜索”策略。已经很好地证明,ABC-Boost与树集成时,可以在许多多类分类任务中实现实质性的改进。此外,UAI'10中的工作导出了显式的二阶树分裂增益公式,与仅使用一阶信息进行树分裂相比,对于多类和二类分类任务,该公式通常显著提高了分类精度。在本文中,我们开发了一个统一的框架,有效地选择基类通过引入一系列的想法,以提高ABC-Boost的计算效率。我们的框架有参数$(s,g,w)$。在每次提升迭代中,我们只搜索“$s$ -最差类”(而不是所有类)来确定基类。在进行搜索时,我们还允许“间隙”$g$。也就是说,我们只在每次$g+1$迭代时搜索基类。此外,我们还允许在$w$提升迭代之后才开始搜索,从而实现“预热”阶段。参数$s$、$g$、$w$可以被视为可调参数,并且$(s,g,w)$的某些组合甚至可以导致比“穷举搜索”策略更好的测试精度。总的来说,我们提出的框架提供了一个强大的和可靠的计划,在实践中实施ABC-Boost。
2022-06-26 cs.LG stat.ML
Boosting Ray Search Procedure of Hard-label Attacks with Transfer-based Priors
Zhejiang University of Technology(浙江工业大学);Binjiang Institute of Artificial Intelligence, ZJUT(浙江工业大学滨江人工智能研究院);JQ Investments(JQ投资)
针对硬标签攻击中射线搜索查询代价高的问题,本文提出利用替代模型的迁移先验改进梯度估计,并在 ImageNet 和 CIFAR-10 上显著提升查询效率。
2025-07-23 cs.CR cs.CV cs.LG
LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation
LoongReflect是将反思表述为记忆控制策略的训练框架,通过双信号通道结合全局视角蒸馏与结果导向GRPO优化,在多跳检索增强生成和数学推理任务上提升了搜索智能体的长程反思能力。
2026-08-13 cs.AI cs.LG
Promising Accurate Prefix Boosting for sequence-to-sequence ASR
Brno University of Technology(布尔诺理工大学);Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软);Amazon(亚马逊);Google(谷歌);Facebook(脸书);MERL/Mitsubishi Electric(三菱电机研究实验室/三菱电机)
在本文中,我们提出了有前途的准确前缀提升(PAPB),基于注意力的序列到序列(seq2seq)ASR的判别训练技术。PAPB的设计是为了有效地统一培训和测试计划。训练过程涉及使在波束搜索期间获得的每个部分正确序列的分数与其他假设相比最大化。训练目标还包括最小化令牌(字符)错误率。PAPB算法在华尔街日报数据集上的WER分别为10.8%和3.8%。
2018-11-07 cs.CL cs.LG cs.SD
Boosting-based Construction of BDDs for Linear Threshold Functions and Its Application to Verification of Neural Networks
Kyushu University(九州大学);RIKEN AIP(理化学研究所人工智能研究中心)
针对神经网络验证中线性阈值函数转BDD的变量排序难、转化效率低的问题,提出基于新型boosting算法的转换方法,无需搜索变量排序,间隔大时BDD规模更小,还给出神经网络布尔表达式组合方法。
2023-06-08 cs.LG
Boosting LLM-based Relevance Modeling with Distribution-Aware Robust Learning
Ant Group(蚂蚁集团)
针对LLM用于搜索相关性建模时细粒度区分能力不足、分布偏移下性能下降的问题,提出含分布感知样本增强与多阶段微调的DaRL框架,已部署于支付宝保险搜索。
2024-12-17 cs.IR cs.LG
Boosting the Predictive Accurary of Singer Identification Using Discrete Wavelet Transform For Feature Extraction
African Institute for Mathematical Sciences(非洲数学科学研究所);ETH Zurich(苏黎世联邦理工学院);Rochester Institute of Technology(罗切斯特理工学院)
面对当今音乐领域的多样性和增长,寻找精确的歌曲变得越来越复杂。歌手的身份有助于这种搜索。在这个项目中,我们专注于识别歌手的问题,通过使用不同的方法进行特征提取。特别地,我们引入离散小波变换(DWT)用于此目的。据我们所知,DWT以前从未在歌手识别的背景下以这种方式使用过。这一进程包括三个关键部分。首先,利用鲁棒主成分分析(RPCA)将人声信号从背景音乐中分离出来。其次,从所获得的语音信号中提取特征。在这里,我们的目标是研究的离散小波变换(DWT)的性能相比,梅尔频率倒谱系数(MFCC),这是最常用的技术在音频信号。最后,我们进行了两种方法的歌手的识别实验:支持向量机(SVM)和高斯混合模型(GMM)。我们的结论是,对于4个歌手和200首歌曲的数据集,最好的识别系统由DWT(db4)特征提取结合线性支持向量机识别的平均准确率为83.96%,在这项工作中介绍。
2021-01-31 cs.LG cs.SD eess.AS
Mithridates: Auditing and Boosting Backdoor Resistance of Machine Learning Pipelines
Cornell Tech(康奈尔理工学院)
针对机器学习流水线后门抗性难以评估与提升的问题,提出通用的攻击无关抗性指标,设计Mithridates多阶段方法在超参数搜索中平衡精度与安全性,可将后门抗性提升3-5倍且精度影响极小。
2023-12-19 cs.CR cs.CV cs.LG
WiSparse: Boosting LLM Inference Efficiency with Weight-Aware Mixed Activation Sparsity
Tsinghua University(清华大学)
WiSparse通过结合激活和权重信息,实现高效的大语言模型推理,以50%稀疏率保持97%性能并提升21.4%推理速度。
2026-02-16 cs.AI cs.LG
COMBHelper: A Neural Approach to Reduce Search Space for Graph Combinatorial Problems
Tongji University(同济大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出COMBHelper,一种利用图神经网络减少图组合优化问题搜索空间的方法,使传统算法速度提升至少2倍。
2024-01-01 cs.LG cs.NE
FrostNet: Towards Quantization-Aware Network Architecture Search
Sogang University(西江大学);NAVER Corporation(NAVER公司)
INT 8量化已经成为在边缘设备上部署卷积神经网络(CNN)以减少内存和计算资源使用的标准技术之一。通过分析现有的移动目标网络架构的量化性能,我们可以提出一个问题,网络架构的重要性,最佳的INT 8量化。在本文中,我们提出了一个新的网络架构搜索(NAS)过程,以找到一个网络,保证全精度(FLOAT 32)和量化(INT 8)的性能。首先,我们提出了关键但简单的优化方法,使量化感知训练(QAT):浮点统计辅助(StatAssist)和随机梯度提升(GradBoost)。通过将基于梯度的NAS与StatAssist和GradBoost集成,我们发现了一个量化高效的网络构建块,Frost瓶颈。此外,我们使用Frost瓶颈作为硬件感知NAS的构建块,以获得量化效率高的网络FrostNets,与其他移动目标网络相比,它显示出更好的量化性能,同时保持有竞争力的FLOAT 32性能。我们的FrostNet比现有的CNN在量化时具有更高的识别准确率,由于更高的延迟减少率(平均65%)。
2020-11-30 cs.CV cs.LG stat.ML