AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning
Texas A&M University(德克萨斯农工大学);NEC Laboratories America(NEC美国实验室)
离群点检测是一个重要的数据挖掘任务,具有许多实际应用,如入侵检测,信用卡欺诈检测和视频监控。然而,鉴于大数据的特定复杂任务,构建基于深度学习的强大离群值检测系统的过程仍然高度依赖于人类专业知识和劳动试验。尽管神经架构搜索(NAS)在发现图像分类、目标检测和语义分割等各个领域的有效深度架构方面显示出了其前景,但由于缺乏内在搜索空间、搜索过程不稳定以及低样本效率,当代NAS方法不适合离群点检测。为了弥补这一差距,在本文中,我们提出了AutoOD,一个自动离群值检测框架,其目的是在预定义的搜索空间内搜索最优的神经网络模型。具体来说,我们首先设计了一个好奇心引导的搜索策略来克服局部最优的诅咒。控制器,作为一个搜索代理,鼓励采取行动,以最大限度地提高控制器的内部信念的信息增益。为了提高样本效率,我们还引入了一种基于自模仿学习的经验回放机制。在各种真实世界基准数据集上的实验结果表明,与现有的手工模型和传统的搜索方法相比,AutoOD识别的深度模型具有最佳的性能。
2020-06-19 cs.LG stat.ML
LLM-Guided Neural Architecture Search for Robust Co-Design of Physical Neural Networks
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
提出UH-NAS框架,利用大语言模型作为进化算子,协同优化任务准确率和推理能耗,实现跨硬件平台的公平比较,在光学MZI硬件上发现更鲁棒的架构。
2026-06-09 cs.AI cs.AR cs.LG
Data-Local Autonomous LLM-Guided Neural Architecture Search for Multiclass Multimodal Time-Series Classification
University of Southampton(南安普顿大学)
本文提出一种数据本地的LLM引导神经架构搜索框架,用于多类多模态时间序列分类,通过轻量级融合MLP和专家架构联合搜索提升模型性能,减少人工干预。
2026-03-16 cs.AI cs.LG
GraphIR: Architecture-Level Search States for LLM-Guided Neural Architecture Evolution
针对LLM引导NAS中代码级表示无法满足架构变异需求的问题,提出架构感知中间表示GraphIR,在六个下游基准中集成到OpenEvolve后实现最佳搜索性能。
2026-08-04 cs.LG
Teacher Guided Architecture Search
McGovern Institute for Brain Research(麦戈文脑研究所);MIT(麻省理工学院);University of Amsterdam(阿姆斯特丹大学)
最近计算机视觉的神经网络的大部分改进是由于发现了新的网络架构。大多数先前的工作都使用了候选模型在有限训练后的性能,以可行的方式自动引导搜索。通过测量具有未知详细结构的高性能网络(例如灵长类动物视觉系统)来引导搜索,是否可以进一步提高计算效率?作为实现这一目标的一步,我们使用表征相似性分析来评估候选网络与(固定的,高性能的)教师网络的内部激活的相似性。我们表明,采用这种评估指标可以产生一个数量级的搜索效率超过性能导向的方法。我们的方法找到了一种卷积细胞结构,其性能与以前使用其他方法发现的相似,但总计算成本比神经架构搜索(NAS)低两个数量级,比渐进式神经架构搜索(PNAS)低四倍以上。我们进一步表明,来自灵长类视觉系统的仅约300个神经元的测量提供了足够的信号来找到具有Imagenet top-1错误的网络,该错误显着低于单独通过性能引导的架构搜索实现的错误。这些结果表明,代表性匹配可以用来加速网络架构搜索的情况下,其中一个有机会获得一些或所有的内部表示的教师网络的兴趣,如大脑的感觉处理网络。
2019-09-06 cs.CV
Graph-guided Architecture Search for Real-time Semantic Segmentation
SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学);University of California, Los Angeles(加州大学洛杉矶分校)
设计轻量级的语义分割网络通常需要研究人员在性能和速度之间找到权衡,由于神经网络的可解释性有限,这总是经验性的。为了将研究人员从这些繁琐的机械试验中解放出来,我们提出了一个图形引导的架构搜索(GAS)管道来自动搜索实时的【形】语义分割网络。不同于以往的作品,使用一个简化的搜索空间和堆叠一个可重复的细胞,形成一个网络,我们引入了一种新的搜索机制,新的搜索空间,一个轻量级的模型,可以有效地探索通过细胞级的多样性和延迟导向的约束。具体地,为了产生小区级分集,通过小区独立的方式消除小区共享约束。然后,图卷积网络(GCN)无缝集成作为细胞之间的通信机制。最后,一个面向延迟的约束被赋予到搜索过程中,以平衡的速度和性能。在Cityscapes和CamVid数据集上进行的大量实验表明,GAS在准确性和速度之间实现了新的最先进的权衡。特别是在Cityscapes数据集上,GAS在Titan Xp上实现了73.5% mIoU的新最佳性能,速度为108.4 FPS。
2020-04-01 cs.CV
MPC-Net: A First Principles Guided Policy Search
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种模仿学习方法,用于控制具有已知模型的动态系统。我们的策略搜索方法由MPC的解决方案指导。这种类型的典型策略搜索方法最小化引导示范和学习策略之间的距离度量。然而,我们的损失函数对应于控制哈密顿量的最小化,这是从最优性原理推导出来的。因此,我们的算法直接试图解决的最优性条件与参数化类的控制律。此外,建议的损失函数明确编码的最优控制问题的约束,我们提供了数值证据,其最小化实现了改进的约束满足。我们训练的混合专家神经网络架构控制四足机器人,并表明这种政策结构非常适合这样的多模态系统。学习的政策可以成功地稳定不同的步态在真正的步行机器人从不到10分钟的演示数据。
2020-02-17 cs.LG cs.RO
Prior-Guided One-shot Neural Architecture Search
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院);Fujian Normal University(福建师范大学);Jimei University(集美大学)
神经架构搜索方法通过有效的权重共享超网训练来寻找最佳候选者。然而,最近的研究表明,独立架构和共享权重网络之间的性能排名一致性较差。在本文中,我们提出了先验引导的单次NAS(PGONAS),以加强超网的排名相关性。具体来说,我们首先探讨了激活函数的影响,并提出了一个平衡的抽样策略的基础上三明治规则,以减轻重量耦合的超网。然后,采用FLOPs和Zen-Score来指导具有排序相关损失的超网的训练。我们的PGONAS在CVPR 2022第二届轻量级NAS挑战赛的超网赛道中排名第三。代码可在https://github.com/pprp/CVPR2022-NAS?上获得竞争第一道第三道解决方案。
2022-06-27 cs.CV
GaiaFlow: Semantic-Guided Diffusion Tuning for Carbon-Frugal Search
University of Macau(澳门大学);Renmin University of China(中国人民大学);Fudan University(复旦大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);University of Liverpool(利物浦大学);Peking University(北京大学);Northeast Normal University(东北师范大学);Minzu University of China(民族大学)
GaiaFlow通过结合语义引导的扩散调优与硬件无关的性能建模策略,在保证检索精度的同时降低环境影响,实现了高效且可持续的神经搜索系统。
2026-08-04 cs.IR cs.LG
One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking
Stony Brook University(石溪大学);Microsoft Research Asia(微软亚洲研究院)
尽管取得了显着的进展,大多数神经架构搜索(NAS)方法集中在搜索一个单一的准确和强大的架构。为了进一步构建具有更好泛化能力和性能的模型,通常采用模型集成,并且其性能优于独立模型。受到模型集成优点的启发,我们建议同时搜索多个不同的模型,作为寻找强大模型的另一种方法。搜索集成是不平凡的,有两个关键的挑战:扩大搜索空间和搜索模型的潜在更复杂。在本文中,我们提出了一个一次性的神经集成架构搜索(NEAS)解决方案,以解决这两个挑战。对于第一个挑战,我们引入了一种新的基于多样性的度量来指导搜索空间收缩,同时考虑候选算子的潜力和多样性。对于第二个挑战,我们启用了一个新的搜索维度来学习不同模型之间的层共享,以提高效率。在ImageNet上的实验表明,该方法可以提高超网对集成架构的排名能力,并进一步提高搜索结果。与MobileNetV3和EfficientNet系列等最新技术相比,所发现的架构在对齐设置下实现了卓越的性能。此外,我们评估的泛化能力和鲁棒性的搜索架构的COCO检测基准,并实现了3.1%的改善AP相比MobileNetV3。代码和模型可在https://github.com/researchmm/NEAS上获得。
2021-07-16 cs.CV
Neural Inheritance Relation Guided One-Shot Layer Assignment Search
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Hikvision Research Institute(海康威视研究院)
在神经网络结构搜索中,层分配很少被作为一个独立的研究课题。在本文中,我们首次系统地研究了不同的层分配对网络性能的影响,通过建立一个架构数据集的层分配CIFAR-100。通过对数据集的分析,我们发现了不同层分配的网络之间的神经继承关系,即深层网络的最优层分配总是继承浅层网络的最优层分配。受这种神经遗传关系的启发,我们提出了一种有效的一次性层分配搜索方法,通过继承采样。具体地说,在浅层网络中搜索的最优层分配可以作为强采样先验提供给超网中的训练和搜索深层网络,这极大地减少了网络搜索空间。在CIFAR-100上进行的综合实验表明了该方法的有效性。我们的搜索结果与直接从建筑数据集中选择的最佳结果非常一致。为了进一步证实我们所提出的方法的泛化性,我们还在Tiny-ImageNet和ImageNet上进行了实验。在计算量不变的情况下,我们的搜索结果明显优于手工搜索结果。本文发现的神经遗传关系可以为通用神经结构搜索提供见解。
2020-02-28 cs.CV
Neural Architecture Search using Property Guided Synthesis
Google Research(谷歌研究院);Cohere(Cohere公司)
在过去的几年里,神经架构搜索(NAS)已经成为深度学习社区中越来越重要的工具。然而,尽管NAS最近取得了许多成功,但大多数现有方法在高度结构化设计空间内操作,因此仅探索神经架构的完整搜索空间的一小部分,同时还需要领域专家的大量手动工作。在这项工作中,我们开发的技术,使高效的NAS在一个显着更大的设计空间。为了实现这一点,我们建议执行NAS在一个抽象的搜索空间的程序属性。我们的主要见解如下:(1)抽象搜索空间明显小于原始搜索空间,(2)具有相似程序属性的架构也具有相似的性能;因此,我们可以在抽象搜索空间中更有效地搜索。为了实现这种方法,我们还提出了一种新的高效的合成过程,它接受了一组有前途的程序属性,并返回一个令人满意的神经结构。我们实现我们的方法,$α$ NAS,在一个进化的框架内,突变的程序属性的指导。从ResNet-34模型开始,$α$ NAS生成的模型在CIFAR-10上的精度略有提高,但参数减少了96%。在ImageNet上,$α$ NAS能够比视觉Transformer(FLOPS和参数减少30%),ResNet-50(FLOPS减少23%,参数减少14%)和EfficientNet(FLOPS和参数减少7%)有所改进,而不会降低精度。
2022-11-10 cs.LG cs.PL
Evidence-Guided Neural Architecture Selection under Uncertainty for Subject-Specific Blood Glucose Forecasting
organization= Department of Mechanical;Data-Enabled Sciences, University at Buffalo , city= Buffalo , state= NY , country= USA
提出EVIDENT框架,结合贝叶斯训练、证据排序和任务特定验证,在有限、噪声和异构数据中自动选择最优神经架构,用于个体化血糖预测。
2026-11-16 cs.LG physics.bio-ph
Efficient CNN Architecture Design Guided by Visualization
Huazhong University of Science and Technology(华中科技大学)
现代高效的卷积神经网络(CNN)通常采用相关可分离卷积(DSC)和神经结构搜索(NAS)来减少参数数目和降低计算复杂性。但网络的一些固有特性被忽视了。受可视化特征图和N $\times$ N(N $>$ 1)卷积核的启发,本文引入了几个准则,以进一步提高参数效率和推理速度。基于这些指导方针,我们的参数高效的CNN架构,称为\textit{VGNetG},实现了更好的准确性和更低的延迟比以前的网络约30% $\thicksim$ 50%的参数减少。我们的VGNetG-1.0MP在ImageNet分类数据集上使用0.99 M参数实现了67.7%的top-1准确率,使用1.14 M参数实现了69.2%的top-1准确率。此外,我们证明了边缘检测器可以取代可学习的depressive卷积层混合功能的N $\times$ N内核与固定的边缘检测内核。我们的VGNetF-1.5MP使用额外的高斯内核实现了64.4%(-3.2%)的top-1准确率和66.2%(-1.4%)的top-1准确率。
2022-07-21 cs.CV
Uncertainty-Guided Spatial Pruning Architecture for Efficient Frame Interpolation
Fudan University(复旦大学)
本文提出不确定性引导空间剪枝架构UGSP,通过不确定性掩码定位简单区域并跳过冗余计算,结合自对比训练策略,在保持帧插值性能的同时显著降低FLOPs。
2023-10-28 cs.CV
Mitigating Over-Optimization in PRM-Guided Search in Mathematical Reasoning by Optimizing the Guide
Northwestern University(西北大学)
本研究针对PRM引导数学推理搜索的过优化问题,提出极大极小PRM引导搜索方法,无需微调即可提升搜索性能17%-35%,在多数设置中优于基线方法。
2026-09-01 cs.AI cs.LG
Retro*: Learning Retrosynthetic Planning with Neural Guided A* Search
Georgia Institute of Technology(佐治亚理工学院);Galixir(星亢原);Google Research(谷歌研究院);Ant Financial(蚂蚁金服)
逆合成规划是有机化学中的一项重要任务,它确定了一系列可以导致目标产物合成的反应。大量可能的化学转化使得搜索空间的大小非常大,并且逆合成规划即使对于有经验的化学家也是具有挑战性的。然而,现有的方法要么需要昂贵的回报估计推出高方差,或优化搜索速度,而不是质量。在本文中,我们提出了Retro*,一种基于神经的A* 类算法,可以有效地找到高质量的合成路线。它将搜索保持为AND-OR树,并使用非策略数据学习神经搜索偏差。然后在此神经网络的指导下,在新的规划事件中有效地执行最佳优先搜索。在基准USPTO数据集上的实验表明,我们提出的方法在成功率和解决方案质量方面优于现有的最先进的方法,同时更高效。
2020-06-29 cs.AI cs.LG stat.ML
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文提出了一种新的种群引导并行学习方案,以提高离线强化学习(RL)的性能。在该方案中,多个相同的学习器使用各自的值函数和策略,共享一个经验重放缓冲区,在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围,从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围,可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性(TD 3)策略梯度算法,构建了工作算法。数值结果表明,该算法的性能优于目前大多数最先进的强化学习算法,在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Limits of PRM-Guided Tree Search for Mathematical Reasoning with LLMs
University of Tübingen(图宾根大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);Western University(西部大学)
本研究提出自适应算法最大化PRM分数,发现PRM引导的树搜索相比BoN无显著提升,且PRM可靠性随深度下降,需改进奖励建模。
2025-10-23 cs.AI cs.LG
Incorporating domain knowledge into neural-guided search
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
许多AutoML问题涉及在黑盒奖励下优化离散对象。神经引导搜索提供了一种灵活的方法,使用自回归递归神经网络搜索这些组合空间。这种方法的一个主要好处是顺序构建对象--这提供了一个通过直接修改采样期间发出的logit将领域知识纳入搜索的机会。在这项工作中,我们正式的框架,将这种在原位的先验和约束神经引导搜索,并提供充分的条件,强制执行的约束。我们整合了现有的工作到这个框架中的先验和约束,提出了几个新的,并证明了它们的有效性,通知任务的象征性回归。
2021-07-19 cs.LG
Policy-Guided Heuristic Search with Guarantees
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
使用策略和启发式函数来引导搜索在对抗性问题中非常有效,正如AlphaGo及其后继者所证明的那样,它们基于PUCT搜索算法。虽然PUCT也可以用来解决单智能体确定性问题,但它缺乏对搜索工作的保证,并且在实践中计算效率低下。将A* 算法与学习的启发式函数相结合往往在这些领域中工作得更好,但A* 及其变体不使用策略。此外,使用A* 的目的是找到最小成本的解决方案,而我们则寻求最小化搜索损失(例如,搜索步骤的数量)。LevinTS由策略指导,并提供与策略质量相关的搜索步骤数量的保证,但它不使用启发式函数。在这项工作中,我们介绍了政策指导的启发式搜索(PHS),一种新的搜索算法,使用一个启发式函数和一个政策,并有理论保证的搜索损失,涉及的启发式和政策的质量。我们经验表明,从商业游戏“见证人”的PHS,使快速学习的政策和启发式功能,并与A*,加权A*,贪婪的最佳优先搜索,LevinTS和PUCT的问题解决的数量和搜索时间在所有三个域测试方面相比毫不逊色的滑块难题,推箱子,和一个难题。
2021-03-21 cs.AI cs.LG
HMM-guided frame querying for bandwidth-constrained video search
California Institute of Technology(加州理工学院)
我们设计了一个代理搜索感兴趣的帧存储在远程服务器上的视频,在带宽的限制。使用卷积神经网络对单个帧进行评分,并使用隐马尔可夫模型跨帧传播预测,我们的代理基于稀疏的策略采样帧准确地识别感兴趣的时间区域。在ImageNet-VID数据集的一个子集上,我们证明了使用隐马尔可夫模型在帧分数之间进行插值,可以忽略98%的帧请求,而不会影响感兴趣帧的分类准确性。
2019-12-31 cs.CV cs.LG
Policy Guided Tree Search for Enhanced LLM Reasoning
针对大语言模型复杂推理能力不足的问题,提出策略引导树搜索(PGTS)框架,通过学习策略动态决策推理路径探索方式,在多任务基准测试中实现更优推理性能并显著降低计算成本。
2025-02-04 cs.AI cs.LG
Guided Policy Search as Approximate Mirror Descent
University of Washington(华盛顿大学)
引导策略搜索算法可用于优化复杂的非线性策略,如深度神经网络,而无需直接计算高维参数空间中的策略梯度。相反,这些方法使用监督学习来训练策略以模仿“教师”算法,例如轨迹优化器或以轨迹为中心的强化学习方法。引导策略搜索方法通过构造提供了渐近局部收敛保证,但不清楚在有限的迭代次数内策略改进了多少。我们表明,指导政策搜索算法可以被解释为一个近似的变形镜像下降,在约束流形上的投影是不准确的。我们推导出一种新的指导策略搜索算法,该算法更简单,并在简化的凸和线性设置中提供了吸引人的改进和收敛保证,并表明在更一般的非线性设置中,投影步骤中的误差可以有界。我们提供了几个模拟机器人导航和操作任务的实证结果,表明我们的方法是稳定的,并实现了类似或更好的性能相比,以前的指导政策搜索方法,具有更简单的制定和更少的超参数。
2016-07-15 cs.LG cs.RO
CARL: Causality-guided Architecture Representation Learning for an Interpretable Performance Predictor
College of Computer Science, Sichuan University(四川大学计算机学院)
针对NAS性能预测器因分布偏移而学习虚假相关性的问题,本文提出因果引导架构表示学习方法CARL,通过分离关键与冗余子结构并生成干预样本,在五个搜索空间上取得最先进准确率和可解释性。
2025-06-04 cs.AI cs.LG
Simulation-guided Beam Search for Neural Combinatorial Optimization
Samsung SDS(三星SDS);Bielefeld University(比勒费尔德大学)
组合优化(CO)的神经方法配备了一个学习机制,以发现解决复杂现实世界问题的强大算法。虽然能够在Single Shot中获得高质量解决方案的神经方法正在出现,但最先进的方法通常无法充分利用可用的求解时间。相比之下,手工构造的算法可以很好地执行高效搜索,并利用给定的计算时间,但包含难以适应正在求解的数据集的算法。为了给神经CO方法提供一个强大的搜索过程,我们提出了模拟引导的束搜索(SGBS),它在一个固定宽度的树搜索中检查候选解决方案,神经网络学习的策略和模拟(推出)识别为有前途的。我们进一步杂交SGBS与有效的主动搜索(EAS),其中SGBS提高了EAS中反向传播的解决方案的质量,EAS提高了SGBS中使用的政策的质量。我们评估我们的方法在著名的CO基准测试,并表明SGBS显着提高了合理的运行时间假设下找到的解决方案的质量。
2022-11-17 cs.AI cs.LG
Neural-guided, Bidirectional Program Search for Abstraction and Reasoning
Massachusetts Institute of Technology(麻省理工学院);Raytheon BBN Technologies(雷神BBN技术公司);Boston University(波士顿大学);Princeton University(普林斯顿大学)
当今人工智能研究面临的挑战之一是设计能够利用系统推理来概括新任务的系统。抽象和推理语料库(ARC)通过一组视觉推理任务来衡量这种能力。在本文中,我们报告了ARC的渐进式进展,并为两种不基于蛮力搜索的抽象和推理方法奠定了基础。我们首先应用现有的程序合成系统称为DreamCoder创建符号抽象的任务解决到目前为止,并显示它如何使解决越来越具有挑战性的ARC任务。其次,我们设计了一个推理算法的动机,人类的方式接近ARC。我们的算法构造了一个搜索图,并在此图结构的原因,发现任务的解决方案。更具体地说,我们扩展现有的执行引导的程序合成方法与演绎推理的基础上的功能逆语义,使神经引导的双向搜索算法。我们证明了算法的有效性三个域:ARC,24场比赛的任务,和一个“双加”算术难题。
2021-10-26 cs.AI cs.LG
Woulda, Coulda, Shoulda: Counterfactually-Guided Policy Search
DeepMind(深度思维)
对模型合成的数据的学习策略原则上可以满足强化学习算法对大量真实经验的需求,而这些经验的获取通常是昂贵的。然而,模拟合理的经验从头是一个困难的问题,许多复杂的环境,往往导致基于模型的政策评估和搜索的偏见。而不是从头合成的数据,在这里,我们假设记录,真实的经验和模型的替代结果,这种经验下的反事实的行动,行动,实际上没有采取。在此基础上,我们提出了反事实指导的政策搜索(CF-GPS)算法POMDPs的学习政策从离政策的经验。它利用结构因果模型对个别政策外事件的任意政策进行反事实评估。CF-GPS可以通过利用可用的日志数据来消除模型预测的偏差,从而改进基于香草模型的RL算法。与基于重新加权数据的重要性采样的非策略算法相比,CF-GPS利用模型来明确考虑替代结果,从而允许算法更好地利用经验数据。我们发现经验,这些优势转化为改善政策评估和搜索结果的一个非平凡的网格世界的任务。最后,我们表明,CF-GPS概括了以前提出的引导策略搜索和基于重新参数化的算法,如随机值梯度可以被解释为反事实的方法。
2018-11-15 cs.LG stat.ML
PreviewDiff: Multimodal Critic-Guided Search over Diffusion Latents
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Cloud AI Research(谷歌云人工智能研究部);UCSF(加州大学旧金山分校)
PreviewDiff提出无需训练的测试时搜索方法,将扩散采样转为多模态评论引导的潜空间搜索,通过部分预览和反馈分支改进生成,在图像视频基准上优于Best-of-N。
2026-09-30 cs.AI cs.CV cs.LG
Predicting and improving test-time scaling laws via reward tail-guided search
Department of Statistical Sciences, University of Toronto(多伦多大学统计科学系);Department of AI and Data Science, University of Hong Kong(香港大学人工智能与数据科学系)
本文提出通过奖励尾部引导搜索预测并改进LLM测试时间扩展规律,通过动态分配计算资源提升推理能力。
2026-02-01 cs.LG stat.ML
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在结构化输出预测任务中,标记地面实况训练输出通常是昂贵的。然而,对于许多任务,即使真正的输出是未知的,我们也可以使用标量奖励函数来评估预测,这可以很容易地从人类知识或不可微管道中组装出来。但是,搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中,我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络(SPEN),它使用基于梯度的搜索在平滑的,学习的分数景观表示上提供有效的测试时推理,并且以前已经在结构化预测中产生了最先进的结果。特别是,这种截断随机搜索的奖励函数产生以前未知的局部改进,提供有效的监督SPEN,避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
Pennsylvania State University(宾夕法尼亚州立大学);Dalian University of Technology(大连理工大学);GE Healthcare(GE医疗);Stony Brook University(石溪大学)
针对自动参数高效微调中搜索空间纠缠与预算整合不足的问题,提出BIPEFT策略,通过迭代解耦搜索空间及基于预算的早期选择机制,显著提升了低参数预算下大型预训练模型的微调效率与性能。
2024-10-04 cs.AI cs.CL cs.LG
Guided evolutionary strategies: Augmenting random search with surrogate gradients
Google Research(谷歌研究院)
机器学习中的许多应用需要优化其真实梯度未知的函数,但是替代梯度信息(可能与真实梯度相关但不一定相同的方向)可用。当近似梯度比完整梯度更容易计算时(例如,在元学习或展开优化中),或者当真实梯度难以处理并被替代时(例如,在某些强化学习应用中,或者当使用合成梯度时),就会出现这种情况。我们提出了指导进化策略,最佳地使用代理梯度方向与随机搜索的方法。我们定义了一个搜索分布的进化策略,是拉长沿引导子空间跨越的代理梯度。这允许我们估计下降方向,然后可以将其传递给一阶优化器。我们分析和数值特征的权衡结果,从调整如何强烈的搜索分布是沿着引导子空间拉伸,我们用它来获得一个设置的超参数,以及在整个问题。最后,我们将我们的方法应用到示例问题中,证明了标准进化策略和一阶方法(直接遵循代理梯度)的改进。我们在https://github.com/brain-research/guided-evolutionary-strategies上提供了引导ES的演示
2019-06-10 cs.LG cs.NE stat.ML
Neurally-Guided Structure Inference
Shanghai Jiao Tong University(上海交通大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);IIIS, Tsinghua University(清华大学智能产业研究院);Department of Brain and Cognitive Sciences, MIT(麻省理工学院脑与认知科学系);Center for Brains, Minds and Machines (CBMM), MIT(麻省理工学院脑、心智与机器中心)
大多数结构推理方法要么依赖于穷举搜索,要么纯粹是数据驱动的。穷举搜索可以稳健地推断任意复杂数据的结构,但速度较慢。数据驱动的方法允许有效的推理,但当测试数据具有比训练数据更复杂的结构时,不能推广。在本文中,我们提出了一种混合推理算法,神经元引导结构推理(NG-SI),保持基于搜索和数据驱动的方法的优点。NG-SI的关键思想是使用神经网络来指导在结构的组成空间上的分层、逐层搜索。我们评估我们的算法上的两个代表性的结构推理任务:概率矩阵分解和符号程序解析。它在这两项任务上都优于数据驱动和基于搜索的替代方案。
2019-08-15 cs.AI cs.LG cs.SC
Alpha Discovery via Grammar-Guided Learning and Search
University of Electronic Science and Technology of China(电子科技大学);King's College London(伦敦国王学院);University of Southampton(南安普顿大学)
AlphaCFG通过语法引导的学习与搜索方法,高效发现金融中可解释且高效的Alpha因子,提升交易盈利能力。
2026-01-29 cs.AI cs.LG q-fin.CP
Graph Attention-Guided Search for Dense Multi-Agent Pathfinding
∗ , Keisuke Okumura 1,2∗ , Michael Amir 1 , Amanda Prorok 1(1、Okumura、Amir、Prorok)
本文提出LaGAT混合框架,将增强型图注意力神经策略MAGAT的学习启发式集成进LaCAM,并结合微调与死锁检测,在稠密MAPF场景中超越纯搜索和纯学习方法。
2025-10-20 cs.AI cs.LG cs.MA
Physics-Guided Architecture (PGA) of Neural Networks for Quantifying Uncertainty in Lake Temperature Modeling
Virginia Tech(弗吉尼亚理工大学);U.S. Geological Survey(美国地质调查局)
为了同时满足在深度学习模型中表达不确定性以及产生与已知科学知识一致的模型输出的日益增长的需求,我们在湖温建模的背景下提出了一种新的物理引导的神经网络架构(PGA),其中物理约束在神经网络架构中被硬编码。这使我们能够将这些模型与最先进的不确定性估计方法(如Monte Carlo(MC)Dropout)相结合,而不会牺牲我们结果的物理一致性。我们证明了我们的方法的有效性,以确保更好的概括性以及物理一致性MC估计从威斯康星州的门多塔湖和弗吉尼亚州的Falling Creek水库收集的数据,即使有限的训练数据。我们进一步表明,我们的MC估计正确地匹配地面实况观测的分布,从而使PGA范式适合物理接地的不确定性量化。
2019-11-06 cs.LG physics.comp-ph stat.ML
MLE-guided parameter search for task loss minimization in neural sequence modeling
New York University(纽约大学)
神经自回归序列模型用于在各种自然语言处理(NLP)任务中生成序列,并根据序列级任务损失对其进行评估。这些模型通常使用最大似然估计进行训练,它忽略了任务损失,但经验上表现良好,作为替代目标。用于直接优化任务丢失的典型方法(诸如策略梯度和最小风险训练)是基于在序列空间中的采样以获得基于单个序列的丢失来评分的候选更新方向。在本文中,我们开发了一种替代方法,基于随机搜索的参数空间,利用访问的最大似然梯度。我们提出了最大似然引导参数搜索(MGS),它从更新方向上的分布中采样,该更新方向是围绕当前参数和围绕最大似然梯度的随机搜索的混合,每个方向由其在任务损失中的改进加权。MGS将采样转移到参数空间,并使用从多个序列中汇集的损失对候选者进行评分。我们的实验表明,MGS能够优化序列级损失,大大减少重复和非终止序列完成,并在机器翻译的最小风险训练的类似改进。
2020-10-05 cs.LG stat.ML
Decision Making guided by Emotion A computational architecture
Université Paris-Sud(巴黎第十一大学);CNRS(法国国家科学研究中心);LIMSI–CNRS(LIMSI 实验室)
提出了一种计算架构,其中“快速而模糊”的情感通道引导“缓慢而精确”的决策通道。报告的神经生物学研究首先提供了提示的代表性的情绪和认知层面的大脑结构,介导的神经调节系统。相关模型是基于引导传播网络,其内部流量可以通过调制来引导。这个模型的关键通道是从一些情绪线索中产生的,目的是预测正在进行的可能行动的后果。目前的计算机模拟实验结果显示了几种情绪影响的综合贡献,以及意外的全面情绪的问题。
2019-11-22 cs.LG cs.NE q-bio.NC
StepCAD: Mesh-to-CAD Code Generation via LLM Policy and Geometry-Guided Search
Massachusetts Institute of Technology(麻省理工学院)
StepCAD提出一种结合状态条件CAD策略与IoU引导树搜索的生成优化方法,从网格恢复可执行CAD程序,并引入含150万程序的数据集,在重建基准上实现最高87.2%的相对IoU提升。
2026-10-06 cs.CV cs.LG
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
MedCondDiff: Lightweight, Robust, Semantically Guided Diffusion for Medical Image Segmentation
MedCondDiff通过语义引导的扩散模型实现高效、稳健的多器官医学图像分割,适用于多种成像模态和解剖区域。
2025-11-29 cs.AI cs.CV cs.LG
Graph Neural Network Guided Local Search for the Traveling Salesperson Problem
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学)
旅行推销员问题(TSP)的解决方案在运输、物流和自动化过程中具有实际应用,但必须以最小的延迟进行计算,以满足底层任务的实时性。然而,解决大型TSP的情况下,快速而不牺牲解决方案的质量仍然是目前的近似算法的挑战。为了缩小这一差距,我们提出了一种混合数据驱动的方法来解决TSP的基础上图神经网络(GNNs)和引导局部搜索(GLS)。我们的模型预测了在解决方案中包含问题图的每条边的遗憾; GLS将这些预测与原始问题图结合起来找到解决方案。我们的实验表明,这种方法收敛到最优解的速度比最近的三个学习为基础的方法的TSP。值得注意的是,我们将100节点问题集的平均最优性差距从1.534%降低到0.705%,提高了2倍。当从20个节点的实例推广到100个节点的问题集时,我们将最优性差距从18.845%降低到2.622%,提高了7倍。
2022-04-04 cs.LG stat.ML
Guided Policy Search Based Control of a High Dimensional Advanced Manufacturing Process
Raytheon Technologies Research Center(雷神技术研究中心)
在本文中,我们应用基于引导策略搜索(GPS)的强化学习框架的增材制造过程中出现的高维最优控制问题。该问题包括控制工艺参数,使得材料的逐层沉积导致所得零件表面的期望几何特性,同时使沉积的材料最小化。沉积过程的真实仿真模型以及基于迭代线性二次调节器生成的精心选择的一组指导分布用于使用GPS训练神经网络策略。实验测试了基于训练策略和沉积轮廓的原位测量的闭环控制,并显示出良好的性能。
2020-09-12 cs.LG cs.SY eess.SY
HeuFouFT: Task-Guided Metaheuristic Coordinate Search for Fourier Fine-Tuning
Beihang University(北京航空航天大学);Shanghai Jiao Tong University(上海交通大学);VinUniversity
HeuFouFT提出任务引导的元启发式搜索(GA-SA、PSO、CS)选择傅里叶微调坐标,在E2E上优于现有方法,且FLOPs仅为全微调的15-18%。
2026-10-06 cs.CL cs.LG
NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search
The George Washington University(乔治华盛顿大学);Northeastern University(东北大学)
NonZero通过交互引导的提议规则,在低维非线性表示中进行代理引导选择,提升多智能体MCTS的可扩展性与探索效率。
2026-05-01 cs.LG
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出自适应对比搜索解码策略,通过模型每一步的估计不确定性引导自适应退化惩罚,在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
Value-Guided Search for Efficient Chain-of-Thought Reasoning
针对长上下文推理中过程奖励建模难以定义步骤的问题,提出token级价值模型与分块VGS搜索,并用加权多数投票提升测试时扩展效率、降低推理FLOPs。
2025-09-30 cs.AI cs.CL cs.LG
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学)
强化学习(RL)已经取得了显著的成就,但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题,人口引导新奇搜索(PNS)的并行学习方法,本文提出。在PNS中,种群被划分为多个子种群,每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略,并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导,同时,上传他们的政策,以首席代理。为了平衡探索和利用,每个首席代理都采用了新奇搜索(NS),以鼓励具有高新奇性的政策,同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性(TD 3)策略梯度算法。PNS的有效性,以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是,PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略,以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Uncertainty-Guided Likelihood Tree Search
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);GenAI at Meta(Meta的生成式人工智能部门)
针对序贯决策中树搜索似然评估成本高、路径稀疏的问题,提出基于似然正则性假设的不确定性引导概率树搜索算法,可回溯且权衡探索利用,无需昂贵滚动评估与复杂贝叶斯推断,实验验证其能以更少高成本评估找到高似然路径。
2025-09-04 cs.LG
Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft(微软)
响应于模糊或分面查询而提出澄清性问题已经被认为是用于各种信息检索系统,特别是具有有限带宽接口的会话式搜索系统的有用技术。分析和生成澄清问题最近已经被研究,但准确利用用户的反应澄清问题已经相对较少探索。在本文中,我们使用一种新的注意力机制来丰富Transformer网络学习到的表示,该机制来自外部信息源,对会话中的每个术语进行加权。我们在一个包括澄清问题的对话搜索场景中评估这个引导式Transformer模型。在我们的实验中,我们使用了两个独立的外部来源,包括检索到的顶级文档和一组不同的可能的查询澄清问题。我们实现了建议的表示学习模型的两个下游任务,在会话搜索:文档检索和下一个澄清问题的选择。我们的实验使用公共数据集进行搜索澄清,并与竞争基线相比表现出显着的改进。
2020-06-13 cs.CL cs.IR cs.LG
A reinforcement learning application of guided Monte Carlo Tree Search algorithm for beam orientation selection in radiation therapy
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
由于大的组合问题,当前用于放射治疗的射束取向优化算法(诸如列生成(CG))本质上通常是启发式的或贪婪的,导致次优解。我们提出了一种强化学习策略,使用蒙特卡洛树搜索能够找到一个优越的波束方向集,并在更短的时间比CG。我们利用了强化学习结构,涉及监督学习网络指导蒙特卡洛树搜索(GTS)探索波束方向选择问题的决策空间。我们之前已经训练了一个深度神经网络(DNN),该网络接受患者解剖结构,器官重量和当前射束,然后近似射束适应值,指示下一个最佳射束添加。该DNN用于概率性地引导遍历蒙特卡洛决策树的分支,以向计划添加新射束。为了测试该算法的可行性,我们使用13名测试前列腺癌患者解决了5束计划,不同于最初训练DNN的57名训练和验证患者。为了展示GTS相对于其他搜索方法的优势,还提供了其他三种搜索方法(包括引导搜索、均匀树搜索和随机搜索算法)的性能。平均而言,GTS优于所有其他方法,它平均在237秒内找到比CG更好的解决方案,而CG需要360秒,并且在不到1000秒内找到具有较低目标函数值的解决方案方面优于所有其他方法。使用我们的引导树搜索(GTS)方法,我们能够保持类似的计划靶体积(PTV)覆盖率在1%的误差内,并降低身体、直肠、左右股骨头的危险器官(OAR)平均剂量,但膀胱平均剂量略有增加1%。
2020-04-14 cs.CV cs.LG eess.IV
Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation
Tencent Inc., China(腾讯公司,中国)
V-STAR通过价值引导的结构采样和树状优势强化框架,提升生成推荐系统的探索效率和RL学习效果。
2026-02-12 cs.AI cs.LG
Program Synthesis Through Reinforcement Learning Guided Tree Search
Princeton University(普林斯顿大学)
程序合成是根据提供的规范生成程序的任务。传统上,这被程序设计语言(PL)社区视为搜索问题,最近被机器学习社区视为监督学习问题。在这里,我们提出了第三种方法,将给定程序的合成任务表示为可通过强化学习(RL)求解的马尔可夫决策过程。从部分程序的状态的观察,我们试图找到一个程序,是最佳的奖励度量对程序和状态。我们在RISC-V汇编语言的一个子集上实例化了这种方法,该语言操作于浮点数,作为PL社区基于搜索的技术的优化,我们将RL与优先级搜索树相结合。我们评估这种实例化,并证明了我们的组合方法的有效性相比,各种基线,包括纯RL消融和最先进的马尔可夫链蒙特卡罗搜索方法在这项任务上。
2018-06-08 cs.AI cs.LG cs.NE