AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning
Texas A&M University(德克萨斯农工大学);NEC Laboratories America(NEC美国实验室)
离群点检测是一个重要的数据挖掘任务,具有许多实际应用,如入侵检测,信用卡欺诈检测和视频监控。然而,鉴于大数据的特定复杂任务,构建基于深度学习的强大离群值检测系统的过程仍然高度依赖于人类专业知识和劳动试验。尽管神经架构搜索(NAS)在发现图像分类、目标检测和语义分割等各个领域的有效深度架构方面显示出了其前景,但由于缺乏内在搜索空间、搜索过程不稳定以及低样本效率,当代NAS方法不适合离群点检测。为了弥补这一差距,在本文中,我们提出了AutoOD,一个自动离群值检测框架,其目的是在预定义的搜索空间内搜索最优的神经网络模型。具体来说,我们首先设计了一个好奇心引导的搜索策略来克服局部最优的诅咒。控制器,作为一个搜索代理,鼓励采取行动,以最大限度地提高控制器的内部信念的信息增益。为了提高样本效率,我们还引入了一种基于自模仿学习的经验回放机制。在各种真实世界基准数据集上的实验结果表明,与现有的手工模型和传统的搜索方法相比,AutoOD识别的深度模型具有最佳的性能。
2020-06-19 cs.LG stat.ML
GaiaFlow: Semantic-Guided Diffusion Tuning for Carbon-Frugal Search
University of Macau(澳门大学);Renmin University of China(中国人民大学);Fudan University(复旦大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);University of Liverpool(利物浦大学);Peking University(北京大学);Northeast Normal University(东北师范大学);Minzu University of China(民族大学)
GaiaFlow通过结合语义引导的扩散调优与硬件无关的性能建模策略,在保证检索精度的同时降低环境影响,实现了高效且可持续的神经搜索系统。
2026-08-04 cs.IR cs.LG
Posterior-Guided Neural Architecture Search
University of Science Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
神经结构搜索的出现极大地推动了网络设计的研究。最近的建议,如基于梯度的方法或一次性的方法显着提高NAS的效率。在本文中,我们制定的NAS问题从贝叶斯的角度来看。我们提出明确估计联合后验分布对网络架构和权重。因此,提出了一种混合网络表示,使我们能够利用变分丢弃,使后验分布的近似变得完全基于梯度和高效。然后提出了一种后验引导抽样方法,对候选体系结构进行抽样并直接进行评估。作为一种贝叶斯方法,我们的后验引导NAS(PGNAS)避免了调整一些超参数,并在后验概率空间中实现了非常有效的架构采样。有趣的是,它还导致对一次性NAS中使用的权重共享的更深入的了解,并自然地消除了由权重共享引起的采样架构和权重之间的不匹配。我们验证我们的PGNAS方法的基本图像分类任务。Cifar-10、Cifar-100和ImageNet上的结果表明,PGNAS在NAS方法中实现了搜索精度和速度之间的良好权衡。例如,在Cifar 10和Cifar 100上搜索一个非常有竞争力的架构需要11个GPU天,测试错误率分别为1.98%和14.28%。
2019-12-06 cs.LG stat.ML
Neural Architecture Search using Property Guided Synthesis
Google Research(谷歌研究院);Cohere(Cohere公司)
在过去的几年里,神经架构搜索(NAS)已经成为深度学习社区中越来越重要的工具。然而,尽管NAS最近取得了许多成功,但大多数现有方法在高度结构化设计空间内操作,因此仅探索神经架构的完整搜索空间的一小部分,同时还需要领域专家的大量手动工作。在这项工作中,我们开发的技术,使高效的NAS在一个显着更大的设计空间。为了实现这一点,我们建议执行NAS在一个抽象的搜索空间的程序属性。我们的主要见解如下:(1)抽象搜索空间明显小于原始搜索空间,(2)具有相似程序属性的架构也具有相似的性能;因此,我们可以在抽象搜索空间中更有效地搜索。为了实现这种方法,我们还提出了一种新的高效的合成过程,它接受了一组有前途的程序属性,并返回一个令人满意的神经结构。我们实现我们的方法,$α$ NAS,在一个进化的框架内,突变的程序属性的指导。从ResNet-34模型开始,$α$ NAS生成的模型在CIFAR-10上的精度略有提高,但参数减少了96%。在ImageNet上,$α$ NAS能够比视觉Transformer(FLOPS和参数减少30%),ResNet-50(FLOPS减少23%,参数减少14%)和EfficientNet(FLOPS和参数减少7%)有所改进,而不会降低精度。
2022-11-10 cs.LG cs.PL
Data-Local Autonomous LLM-Guided Neural Architecture Search for Multiclass Multimodal Time-Series Classification
University of Southampton(南安普顿大学)
本文提出一种数据本地的LLM引导神经架构搜索框架,用于多类多模态时间序列分类,通过轻量级融合MLP和专家架构联合搜索提升模型性能,减少人工干预。
2026-03-16 cs.AI cs.LG
Guided Evolution for Neural Architecture Search
NOVA LINCS;Universidade da Beira Interior(贝拉内陆大学)
神经结构搜索(NAS)方法已成功地应用于图像任务,取得了良好的效果。然而,NAS方法通常是复杂的,并且一旦生成的架构似乎产生良好的结果,就倾向于收敛到局部最小值。在本文中,我们提出了G-EA,一种新的指导进化NAS的方法。G-EA背后的基本原理是通过在初始化阶段使用零代理估计器在每一代中生成和评估几个架构来探索搜索空间,其中只有最高得分的网络被训练并保留用于下一代。在初始化阶段的这种评估允许在不增加计算的情况下从搜索空间连续提取知识,从而允许有效地引导搜索。此外,G-EA迫使后代利用性能最好的网络,同时迫使父母突变和有利于年轻的架构,以损害老年人的探索。实验结果表明,G-EA在NAS-Bench-201搜索空间中,在CIFAR-10、CIFAR-100和ImageNet16 - 120上的平均准确率分别为93.98%、72.12%和45.94%。
2021-10-28 cs.AI cs.CV cs.LG
CoLLM-NAS: Collaborative Large Language Models for Efficient Knowledge-Guided Neural Architecture Search
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机科学技术研究院)
本文提出CoLLM-NAS,一种基于协作大型语言模型的两阶段神经架构搜索框架,通过导航和生成两个LLM及协调模块,有效指导搜索过程,提升效率并取得新状态最优结果。
2026-05-17 cs.AI cs.CV cs.LG
MemNet: Memory-Efficiency Guided Neural Architecture Search with Augment-Trim learning
Beijing University of Posts and Telecommunications(北京邮电大学);Columbia University(哥伦比亚大学)
最近关于自动神经结构搜索的研究已经证明了显着的性能,与手工制作的神经结构竞争甚至更好。然而,大多数现有的网络架构倾向于使用残余,并行结构和连接块之间的浅和深的功能来构建一个大的网络。这需要大量的内存来存储权重和特征图。这对于移动设备和嵌入式设备来说是具有挑战性的,因为它们可能没有足够的内存来使用所设计的大型网络模型执行推理。为了缩小这一差距,我们提出了MemNet,一个基于增强修剪学习的神经网络搜索框架,不仅优化了性能,而且还优化了内存需求。具体而言,它采用基于内存消耗的排名分数,强制内存消耗的上限,用于导航搜索过程。实验结果表明,与现有的高效设计方法相比,MemNet可以找到一种具有竞争力的准确率和平均节省24.17%内存的体系结构。
2020-06-10 cs.CV cs.LG stat.ML
NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search
Xidian University(西安电子科技大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
神经网络结构搜索是一种很有前途的自动设计神经网络结构的方法。NAS采用一种搜索策略来探索预定义的搜索空间,以最小的搜索代价找到性能优异的体系结构。贝叶斯优化和进化算法是两种常用的搜索策略,但它们存在计算量大、实现困难或搜索能力低的问题。本文提出了一种神经预测器引导的进化算法,以增强进化算法的探索能力,并设计了两种神经预测器。第一个预测是从贝叶斯优化定义,我们提出了一个基于图的不确定性估计网络作为一个代理模型,易于实现和计算效率。第二预测器是基于图的神经网络,其直接输出输入神经架构的性能预测。使用两个神经预测器的NPENAS分别表示为NPENAS-BO和NPENAS-NP。此外,我们引入了一种新的随机结构抽样方法,以克服现有的抽样方法的缺点。大量的实验证明了NPENAS的优越性。在三个NAS搜索空间上的定量结果表明,NPENAS-BO和NPENAS-NP都优于大多数现有的NAS算法,NPENAS-BO在NASBench-201上达到最先进的性能,NPENAS-NP在NASBench-101和DARTS上分别达到最先进的性能。
2020-09-10 cs.AI cs.CV cs.LG
Guided Evolutionary Neural Architecture Search With Efficient Performance Estimation
Universidade da Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所);DeepNeuronic(DeepNeuronic公司)
神经结构搜索(NAS)方法已成功地应用于图像任务,取得了良好的效果。然而,NAS方法通常是复杂的,并且一旦生成的架构似乎产生良好的结果,就倾向于收敛到局部最小值。本文提出了GEA,一种新的方法引导NAS。GEA通过探索搜索空间来指导进化,方法是在初始化阶段使用零代理估计器在每一代中生成和评估几个架构,其中只有得分最高的架构被训练并保留用于下一代。随后,GEA不断提取知识的搜索空间,而不增加复杂性,从现有的架构在每一代产生几个后代。更重要的是,GEA迫使后代利用最高性能的架构,同时通过父代突变来推动探索,并有利于年轻的架构,而不利于旧的架构。实验结果证明了该方法的有效性,广泛的烧蚀研究评估不同参数的重要性。结果表明,GEA在NAS-Bench-101、NAS-Bench-201和TransNAS-Bench-101基准测试的所有数据集上都取得了最先进的结果。
2022-07-22 cs.AI cs.CV cs.LG
LLM-Guided Neural Architecture Search for Robust Co-Design of Physical Neural Networks
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
提出UH-NAS框架,利用大语言模型作为进化算子,协同优化任务准确率和推理能耗,实现跨硬件平台的公平比较,在光学MZI硬件上发现更鲁棒的架构。
2026-06-09 cs.AI cs.AR cs.LG
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis
University of Texas at Austin(德克萨斯大学奥斯汀分校);RIKEN AIP(理化学研究所先进智能项目中心);Princeton University(普林斯顿大学)
由人类或AutoML算法设计的高级深度神经网络(DNN)正变得越来越复杂。不同的操作通过复杂的连接模式连接,例如,各种类型的跳过连接。这些拓扑组合在经验上是有效的,并且被观察到平滑损失景观并促进一般的梯度流。然而,对于它们对DNN容量或可训练性的影响的任何原则性理解,以及理解为什么或在哪个方面一个特定的连接模式比另一个更好,仍然是难以捉摸的。在这项工作中,我们从理论上描述了连接模式对细粒度梯度下降训练下DNN收敛的影响。通过分析广域网络的神经网络高斯过程(NNGP),我们能够描述NNGP内核的频谱如何通过特定的连接模式传播,以及如何影响收敛速率的范围。作为我们的结果的一个实际含义,我们表明,通过对“不希望”的连接模式进行简单的过滤,我们可以削减要评估的模型的数量,并显着加快大规模神经架构搜索,而无需任何开销。代码可从以下网址获得:https://github.com/VITA-Group/architecture_convergence。
2022-10-12 cs.LG
Curating Same-Family Neural Networks for LLM-Guided Model Improvement: A Controlled Case Study
University of Würzburg(维尔茨堡大学);Computer Vision Lab, CAIDAS(计算机视觉实验室,CAIDAS)
研究利用同家族强源模型改进弱目标模型,提出源引导候选生成协议,在CIFAR - 10和SVHN AlexNet等数据集上实验,结果表明该协议能显著提高准确性,且大语言模型是适应性改进而非复制,家族级分析有积极信号。
2026-08-28 cs.CV cs.LG
Incorporating domain knowledge into neural-guided search
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
许多AutoML问题涉及在黑盒奖励下优化离散对象。神经引导搜索提供了一种灵活的方法,使用自回归递归神经网络搜索这些组合空间。这种方法的一个主要好处是顺序构建对象--这提供了一个通过直接修改采样期间发出的logit将领域知识纳入搜索的机会。在这项工作中,我们正式的框架,将这种在原位的先验和约束神经引导搜索,并提供充分的条件,强制执行的约束。我们整合了现有的工作到这个框架中的先验和约束,提出了几个新的,并证明了它们的有效性,通知任务的象征性回归。
2021-07-19 cs.LG
NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search
The George Washington University(乔治华盛顿大学);Northeastern University(东北大学)
NonZero通过交互引导的提议规则,在低维非线性表示中进行代理引导选择,提升多智能体MCTS的可扩展性与探索效率。
2026-05-01 cs.LG
Uncertainty-Guided Likelihood Tree Search
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);GenAI at Meta(Meta的生成式人工智能部门)
针对序贯决策中树搜索似然评估成本高、路径稀疏的问题,提出基于似然正则性假设的不确定性引导概率树搜索算法,可回溯且权衡探索利用,无需昂贵滚动评估与复杂贝叶斯推断,实验验证其能以更少高成本评估找到高似然路径。
2025-09-04 cs.LG
SolverLLM: Leveraging Test-Time Scaling for Optimization Problem via LLM-Guided Search
Baylor University(贝勒大学);NEC Labs America(NEC美国实验室);Augusta University(奥古斯塔大学);Southern Illinois University(南方伊利诺伊大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有LLM解决优化问题泛化性差或训练成本高的问题,提出无需训练的SolverLLM框架,通过改进的MCTS引导生成公式与求解代码,在六个基准上优于基线且泛化性强。
2025-10-21 cs.LG
Directional Evidence Guided Search-Space Reduction for Exact DAG Learning
Arizona State University(亚利桑那州立大学)
本文提出DECO框架,利用观测数据中的方向性证据在精确优化前缩减DAG学习的搜索空间,理论证明可指数级减少父集配置,实验验证了在保持结构恢复性能的同时显著降低计算负担。
2026-10-08 cs.LG
EXPLORE: Exploration with Guided Search for Analog Topology Generation using Language Models
Duke University(杜克大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
本文针对自动化模拟电路拓扑设计难题,提出EXPLORE框架,集成模拟器引导蒙特卡罗树搜索与基于变压器的解码,利用语言模型先验优化搜索,在6组件基准测试中显著提升成功率、降低均方误差,推动LLM驱动设计自动化。
2026-07-16 cs.LG
Agentic High-Dimensional Bayesian Optimization with Hypothesis- and Evidence-Guided Search
Nanjing University(南京大学)
针对高维贝叶斯优化中现有LLM与智能体方法失效的问题,提出HERA智能体,通过假设与证据引导搜索并自适应配置策略,在合成与真实任务上优于对比方法。
2026-09-29 cs.LG
Learn to Explore: Meta NAS via Bayesian Optimization Guided Graph Generation
本文提出了一种新颖的元神经架构搜索框架 GraB-NAS,通过将神经架构建模为图并结合贝叶斯优化的全局搜索与潜在空间的梯度上升局部探索,实现了高效的任务感知架构发现,显著提升了跨任务泛化能力和搜索有效性。
2025-08-13 cs.LG
Mitigating Over-Optimization in PRM-Guided Search in Mathematical Reasoning by Optimizing the Guide
Northwestern University(西北大学)
本研究针对PRM引导数学推理搜索的过优化问题,提出极大极小PRM引导搜索方法,无需微调即可提升搜索性能17%-35%,在多数设置中优于基线方法。
2026-09-01 cs.AI cs.LG
Guided Policy Search as Approximate Mirror Descent
University of Washington(华盛顿大学)
引导策略搜索算法可用于优化复杂的非线性策略,如深度神经网络,而无需直接计算高维参数空间中的策略梯度。相反,这些方法使用监督学习来训练策略以模仿“教师”算法,例如轨迹优化器或以轨迹为中心的强化学习方法。引导策略搜索方法通过构造提供了渐近局部收敛保证,但不清楚在有限的迭代次数内策略改进了多少。我们表明,指导政策搜索算法可以被解释为一个近似的变形镜像下降,在约束流形上的投影是不准确的。我们推导出一种新的指导策略搜索算法,该算法更简单,并在简化的凸和线性设置中提供了吸引人的改进和收敛保证,并表明在更一般的非线性设置中,投影步骤中的误差可以有界。我们提供了几个模拟机器人导航和操作任务的实证结果,表明我们的方法是稳定的,并实现了类似或更好的性能相比,以前的指导政策搜索方法,具有更简单的制定和更少的超参数。
2016-07-15 cs.LG cs.RO
Limits of PRM-Guided Tree Search for Mathematical Reasoning with LLMs
University of Tübingen(图宾根大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);Western University(西部大学)
本研究提出自适应算法最大化PRM分数,发现PRM引导的树搜索相比BoN无显著提升,且PRM可靠性随深度下降,需改进奖励建模。
2025-10-23 cs.AI cs.LG
Policy-Guided Heuristic Search with Guarantees
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
使用策略和启发式函数来引导搜索在对抗性问题中非常有效,正如AlphaGo及其后继者所证明的那样,它们基于PUCT搜索算法。虽然PUCT也可以用来解决单智能体确定性问题,但它缺乏对搜索工作的保证,并且在实践中计算效率低下。将A* 算法与学习的启发式函数相结合往往在这些领域中工作得更好,但A* 及其变体不使用策略。此外,使用A* 的目的是找到最小成本的解决方案,而我们则寻求最小化搜索损失(例如,搜索步骤的数量)。LevinTS由策略指导,并提供与策略质量相关的搜索步骤数量的保证,但它不使用启发式函数。在这项工作中,我们介绍了政策指导的启发式搜索(PHS),一种新的搜索算法,使用一个启发式函数和一个政策,并有理论保证的搜索损失,涉及的启发式和政策的质量。我们经验表明,从商业游戏“见证人”的PHS,使快速学习的政策和启发式功能,并与A*,加权A*,贪婪的最佳优先搜索,LevinTS和PUCT的问题解决的数量和搜索时间在所有三个域测试方面相比毫不逊色的滑块难题,推箱子,和一个难题。
2021-03-21 cs.AI cs.LG
HMM-guided frame querying for bandwidth-constrained video search
California Institute of Technology(加州理工学院)
我们设计了一个代理搜索感兴趣的帧存储在远程服务器上的视频,在带宽的限制。使用卷积神经网络对单个帧进行评分,并使用隐马尔可夫模型跨帧传播预测,我们的代理基于稀疏的策略采样帧准确地识别感兴趣的时间区域。在ImageNet-VID数据集的一个子集上,我们证明了使用隐马尔可夫模型在帧分数之间进行插值,可以忽略98%的帧请求,而不会影响感兴趣帧的分类准确性。
2019-12-31 cs.CV cs.LG
Policy Guided Tree Search for Enhanced LLM Reasoning
针对大语言模型复杂推理能力不足的问题,提出策略引导树搜索(PGTS)框架,通过学习策略动态决策推理路径探索方式,在多任务基准测试中实现更优推理性能并显著降低计算成本。
2025-02-04 cs.AI cs.LG
HeuFouFT: Task-Guided Metaheuristic Coordinate Search for Fourier Fine-Tuning
Beihang University(北京航空航天大学);Shanghai Jiao Tong University(上海交通大学);VinUniversity
HeuFouFT提出任务引导的元启发式搜索(GA-SA、PSO、CS)选择傅里叶微调坐标,在E2E上优于现有方法,且FLOPs仅为全微调的15-18%。
2026-10-06 cs.CL cs.LG
Simulation-guided Beam Search for Neural Combinatorial Optimization
Samsung SDS(三星SDS);Bielefeld University(比勒费尔德大学)
组合优化(CO)的神经方法配备了一个学习机制,以发现解决复杂现实世界问题的强大算法。虽然能够在Single Shot中获得高质量解决方案的神经方法正在出现,但最先进的方法通常无法充分利用可用的求解时间。相比之下,手工构造的算法可以很好地执行高效搜索,并利用给定的计算时间,但包含难以适应正在求解的数据集的算法。为了给神经CO方法提供一个强大的搜索过程,我们提出了模拟引导的束搜索(SGBS),它在一个固定宽度的树搜索中检查候选解决方案,神经网络学习的策略和模拟(推出)识别为有前途的。我们进一步杂交SGBS与有效的主动搜索(EAS),其中SGBS提高了EAS中反向传播的解决方案的质量,EAS提高了SGBS中使用的政策的质量。我们评估我们的方法在著名的CO基准测试,并表明SGBS显着提高了合理的运行时间假设下找到的解决方案的质量。
2022-11-17 cs.AI cs.LG
Neural-guided, Bidirectional Program Search for Abstraction and Reasoning
Massachusetts Institute of Technology(麻省理工学院);Raytheon BBN Technologies(雷神BBN技术公司);Boston University(波士顿大学);Princeton University(普林斯顿大学)
当今人工智能研究面临的挑战之一是设计能够利用系统推理来概括新任务的系统。抽象和推理语料库(ARC)通过一组视觉推理任务来衡量这种能力。在本文中,我们报告了ARC的渐进式进展,并为两种不基于蛮力搜索的抽象和推理方法奠定了基础。我们首先应用现有的程序合成系统称为DreamCoder创建符号抽象的任务解决到目前为止,并显示它如何使解决越来越具有挑战性的ARC任务。其次,我们设计了一个推理算法的动机,人类的方式接近ARC。我们的算法构造了一个搜索图,并在此图结构的原因,发现任务的解决方案。更具体地说,我们扩展现有的执行引导的程序合成方法与演绎推理的基础上的功能逆语义,使神经引导的双向搜索算法。我们证明了算法的有效性三个域:ARC,24场比赛的任务,和一个“双加”算术难题。
2021-10-26 cs.AI cs.LG
Monte Carlo Tree Search for Execution-Guided Program Repair with Large Language Models
Illinois Institute of Technology Chicago, USA(伊利诺伊理工学院芝加哥分校)
CodePilot结合MCTS和大语言模型,通过执行反馈引导程序修复,实现高效的问题解决。
2026-01-28 cs.LG cs.SE
Woulda, Coulda, Shoulda: Counterfactually-Guided Policy Search
DeepMind(深度思维)
对模型合成的数据的学习策略原则上可以满足强化学习算法对大量真实经验的需求,而这些经验的获取通常是昂贵的。然而,模拟合理的经验从头是一个困难的问题,许多复杂的环境,往往导致基于模型的政策评估和搜索的偏见。而不是从头合成的数据,在这里,我们假设记录,真实的经验和模型的替代结果,这种经验下的反事实的行动,行动,实际上没有采取。在此基础上,我们提出了反事实指导的政策搜索(CF-GPS)算法POMDPs的学习政策从离政策的经验。它利用结构因果模型对个别政策外事件的任意政策进行反事实评估。CF-GPS可以通过利用可用的日志数据来消除模型预测的偏差,从而改进基于香草模型的RL算法。与基于重新加权数据的重要性采样的非策略算法相比,CF-GPS利用模型来明确考虑替代结果,从而允许算法更好地利用经验数据。我们发现经验,这些优势转化为改善政策评估和搜索结果的一个非平凡的网格世界的任务。最后,我们表明,CF-GPS概括了以前提出的引导策略搜索和基于重新参数化的算法,如随机值梯度可以被解释为反事实的方法。
2018-11-15 cs.LG stat.ML
Predicting and improving test-time scaling laws via reward tail-guided search
Department of Statistical Sciences, University of Toronto(多伦多大学统计科学系);Department of AI and Data Science, University of Hong Kong(香港大学人工智能与数据科学系)
本文提出通过奖励尾部引导搜索预测并改进LLM测试时间扩展规律,通过动态分配计算资源提升推理能力。
2026-02-01 cs.LG stat.ML
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在结构化输出预测任务中,标记地面实况训练输出通常是昂贵的。然而,对于许多任务,即使真正的输出是未知的,我们也可以使用标量奖励函数来评估预测,这可以很容易地从人类知识或不可微管道中组装出来。但是,搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中,我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络(SPEN),它使用基于梯度的搜索在平滑的,学习的分数景观表示上提供有效的测试时推理,并且以前已经在结构化预测中产生了最先进的结果。特别是,这种截断随机搜索的奖励函数产生以前未知的局部改进,提供有效的监督SPEN,避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
TR2-D2: Tree Search Guided Trajectory-Aware Fine-Tuning for Discrete Diffusion
Department of Computer and Information Science, University of Pennsylvania(计算机与信息科学系,宾夕法尼亚大学);School of Mathematics, Georgia Institute of Technology(数学学院,佐治亚理工学院);Department of Bioengineering, University of Pennsylvania(生物工程系,宾夕法尼亚大学)
提出 TR2-D2 框架,用 MCTS 构建高质量回放缓冲区并进行轨迹感知微调,以缓解离散扩散强化学习中次优轨迹被强化的问题。
2025-09-29 cs.LG q-bio.BM
Guided Policy Search Based Control of a High Dimensional Advanced Manufacturing Process
Raytheon Technologies Research Center(雷神技术研究中心)
在本文中,我们应用基于引导策略搜索(GPS)的强化学习框架的增材制造过程中出现的高维最优控制问题。该问题包括控制工艺参数,使得材料的逐层沉积导致所得零件表面的期望几何特性,同时使沉积的材料最小化。沉积过程的真实仿真模型以及基于迭代线性二次调节器生成的精心选择的一组指导分布用于使用GPS训练神经网络策略。实验测试了基于训练策略和沉积轮廓的原位测量的闭环控制,并显示出良好的性能。
2020-09-12 cs.LG cs.SY eess.SY
MLE-guided parameter search for task loss minimization in neural sequence modeling
New York University(纽约大学)
神经自回归序列模型用于在各种自然语言处理(NLP)任务中生成序列,并根据序列级任务损失对其进行评估。这些模型通常使用最大似然估计进行训练,它忽略了任务损失,但经验上表现良好,作为替代目标。用于直接优化任务丢失的典型方法(诸如策略梯度和最小风险训练)是基于在序列空间中的采样以获得基于单个序列的丢失来评分的候选更新方向。在本文中,我们开发了一种替代方法,基于随机搜索的参数空间,利用访问的最大似然梯度。我们提出了最大似然引导参数搜索(MGS),它从更新方向上的分布中采样,该更新方向是围绕当前参数和围绕最大似然梯度的随机搜索的混合,每个方向由其在任务损失中的改进加权。MGS将采样转移到参数空间,并使用从多个序列中汇集的损失对候选者进行评分。我们的实验表明,MGS能够优化序列级损失,大大减少重复和非终止序列完成,并在机器翻译的最小风险训练的类似改进。
2020-10-05 cs.LG stat.ML
StepCAD: Mesh-to-CAD Code Generation via LLM Policy and Geometry-Guided Search
Massachusetts Institute of Technology(麻省理工学院)
StepCAD提出一种结合状态条件CAD策略与IoU引导树搜索的生成优化方法,从网格恢复可执行CAD程序,并引入含150万程序的数据集,在重建基准上实现最高87.2%的相对IoU提升。
2026-10-06 cs.CV cs.LG
Retro*: Learning Retrosynthetic Planning with Neural Guided A* Search
Georgia Institute of Technology(佐治亚理工学院);Galixir(星亢原);Google Research(谷歌研究院);Ant Financial(蚂蚁金服)
逆合成规划是有机化学中的一项重要任务,它确定了一系列可以导致目标产物合成的反应。大量可能的化学转化使得搜索空间的大小非常大,并且逆合成规划即使对于有经验的化学家也是具有挑战性的。然而,现有的方法要么需要昂贵的回报估计推出高方差,或优化搜索速度,而不是质量。在本文中,我们提出了Retro*,一种基于神经的A* 类算法,可以有效地找到高质量的合成路线。它将搜索保持为AND-OR树,并使用非策略数据学习神经搜索偏差。然后在此神经网络的指导下,在新的规划事件中有效地执行最佳优先搜索。在基准USPTO数据集上的实验表明,我们提出的方法在成功率和解决方案质量方面优于现有的最先进的方法,同时更高效。
2020-06-29 cs.AI cs.LG stat.ML
Graph Neural Network Guided Local Search for the Traveling Salesperson Problem
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学)
旅行推销员问题(TSP)的解决方案在运输、物流和自动化过程中具有实际应用,但必须以最小的延迟进行计算,以满足底层任务的实时性。然而,解决大型TSP的情况下,快速而不牺牲解决方案的质量仍然是目前的近似算法的挑战。为了缩小这一差距,我们提出了一种混合数据驱动的方法来解决TSP的基础上图神经网络(GNNs)和引导局部搜索(GLS)。我们的模型预测了在解决方案中包含问题图的每条边的遗憾; GLS将这些预测与原始问题图结合起来找到解决方案。我们的实验表明,这种方法收敛到最优解的速度比最近的三个学习为基础的方法的TSP。值得注意的是,我们将100节点问题集的平均最优性差距从1.534%降低到0.705%,提高了2倍。当从20个节点的实例推广到100个节点的问题集时,我们将最优性差距从18.845%降低到2.622%,提高了7倍。
2022-04-04 cs.LG stat.ML
Planner-Guided Recursive Exploration for Diffusion Language Model Decoding
Michigan State University(密歇根州立大学);Morgan Stanley(摩根士丹利);IBM T.J. Watson Research Center(IBM 托马斯·J·沃森研究中心)
研究针对扩散语言模型解码,提出自适应多步前瞻框架AdaLook,基于候选分数方差动态决定是否继续展开及进行分支扩展,避免不必要的深度展开,实验证明其在准确性和解码步骤权衡上优于现有一步前瞻解码方法。
2026-10-14 cs.CL cs.LG
MCTS guided Genetic Algorithm for optimization of neural network weights
Syracuse University(雪城大学)
本文提出将MCTS与遗传算法结合,利用树搜索策略高效探索遗传树结构,以优化神经网络权重并更快获得最优结果。
2023-08-07 cs.LG cs.NE
Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft(微软)
响应于模糊或分面查询而提出澄清性问题已经被认为是用于各种信息检索系统,特别是具有有限带宽接口的会话式搜索系统的有用技术。分析和生成澄清问题最近已经被研究,但准确利用用户的反应澄清问题已经相对较少探索。在本文中,我们使用一种新的注意力机制来丰富Transformer网络学习到的表示,该机制来自外部信息源,对会话中的每个术语进行加权。我们在一个包括澄清问题的对话搜索场景中评估这个引导式Transformer模型。在我们的实验中,我们使用了两个独立的外部来源,包括检索到的顶级文档和一组不同的可能的查询澄清问题。我们实现了建议的表示学习模型的两个下游任务,在会话搜索:文档检索和下一个澄清问题的选择。我们的实验使用公共数据集进行搜索澄清,并与竞争基线相比表现出显着的改进。
2020-06-13 cs.CL cs.IR cs.LG
BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
Pennsylvania State University(宾夕法尼亚州立大学);Dalian University of Technology(大连理工大学);GE Healthcare(GE医疗);Stony Brook University(石溪大学)
针对自动参数高效微调中搜索空间纠缠与预算整合不足的问题,提出BIPEFT策略,通过迭代解耦搜索空间及基于预算的早期选择机制,显著提升了低参数预算下大型预训练模型的微调效率与性能。
2024-10-04 cs.AI cs.CL cs.LG
Guided evolutionary strategies: Augmenting random search with surrogate gradients
Google Research(谷歌研究院)
机器学习中的许多应用需要优化其真实梯度未知的函数,但是替代梯度信息(可能与真实梯度相关但不一定相同的方向)可用。当近似梯度比完整梯度更容易计算时(例如,在元学习或展开优化中),或者当真实梯度难以处理并被替代时(例如,在某些强化学习应用中,或者当使用合成梯度时),就会出现这种情况。我们提出了指导进化策略,最佳地使用代理梯度方向与随机搜索的方法。我们定义了一个搜索分布的进化策略,是拉长沿引导子空间跨越的代理梯度。这允许我们估计下降方向,然后可以将其传递给一阶优化器。我们分析和数值特征的权衡结果,从调整如何强烈的搜索分布是沿着引导子空间拉伸,我们用它来获得一个设置的超参数,以及在整个问题。最后,我们将我们的方法应用到示例问题中,证明了标准进化策略和一阶方法(直接遵循代理梯度)的改进。我们在https://github.com/brain-research/guided-evolutionary-strategies上提供了引导ES的演示
2019-06-10 cs.LG cs.NE stat.ML
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学)
强化学习(RL)已经取得了显著的成就,但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题,人口引导新奇搜索(PNS)的并行学习方法,本文提出。在PNS中,种群被划分为多个子种群,每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略,并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导,同时,上传他们的政策,以首席代理。为了平衡探索和利用,每个首席代理都采用了新奇搜索(NS),以鼓励具有高新奇性的政策,同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性(TD 3)策略梯度算法。PNS的有效性,以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是,PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略,以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Reset-Free Guided Policy Search: Efficient Deep Reinforcement Learning with Stochastic Initial States
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
机器人技能的自主学习可以让通用机器人学习广泛的行为,而不需要大量的人工工程。然而,机器人技能学习方法通常做出若干权衡之一来实现实际的现实世界学习,诸如需要手动设计的策略或价值函数表示、从人类提供的演示初始化、训练环境的仪器化或极长的训练时间。在本文中,我们提出了一种新的强化学习算法学习操作技能,可以训练通用的神经网络政策与最小的人类工程,同时仍然允许快速,有效的学习随机环境。我们的方法建立在引导策略搜索(GPS)算法的基础上,该算法将强化学习问题转化为来自计算教师的监督学习(无需人工演示)。与之前的GPS方法相比,它需要一组一致的初始状态,系统必须在每次发作后重置,我们的方法可以处理随机初始状态,使其能够用于确定性重置是不可能的环境中。我们比较我们的方法,现有的政策搜索技术在模拟,表明它可以训练高维神经网络的政策,具有相同的样本效率作为以前的GPS方法,并提出了真实世界的结果PR2机器人机械手。
2016-10-06 cs.LG cs.RO
LLM-guided Hierarchical Search for End-to-end Reasoning Intensive Retrieval
UT Austin(得克萨斯大学);UCLA(加州大学洛杉矶分校);Google(谷歌)
本文提出LATTICE,一种无需嵌入模型的LLM引导层次化搜索方法,通过LLM构建搜索索引并校准路径聚合遍历,在推理密集型基准上达到与最优微调集成基线相当的性能。
2026-05-25 cs.IR cs.LG
Alpha Discovery via Grammar-Guided Learning and Search
University of Electronic Science and Technology of China(电子科技大学);King's College London(伦敦国王学院);University of Southampton(南安普顿大学)
AlphaCFG通过语法引导的学习与搜索方法,高效发现金融中可解释且高效的Alpha因子,提升交易盈利能力。
2026-01-29 cs.AI cs.LG q-fin.CP
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文提出了一种新的种群引导并行学习方案,以提高离线强化学习(RL)的性能。在该方案中,多个相同的学习器使用各自的值函数和策略,共享一个经验重放缓冲区,在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围,从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围,可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性(TD 3)策略梯度算法,构建了工作算法。数值结果表明,该算法的性能优于目前大多数最先进的强化学习算法,在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation
Tencent Inc., China(腾讯公司,中国)
V-STAR通过价值引导的结构采样和树状优势强化框架,提升生成推荐系统的探索效率和RL学习效果。
2026-02-12 cs.AI cs.LG
Guided Sketch-Based Program Induction by Search Gradients
Toronto Metropolitan University(多伦多都会大学)
针对传统程序归纳难以适应多任务的问题,提出利用进化策略通过搜索梯度学习参数化程序的框架,允许注入特定任务代码至程序草图并实现端到端梯度优化加速学习。
2024-02-10 cs.LG cs.PL
Offline Model-Based Optimization via Policy-Guided Gradient Search
School of EECS, Washington State University(华盛顿州立大学电气工程与计算机科学学院)
本文将离线优化重构为离线强化学习问题,提出策略引导梯度搜索,使搜索策略直接从离线数据学习,并可与现有代理模型结合显著提升性能。
2024-05-08 cs.AI cs.LG
Meta-Path Guided Embedding for Similarity Search in Large-Scale Heterogeneous Information Networks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Army Research Laboratory(陆军研究实验室)
大多数真实世界的数据可以建模为异构信息网络(HIN),由多种类型的顶点及其关系组成。在书目网络和商业评论网络等大型HIN中寻找相同类型的相似顶点是一个具有广泛应用的基本问题。虽然在HIN的相似性搜索以前已经研究过,大多数现有的方法既不探索丰富的语义信息嵌入在网络结构,也不采取用户的偏好作为指导。在本文中,我们重新审视相似性搜索在HIN,并提出了一种新的嵌入式为基础的框架。它将顶点建模为低维向量,以探索网络结构嵌入的相似性。为了适应用户在定义相似性语义的偏好,我们提出的框架,ESim,接受用户定义的元路径作为指导,学习顶点向量在用户首选的嵌入空间。此外,一个有效的和并行的采样为基础的优化算法已经开发出学习嵌入在大规模的HIN。对真实世界大规模HIN的广泛实验表明,ESim的有效性比几种最先进的算法及其可扩展性有显着提高。
2016-10-31 cs.LG cs.SI