arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.04841cs.LGcs.AIcs.SYeess.SYmath.OC
收藏

原始智能体一阶优化

Primitive Agentic First-Order Optimization

RPTU Kaiserslautern（凯泽斯劳滕工业大学）

R. Sala

备注：
7 Pages
发表信息：
10th International Conference on Control, Decision and Information Technologies (CoDIT), Vallette, Malta, 2024, pp. 2756-2762
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出在预算受限优化下结合原始状态表示与智能体-环境交互作为一阶优化器的概念验证，通过强化学习在低维部分状态表示中近似最优策略，实验表明其优于常规优化算法，为智能体优化铺路。

摘要：

高效的数值优化方法可以提升性能并降低计算在许多应用中的环境影响。本研究提出一项概念验证，在预算受限的优化设定下，将原始状态表示与智能体-环境交互结合作为一阶优化器。通过对某优化问题类的一组训练实例进行强化学习（RL），在考虑进展与资源利用等层面的通用低维部分状态表示中，近似算法迭代步骤的序列更新选择的最优策略。对于所研究的案例，将训练好的智能体部署到二次优化问题类的未见实例上，其表现优于具有优化超参数的常规最优算法。结果表明，将基础RL方法与简洁的部分状态表示结合可用作启发式方法来管理基于RL的优化中的复杂性，为智能体优化方法铺平了道路。

英文摘要：

Efficient numerical optimization methods can improve performance and reduce the environmental impact of computing in many applications. This work presents a proof-of-concept study combining primitive state representations and agent-environment interactions as first-order optimizers in the setting of budget-limited optimization. Through reinforcement learning (RL) over a set of training instances of an optimization problem class, optimal policies for sequential update selection of algorithmic iteration steps are approximated in generally formulated low-dimensional partial state representations that consider aspects of progress and resource use. For the investigated case studies, deployment of the trained agents to unseen instances of the quadratic optimization problem classes outperformed conventional optimal algorithms with optimized hyperparameters. The results show that elementary RL methods combined with succinct partial state representations can be used as heuristics to manage complexity in RL-based optimization, paving the way for agentic optimization approaches.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑