Batched Neural Bandits
University of California, Los Angeles(加州大学洛杉矶分校);Yale University(耶鲁大学);Google Research NYC(谷歌研究院纽约分部)
在许多序贯决策问题中,个体被分成若干批,决策者只允许在批的末尾改变策略。这些批量问题有大量的应用,从临床试验到众包。受此启发,我们研究了一般报酬分布下的随机上下文强盗问题。我们提出了BatchNeuralUCB算法,该算法结合了神经网络与乐观,以解决探索-开发权衡,同时保持批次总数有限。我们研究了固定和自适应批量大小设置下的BatchNeuralUCB,并证明它实现了与完全顺序版本相同的遗憾,同时大大减少了策略更新的数量。我们通过模拟合成和真实世界的数据集来证实我们的理论结果。
2021-02-25 cs.LG stat.ML
Towards Batch-to-Streaming Deep Reinforcement Learning for Continuous Control
Department of Information Engineering University of Padova(信息工程系帕多瓦大学)
本文提出两种流式深度强化学习算法,旨在与现有批量RL方法兼容,适用于设备端微调任务。算法在标准基准上表现优异,无需复杂超参数调优,并探讨了批量到流式转换的挑战。
2026-10-30 cs.AI cs.LG
The Batch Complexity of Bandit Pure Exploration
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文研究随机多臂赌博机纯探索中的批次复杂度,给出任意样本高效算法所需批次数的实例相关下界,并提出通用分批算法证明其上界,在最佳臂识别与阈值赌博机任务中验证了理论结果。
2025-02-03 cs.LG stat.ML
Memory--Batch Tradeoffs in Lipschitz Bandits
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文研究随机 Lipschitz 多臂老虎机中内存与批次的权衡,提出含新惩罚项的极小极大遗憾刻画,揭示状态宽度与更新深度不可互换,匹配策略可实现相关性能。
2026-09-29 cs.LG stat.ML
Benchmarking Batch Deep Reinforcement Learning Algorithms
Mila, McGill University(麦吉尔大学米拉研究所);Facebook(脸书);Facebook AI Research(脸书人工智能研究院)
广泛使用的深度强化学习算法已被证明在批量设置中失败-从固定的数据集学习而不与环境交互。根据这一结果,有几篇论文显示了在各种环境和批次设置下的合理性能。在本文中,我们在Atari域的统一设置下对最近的离线策略和批量强化学习算法的性能进行了基准测试,数据由单个部分训练的行为策略生成。我们发现,在这些条件下,这些算法中的许多算法的性能低于使用相同数量的数据在线训练的DQN,以及部分训练的行为策略。为了引入一个强大的基线,我们将批量约束Q-学习算法适应于离散动作设置,并显示它在此任务中优于所有现有算法。
2019-10-03 cs.AI cs.LG stat.ML
Control Frequency Adaptation via Action Persistence in Batch Reinforcement Learning
Politecnico di Milano(米兰理工大学);Institute for Scientific Interchange Foundation(科学交流研究所基金会)
系统的控制频率的选择对强化学习算法学习高性能策略的能力具有相关影响。在本文中,我们介绍的概念,包括在一个动作的重复一个固定数量的决策步骤,具有修改控制频率的效果的动作持续性。我们开始分析如何行动的持久性影响的最优策略的性能,然后我们提出了一种新的算法,持久拟合Q迭代(PFQI),扩展FQI,在给定的持久性学习的最佳价值函数的目标。在对PFQI进行了理论研究和启发式方法来确定最佳持久性之后,我们在基准域上进行了一次实验,以显示动作持久性的优势,并证明了我们的持久性选择方法的有效性。
2020-07-12 cs.LG stat.ML
Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Elan Corporation(Elan公司)
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功,但考虑到高样本效率的要求以及如何收集训练数据,直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中,我们解决了几个挑战,我们遇到的时候,我们试图减轻严重的交通拥堵发生在大都市地区。具体而言,我们需要提供一种解决方案,能够(1)在检索强化学习信息的某些监控摄像机停机时处理交通信号控制,(2)在没有交通模拟器的情况下从批量数据中学习,(3)在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法,给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习,能够学习批量数据的援助,提出了三个组件,有界的行动,批量扩增,和代理奖励裁剪。我们的实验表明,所提出的框架减少了36%的交通拥堵的等待时间相比,目前使用的固定时间的交通信号灯计划。此外,该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
Continuous Doubly Constrained Batch Reinforcement Learning
Amazon Web Services(亚马逊云科技);University of Pennsylvania(宾夕法尼亚大学)
目前的强化学习(RL)算法依赖于太多的实验来学习好的动作,在现实世界中的适用性有限,这可能太昂贵而无法进行探索。我们提出了一种批量RL算法,其中只使用固定的离线数据集而不是与环境的在线交互来学习有效的策略。批量RL中的有限数据产生了在训练数据中未充分表示的状态/动作的值估计中的固有不确定性。当我们的候选政策与生成数据的政策不同时,这会导致特别严重的外推。我们建议通过两个简单的惩罚来缓解这个问题:一个是减少这种分歧的政策约束,另一个是阻止过于乐观估计的价值约束。在一组全面的32个连续动作批量RL基准测试中,我们的方法与最先进的方法相比毫不逊色,无论离线数据是如何收集的。
2021-12-06 cs.LG stat.ML
Scalable Reinforcement Learning via Adaptive Batch Scaling
Jongchan Park
本文提出自适应批处理缩放方法,通过动态调整有效批处理大小来平衡强化学习早期的可塑性需求和晚期的稳定收敛,发现增大网络和批处理大小的组合在强化学习中取得最佳性能。
2026-06-04 cs.AI cs.LG stat.ML
Knowledge Transfer from Teachers to Learners in Growing-Batch Reinforcement Learning
Harvard University(哈佛大学);DeepMind(深度思维)
本文研究增长批次强化学习中教师知识(示范、专家动作、梯度)的迁移,以缓解演员-评论家方法的样本复杂度和覆盖要求,并在DeepMind控制套件上验证。
2023-05-09 cs.LG
Model Selection in Batch Policy Optimization
Stanford University(斯坦福大学);Google Research, Brain Team(谷歌研究院 Brain 团队)
我们研究了批量策略优化中的模型选择问题:给定一个固定的部分反馈数据集和$M$模型类,学习一个性能与来自最佳模型类的策略具有竞争力的策略。我们通过识别任何模型选择算法都应该最佳权衡以具有竞争力的三个错误来源,在具有线性模型类的上下文Bandit设置中将问题形式化:(1)近似误差,(2)统计复杂性和(3)覆盖范围。前两个来源在监督学习的模型选择中是常见的,其中最佳地权衡这些属性是很好的研究。相比之下,第三个源是批处理策略优化所特有的,并且是由于设置所固有的数据集偏移。我们首先表明,没有批处理策略优化算法可以实现同时解决所有三个保证,揭示了批处理策略优化的困难和监督学习的积极成果之间的鲜明对比。尽管这个负面的结果,我们表明,放宽任何一个三个错误源,使算法的设计实现近预言的不平等的其余两个。我们的结论与实验证明这些算法的有效性。
2021-12-23 cs.LG stat.ML
Robust Reward Alignment via Hypothesis Space Batch Cutting
Arizona State University(亚利桑那州立大学);Shanghai Jiao Tong University(上海交通大学)
针对人类偏好中存在未知错误导致鲁棒性不足的问题,提出基于假设空间批量切割的奖励对齐方法,通过保守切割机制保证对错误偏好的可证明鲁棒性,并在模型预测控制任务中显著优于现有方法。
2025-05-28 cs.LG
Reducing Sampling Error in Batch Temporal Difference Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Sony AI(索尼人工智能)
时间差分学习是现代强化学习的主要基础之一。本文研究了利用TD(0)算法,从一批数据中估计给定策略的价值函数。在此批处理设置中,我们表明TD(0)可能收敛到一个不准确的价值函数,因为操作后的更新是根据该操作在批处理中发生的次数加权的-而不是给定策略下该操作的真实概率。为了解决这个限制,我们引入了\textit{policy sampling error corrected} -TD(0)(PSEC-TD(0))。PSEC-TD(0)首先估计批次中每个状态下的操作的经验分布,然后使用重要性采样来校正经验权重与每个操作之后的更新的正确权重之间的不匹配。我们改进了确定性等价估计的概念,并认为对于固定的一批数据,PSEC-TD(0)比TD(0)是一个更有效的估计。最后,我们对PSEC-TD(0)在三个批量价值函数学习任务上进行了实证评估,并进行了超参数敏感性分析,结果表明PSEC-TD(0)产生的价值函数估计的均方误差低于TD(0)。
2020-08-15 cs.AI cs.LG stat.ML
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University(比尔肯特大学)
体验重放机制允许代理多次使用体验。在以前的工作中,采样概率的过渡调整,根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此,经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而,随着策略和代理的价值函数的更新,转换的重要性级别动态地改变。此外,经验重放存储转换是由代理的先前策略生成的,其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新,这对代理是有害的。在本文中,我们开发了一种新的算法,批量优先经验重放通过KL分歧(KLPER),它优先考虑批量的过渡,而不是直接优先考虑每个过渡。此外,为了减少更新的关闭策略,我们的算法在一定数量的批次中选择一个批次,并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度,并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Causality and Batch Reinforcement Learning: Complementary Approaches To Planning In Unknown Domains
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);New York University(纽约大学)
强化学习算法在在线学习环境中取得了巨大的成功。然而,这些成功依赖于算法代理与其环境之间的低风险交互。在许多RL可能有用的环境中,例如医疗保健和自动驾驶,大多数在线RL算法在早期训练中所犯的错误都会带来不可接受的成本。这些设置需要开发可以在所谓的批处理设置中操作的强化学习算法,其中算法必须从固定的、有限的并且从一些(可能未知的)策略生成的数据集学习。评估与收集数据的政策不同的政策被称为政策外评估,自然会提出反事实的问题。在这个项目中,我们将展示如何关闭政策评估和因果推理中的治疗效果估计是解决同一问题的两种方法,并比较这两个领域的最新进展。
2020-06-03 cs.AI cs.LG
When Do Larger Batches Help Scale LLM Reinforcement Learning?
Tencent(腾讯)
该研究针对大语言模型强化学习,通过分离算法与系统效应,提出更大批次缩短目标时间的决策规则,结合GRPO、PPO实验验证了学习率调整与批次优化可缩短目标时间。
2026-09-01 cs.AI cs.LG
Iterative Learning Control-Informed Reinforcement Learning for Batch Process Control
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University(工业控制技术国家重点实验室,系统与控制研究所,浙江大学);Department of Chemical Engineering, Chung-Yuan Christian University(Chung-Yuan Christian University 化学工程系)
本文提出一种结合迭代学习控制与深度强化学习的框架,用于设计满足操作约束和稳定性保证的批量过程控制器。
2026-03-16 cs.AI cs.SY eess.SY
Twin actor twin delayed deep deterministic policy gradient (TATD3) learning for batch process control
间歇过程具有复杂的非线性动力学和非稳态操作条件,其控制是一项困难的任务。预计其中一些挑战可以通过制定与该过程直接互动的控制战略和从经验中学习来解决。最近的文献研究表明,在行动者-批评者强化学习(RL)框架中拥有一群行动者的优势,可以改善政策。针对连续控制问题,在已有的双延迟深度确定性策略梯度(TD 3)算法基础上,引入双作用器网络,提出了一种双作用器双延迟深度确定性策略梯度(TATD 3)强化学习算法.此外,还针对TATD 3控制器提出了两种新型的奖励函数。我们展示了TATD 3为基础的控制器的各种批处理的例子,通过比较它与文献中提出的一些现有的RL算法的功效。
2021-09-17 cs.SY eess.SY
Assessing Fixed-Batch Reporting for Deadline-constrained Inference in Intermittently Powered IoT
University of Oulu(奥卢大学)
针对间歇供电物联网的截止时间约束推理,提出统一分析框架,精确比较固定批量报告策略,证明长期状态良好定义,并揭示批量大小受多种因素影响。
2026-09-09 cs.PF cs.SY eess.SY
A System-Level Energy-Efficient Digital Twin Framework for Runtime Control of Batch Manufacturing Processes
本文提出一种考虑分时电价的系统级高能效数字孪生框架,结合批过程动态模型与优化决策算法,用于改进批制造过程的运行调度与控制。
2023-09-18 cs.SY eess.SY
Adaptive Model Predictive Control of a Batch Solution Polymerization Process using Trajectory Linearization
University of Alberta(阿尔伯塔大学)
本文提出一种基于轨迹线性化的自适应模型预测控制器,用于控制批量MMA聚合过程的温度,通过机理模型推导参数传递函数,实验验证了控制器性能。
2015-10-12 cs.SY eess.SY math.DS
Batch Model Predictive Control for Selective Laser Melting
选择性激光熔化是一种很有前途的增材制造技术,可以制造高度可定制的产品。选择性激光熔化的一个主要挑战是确保所生产部件的质量,这在很大程度上受到打印层的热历史的影响。将模型预测控制与迭代学习控制相结合,提出了一种间歇模型预测控制方法。这种方法成功地拒绝了重复性和非重复性的干扰,从而实现了改善的跟踪性能和过程质量。在模拟研究中,选择性激光熔化动力学近似与降阶控制为导向的线性模型,以确保合理的计算复杂性。所提出的方法提供了收敛到所需的温度场分布,尽管模型的不确定性和干扰。
2022-04-08 cs.SY eess.SY
Online Bandit Nonlinear Control with Dynamic Batch Length and Adaptive Learning Rate
本文提出DBAR算法,通过动态批长度和自适应学习率,在仅需弱稳定性概念且无指数稳定控制器的条件下,实现非线性系统在线赌博机控制的渐近稳定与紧遗憾界。
2024-10-04 cs.SY eess.SY
Dual-control based approach to batch process operation under uncertainty based on optimality-conditions parameterization
提出了一种参数不确定间歇过程的对偶鲁棒控制方案。双重控制范例出现在自适应控制的背景下。应该在(鲁棒地)优化工厂性能的控制动作和激励工厂的控制动作之间进行权衡,使得可以足够精确地学习未知的工厂模型参数以增加工厂的鲁棒性能。最近提出的一些方法可以用来解决这个问题,然而,这将是在保守性或显着的计算负担的代价。为了提高计算效率,我们提出了一个计划,使用参数化的最优性条件的自适应预测控制的方式。控制器的双重功能被纳入通过基于神经网络的(多阶段)的方法,它允许建模的自适应鲁棒决策问题,并预测到控制器的预测这一决定。所提出的方法说明了一个案例研究,从分批膜过滤。
2019-06-20 cs.SY eess.SY math.OC
A Theory-Guided Advanced Regulatory Control Synthesis for Cooling-Limited Exothermic Semi-Batch Reactors
KU Leuven(荷语鲁汶大学)
针对冷却受限放热半间歇反应器,提出一种结合有限时域最小时间最优性与局部安全分析的系统化ARC综合方法,通过阀位控制架构和边界调谐规则实现与OF-NMPC相当的性能,并在参数失配和故障场景下保持零温度违规。
2026-10-02 cs.SY eess.SY math.OC
Policy Poisoning in Batch Learning for Linear Quadratic Control Systems via State Manipulation
本文研究LQ控制系统中通过状态操纵对批量学习智能体进行策略投毒的问题,建立优化框架并基于ADMM设计近似最优攻击算法,以最小数据修改实现恶意策略诱导。
2023-04-15 cs.SY eess.SY
Global self-optimizing control of batch processes
College of Chemical and Biological Engineering, Zhejiang University(浙江大学生物与化学工程学院)
本文提出针对批量过程的全局自优化控制方法,解决非线性动态和变量因果性带来的挑战,通过向量形式化和新快捷方法提升控制效果,验证了在Fed-batch反应器中的有效性。
2026-05-07 cs.SY eess.SY math.OC
Optimal control of batch processes via a deterministic Q-learning method
Zewail City of Science and Technology(齐维尔科学与技术城)
本文提出了一种确定性Q学习方法,用于实现对批量反应器的鲁棒在线优化,通过改变控制动作来适应过程中的意外变化,以最大化最终产品或满足产品规格。
2019-04-14 cs.SY eess.SY
Adaptive Safety with Control Barrier Functions and Triggered Batch Least-Squares Identifier
针对控制目标与安全约束冲突的不确定系统,提出融合CLF/CBF二次规划、松弛项与触发式BaLSI的自适应安全控制方案,保证安全集前向不变、避免无界估计并排除Zeno行为。
2024-10-24 cs.SY eess.SY
Batch-Constrained Reinforcement Learning for Dynamic Distribution Network Reconfiguration
动态配电网重构(DNR)算法每小时执行远程可控开关的状态变化,以提高配电系统的性能。该问题通常通过基于物理模型的控制算法来解决,该算法不仅依赖于精确的网络参数,而且缺乏可扩展性。为了解决这些限制,本文开发了一种数据驱动的批量约束强化学习(RL)算法的动态DNR问题。所提出的RL算法学习网络重构控制策略,从一个有限的历史操作数据集,而无需与配电网。对三个配电网的数值研究结果表明,该算法不仅优于现有的强化学习算法,而且改进了行为控制策略,生成了历史运行数据。所提出的算法也是非常可扩展的,可以实时找到一个理想的网络重构解决方案。
2020-06-23 cs.SY eess.SY
Optimal Batch-Size Control for Low-Latency Federated Learning with Device Heterogeneity
Department of Electrical and Electronic Engineering, The University of Hong Kong(电子与电气工程系,香港大学)
本文针对设备异构的低时延联邦学习,提出C$^2$感知的最优批大小控制框架,通过平衡通信与计算权衡并设计可处理的收敛速度替代模型,在保证收敛的同时最小化端到端学习时延。
2025-08-22 cs.LG cs.SY eess.SY
GPU-Accelerated Policy Optimization via Batch Automatic Differentiation of Gaussian Processes for Real-World Control
Tampere University(坦佩雷大学);HIAB(HIAB公司);Aalto University(阿尔托大学);TU Darmstadt(达姆施塔特工业大学)
高斯过程(GPs)预测动力系统行为的能力,作为一个更有效的样本替代参数模型似乎有希望为现实世界的机器人研究。然而,GP的计算复杂性使得策略搜索成为一个高度耗时和内存消耗的过程,该过程不能扩展到更大的问题。在这项工作中,我们开发了一种策略优化方法,利用快速预测采样方法来处理批量的轨迹在每个向前通过,并计算梯度更新的政策参数通过自动微分的Monte Carlo评估,所有在GPU上。我们证明了我们的方法的有效性,在一组参考跟踪控制实验与重型机器的培训政策。基准测试结果显示,与精确方法相比,速度有了显著的提高,并展示了我们的方法在更大的策略网络、更长的视野以及多达数千个轨迹上的可扩展性,并且速度呈次线性下降。
2022-02-28 cs.LG cs.RO cs.SY
Real-time nonlinear model predictive control framework for event-triggered switching in industrial batch polymerization process
KU Leuven(荷语鲁汶大学);Zhejiang University of Technology(浙江工业大学)
针对间歇聚合过程的多阶段切换问题,提出结合平滑模式混合、先进步热启动、变量缩放和迭代预算限制的实时NMPC框架,实现无启发式切换的实时可行性,并通过工业气液聚合基准验证了改进的约束满足和缩短的批次时间。
2026-06-16 cs.SY eess.SY math.OC
Hybrid Gaussian Process Modeling Applied to Economic Stochastic Model Predictive Control of Batch Processes
Norwegian University of Science and Technology(挪威科技大学);BASF SE(巴斯夫公司);Imperial College London(帝国理工学院)
非线性模型预测控制(NMPC)是一种有效的控制方法,用于控制具有约束的非线性多变量动态系统,但这需要精确的对象模型。植物模型通常可以从第一原理确定,然而,模型的一部分很难单独使用物理定律导出。在本文中,混合高斯过程(GP)的第一性原理建模方案,提出了克服这个问题,它利用GP模型的动态系统的部分,很难描述使用第一性原理。GPS不仅给出了准确的预测,而且还量化了该模型的剩余不确定性。在控制算法中考虑这种不确定性是至关重要的,以防止违反约束和性能恶化。离线生成GP的Monte Carlo样本,以收紧NMPC的约束,从而在线确保联合概率约束满足。我们的方法的优点包括快速的在线评估时间,在线学习减轻保守性的可能性,并利用GP的灵活性和第一原理模型的数据效率。该算法进行了验证,涉及一个具有挑战性的半分批生物反应器的案例研究。
2021-08-14 cs.LG cs.SY eess.SY
Industrial Data Science for Batch Manufacturing Processes
KU Leuven(鲁汶大学);SOLVAY SA(索尔维公司);Imperial College London(帝国理工学院)
批处理过程显示出几种可变性来源,从原材料的性质到在制造过程中不同事件期间发生变化的初始和不断变化的条件。在本章中,我们将通过一个工业示例来说明如何使用机器学习来减少这种明显的数据过剩,同时为工艺工程师维护相关信息。将介绍两个常见的用例:1)AutoML分析,以快速找到批处理数据中的相关性,以及2)轨迹分析,以监控和识别异常批次,从而改进过程控制。
2022-09-20 cs.LG cs.SY eess.SY
Adaptive Control By Regulation-Triggered Batch Least-Squares Estimation of Non-Observable Parameters
National Technical University of Athens(雅典国立技术大学);University of Malta(马耳他大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文扩展了最近提出的间接、确定等价、事件触发自适应控制方案,用于非可观测参数的情况。通过使用一种新的批量最小二乘识别器(BaLSI),在事件发生时激活。BaLSI保证了参数估计的有限时间渐近恒定性,并且闭环系统轨迹跟随名义闭环系统轨迹(
2018-11-27 cs.SY eess.SY math.OC
On Periodic Reference Tracking Using Batch-Mode Reinforcement Learning with Application to Gene Regulatory Network Control
Imperial College London(帝国理工学院);Boehringer-Ingelheim Pharma GmbH & Co KG.(勃林格殷格翰制药);University of Liège(列日大学)
本文扩展了批量模式强化学习算法Fitted Q Iteration,利用参考轨迹的未来值和周期性先验知识,解决周期性参考跟踪问题,并在合成生物学基因调控网络广义抑制子中验证了其有效性。
2013-03-12 cs.SY eess.SY math.OC
Bayesian Control for Concentrating Mixed Nuclear Waste
Gensym Corporation(Gensym公司);University of Denver Research Institute(丹佛大学研究所)
提出一种基于条件高斯贝叶斯网络的批处理混合废料控制算法,网络在批处理阶段编译以实现对传感器输入的实时响应。
2013-01-23 cs.AI cs.SY eess.SY
Energy-Aware Model Predictive Control for Batch Manufacturing System Scheduling Under Different Electricity Pricing Strategies
本文提出一种能量感知 MPC 框架,将其表述为 MIQP 以动态调度批量制造过程,在满足生产约束下降低能耗成本,并为应对不同电价策略提供实用见解。
2025-06-28 cs.SY eess.SY math.OC
Towards a modeling, optimization and predictive control framework for fed-batch metabolic cybergenetics
生物技术为可持续地生产有价值的产品提供了许多机会。优化生物工艺的工具箱包括\textit{extracellular}工艺要素,如生物反应器设计和操作模式、培养基配方、培养条件、补料速率等。然而,这些要素通常不足以实现最佳工艺性能或精确的产品组成。可以使用代谢和遗传工程方法在细胞内水平进行优化。然而,这些措施往往是静态的,在应用于动态过程或发生扰动时就失效了。此外,许多生物过程都是经验优化的,并且几乎没有反馈控制来抵消干扰。网络遗传学的概念已经打开了优化生物过程的新的可能性,通过外部输入(例如,光遗传学中的光强度)。在这里,我们融合了基于模型的优化和预测控制优化动态生物过程的控制遗传学。要做到这一点,我们建议使用动态约束为基础的模型,整合代谢反应,资源分配和诱导基因表达的动态。我们制定了一个基于模型的最优控制问题,以找到最优的过程输入。此外,我们建议使用模型预测控制,以解决通过在线反馈的不确定性。我们专注于补料分批工艺,其中底物进料速率是一个额外的优化变量。作为一个模拟的例子,我们显示了ATP酶复合物的光遗传学控制,用于动态调节强制ATP消耗以调节产物产率和生产率。
2023-02-04 cs.SY eess.SY math.OC
Reinforcement Learning for Batch Bioprocess Optimization
The University of Manchester(曼彻斯特大学);University College London(伦敦大学学院);Universidad Nacional Autónoma de México(墨西哥国立自治大学);Norwegian University of Science and Technology(挪威科技大学);Imperial College London(帝国理工学院)
本文提出了一种基于强化学习的批量生物过程优化策略,通过策略梯度方法结合循环神经网络更新控制策略,并在复杂过程模型中测试了该方法的性能,同时与非线性模型预测控制等现有方法进行了比较。
2019-09-27 cs.SY eess.SY math.OC
Economically Efficient Combined Plant and Controller Design Using Batch Bayesian Optimization: Mathematical Framework and Airborne Wind Energy Case Study
针对无法获取系统动态解析模型时的工厂与控制器耦合优化问题,提出基于高斯过程和批量贝叶斯优化的嵌套优化框架,并在浮空风力涡轮机案例中验证其仅需少数迭代即可使参数收敛至最优。
2019-01-22 cs.SY eess.SY
Model predictive control and moving horizon estimation for adaptive optimal bolus feeding in high-throughput cultivation of \textit{E. coli}
我们讨论了非线性模型预测控制(MPC)和滚动时域估计(MHE)的应用,以实现最佳操作的\textit{E. coli}流加培养间歇推注。在10 mL规模的高通量微生物反应器平台中考虑了24个平行实验。所讨论的机器人岛可以并行运行多达48个补料分批过程,同时进行自动液体处理和在线分析。基于模型的监测和控制框架的实施表明,主要有三个挑战需要解决;第一,通过团注以瞬时脉冲形式给出输入,第二,在线和在线测量频率严重不平衡,第三,可以并行化或集成针对不同的多个反应器的优化。我们解决这些挑战,将脉冲控制系统的概念,制定多速率MHE与可识别性分析,并建议用于决定反应堆配置的标准。在这项研究中,我们提出的关键要素和背景理论的实施与\textit{in silico}模拟细菌补料分批培养。
2023-02-06 cs.SY eess.SY q-bio.QM