Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University（成均馆大学）
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储，成本低于购买和维护大型主机。在本文中，我们研究将强化学习（RL）应用于系统域问题是否可行。实验结果表明，RL模型在解决块管理问题上具有可比性，甚至优于其他算法。然而，我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用，但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
A Meta-Learning Approach for Multi-Objective Reinforcement Learning in Sustainable Home Environments
University of Galway（高威大学）
针对住宅电器调度中多目标强化学习面临的数据有限和情境变化问题，提出元学习扩展方法，结合自编码器检测情境变化，在伦敦真实数据上显著超越基线，节省电费3.28%，提升舒适度2.74%，并大幅减少训练数据与步骤。
2024-07-16 cs.AI cs.LG
Quality of service based radar resource management using deep reinforcement learning
智能雷达资源管理是认知雷达系统发展的重要里程碑。基于服务质量的资源分配模型（Q-RAM）是一个框架，允许智能决策，但经典的解决方案似乎不足以在现代雷达系统的实时应用。在本文中，我们提出了一种使用深度强化学习的Q-RAM雷达资源管理问题的解决方案，大大提高了运行时性能。
2020-10-20 cs.LG eess.SP
An Intelligent Approach for Negotiating between chains in Supply Chain Management Systems
在供应链管理系统中进行商业谈判和选择最佳供应商是生产商在生产过程中的弱点之一。因此，应用智能系统可能会有一个有效的作用，在加快速度和提高质量的选择。本文介绍了一个系统，试图使用多代理系统和任何代理之间举行谈判的交易。在该系统中，每一个链段都有一个智能Agent，它通过协商媒介参与发送命令和接收响应，并与其他Agent进行通信，本文介绍了Agent之间的通信方式、多Agent的特点以及环境中每个Agent的标准注册媒介。利用JADE（Java Application Development Environment）实现和模拟了Agent之间的协作。
2012-06-07 cs.AI
A proximal policy optimization based intelligent home solar management
Utah Valley University（犹他谷大学）
针对智能电网中产消者在动态电价下的利润最大化问题，提出基于PPO和循环奖励的太阳能管理框架，并引入孤子波长嵌入，利润较朴素算法提升超30%。
2024-05-09 cs.AI cs.LG
Traffic Management of Autonomous Vehicles using Policy Based Deep Reinforcement Learning and Intelligent Routing
Pakistan Institute of Engineering and Applied Sciences（巴基斯坦工程与应用科学学院）；Carleton University（卡尔顿大学）
深度强化学习（DRL）使用多样化的非结构化数据，使RL能够在高维环境中学习复杂的策略。基于自主车辆的智能交通系统（ITS）为基于策略的日间行车提供了一个很好的平台。深度学习架构解决了传统算法的计算挑战，同时有助于AV的实际采用和部署。自动驾驶汽车实施的主要挑战之一是，如果不可靠和有效地管理，它可能会加剧道路上的交通拥堵。考虑每辆车的整体影响，使用高效可靠的技术，可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能交通控制系统，处理复杂的交通拥堵的情况下，在交叉口和交叉口后面。提出了一种基于日间行车灯的信号控制系统，该系统能够根据交叉口当前的拥堵状况动态调整交通信号。针对交叉口后道路的拥堵问题，采用重路由技术对路网中的车辆进行负载均衡。为了实现所提出的方法的实际好处，我们打破了数据孤岛，并结合使用来自传感器、探测器、车辆和道路的所有数据，以实现可持续的结果。我们使用SUMO微模拟器进行模拟。我们所提出的方法的意义体现在结果。
2022-06-28 cs.AI cs.LG
Towards Intelligent Interactive Theatre: Drama Management as a way of Handling Performance
Independent Researcher, Melbourne, Australia
在本文中，我们提出了一种新的模式，智能互动的叙事在戏剧领域。我们讨论了使用智能代理，作为一个戏剧经理，并作为一个演员，扮演一个角色在现场戏剧体验的可能性。我们提出了一系列的研究挑战，从我们的分析对这样一个代理的实施，以及潜在的方法作为一个起点，以弥合目前的文献和拟议的模式之间的差距。
2022-01-18 cs.AI cs.HC
Proactive Load-Shaping Strategies with Privacy-Cost Trade-offs in Residential Households based on Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；KU Leuven（鲁汶大学）；COSIC（计算机与安全集成中心）
针对智能电表隐私泄露问题，提出基于深度强化学习的主动负荷整形算法PLS-DQN，通过制造虚假负荷特征误导攻击者，在保护隐私的同时兼顾成本，优于现有方法。
2024-05-29 cs.LG cs.SY eess.SY
Developing and Integrating Trust Modeling into Multi-Objective Reinforcement Learning for Intelligent Agricultural Management
针对农业AI算法推荐与农民实践脱节的问题，本研究将基于能力、善意、诚信维度的农民信任量化模型嵌入多目标强化学习策略优化，推动AI在农业的广泛应用。
2025-05-16 cs.AI
Intelligent Autonomous Intersection Management
University of Melbourne（墨尔本大学）
互联自动驾驶汽车将使自动交叉路口管理成为现实，取代传统的交通信号控制。自主交叉口管理需要调整到达交叉口的车辆的时间和速度，以无碰撞地通过交叉口。由于其计算复杂性，这个问题已经研究了只有当车辆到达时间对附近的交叉口是事先已知的，这限制了这些解决方案的实时部署的适用性。针对实时自主交通路口管理问题，提出了一种基于强化学习的多智能体体系结构和多折扣Q学习强化学习算法.在多折扣Q学习中，我们引入了一种简单而有效的方法来解决马尔可夫决策过程，同时保留短期和长期目标，这对于无冲突速度控制至关重要。我们的实证结果表明，我们基于RL的多智能体解决方案可以有效地实现接近最优的性能时，最大限度地减少通过交叉口的旅行时间。
2022-02-09 cs.LG cs.MA
Beam Management in Ultra-dense mmWave Network via Federated Reinforcement Learning: An Intelligent and Secure Approach
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Macau（澳门大学）；University of Glasgow（格拉斯哥大学）；Southwest Jiaotong University（西南交通大学）
部署在毫米波（mmWave）频段上运行的超密集网络是解决移动数据流量巨大增长的一种有前途的方法。然而，由于高传播延迟、有限的波束覆盖以及众多的波束和用户，超密集毫米波网络（UDMmN）的一个关键挑战是波束管理。本文提出了一种新的系统化波束控制方案，以解决由于目标函数非凸而难以实现的波束管理问题。我们在联邦学习（FL）框架下采用双深度Q网络（DDQN）来解决上述优化问题，从而实现UDmmN中的自适应和智能波束管理。在提出的基于FL的波束管理方案（BMFL）中，非原始数据聚合理论上可以保护用户隐私，同时降低切换代价。此外，我们建议在BMFL的局部模型训练中采用数据清洗技术，旨在进一步加强用户的隐私保护，同时提高学习收敛速度。仿真结果表明，我们所提出的方案的性能增益。
2022-10-29 cs.AI cs.IT math.IT
Intelligent Active Queue Management Using Explicit Congestion Notification
Department of Electrical and Computer Engineering, Western University（西安大略大学电气与计算机工程学院）
随着越来越多的终端设备连接，互联网将变得更加拥挤。各种拥塞控制技术已经在传输层或网络层上被开发。主动队列管理（AQM）是一种旨在通过主动缓冲区控制来避免网络层拥塞的方法。然而，由于网络的复杂性和动态性，为AQM方案找到正确的参数是具有挑战性的。另一方面，显式拥塞通知（ECN）机制是一种解决方案，其使得网络层上的初始拥塞对传输层可见。在这项工作中，我们提出利用ECN信息，以改善主动队列管理算法，通过应用机器学习技术。我们的智能方法使用人工神经网络预测拥塞和基于强化学习的AQM参数调整器。评估结果表明，我们的解决方案可以提高部署AQM的性能，使用现有的TCP拥塞控制机制。
2019-08-28 cs.LG cs.NI stat.ML
Explainable Reinforcement Learning-based Home Energy Management Systems using Differentiable Decision Trees
IDLab；Ghent university（根特大学）；imec
本文提出一种基于可微决策树的强化学习方法，用于家庭能源管理，兼具可扩展性和可解释性，性能与标准RL相当，成本节省优于基线约20%。
2024-03-18 cs.LG cs.SY eess.SY
Capacity-constrained demand response in smart grids using deep reinforcement learning
Lincoln AI Lab, University of Lincoln（林肯AI实验室，林肯大学）
本文提出一种基于深度强化学习的容量受限需求响应方法，通过经济激励减少峰值需求并优化电网负荷
2026-02-18 cs.LG
Closing the Responsibility Gap in AI-based Network Management: An Intelligent Audit System Approach
University of Guelph（圭尔夫大学）
针对基于AI的网络管理中存在的责任鸿沟问题，本文提出融合DRL与ML模型的智能审计框架，通过模拟环境训练，实现对相关AI管理智能体的责任识别与量化，DRL识别准确率达96%、ML学习网络状况准确率达83%。
2025-02-08 cs.AI cs.NI
Digital Twin and Agentic AI for Wild Fire Disaster Management: Intelligent Virtual Situation Room
Independent Researcher（独立研究者）；Department of Industerial Engineering and Management, Aalto University（Aalto大学工业工程与管理系）
本文提出智能虚拟情况室，结合数字孪生与代理AI，实现野火灾害管理的实时双向模拟与智能决策支持。
2026-02-09 cs.AI cs.SE
Power Management in Smart Residential Building with Deep Learning Model for Occupancy Detection by Usage Pattern of Electric Appliances
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
随着智能建筑应用的增长，住宅建筑中的占用信息变得越来越重要。在智能建筑范例的背景下，这种信息需要用于各种目的，包括提高能源效率和居住者舒适度。在这项研究中，居住建筑中的占用检测是使用深度学习的基础上的技术信息的电器。为此，提出了一种新的智能住宅建筑系统的占用检测方法。使用智能计量系统测量的电器、传感器、光和HVAC的数据集，从50个家庭收集，用于模拟。利用支持向量机和自编码算法对数据集的占用率进行分类。混淆矩阵用于准确率，精度，召回率和F1，以证明所提出的方法在占用检测的比较性能。该算法利用电器产品的技术信息实现了95.7~ 98.4%的占用检测。为了验证占用检测数据，主成分分析和t分布随机邻居嵌入（t-SNE）算法。通过使用占用检测，智能建筑中可再生能源系统的功耗降低到11.1%~13.1%。
2022-09-23 cs.HC cs.LG eess.SP
Demand Response For Residential Uses: A Data Analytics Approach
The University of Western Ontario（西安大略大学）
在智能电网环境中，智能测量设备的出现促进了对电器用电量的监控。这些数据可用于通过数据分析在住宅中应用需求响应（DR），并开发数据挖掘技术。在本研究中，我们介绍了一个智能系统的基础上，应用于用户的分类功耗数据。该系统通过改变用户使用较重的操作模式的行为以较轻的模式，并通过鼓励用户将其使用转移到非高峰时间，来鼓励用户应用DR。首先，我们应用互相关（XCORR）来检测设备使用时发生的时间。然后，我们使用动态时间规整（DTW）来识别所使用的操作模式。
2020-08-07 cs.LG eess.SP
A Heuristics-based Home Energy Management System for Demand Response
所谓的物联网（IoT）和先进的通信技术已经证明了通过需求侧管理来管理住宅能源资源的巨大潜力。这项工作提出了一个家庭能源管理系统，集中在能源重新分配的问题，消费者应转移他们的能源消费模式远离高峰期和/或高电价。我们的解决方案将住宅负载分为两类：（i）固定电源设备和（ii）灵活电源设备。因此，我们制定我们的问题作为一个约束优化问题，这是非线性的，不能在数学上解决的封闭形式。然后，我们采用和比较两个著名的算法，遗传算法（GA）和和声搜索算法（HSA），以尽量减少电力费用和峰均比。这两种方法进行比较的情况下，没有发生重新分配。数值结果表明，遗传算法和混合算法分别可以有效地降低0.9%和3.98%的电力成本，降低15%和5.8%的PAR
2020-04-16 eess.SP
Non-Intrusive Load Monitoring (NILM) using Deep Neural Networks: A Review
Qom University of Technology（库姆理工大学）；London South Bank University（伦敦南岸大学）
本文综述基于深度学习的非侵入式负荷监测方法，梳理住宅负荷分解的高精度方案、公共评估数据库及标准指标对比。
2023-06-08 cs.LG eess.SP
A Stacked Autoencoder Application for Residential Load Curve Forecast and Peak Shaving
在过去的十年里，公用事业公司已经观察到消费者的负荷曲线上的持续转变。以前平坦的载荷曲线更频繁地变成鸭形。这是由家庭负荷的增加以及屋顶太阳能光伏的普及共同造成的。这种负荷曲线过渡对现有系统的操作灵活性提出了挑战，并大大增加了每兆瓦时的能源成本。在这种情况下，调峰成为需求方管理的一项关键任务。由于电池储能系统（BESS）的发展，已经开发和实施了许多调峰策略。本文通过应用基于叠加式自动编码器（SAE）的居民峰荷曲线预测技术，进一步提升了基站的调峰能力。该策略兼顾了发电侧和需求侧的福利，达到了最优平衡。一个综合的案例研究使用智能电表数据证明了该方法在调峰应用的有效性。
2019-02-21 eess.SP
A Deep Learning Model for Battery State Prediction towards Intelligent Energy Management
Department of Informatics and Telecommunications, University of Thessaly（信息与电信系，塞萨洛尼基大学）
提出一种集成先进神经网络架构和大规模训练数据的深度学习模型，用于预测工业电化学储能系统的未来状态和性能，以支持预测性维护和能源资源优化分配。
2026-05-28 cs.LG eess.SP
SpectrumFM: A Foundation Model for Intelligent Spectrum Management
College of Artificial Intelligence and the Key Laboratory of Dynamic Cognitive System of Electromagnetic Spectrum Space（人工智能学院和电磁频谱空间动态认知系统重点实验室）
SpectrumFM通过创新的编码器架构和自监督学习任务，提升频谱管理任务的准确性和鲁棒性，实现高效且可迁移的频谱表示。
2025-12-15 cs.AI eess.SP
Non-Cooperative Resource Management for Intelligent Reflecting Surface Aided Networks
智能反射表面（IRS）已成为未来无线网络的一种有前途的革命性技术。大多数现有的IRS研究集中在通常具有单个频段的简单协作系统。然而，在现实的非合作多频带网络中，现有的IRS设计可能不适用或具有严重的性能下降。因此，在复杂的网络环境中，将IRS视为公共资源动态分配给合适的用户更为合理。在本文中，我们首先引入拍卖理论来解决多IRS辅助的非合作网络的资源管理问题。一个有效的拍卖算法框架引入到次优解决这个非凸问题。仿真结果表明，在复杂的多IRS辅助非合作网络中，采用拍卖算法可以获得显著的性能改善。
2022-09-01 eess.SP
Intelligent Condition Monitoring of Industrial Plants: An Overview of Methodologies and Uncertainty Management Strategies
Department of Electrical and Computer Engineering, University of Victoria（电气与计算机工程系，维多利亚大学）；Department of Mechanical Engineering, University of Victoria（机械工程系，维多利亚大学）
本文综述了面向工业装置（尤其是化工装置和TEP基准）的智能状态监测方法，系统梳理了机器学习和深度学习算法及其应对不平衡与未标注数据的策略，并通过性能比较为实际应用提供方法选择指导。
2025-08-22 cs.AI cs.LG cs.SY
Game Theory Approach on Modeling of Residential Electricity Market by Considering the Uncertainty due to the Battery Electric Vehicles (BEVs)
先进的高级计量基础设施（AMI）的快速发展使我们能够更好地了解需求响应（DR）解决方案的数据。物联网及其在智能电网上的应用已经过大量的研究，以找到用户最优化的账单;然而，我们提出了一种新的家庭负载方法，结合拥有配备有BEV通信控制器和车辆到电网（V2 G）技术的电池电动汽车（BEV）。在本文中，我们使用的Stackelberg游戏的方法来实现一个高效和有效的优化算法的用户（追随者）的时间相关定价的基础上。我们还假设了一个电力零售商公司（领导者）和一个双向的双边通信程序。基于使用的一方的游戏已经研究了需求侧管理（DSM）。使用时间（TOU）公司的实时定价（RTP）已用于获得更好的结果，蒙特卡洛模拟（MCS）处理BEV驾驶员的不确定行为。数值结果与仿真结果的比较表明，该方法可以有效地重塑客户的需求，以获得最佳的效率。
2019-08-07 eess.SP
Short-Term Load Forecasting for Smart HomeAppliances with Sequence to Sequence Learning
University of Central Florida（中佛罗里达大学）；University of Ottawa（渥太华大学）
负荷预测在住宅能源管理中起着至关重要的作用，除了具有显着的重要性，由公用事业公司执行的辅助服务。在本文中，我们建议使用基于LSTM的序列到序列（seq2seq）学习模型，可以捕获设备的负载配置文件。我们使用了一个从四个住宅楼收集的真实数据集，并将我们提出的方案与其他三种技术，即VARMA，一维卷积神经网络和LSTM模型进行了比较，结果表明，在大多数情况下，基于LSTM的seq2seq模型在预测误差方面优于其他技术。
2021-06-26 cs.LG cs.SY eess.SP
Artificial Intelligence-Enabled Intelligent 6G Networks
随着灵巧终端和基础设施的快速发展，以及多样化的应用（例如，虚拟和增强现实，远程手术和全息投影），当前的网络（例如，4G和即将到来的5G网络）可能无法完全满足快速增长的流量需求。因此，工业界和学术界都在努力研究6G网络。最近，人工智能（AI）已被用作设计和优化具有高智能水平的6G网络的新范例。为此，本文提出了一种基于人工智能的6G网络智能架构，实现知识发现、智能资源管理、自动网络调整和智能业务提供，该架构分为智能感知层、数据采掘与分析层、智能控制层和智能应用层四层。然后，我们回顾和讨论了人工智能技术在6G网络中的应用，并详细阐述了如何利用人工智能技术来有效地优化网络性能，包括人工智能授权的移动边缘计算，智能移动和切换管理以及智能频谱管理。此外，我们还强调了人工智能支持的智能6G网络的重要未来研究方向和潜在解决方案，包括计算效率、算法鲁棒性、硬件开发和能源管理。
2020-12-05 cs.NI eess.SP
Machine Learning Empowered Beam Management for Intelligent Reflecting Surface Assisted MmWave Networks
最近，智能反射表面（IRS）辅助的毫米波网络正在出现，其具有以更具成本效益的方式解决毫米波（mmWave）通信的阻塞问题的潜力。特别地，IRS由无源和可编程电磁元件构建，这些电磁元件可以通过明智的联合BS-IRS传输设计将毫米波传播信道操纵到更有利的无阻塞条件。然而，IRS和毫米波BS的共存使网络架构复杂化，并且因此对高效波束管理（BM）提出了巨大挑战，高效波束管理是高性能毫米波网络的一个关键先决条件。在本文中，我们系统地评估了IRS辅助毫米波网络BM的关键问题和挑战，为未来的网络设计带来见解。具体来说，我们仔细分类和讨论传统毫米波的现有BM向IRS辅助的新范例的可扩展性和局限性。此外，我们提出了一种新的机器学习授权BM框架的IRS辅助网络与代表性的展示，处理环境和移动性的意识，以实现高效的BM显着降低系统开销。最后，我们也提出一些未来的研究方向。
2020-03-03 eess.SP
Research on Intelligent Charging System Technology of Automobile Group
分析了智能充电系统应对大型停车库的相关问题，并分析了智能充电桩应用和综合交通枢纽的相关技术标准。主要包括车库内安装的充电桩数量、面积和充电方式。设想了新的建设管理形式，加大了投资建设力度，将收费系统的全部产权分配给投资方。同时，投资者对未来的管理和运营负全部责任，主要包括服务费和收费的收取。
2020-12-01 eess.SP
Quality of service based radar resource management for interference mitigation
智能雷达资源管理是任何现代雷达系统的重要组成部分。基于服务质量的资源分配模型（Q-RAM）提供了一个框架，深刻的和可量化的决策，但缺乏必要的灵活性，在干扰的存在下，最佳缓解策略。我们定义了一个扩展的Q-RAM为基础的雷达资源管理框架与智能干扰处理能力，使用各种缓解方法。该方法采用虚拟时间资源和替代任务配置来计算干扰存在下的接近最优的解决方案。所提供的实验结果表明，传统的策略有显着的改善。
2022-03-11 eess.SP
Intelligent energy management of steam generators
针对蒸汽发生器定期维护易忽略空燃比的问题，提出基于神经网络的智能能源管理模型，经Simulink/MATLAB仿真验证，可有效调控相关参数实现高效低耗运行。
2024-06-03 eess.SP
Characteristics of Interference in Licensed and Unlicensed Bands for Intelligent Spectrum Management
物联网设备的指数增长和智能设备对更高数据速率的需求，提高了在授权频段中运行的蜂窝5G/6 G和在非授权频段中运行的Wi-Fi技术中共享和管理频谱资源的需求。智能频谱管理已经成为动态频谱分配中的一个关键概念。为了了解频谱中存在的干扰，研究人员通常在固定位置监测干扰，并专注于蜂窝频段或Wi-Fi频段。在这项研究中，我们进行实验，收集实时频谱数据在室内和室外环境中的移动接收器，频谱分析仪。对于室外，我们将频谱分析仪安装在汽车座椅上，并在市区的选定路线上行驶。我们把分析仪放在一个推车上，在实验室里移动它。本研究中感兴趣的频率为1.9 - 2.5 GHz，包括授权和未授权频段。在许可和未许可频带之间比较时域和频域行为。我们首先使用阈值对数据进行归一化和二值化。然后，我们通过计算有多少个连续的频谱占用来计算频谱占用。根据我们的观察，室外环境的频谱占用比室内环境更显著。许可频带中的干扰在频域中比未许可频带中的干扰示出更多的变化。本研究提供了对不同环境和频段的干扰行为的更好理解。
2022-06-17 eess.SP
A Trust Management and Misbehaviour Detection Mechanism for Multi-Agent Systems and its Application to Intelligent Transportation Systems
Ulm University（乌尔姆大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文提出了一种基于主观逻辑的信任管理机制，用于多智能体系统中数据共享的可靠性增强和恶意行为检测，该机制在智能交通系统中得到了验证，证明其在系统规模扩大时仍能有效检测和隔离恶意代理。
2019-05-22 cs.MA cs.SY eess.SP
Reflection Resource Management for Intelligent Reflecting Surface Aided Wireless Networks
本文研究了两跳网络中多个单天线源端对采用智能反射面的问题。与以往的IRS研究仅关注IRS中所有反射元件的反射系数的调整不同，本文考虑了真实反射资源管理。具体地说，真正的反射资源管理可以通过触发器模块选择的基础上，我们提出的IRS架构，所有的反射元件的部分控制由多个并行开关的控制器。随着反射元件数量的增加，在这种情况下，由于不可压缩的能量消耗，真正的反射资源管理将变得迫切需要。此外，所提出的模块化结构的IRS的设计，使反射元件部分独立和可控。因此，我们的目标是通过联合触发模块子集选择、ST的发射功率分配以及触发模块的相应被动波束成形来最大化DT处的最小信号与干扰加噪声比（SINR），这取决于每ST功率预算和模块大小约束。而这个问题是NP-难的，由于模块大小的约束，为了处理它，我们转换的硬模块大小的限制到组稀疏的限制，通过引入混合行块范数，这产生了一个合适的半定松弛。此外，提出了并行交替方向乘法器（PADMM）方法来识别触发模块子集，然后通过对广义分式规划进行部分线性化，在不考虑组稀疏约束的情况下，通过求解最小信干噪比最大化问题来获得发射功率分配和无源波束形成。
2020-09-30 cs.IT cs.NI cs.PF
