Power Control for Wireless VBR Video Streaming: From Optimization to Reinforcement Learning
Syracuse University(雪城大学)
在本文中,我们研究的问题,流可变比特率(VBR)视频在无线链路上的功率控制。涉及发射机的系统模型(例如,基站)向接收机发送VBR视频数据(例如,移动用户)被采用,如在动态自适应流视频应用中所使用的。在这种情况下,我们分析功率控制策略,考虑以下两个目标:1)最小化的传输功率消耗,和2)最小化的通信会话的传输完成时间。为了在不中断的情况下播放视频,功率控制策略还应该满足将VBR视频数据传送到移动用户而不引起播放缓冲器下溢或上溢的要求。定向注水算法,它提供了一个简单而简洁的必要的最优性条件的解释,被确定为最佳的离线政策。在此之后,提出了两种在线策略,用于基于信道侧信息(CSI)预测在短时间窗口内的功率控制。采用动态规划来实现最佳离线和初始在线功率控制策略,以最小化通信会话中的发射功率消耗。随后,基于强化学习(RL)的方法被用于第二在线功率控制策略。通过仿真结果,我们表明,最佳的离线功率控制策略,最大限度地减少整体功耗导致大量的能源节省相比,最小化视频流的持续时间的策略。我们还证明了RL算法的性能优于基于动态规划的在线分组注水(GWF)策略,除非信道高度相关。
2019-03-31 cs.IT cs.LG math.IT
Optimal Adaptive Prediction Intervals for Electricity Load Forecasting in Distribution Systems via Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学)
针对配电系统负荷预测中传统预测区间难以适应偏态分布和概念漂移的问题,提出一种基于强化学习的在线自适应最优预测区间方法,通过自适应选择概率比例对并结合优先经验回放提升分位数预测质量,实验表明其预测区间质量更优且鲁棒性更强。
2022-05-18 cs.AI cs.LG cs.SY
Generative Sequential Notification Optimization via Multi-Objective Decision Transformers
LinkedIn Mountain View USA(LinkedIn Mountain View)
针对通知优化序列决策难题,提出基于决策Transformer的多目标优化框架,重构策略学习为回报条件监督学习,经实验验证可提升通知效用与会话活跃度、降低用户疲劳,在LinkedIn场景中效果优于CQL方法。
2025-09-02 cs.AI cs.LG
Sense Once, Serve Many: Common-Trace Factorized Constrained PPO for Online Sensing-Session Consolidation in Multi-Tenant ISAC Networks
VNU University of Engineering and Technology (VNU-UET)(越南国家大学工程技术大学(VNU-UET))
针对多租户ISAC网络在线感知会话整合问题,提出CT-PPO算法,通过公共轨迹奖励信用等设计,提升回报、降低感知资源成本,在多负载场景下表现优于对比算法。
2026-09-01 cs.LG cs.NI
Smart Home Energy Management: Sequence-to-Sequence Load Forecasting and Q-Learning
University of Central Florida(中佛罗里达大学);University of Ottawa(渥太华大学)
智能家居能源管理系统(HEMS)可以有助于降低客户的能源成本;然而,HEMS在能源生产和消费模式方面都存在不确定性。在本文中,我们提出了一种基于顺序到顺序(Seq 2Seq)学习的供应和负载预测以及基于强化学习的HEMS控制。我们调查的预测方法如何影响HEMS操作。首先,我们使用Seq 2Seq学习来预测光伏(PV)功率和家用设备的负载。然后,我们根据预测结果将Q学习应用于HEMS的离线优化。最后,我们用实际的PV和负荷数据测试了训练好的Q学习方案的在线性能。Seq 2Seq学习在预测和操作层面上与VARMA,SVR和LSTM进行了比较。仿真结果表明,Seq 2Seq算法具有较低的预测误差和在线运行性能。
2021-09-25 cs.LG cs.SY eess.SY
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University(普林斯顿大学)
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中,用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习(RL)和纯在线RL之间的设置,称为部署约束RL,其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务,我们提出了一个新的算法学习框架,称为基于模型的不确定性正则化和样本有效批量优化(MUSBO)。我们的框架为每个部署发现新颖且高质量的样本,以实现高效的数据汇集。在每个离线训练会话中,我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域(低不确定性),我们通过采取积极的更新来鼓励我们的政策。在低支持区域(高不确定性),当政策引导到分布外区域时,我们通过估计的不确定性量化来降低权重。实验结果表明,MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
REGEN: Replay-recycling for Expert-to-Generalist distillation with Offline Reinforcement Learning
vivo AI Lab(vivo人工智能实验室);Department of Computer Science, Sun Yat-Sen University(中山大学计算机科学系)
针对大语言模型强化学习扩展的挑战,提出REGEN方法,通过回收重放记忆并运用离线强化学习算法训练通用模型,解耦训练过程,降低成本,在多任务上以低成本达类似准确率,还可能变革在线强化学习及扩展训练阶段。
2026-10-14 cs.AI cs.LG
Load Balancing for Ultra-Dense Networks: A Deep Reinforcement Learning Based Approach
Beijing University of Posts and Telecommunications(北京邮电大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of California, Davis(加州大学戴维斯分校)
在本文中,我们提出了一种基于深度强化学习(DRL)的移动性负载均衡(MLB)算法以及一个两层架构,以解决超密集网络(UDN)的大规模负载均衡问题。我们的贡献是三方面的。首先,本文提出了一个两层的架构,以解决大规模的负载均衡问题,在自组织的方式。所提出的架构可以通过动态地将小小区根据其历史负载分组到自组织的簇中来缓解全局业务变化,并且之后通过簇内负载均衡来进一步适应局部业务变化。其次,对于集群内的负载均衡,本文提出了一种基于非策略DRL的MLB算法,在异步并行学习框架下自主学习最优MLB策略,而无需对底层UDN环境进行任何先验知识假设。此外,该算法支持多种行为策略的联合探索,可以使用传统的MLB方法来指导学习过程,从而提高学习效率和稳定性。第三,提出了一种基于离线评估的安全保障机制,保证在线系统能够始终使用最优的、经过良好训练的MLB策略,不仅稳定了在线性能,而且使现有策略之外的探索能够以安全的方式充分利用机器学习。实验结果表明,在具有不规则网络拓扑、耦合干扰和随机用户移动的一般UDN环境中,该框架的负载均衡性能优于现有的MLB方法.
2019-08-10 cs.LG cs.NI stat.ML
Non-Intrusive Load Monitoring for Feeder-Level EV Charging Detection: Sliding Window-based Approaches to Offline and Online Detection
Monash University(莫纳什大学);Monash Energy Institute(莫纳什能源研究所)
本文针对馈线级电动汽车充电检测的研究空白,提出基于滑动窗口特征提取与XGBoost、随机森林的轻量高效方法,支持离线与在线检测,离线F-Score达98.88%,在线达93.01%。
2023-12-04 cs.LG eess.SP
GRAINRec: Graph and Attention Integrated Approach for Real-Time Session-Based Item Recommendations
Target Corporation(塔吉特公司)
提出GRAINRec,一种图与注意力集成的实时会话式推荐模型,通过启发式推理满足SLA,在离线指标上平均提升1.5%,A/B测试中点击率提高10%、需求增加9%。
2024-11-14 cs.LG
Using i-vectors for subject-independent cross-session EEG transfer learning
本文提出基于 i-vector 的神经网络分类器,实现跨被试、跨会话的 EEG 迁移学习,用于认知负荷分类,相对被试依赖模型提升 18%,并证明无需被试依赖训练即可有效判定认知负荷。
2024-01-16 cs.CL cs.LG cs.SD
ADER: Adaptively Distilled Exemplar Replay Towards Continual Learning for Session-based Recommendation
Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
由于隐私问题的日益严重,基于会话的推荐近年来受到越来越多的关注。尽管最近基于神经会话的分类器取得了成功,但它们通常使用静态数据集以离线方式开发。然而,建议需要不断调整,以考虑到新的和过时的项目和用户,并需要“持续学习“在现实生活中的应用。在这种情况下,推荐器被持续地和周期性地更新,其中新数据在每个更新周期中到达,并且更新后的模型需要在下一次模型更新之前为用户活动提供推荐。使用神经模型进行持续学习的一个主要挑战是灾难性遗忘,其中一个持续训练的模型忘记了它以前学习过的用户偏好模式。为了应对这一挑战,我们提出了一种称为自适应蒸馏样本重放(ADER)的方法,通过定期重放以前的训练样本(即,示例)到具有自适应蒸馏损失的当前模型。实验进行了最先进的SASRec模型的基础上,使用两个广泛使用的数据集基准ADER与几个著名的持续学习技术。我们的经验表明,ADER始终优于其他基线,它甚至优于在每个更新周期使用所有历史数据的方法。这一结果表明,ADER是一个有前途的解决方案,以减轻灾难性遗忘的问题,建立更现实和可扩展的基于会话的记忆。
2020-07-23 cs.IR cs.LG stat.ML
Identifying Offline Metrics that Predict Online Impact: A Pragmatic Strategy for Real-World Recommender Systems
OTTO (GmbH \& Co. KGaA) Hamburg Germany;OTTO (GmbH \& Co. KGaA)
本文提出一种基于 Pareto front 近似的实用策略,通过单一模型控制的多组在线实验,识别与真实世界在线影响相一致的离线指标,并在 OTTO 平台验证了其有效性。
2025-07-13 cs.AI cs.IR cs.LG
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving
UC Berkeley(伯克利大学);UCLA(洛杉矶大学);Rice University(里奇大学);UC Davis(戴维斯大学);Intel(英特尔公司)
针对LLM服务GPU利用率低的问题,提出ConServe协同服务系统,通过令牌级调度、逐层抢占、增量KV缓存三项细粒度技术,实现高吞吐量与在线延迟保障,性能显著优于现有系统。
2025-09-03 cs.DC cs.LG
News Session-Based Recommendations using Deep Neural Networks
CI&T;Brazilian Aeronautics Institute of Technology - ITA(巴西航空技术学院 - ITA)
新闻推荐系统旨在个性化用户体验,并帮助他们从一个大的和动态的搜索空间发现相关的文章。因此,新闻领域是一个具有挑战性的场景推荐,由于其稀疏的用户分析,快速增长的项目数量,加速项目的价值衰减,和用户的偏好动态变化。最近,通过在推荐系统中使用深度学习技术,特别是在项目的特征提取和基于会话的推荐中使用递归神经网络,已经取得了一些有希望的结果。在本文中,它提出了一个实例化的CHAMELEON -一个深度学习元架构的新闻推荐系统。该架构由两个模块组成,第一个模块负责学习新闻文章表示,基于它们的文本和元数据,第二个模块旨在使用递归神经网络提供基于会话的推荐。这项工作中的推荐任务是为用户会话预测下一个条目:“用户在会话中最有可能阅读的下一篇文章是什么?“用户会话上下文被架构利用来在这种极端的新闻推荐冷启动场景中提供额外的信息。该方法融合了用户行为特征和项目特征。一个时间离线评价方法也提出了一个补充的贡献,这样的任务更现实的评价,考虑到动态因素,影响全球读者的兴趣,如流行度,新近度和季节性。大量基于会话的推荐方法进行了实验,所提出的CHAMELEON元架构的实例化在最佳基准方法的前n个准确性和排名指标(命中率为10%,MRR为13%)方面获得了显着的相对改善。
2018-09-17 cs.AI cs.IR cs.LG
A Real-Time Tsetlin Machine-based Non-intrusive Load Monitoring System on MCUs
本文提出基于Tsetlin机的NILM框架,解决传统NILM难在MCU部署的问题,在REDD数据集上实现高分类精度,模型体积小、推理延迟低,适配MCU嵌入式应用。
2026-08-28 cs.LG
From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI
Meta Platforms, Inc.(Meta平台公司)
提出分层评估框架,将离线代理分解为三个对齐环节,通过区间感知决策一致性审计,在27个实验中达到81.1% F1,优于原始分数,用于优先排序对话式AI候选变更。
2026-09-23 cs.AI cs.IR cs.LG
Deep-learning Causal Retrieval Optimization for Efficient e-commerce Distribution in Pinterest
Pinterest, Inc.(Pinterest公司)
研究在Pinterest中如何高效分发电子商务内容,通过深度多任务模型学习个性化和情境化触发策略,结合双稳健伪结果训练及随机数据记录等方法,实现早期检索优化,大幅减少购物触发,提升会话数和保存数,节省成本。
2026-07-22 cs.IR cs.LG
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Alibaba Group(阿里巴巴集团)
本文提出Echo系统,通过调度器、KV cache管理器和估算工具包协同工作,在满足在线任务SLO的同时最大化离线任务吞吐量,提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
A Scalable, Causal, and Energy Efficient Framework for Neural Decoding with Spiking Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
Spikachu提出一种基于脉冲神经网络的可扩展、因果且节能的神经解码框架,通过共享潜在空间处理脉冲信号,在保证性能的同时大幅降低能耗,并支持跨会话迁移。
2025-10-23 cs.AI cs.LG
CHAMELEON: A Deep Learning Meta-Architecture for News Recommender Systems [Phd. Thesis]
ITA(巴西航空理工学院);UFCG(巴西坎皮纳格兰德联邦大学);UFMG(巴西米纳斯吉拉斯联邦大学)
推荐系统(RS)已经成为一个热门的研究课题,自2016年以来,深度学习方法和技术在这一领域得到了越来越多的探索。新闻RS旨在个性化用户体验,并帮助他们从一个庞大而动态的搜索空间中发现相关文章。这项研究的主要贡献被命名为CHAMELEON,这是一个深度学习元架构,旨在解决新闻推荐的特定挑战。它由一个模块化的参考架构组成,可以使用不同的神经构建块进行实例化。由于在新闻领域中关于用户过去交互的信息是稀缺的,因此可以利用用户上下文来处理用户冷启动问题。文章的内容对于解决项目冷启动问题也很重要。此外,在新闻领域中,项目(文章)相关性的时间衰减非常加速。此外,外部中断事件可能暂时吸引全球读者的注意力,这种现象通常被称为机器学习中的概念漂移。所有这些特点都明确建模本研究的上下文混合会话为基础的推荐方法,使用递归神经网络。本研究所解决的任务是基于会话的新闻推荐,即,仅使用当前用户会话中可用的信息进行下一次点击预测。提出了一种方法,为现实的时间离线评估这样的任务,重播流的用户点击和新鲜的文章被连续发布在新闻门户网站。两个大的数据集进行的实验表明,在许多质量因素,如准确性,项目覆盖率,新颖性,减少项目冷启动问题,与其他传统的和国家的最先进的会话为基础的推荐算法相比,CHAMELEON新闻推荐的有效性。
2019-12-29 cs.IR cs.LG stat.ML
Adapting Job Recommendations to User Preference Drift with Behavioral-Semantic Fusion Learning
City University of Hong Kong(香港城市大学);BOSS Zhipin(BOSS直聘);University of Science and Technology of China(中国科学技术大学)
针对用户求职偏好频繁漂移问题,本文提出基于会话的 BISTRO 框架,通过语义聚类、超图小波学习和自适应滤波融合行为与语义信息,实现个性化职位推荐。
2024-06-24 cs.AI cs.IR cs.LG
FreeBalance: Pre-Routing Online Moe Load Balancing via Residual Workload Prediction
FreeBalance 是一种 MoE 模型在线负载均衡框架,通过残差 workload 预测实现专家迁移与预路由计算重叠,降低负载失衡与推理延迟,提升分布式推理效率。
2026-08-17 cs.AI cs.LG