Online and Scalable Model Selection with Multi-Armed Bandits
Copilot AI;Xaxis
许多在实时流量上运行的在线应用程序都由机器学习模型提供支持,这些模型的训练、验证和超参数调整都是在历史数据上进行的。然而,在离线分析中表现出强大性能的模型在在线部署时通常会产生较差的性能。这个问题是在非平稳环境中训练历史数据的困难的结果。此外,用于模型选择的机器学习度量可能与用于确定被测试应用的成功的真实世界业务度量不充分相关。这些问题在实时竞价(RTB)领域尤为突出,其中ML模型为竞价策略提供动力,并且模型的变化可能会影响广告活动的性能。在这项工作中,我们提出了自动化模型分析(AMS),一个系统的可扩展的在线选择RTB投标策略的基础上,现实世界的性能指标。AMS采用多臂强盗(MAB)来几乎同时运行和评估多个模型对实时流量,分配最多的流量给最好的模型,同时减少流量给那些在线性能较差的模型,从而最大限度地减少劣质模型对整体活动性能的影响。避免了对离线数据的依赖,而是根据可操作的业务目标逐个进行模型选择。AMS允许新模型在开发完成后立即安全地引入到实时活动中,从而最大限度地降低整体性能的风险。在多个广告活动的实时流量测试中,AMS系统被证明在提高广告活动性能方面非常有效。
2021-01-25 cs.AI cs.LG
CtRL-Sim: Reactive and Controllable Driving Agents with Offline Reinforcement Learning
Mila(米拉计算研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院);Torc Robotics(托尔克机器人公司);Princeton University(普林斯顿大学);CIFAR(加拿大高级研究所)
本文提出CtRL-Sim方法,利用回报条件的离线强化学习,通过物理增强模拟器处理真实驾驶数据并训练多智能体行为模型,实现了高效生成反应式且可控的驾驶智能体,并能生成安全关键场景及对抗性行为。
2024-10-14 cs.AI cs.LG cs.RO
Traffic Light Control with Reinforcement Learning
Hangzhou Foreign Language School(杭州外国语学校)
本研究提出一种基于深度Q学习的实时交通信号灯控制方法,通过相位门结构、记忆宫殿机制及多因素奖励函数优化配时,在杭州交叉口数据验证中较固定配时显著降低车辆等待时间、队列长度与总行程时间。
2023-08-28 cs.AI cs.LG
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University(多特蒙德工业大学)
离线强化学习(RL)提供了一个从离线数据中学习决策的框架,因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车(SDV)学习一种策略,这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中,可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法,该方法利用规划。然而,目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划(UMBRELLA)方法,该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Goal-Conditioned Data Augmentation for Offline Reinforcement Learning
McGill University(麦吉尔大学)
针对离线强化学习中次优数据集最优示范不足的问题,提出基于扩散模型的目标条件数据增强方法GODA,结合面向回报的目标条件、可控缩放及自适应门控机制生成高回报样本,在D4RL基准和交通信号控制任务上表现优于现有方法。
2025-09-02 cs.AI cs.LG cs.RO
Spatiotemporal Decision Transformer for Traffic Coordination
New York University(纽约大学);UC Berkeley(伯克利大学)
MADT通过引入图注意力机制、时间变压器编码器和返回到去的条件,实现了多智能体交通信号控制的序列建模,有效提升了交通协调性能。
2026-02-02 cs.AI cs.LG cs.SY
Safety-aware Causal Representation for Trustworthy Offline Reinforcement Learning in Autonomous Driving
Carnegie Mellon University(卡内基梅隆大学)
提出安全感知结构化场景表示FUSION方法,利用奖励、成本、状态和动作间的因果关系,在离线强化学习中构建结构化序列推理框架,显著提升了自动驾驶智能体在分布偏移和未见环境下的安全性与泛化能力。
2024-03-12 cs.AI cs.LG cs.RO
Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文提出一种基于博弈论和混合策略的离线值函数强化学习方法,用于解决营销预算分配问题,该方法只需存储恒定数量策略即可收敛至最优,并在大规模真实营销活动中验证了其优越性。
2023-09-06 cs.LG
(Re)$^2$H2O: Autonomous Driving Scenario Generation via Reversely Regularized Hybrid Offline-and-Online Reinforcement Learning
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
针对自动驾驶测试场景生成需求,提出(Re)$^2$H2O反向正则化混合离线-在线强化学习方法,结合真实与仿真数据优势,生成更多样且具对抗性的高风险场景,可泛化多模型并用于AV性能微调。
2023-06-10 cs.AI cs.LG
An Offline Meta Black-box Optimization Framework for Adaptive Design of Urban Traffic Light Management Systems
KAIST(韩国科学技术院);Korea Telecom(韩国电信)
针对现有交通信号灯管控策略难适配多样交通模式、仅适用于小路网的问题,提出基于离线元黑盒优化的框架,结合ANP与贝叶斯优化实现自适应设计,在仿真和真实场景中均取得更优效果。
2024-08-14 cs.AI cs.LG
Selecting Offline Reinforcement Learning Algorithms for Stochastic Network Control
本文为随机网络控制中的离线强化学习算法选择提供了指导,发现保守Q学习在不同随机性来源下表现更稳健,而序列方法在高回报轨迹充足时表现更优。
2026-03-04 cs.AI cs.LG cs.NI
RL-MSA: a Reinforcement Learning-based Multi-line bus Scheduling Approach
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院);Key Laboratory of Trustworthy Distributed Computing and Service, Ministry of Education, China(教育部可信分布式计算与服务重点实验室)
本文提出 RL-MSA,将多线路公交调度建模为 MDP,并结合空驶决策、状态特征与混合奖励,在离线和在线阶段同时降低用车数量并保障全部发车服务。
2024-03-11 cs.AI cs.LG
Offline Reinforcement Learning for Mobility Robustness Optimization
Ericsson Research(爱立信研究)
本研究探索使用离线强化学习方法(Decision Transformers和Conservative Q-Learning)学习最优小区个体偏移调整以优化移动鲁棒性,在3500 MHz New Radio网络中比传统规则方法提升达7%,并支持多目标函数训练。
2025-06-28 cs.AI cs.NI cs.PF
A Deep Multi-Agent Reinforcement Learning Approach to Autonomous Separation Assurance
George Washington University(乔治华盛顿大学)
提出了一种新的深度多智能体强化学习框架,用于识别和解决高密度、随机和动态扇区中可变数量飞机之间的冲突。目前,扇区容量受到空中交通管制员认知能力的限制。我们研究了一个新概念(自主分离保证)和一种新方法的可行性,以推动人类认知极限以上的部门的能力。我们提出了使用分布式车辆自主性来确保分离的概念,而不是集中的扇区空中交通管制员。我们提出的框架利用近端策略优化(PPO),我们修改,将注意力网络。这使得代理商能够以可扩展的、有效的方法访问扇区中的可变飞机信息,以在不确定性下实现高流量吞吐量。使用集中式学习、分散式执行方案来训练代理,其中一个神经网络由所有代理学习和共享。在蓝天空中交通管制环境中的三个具有挑战性的案例研究所提出的框架进行了验证。数值结果表明,所提出的框架显着减少离线训练时间,提高性能,并导致更有效的政策。
2020-08-27 cs.AI cs.LG cs.MA
DiDrive: A Risk-Aware Hierarchical Diffusion Framework for Safe Offline Reinforcement Learning in Autonomous Driving
College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院);Maynooth International College of Engineering, Fuzhou University(福州大学梅努斯国际工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对离线强化学习在自动驾驶中面临的分布偏移等挑战,提出含RHDif架构与3DICE范式的DiDrive框架,在CARLA基准的高密度交通场景中表现优于基线,为安全自动驾驶决策提供稳健路径。
2026-09-03 cs.LG cs.RO
DiffLight: A Partial Rewards Conditioned Diffusion Model for Traffic Signal Control with Missing Data
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Beijing Key Laboratory of Traffic Data Analysis and Mining(北京市交通数据分析与挖掘重点实验室)
针对交通信号控制中常见的交通数据缺失问题,提出融合数据插补与决策的DiffLight模型,结合STFormer与扩散通信机制,实验验证其在多数据集缺失场景下的有效性。
2024-10-31 cs.AI cs.LG cs.SY
To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning
London School of Economics(伦敦政治经济学院)
本文针对离线强化学习中的策略切换问题,提出基于最优传输的平衡切换框架及Net Actor-Critic算法,并在机器人控制和交通灯基准上验证了其有效性。
2025-02-26 cs.IT cs.LG math.IT
From Prior-Guided Heuristics to Deployable Agents: Accelerating Demonstration-Driven Reinforcement Learning for Deadline-Constrained Network Control
University of Naples Federico II(那不勒斯费德里科二世大学);New York University(纽约大学);University of Southern California(南加州大学);University of Trento(特伦托大学);Centre Tecnològic de Telecomunicacions de Catalunya (CTTC)(加泰罗尼亚电信技术中心)
本文针对动态异构网络中延迟敏感信息传输的截止期限约束问题,提出含EC指标与MADRL EC($p^*$)架构的部署导向框架及MGA-RL训练协议,加速演示驱动强化学习以实现可部署网络控制。
2026-09-04 cs.AI cs.NI
Learning to Advertise for Organic Traffic Maximization in E-Commerce Product Feeds
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
大多数电子商务产品提要向消费者提供广告产品和推荐产品的混合结果。底层的广告和推荐平台共享类似的候选产品,如果不是完全相同的话。消费者对广告结果的行为构成了推荐模型的训练数据的一部分,因此可以影响推荐结果。我们把这个过程称为杠杆。考虑到这一机制,我们提出了一个新的角度,广告商可以通过广告平台的策略性出价,以优化其推荐的有机流量。通过分析真实世界的数据,我们首先解释了杠杆机制的原理,即,杠杆的动态模型。然后,我们引入了一个新的杠杆优化问题,并制定了一个马尔可夫决策过程。为了解决无模型强化学习中样本复杂性的问题,提出了一种新的混合训练杠杆出价(HTLB)算法,该算法结合了真实世界的样本和仿真器生成的样本,以提高学习速度和稳定性。我们的离线实验以及在线部署的结果表明,我们的方法的优越性能。
2019-08-19 cs.LG stat.ML
SIGMA: Symmetry-aware, Intelligent, Geometric, Multi-faced Adaptive Traffic Control for Reliable Intelligent Transportation Systems
Indian Statistical Institute(印度统计研究所);Sorbonne University Abu Dhabi(阿布扎比索邦大学);Sorbonne Center for Artificial Intelligence(索邦人工智能中心);SQC & OR(统计质量控制与运筹学研究室)
本文提出SIGMA框架,结合LLM实现自适应交通信号多目标控制,在SUMO仿真中较基准控制器降低等待与排队时长、提升通行量,且具备鲁棒性与统计可靠性。
2026-10-14 cs.LG stat.ML
Lightweight Auto-bidding based on Traffic Prediction in Live Advertising
Taobao \& Tmall Group of Alibaba Beijing China;Taobao \& Tmall Group of Alibaba
针对直播广告实时出价面临未来流量未知及现有方法复杂度高的问题,提出轻量级自动出价算法 BiCB,结合最优出价公式与流量预测实现低复杂度近似最优解,并经实验验证其高效低耗。
2025-08-08 cs.LG stat.ML
DRIVE: Distributional and Retrieval-Augmented Bidding with Value Evaluation
Machine Learning, ICML(机器学习,ICML)
提出DRIVE框架,通过解耦候选动作生成与决策,结合分布建模、检索增强和价值评估,提升离线自动竞价性能。
2026-06-15 cs.LG
Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing
CAV-Lab, School of Engineering(CAV实验室、工程学院);School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院)
本文提出了一种生成人类对齐奖励标签的方法,用于提升自动驾驶车辆在遮挡行人横穿场景中的安全性能。
2026-01-23 cs.LG cs.RO
MODRL-TA:A Multi-Objective Deep Reinforcement Learning Framework for Traffic Allocation in E-Commerce Search
针对电商搜索流量分配中多目标平衡与冷启动难题,提出多目标深度强化学习框架MODRL-TA,结合多目标Q学习、决策融合算法与渐进式数据增强,有效提升长期价值并已成功在线部署。
2024-07-22 cs.IR cs.LG
Generalizable Resource Scaling of 5G Slices using Constrained Reinforcement Learning
University of Waterloo(滑铁卢大学);Rogers Communications Inc.(罗杰斯通信公司)
针对5G切片资源分配中QoS与资源关系复杂、现有方法泛化性差的问题,提出基于回归模型与域随机化离线训练的风险约束强化学习方法,实现可泛化的资源动态伸缩,在未知流量下将QoS下降控制在10%阈值内且最小化资源占用。
2023-06-15 cs.LG cs.NI
Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson
Amazon(亚马逊公司)
该研究针对工业可解释推荐系统的高成本问题,提出将 LLM 解释生成与选择分离的方案,发现 pairwise 排序方法在离线解释选择中优于单动作强化学习,且构建成本低、延迟小。
2026-09-22 cs.AI cs.LG
Deep Bayesian Bandits: Exploring in Online Personalized Recommendations
University of California, San Diego(加利福尼亚大学圣迭戈分校);Twitter(推特公司)
以连续学习方式训练的推荐系统受到反馈回路问题的困扰,也称为算法偏见。这会导致新训练的模型表现得更好,并倾向于用户已经参与的项目。这种行为在个性化广告推荐中尤其有害,因为它还可能导致新的广告系列尚未开发。探索旨在通过提供有关环境的新信息来解决这一限制,这些信息包括用户偏好,并可以带来更高的长期回报。在这项工作中,我们制定了一个显示广告推荐作为一个上下文的强盗和实现的探索技术,需要从后验分布的点击率在计算上易于处理的方式进行采样。传统的大规模深度学习模型默认不提供不确定性估计。我们近似这些不确定性测量的预测采用自举模型与多个头和辍学单位。我们在离线模拟环境中使用公开的用户广告参与数据集对一些不同的模型进行基准测试。我们在离线模拟和大规模生产流量的在线AB设置中测试了我们提出的深度贝叶斯强盗算法,在那里我们展示了我们的探索模型的积极收益。
2020-08-03 cs.AI cs.LG cs.NE
Multi-Agent Deep Reinforcement Learning for Distributed Satellite Routing
Telecommunications Research Institute, University of Malaga(马拉加大学电信研究所)
针对低轨卫星星座的分布式路由问题,本文提出两阶段 MA-DRL 框架,通过离线全局 DNN 学习最优路径并在星载本地 DNN 上在线部署,实现对网络与流量变化的快速适应。
2024-02-27 cs.IT cs.LG math.IT
NeurIPS 2022 Competition: Driving SMARTS
驾驶智能是一项定期的比赛,旨在解决现实世界自动驾驶(AD)中普遍存在的动态交互环境中的分布偏移所引起的问题。拟议的比赛支持方法上的不同解决方案,如强化学习(RL)和离线学习方法,在自然AD数据和开源模拟平台SMARTS的组合上进行训练。双轨结构允许关注分布偏移的不同方面。轨道1对任何方法都是开放的,将为具有不同背景的机器学习研究人员提供解决现实世界自动驾驶挑战的机会。轨道2是专为严格的离线学习方法。因此,可以在不同方法之间进行直接比较,以确定新的有前途的研究方向。建议的设置包括:1)使用真实世界数据和微模拟器生成的真实流量,以确保场景的逼真度,2)容纳解决问题的各种方法的框架,以及3)基线方法。因此,它提供了一个独特的机会,对自动驾驶汽车部署的各个方面进行原则性调查。
2022-11-14 cs.CV cs.LG cs.RO
Integrated Decision and Control: Towards Interpretable and Computationally Efficient Driving Intelligence
Tsinghua University(清华大学);Suzhou Automotive Research Institute, Tsinghua University(清华大学苏州汽车研究院)
决策和控制是高级自动驾驶汽车的核心功能。当前的主流方法,如功能分解和端到端强化学习(RL),要么具有较高的时间复杂度,要么具有较差的可解释性和适应性。在本文中,我们提出了一个可解释的和计算效率高的框架,称为集成决策和控制(IDC)的自动驾驶汽车,它分解成静态路径规划和动态优化跟踪的分层结构的驾驶任务。首先,静态路径规划生成几个候选路径只考虑静态交通元素。然后,设计了动态最优跟踪算法,在考虑动态障碍物的情况下跟踪最优路径。为此,我们制定了一个约束最优控制问题(OCP)的每个候选路径,分别优化它们,并遵循一个最佳的跟踪性能。为了减轻繁重的在线计算,我们提出了一个基于基于模型的强化学习(RL)算法,可以作为一个近似的约束OCP求解器。具体地说,所有路径的OCP被认为是在一起,以构建一个完整的RL问题,然后解决离线的价值和策略网络的形式,分别为实时在线路径选择和跟踪。我们在模拟和现实世界中验证我们的框架。结果表明,与基线方法相比,IDC的在线计算效率提高了一个数量级,以及更好的驾驶性能,包括交通效率和安全性。此外,它产生了很大的解释性和适应性之间的不同的驾驶任务。在复杂交通条件下的实际道路试验中也证明了该方法的有效性。
2021-05-11 cs.LG cs.RO
From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI
Meta Platforms, Inc.(Meta平台公司)
提出分层评估框架,将离线代理分解为三个对齐环节,通过区间感知决策一致性审计,在27个实验中达到81.1% F1,优于原始分数,用于优先排序对话式AI候选变更。
2026-09-23 cs.AI cs.IR cs.LG
RecoGym: A Reinforcement Learning Environment for the problem of Product Recommendation in Online Advertising
Criteo AI Labs(科韬人工智能实验室);Universitat Pompeu Fabra(庞培法布拉大学);Telefonica Research(西班牙电信研究院)
推荐系统在许多环境中变得无处不在,并采取多种形式,从电子商务商店中的产品推荐,到搜索引擎中的查询建议,再到社交网络中的朋友推荐。目前的研究方向主要是基于从历史数据的监督学习,似乎显示出收益递减,许多从业者报告了监督学习的离线指标的改进与新提出的模型的在线性能之间的差异。一个可能的原因是,我们使用了错误的范式:当着眼于收集历史性能数据的长期周期时,创建推荐模型的新版本,A/B测试然后推出。我们看到,强化学习(RL)设置有很多共同点,其中智能体观察环境并对其采取行动,以便将其状态改变为更好的状态(具有更高奖励的状态)。为此,我们介绍了RIGYM,RL环境的建议,这是由用户的电子商务模式和用户响应的发布商网站上的建议模型定义的。我们相信,这是推荐系统研究领域向前迈出的重要一步,可以开辟推荐系统和强化学习社区之间的合作途径,并使离线和在线性能指标更好地保持一致。
2018-09-14 cs.IR cs.LG
Offline-to-Online Creative Optimization with Generative Models and Adaptive Testing
University of Michigan(密歇根大学);Meta
研究如何利用历史A/B测试数据,通过性能驱动的离线到在线工作流程,用预测模型指导生成测试广告位候选创意,经实验验证该方法能有效提升创意参与度,为创意优化提供设计原则。
2026-07-28 cs.AI cs.LG
Filtering DDoS Attacks from Unlabeled Network Traffic Data Using Online Deep Learning
National University of Singapore(新加坡国立大学)
DDoS攻击简单、有效,即使在二十多年后仍然构成重大威胁。鉴于机器学习最近取得的成功,研究如何利用深度学习来过滤应用层攻击请求是很有趣的。由于不断变化的配置文件、缺乏标记数据以及在线设置的限制,采用深度学习解决方案存在挑战。离线无监督学习方法可以通过从正常日流量${\mathcal N}$学习异常检测器$N$来避开这些障碍。然而,异常检测不利用在攻击期间获得的信息,并且它们的性能通常不令人满意。在本文中,我们提出了两个框架,利用历史${\mathcal N}$和混合${\mathcal M}$流量在攻击过程中获得的,由未标记的请求。我们还介绍了一个机器学习优化问题,旨在筛选出使用${\mathcal N}$和${\mathcal M}$的攻击。首先,我们提出的方法,启发统计方法,扩展了无监督的异常检测器$N$来解决这个问题,使用估计的条件概率分布。我们采用迁移学习的方法,将$N$分别有效地应用于${\mathcal N}$和${\mathcal M}$,并将结果结合起来,得到一个在线学习者。其次,我们制定了一个更适合深度学习的特定损失函数,并在在线设置中使用迭代训练来解决它。在公开的数据集上,与基线检测方法相比,我们的在线学习者在假阳性率上实现了$99.3\%$改进。在离线环境中,我们的方法与在标记数据上训练的分类器具有竞争力。
2020-12-12 cs.CR cs.LG
DSETA: A Dual-Stage Continual Learning Framework for Travel Time Prediction in Dynamic Traffic Environments
Beijing Jiaotong University(北京交通大学);Didichuxing Co. Ltd(滴滴出行有限公司);Lancaster University(兰卡斯特大学)
针对动态交通环境下行程时间预测精度不足问题,提出双阶段持续学习框架DSETA,结合日内与日间间学习及知识整合模块,在滴滴真实数据集上实现MAE下降并成功落地应用。
2026-08-04 cs.AI cs.LG
Managing Large Dataset Gaps in Urban Air Quality Prediction: DCU-Insight-AQ at MediaEval 2022
Dublin City University(都柏林城市大学);University College Dublin(都柏林大学学院)
计算空气质量指数(AQI)通常使用来自部署在固定位置处的空气质量传感器的数据流,并且计算是实时的过程。如果一个或多个传感器损坏或离线,则不能计算实时的AQI值。估计未来某个点的AQI值是一个预测过程,并使用历史AQI值来训练和构建模型。在这项工作中,我们专注于填补空气质量数据的空白,其任务是预测未来1天,5天和7天的AQI。该场景是一个或多个空气,天气和交通传感器离线,并探索在这种情况下的预测准确性。这项工作是由DCU-Insight-AQ团队提交的MediaEval'2022城市空气:城市生活和空气污染任务的一部分,并使用由AQI,天气和CCTV交通图像组成的多模态和跨模态数据进行空气污染预测。
2022-12-19 cs.AI cs.LG cs.NA
Uncertainty-aware Short-term Motion Prediction of Traffic Actors for Autonomous Driving
Uber Advanced Technologies Group(优步先进技术集团)
我们解决了自动驾驶汽车安全有效运行所必需的关键方面之一,即预测自动驾驶汽车周围交通行为者的未来状态。我们引入了一种基于深度学习的方法,该方法考虑了当前的世界状态,并生成每个演员附近的光栅图像。然后,这些光栅被用作深度卷积模型的输入,以推断参与者的未来运动,同时还考虑和捕获预测任务的固有不确定性。对真实世界数据的广泛实验强烈表明所提出的方法的好处。此外,在完成离线测试后,该系统成功地在自动驾驶汽车上进行了测试。
2020-03-04 cs.CV cs.LG cs.RO
Intelligent Traffic Monitoring with YOLOv11: A Case Study in Real-Time Vehicle Detection
University of Tetovo(泰托沃大学)
本文提出一种结合预训练YOLOv11检测器与BoT-SORT/ByteTrack的实时交通监控系统,实现高效车辆检测与计数,无需依赖云服务,在多种场景中达到高准确率和召回率。
2026-04-05 cs.AI cs.CV cs.LG
Data-Driven Intersection Management Solutions for Mixed Traffic of Human-Driven and Connected and Automated Vehicles
University of Virginia(弗吉尼亚大学)
本文提出了两种解决方案,在连接和自动驾驶汽车的存在下,城市交通控制。首先,提出了一种集中式基于车队的控制器的协同交叉口管理问题,利用车队系统和V2I通信,以产生快速和平稳的交通流在一个单一的交叉口。其次,提出了一种数据驱动的方法,用于在联网车辆存在的情况下进行自适应信号控制。所提出的系统依赖于一个数据驱动的方法,最佳信号时序和数据驱动的探试法估计路由决策。它不需要在交叉口安装额外的传感器,与实践中的自适应信号控制器的典型设置相比,降低了安装成本。该交通控制器包含一个最优信号配时模块和一个交通状态估计器。信号配时模块是在微观仿真数据上训练的神经网络模型,以根据给定的性能度量(例如车辆延迟或平均队列长度)实现最优结果。交通状态估计器依赖于连接车辆的信息来估计交通的路由决策。提出了一种探试法来最小化估计误差。通过充分的参数调整,估计误差随着联网车辆市场渗透率(MPR)的增长而减小。当MPR为10%时,估计误差小于30%,当MPR大于30%时,估计误差缩小到20%以下。仿真结果表明,建议的交通控制器优于公路通行能力手册的方法,并给予适当的离线参数调整,它可以减少平均车辆延误高达25%。
2020-12-10 cs.LG cs.SY eess.SY
Learning Realistic Traffic Agents in Closed-loop
Waabi;University of Toronto(多伦多大学)
本文提出 RTR 闭环 IL+RL 联合学习目标,在交通合规约束下模仿专家演示,并结合真实常规场景与程序化长尾场景训练,提升交通智能体的逼真性、泛化性及下游预测效果。
2023-11-02 cs.CV cs.LG cs.RO
Analyzing and Storing Network Intrusion Detection Data using Bayesian Coresets: A Preliminary Study in Offline and Streaming Settings
University of Oslo(奥斯陆大学)
在本文中,我们提供了一个初步的研究应用贝叶斯核心集的网络安全数据。网络入侵检测是一个可以利用贝叶斯机器学习来建模不确定性和管理流数据的领域;然而,大规模的数据集往往阻碍了基于MCMC的贝叶斯学习方法的使用。限制有用数据的数量是网络流量分析等领域的核心问题,其中通过数据包收集可以非常快速地生成大量冗余数据。减少样本的数量不仅会使学习更可行,而且还有助于减少对记忆和存储的需求。我们在这里探索使用贝叶斯coresets,一种技术,减少数据样本的数量,同时保证学习一个准确的后验分布使用贝叶斯学习。我们分析了贝叶斯核心集如何影响学习模型的准确性,以及在静态场景和流场景中如何权衡时空要求。
2019-06-20 cs.CR cs.LG stat.ML
Infer Implicit Contexts in Real-time Online-to-Offline Recommendation
Koubei, Alibaba Group(阿里巴巴集团口碑);Tsinghua University(清华大学)
理解用户上下文对于成功的推荐至关重要,特别是对于O2O推荐,如Yelp,Groupon和口碑。与传统推荐中个人偏好大多是静态的不同,O2O推荐应该是动态的,以捕捉用户在时间和位置上的变化。然而,精确地推断用户的实时的【形】上下文信息,特别是那些隐式的,是非常困难的,这是O2O推荐的核心挑战。在本文中,我们提出了一种新的方法,称为混合注意力约束去噪自动编码器(MACDAE),推断隐式上下文,从而提高质量的实时的【形】O2O推荐。在MACDAE中,我们首先利用用户,项目和显式上下文之间的交互来推断用户的隐式上下文,然后将学习到的隐式上下文表示组合到端到端模型中以进行推荐。MACDAE在实际系统中工作得很好。我们对所提出的方法进行了离线和在线评估。在几个真实世界的数据集(Yelp,Dianping和Koubei)上的实验表明,我们的方法可以实现比最先进的显着改进。此外,在线A/B测试表明,在现实世界的流量中,点击率提高了2.9%,转化率提高了5.6%。我们的模型已经在口碑网的“猜你喜欢”推荐产品中得到了应用。
2019-07-08 cs.IR cs.LG stat.ML
Real Time Video Quality Representation Classification of Encrypted HTTP Adaptive Video Streaming - the Case of Safari
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Ariel University(阿里尔大学)
HTTP自适应视频流服务的日益普及大大增加了运营商网络的带宽要求,运营商网络试图通过深度数据包检测(DPI)来塑造其流量。不过,谷歌和某些内容提供方已经开始对他们的视频服务进行加密。因此,运营商在通过DPI塑造其加密视频流量时经常遇到困难。这突出了对加密HTTP自适应视频流的新流量分类方法的需求,以实现智能流量整形。这些新方法必须有效地估计质量表示层和播放缓冲区。我们提出了一种新的方法,并首次表明(YouTube)加密HTTP自适应流的视频质量表示分类是可能的。我们分析了这种分类方法与Safari在HTTPS上的性能。基于大量的离线和在线流量分类实验,我们证明了它可以独立地分类,在实时的,每个视频片段到一个质量表示层,平均准确率为97.18%。
2016-02-19 cs.CR cs.LG cs.MM
Genie: An Open Box Counterfactual Policy Estimator for Optimizing Sponsored Search Marketplace
Microsoft Bing Ads(微软必应广告)
在本文中,我们提出了一个离线反事实的政策估计框架称为精灵优化赞助搜索市场。Genie采用了一个带有点击校准模型的开箱模拟引擎来计算对系统的任何修改对KPI的影响。从Bing流量的实验结果来看,我们发现Genie的表现优于现有的观察方法,这些方法采用随机实验来研究频繁更新策略的流量切片。我们还表明,精灵可以用来调整完全新的政策,有效地没有创建危险的随机实验,由于冷启动问题。截至目前,Genie每年托管超过10000个优化作业,为Bing Ads运行超过3000万个处理节点小时的大数据作业。在过去的3年里,Genie已被证明是优化Bing Ads Marketplace的主要平台之一,因为它在频繁的政策变化下具有可靠性,并且在实际实验中能够最大限度地降低风险。
2018-08-22 cs.AI cs.LG stat.ML
Kitsune: An Ensemble of Autoencoders for Online Network Intrusion Detection
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
神经网络已经成为网络入侵检测系统(NIDS)的一种越来越流行的解决方案。它们学习复杂模式和行为的能力使其成为区分正常流量和网络攻击的合适解决方案。然而,神经网络的缺点是训练它们所需的资源量。许多可能托管NIDS的网络网关和路由器设备根本没有存储器或处理能力来训练,有时甚至执行这样的模型。更重要的是,现有的神经网络解决方案是以监督的方式训练的。这意味着专家必须标记网络流量并不时手动更新模型。在本文中,我们提出了Kitsune:即插即用的NIDS,可以学习检测本地网络上的攻击,无需监督,并在一个有效的在线方式。Kitsune的核心算法(KitNET)使用称为自动编码器的神经网络的集合来共同区分正常和异常的流量模式。KitNET由一个特征提取框架支持,该框架可以有效地跟踪每个网络通道的模式。我们的评估表明,Kitsune可以检测到各种攻击,其性能与离线异常检测器相当,即使在Raspberry PI上也是如此。这表明Kitsune可以成为一个实用和经济的NIDS。
2018-05-27 cs.AI cs.CR cs.LG
Online Learning for Traffic Routing under Unknown Preferences
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
在交通网络中,用户通常以分散和自利的方式选择路线,以最大限度地降低个人旅行成本,这在实践中往往导致社会整体效益低下。因此,设计道路收费方案以应对这些效率损失并引导用户转向系统效率的交通模式的兴趣越来越大。然而,道路收费方案的功效通常依赖于能够获得关于用户的行程属性的完整信息,诸如他们的起点-目的地(O-D)行程信息和他们的时间值,这在实践中可能是不可用的。出于这一实际考虑,我们提出了一个在线学习的方法来设置通行费的交通网络,以驱动不同的时间值的异质用户对系统有效的交通模式。特别是,我们开发了一种简单而有效的算法,该算法仅根据观察到的网络道路上的总流量来调整每个时间段的通行费,而不依赖于用户的任何额外出行属性,从而保护用户隐私。在O-D对和用户的时间值被独立地绘制的设置中,在每个时段,我们表明,我们的方法获得了预期的遗憾和道路容量违规$O(\sqrt{T})$,其中$T$是收费更新的时段数。我们的遗憾保证是相对于一个离线的甲骨文,有完整的信息,用户的行程属性。我们进一步建立了一个$Ω(\sqrt{T})$下界的遗憾的任何算法,这表明我们的算法是最佳的常数。最后,我们展示了我们的方法相对于现实世界的交通网络上的几个基准的优越性能,从而突出了其实用性。
2022-03-31 cs.GT cs.LG math.OC
REFOL: Resource-Efficient Federated Online Learning for Traffic Flow Forecasting
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Intelligent Transportation Thrust, Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)智能交通枢纽);School of Software, Nanjing University of Information Science and Technology(南京信息工程大学软件学院);Zhongguancun Lab(中关村实验室);School of Computing and Communications, Lancaster University(兰卡斯特大学计算与通信学院);JD Intelligent Cities Research(京东智能城市研究院);JD iCity, JD Technology(京东科技京东智城)
本文提出REFOL方法,通过数据驱动的客户端参与机制、自适应在线优化策略和图卷积聚合机制,在通信轻量化和计算高效的前提下解决交通流预测中的概念漂移问题。
2024-11-21 cs.LG
Self-learned Intelligence for Integrated Decision and Control of Automated Vehicles at Signalized Intersections
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);China Agricultural University(中国农业大学)
交叉路口是自动驾驶最复杂、最容易发生事故的城市场景之一,在这种情况下,做出安全和计算效率高的决策是非常重要的。目前的研究主要集中在简化的交通条件,而忽略了混合交通流的存在,即,车辆、骑自行车者和行人。对于城市道路,不同的参与者导致相当动态和复杂的相互作用,这给学习智能策略带来了很大困难。本文在综合决策与控制(IDC)框架下,提出了一种处理混合交通流信号交叉口的动态置换状态表示方法。特别地,该表示引入了编码函数和求和运算符来从环境观测构建驾驶状态,能够处理不同类型和可变数量的交通参与者。建立了一个以跟踪性能为目标的约束最优控制问题,并针对不同的参与者和信号灯分别设计了约束条件,以保证安全。通过离线优化编码函数、价值函数和策略函数,将编码函数给出的合理状态表示作为策略和价值函数的输入。设计了一种离策略训练方法来重用驾驶环境中的观测值,并利用时间反向传播来联合更新策略函数和编码函数。验证结果表明,动态置换状态表示可以提高IDC的驾驶性能,包括舒适性,决策顺应性和安全性,有很大的幅度。训练后的驾驶策略可以实现复杂交叉口的高效、平稳通行,同时保证驾驶的智能性和安全性。
2021-11-10 cs.LG cs.RO
SALAD: Self-Adaptive Lightweight Anomaly Detection for Real-time Recurrent Time Series
Norwegian University of Science and Technology(挪威科技大学);Simula Research Laboratory(西穆拉研究实验室)
现实世界的时间序列数据往往呈现出循环或重复的模式,并且通常是实时的生成的,例如交通客运量,网络流量,系统资源消耗,能源使用和人类步态。基于机器学习方法在这样的时间序列数据中检测异常事件已经在许多不同领域中成为活跃的研究主题。然而,大多数机器学习方法需要标记的数据集,离线训练,并且可能遭受高计算复杂度,从而阻碍了它们的适用性。提供一种轻量级的自适应方法,不需要预先离线训练,同时能够实时的检测异常,这可能是非常有益的。这种方法可以立即应用并部署在任何商用机器上,以提供及时的异常警报。为了促进这种方法,本文介绍了SALAD,这是一种自适应轻量级异常检测方法,基于一种称为长短期记忆(LSTM)的特殊类型的递归神经网络。SALAD不使用离线训练,而是将目标时间序列动态转换为一系列平均绝对相对误差(AARE)值,并根据短期历史AARE值预测每个即将到来的数据点的AARE值。如果计算的AARE值与其对应的预测AARE值之间的差高于自适应检测阈值,则认为对应的数据点异常。否则,数据点被认为是正常的。基于两个真实世界的开源时间序列数据集的实验表明,SALAD在检测精度方面优于其他五种最先进的异常检测方法。此外,结果还表明,SALAD是轻量级的,可以部署在一个商品机器上。
2021-05-04 cs.LG
Online Self-Supervised Deep Learning for Intrusion Detection Systems
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息研究所);Yaşar University(亚萨尔大学)
本研究提出新型SSID框架,基于自联想深度随机神经网络与在线可信度估计实现全在线无人工干预的深度学习入侵检测系统,可适配流量时变特性,经公开数据集验证在IoT场景下精准高效。
2024-05-15 cs.CR cs.LG cs.NI