Improving Online Forums Summarization via Hierarchical Unified Deep Neural Network
University of Central Florida(中佛罗里达大学)
在线讨论论坛很普遍,很容易访问,因此允许人们通过在讨论线程中发布消息来分享想法和意见。论坛主题的长度显着增长可能会使参与者(无论是新来者还是现有参与者)难以掌握主要思想。为了缓解这个问题,本研究的目的是创建一个自动的文本摘要在线论坛。我们提出了分层统一深度神经网络来构建论坛摘要的句子和线程表示。在该方案中,Bi-LSTM导出包含整个句子和整个线程的信息的表示;而CNN则从句子和线程中捕获关于上下文的最具信息性的特征。注意力机制应用于CNN之上,以进一步突出携带有助于理想摘要的重要信息的高级表示。对三个数据集进行了广泛的性能评估,其中两个是真实的在线论坛,一个是新闻数据集。结果表明,该模型优于几个竞争基线。
2021-05-18 cs.CL cs.LG
Hierarchical Upper Confidence Bounds for Constrained Online Learning
Rochester Institute of Technology(罗切斯特理工学院)
针对分层结构、多层约束和上下文动作空间下的在线决策问题,提出HCB框架与HC-UCB算法,证明其次线性遗憾、约束满足保证及近最优极小极大性能。
2024-10-25 cs.LG cs.SY eess.SY
Dynamic Hierarchical Empirical Bayes: A Predictive Model Applied to Online Advertising
Adobe(奥多比公司)
预测关键词性能,如印象数、点击率(CTR)、转化率(CVR)、每次点击收入(RPC)和每次点击成本(CPC),对于在线广告行业的赞助搜索至关重要。一个有趣的现象是,尽管总体数据很大,但在单个单元级别上数据非常稀疏。为了克服稀疏性并利用数据结构中的分层信息,我们提出了一种动态分层经验贝叶斯(DHEB)模型,该模型通过数据驱动的过程动态确定层次结构,并提供基于收缩的估计。我们的方法还配备了一个有效的经验方法,通过层次结构推导出的推论。我们在模拟和真实世界的数据集,并比较几个竞争模型所提出的方法。结果表明,在所有的比较中,无论是准确性和效率的建议方法。最后,我们设计了一个两阶段的系统,以服务于实时预测。
2018-09-06 cs.LG stat.ML
An Online Hierarchical Algorithm for Extreme Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
许多现代聚类方法可以很好地扩展到大量的数据项N,但不能扩展到大量的聚类K。本文介绍了PERCH,一个新的非贪心算法的在线层次聚类,规模庞大的N和K-一个问题的设置,我们长期极端聚类。我们的算法有效地路由新的数据点的叶子的增量构建的树。出于对准确性和速度的期望,我们的方法执行树旋转,以提高子树纯度和鼓励平衡。我们证明了,在自然可分性假设下,我们的非贪心算法将产生具有完美树状图纯度的树,而不管在线数据到达顺序。我们的实验表明,PERCH构建更准确的树比其他树建设聚类算法和规模以及与N和K,实现了更高的质量聚类比最强的平聚类竞争对手在近一半的时间。
2017-04-06 cs.LG stat.ML
HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising
Kuaishou Technology(快手科技)
针对在线广告投标系统问题,提出 HOBA 分层强化学习框架,在三个时间尺度解耦相关环节,通过实验验证其优于现有基线,大规模在线部署实现目标成本提升 3.6%,证明该范式有效。
2026-07-29 cs.AI cs.LG
Highly Efficient Hierarchical Online Nonlinear Regression Using Second Order Methods
Bilkent University(比尔肯大学);Turk Telekom Communications Services Inc.(土耳其电信通信服务公司)
我们介绍了高效的在线非线性回归算法,适用于现实生活中的应用。我们以真正的在线方式处理数据,因此不需要存储,即,数据在使用后被丢弃。对于非线性建模,我们使用分层分段线性方法的概念的基础上的决策树的回归向量的空间是自适应分区的基础上的性能。作为文献中的第一次,我们学习了回归空间的分段线性划分以及使用高效的二阶方法在每个区域中的线性模型,即,Newton-Raphson方法因此,我们通过使用分段线性模型避免了众所周知的过度拟合问题,然而,由于区域边界以及每个区域中的线性模型都是使用二阶方法训练的,我们实现了实质性的性能相比,最先进的。我们证明了我们的收益超过了众所周知的基准数据集,并提供了性能结果,在一个单独的序列方式保证举行,没有任何统计假设。因此,所介绍的算法解决了现实生活中广泛遇到的计算复杂性问题,同时在强确定性意义上提供了优越的保证性能。
2017-01-18 cs.LG
Online Human Activity Recognition Employing Hierarchical Hidden Markov Models
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在过去的几年里,人们对人类活动识别(HAR)的兴趣越来越大。特别是基于传感器的HAR方法由于其隐私保护性质而越来越受欢迎。此外,由于互联网的广泛可访问性,在过去几十年中出现了广泛的基于流媒体的应用程序,例如在线HAR。然而,在智能环境中提出足够强大的在线活动识别方法仍然被认为是一个巨大的挑战。本文提出了一种新的层次隐马尔可夫模型的在线应用,以检测当前活动的传感器事件的实时流。我们的方法包括两个阶段。在第一阶段中,根据活动模式的开始和结束对数据流进行分段。此外,正在进行的活动与每个接收观察一起报告。该阶段使用分层隐马尔可夫模型实现。第二阶段致力于基于统计特征校正所提供的用于分段数据流的标签。所提出的模型还可以发现在另一个活动期间发生的活动-所谓的中断活动。在检测到活动窗格之后,将利用统计特征(诸如活动发生的时间和活动的持续时间)来校正预测的标签。我们通过对两个不同的灵巧家庭数据集进行测试来验证我们提出的方法,并证明了其有效性,这与最先进的方法相竞争。
2019-03-12 cs.LG stat.ML
HireVAE: An Online and Adaptive Factor Model Based on Hierarchical and Regime-Switch VAE
The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学);Shanghai AI Laboratory(上海人工智能实验室)
提出首个基于深度学习的在线自适应因子模型HireVAE,通过层次潜在空间嵌入市场状况与股票潜在因子的关系,仅利用历史信息即可预测股票收益,在四个真实基准上表现优于以往方法。
2023-06-05 cs.CV cs.LG q-fin.PM
Online Continual Learning on Hierarchical Label Expansion
Yonsei University(延世大学);Seoul National University(首尔国立大学)
针对现实中持续学习场景新旧任务存在层级关系的问题,提出带在线学习约束的层级标签扩展(HLE)任务配置,以及基于层级感知伪标签的排练方法和内存采样策略,在多种持续学习设置上性能优于现有最优方法。
2023-08-28 cs.LG
Online recognition of unsegmented actions with hierarchical SOM architecture
University of Lund(隆德大学);University of Linköping(林雪平大学)
自动识别在线的一系列未分割的动作需要一种分割方法,该方法确定动作何时开始以及何时结束。本文提出了一种在线测试实验中识别未分割动作的新方法。该方法使用自组织神经网络来构建一个三层认知架构。第一层自组织映射将动作序列的独特特征表示为一系列引发的关键激活。针对训练集中的所有动作序列计算关键激活向量的平均长度,并在学习试验中进行调整,以生成第二层自组织映射的输入模式。在第二层中对模式向量进行聚类,然后在第三层神经网络中用动作标识对聚类进行标记。实验结果表明,虽然性能略有下降,在在线实验相比,离线测试,所提出的架构,以处理未分割的动作序列以及在线性能的能力,使系统更合理和实用的真实情况下的场景。
2021-04-23 cs.AI cs.CV cs.HC
Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches
Amazon.com Inc(亚马逊公司)
针对在线实验中效应量假设(AES)选择依赖领域知识难以自动化的问题,提出基于三层高斯混合模型和效用理论的两种数据驱动方法,实现更高效的实验持续时间推荐。
2024-04-17 cs.LG stat.ML
Automobile demand forecasting: Spatiotemporal and hierarchical modeling, life cycle dynamics, and user-generated online information
School of Management, Technical University of Munich(慕尼黑技术大学管理学院);Munich Data Science Institute(慕尼黑数据科学研究所)
本文提出了一种结合时空依赖性和用户生成在线信息的多层级汽车需求预测方法,利用LightGBM和混合整数线性规划提升预测精度,强调整数预测对运营的重要性。
2025-11-21 cs.LG stat.AP
Multi-Resolution Online Deterministic Annealing: A Hierarchical and Progressive Learning Architecture
University of Maryland(马里兰大学);Institute for Systems Research(系统研究所)
分层学习算法逐渐逼近数据驱动的优化问题的解决方案是决策系统的关键,特别是在时间和计算资源的限制下。在这项研究中,我们引入了一个通用的分层学习架构,这是基于一个可能的多分辨率数据空间的渐进分区。通过求解一系列优化子问题来逐渐逼近最优分区,这些优化子问题产生具有增加的子集数量的分区序列。我们表明,每个优化问题的解决方案可以估计在线使用无梯度随机逼近更新。因此,函数逼近问题可以在分区的每个子集内定义,并使用双时标随机近似算法理论来解决。这模拟了退火过程,并定义了一个强大的和可解释的探试法,以逐步增加学习架构的复杂性,在任务不可知的方式,强调区域的数据空间,被认为是更重要的根据预定义的标准。最后,通过在分区的进展中施加树结构,我们提供了一种将数据空间的潜在多分辨率结构纳入这种方法的方法,显著降低了其复杂性,同时引入了类似于某些类别的深度学习架构的分层可变速率特征提取属性。渐近收敛分析和实验结果提供了监督和无监督学习的问题。
2023-03-21 cs.AI cs.LG cs.SY
Online Continual Learning with Dynamic Label Hierarchies
College of Computer Science(计算机科学学院);Technology, Nanjing University of Aeronautics(技术学院,南京航空航天大学);MIIT Key Laboratory of Pattern Analysis(模式分析 MIIT 实验室);Computer Vision Center, Spain(西班牙计算机视觉中心);Computer Sciences Department, Universitat Autonoma de Barcelona, Spain(巴塞罗那自治大学计算机科学系,西班牙);State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);IDEAS Research Institute, Warsaw, Poland(华沙 IDEAS 研究院,波兰);Joint Laboratory of Spatial intelligent Perception(空间智能感知联合实验室)
本文提出DHOCL框架,通过动态层次结构解决持续学习中的层次一致性与灾难性遗忘问题,HALO方法通过组织原型实现快速适应与知识整合。
2026-05-12 cs.LG
Hierarchical Quality-Diversity for Online Damage Recovery
Imperial College London(伦敦帝国理工学院);University of Patras(帕特雷大学)
适应能力,如损伤恢复,对于在复杂环境中部署机器人至关重要。一些研究已经证明,使用预先训练的技能可以使机器人在几分钟内适应不可预见的机械损伤。这些适应能力直接关系到剧目的行为多样性。机器人执行技能的选择越多,它适应新情况的机会就越大。然而,解决复杂的任务,如迷宫导航,通常需要多种不同的技能。为这些多种技能找到大量的行为多样性往往会导致所需解决方案的数量呈指数级增长。在本文中,我们介绍了分层试错算法,该算法使用分层行为库来学习不同的技能,并利用它们使机器人更适应不同的情况。我们表明,技能的层次分解,使机器人能够学习更复杂的行为,同时保持学习的曲目易于处理。与六足机器人的实验表明,我们的方法解决迷宫导航任务,在最具挑战性的情况下,比最佳基线少20%的行动,同时有57%的完全失败。
2022-04-12 cs.AI cs.LG cs.NE
Online Learning for Multi-Layer Hierarchical Inference under Partial and Policy-Dependent Feedback
Department of Electrical and Computer Engineering(电气与计算机工程系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);DEVCOM Army Research Laboratory(国防部陆军研究实验室)
本文提出了一种在部分和策略依赖反馈下,结合Lyapunov优化的方差减少EXP4算法,以提升多层分层推断系统在长期资源约束下的稳定性和性能。
2026-03-04 cs.AI cs.LG
A hierarchical Vovk-Azoury-Warmuth forecaster with discounting for online regression in RKHS
Institute of Mathematics, Mechanics and Computer Sciences of the Southern Federal University(南方联邦大学数学、力学与计算机科学学院);Regional Scientific and Educational Mathematical Center of the Southern Federal University(南方联邦大学区域科学与教育数学中心)
本文针对 RKHS 中的在线回归问题,提出一种结合随机特征近似与 DVAW 框架的自适应分层算法 H-VAW-D,能同时学习折扣因子和特征数量,并证明了其最优的期望动态遗憾界。
2025-06-27 cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法,用于解决具有高斯反馈奖励的聚类多臂老虎机问题,通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
Online Damage Recovery for Physical Robots with Hierarchical Quality-Diversity
Imperial College London(帝国理工学院);University of Patras(帕特雷大学)
在现实环境中,机器人需要对损坏具有弹性,并对不可预见的情况具有鲁棒性。质量多样性(QD)算法已成功用于通过利用各种学习技能使机器人在几秒钟内适应损害。技能的高度多样性增加了机器人成功克服新情况的机会,因为有更多的潜在替代方案来解决新任务。然而,发现和存储多个技能的大量行为多样性通常会导致计算复杂性的增加。此外,在大的技能空间中进行机器人规划是随着技能数量的增加而出现的额外挑战。层次结构可以通过将技能分解为基本技能来帮助降低搜索和存储的复杂性。在本文中,我们介绍了分层试错算法,该算法使用分层行为库来学习各种技能,并利用它们使机器人在物理世界中快速适应。我们表明,技能的层次分解,使机器人能够学习更复杂的行为,同时保持学习的曲目易于处理。六足机器人的实验表明,我们的方法解决了迷宫导航任务,在模拟中减少了20%的动作,在物理世界中减少了43%的动作,对于最具挑战性的场景,比最佳基线减少了78%的完全失败。
2022-10-18 cs.AI cs.LG cs.NE
Hierarchical Multi-Label Classification of Online Vaccine Concerns
Duke University(杜克大学)
本研究利用大型语言模型在零样本设置下对在线疫苗关注点进行层次化多标签分类,通过多遍布尔提问的提示策略,GPT-4在VaxConcerns数据集上达到78.7%的F1分数,超越了众包工人。
2024-02-01 cs.AI cs.CL cs.LG
Online Deep Learning based on Auto-Encoder
China University of Petroleum(中国石油大学);College of Information Science and Engineering(信息科学与工程学院)
在线学习是素描海量实时高速数据的重要技术手段。虽然这一方向已经引起了广泛的关注,但这方面的文献大多忽略了以下三个问题:(1)它们很少考虑存在于实例中的潜在的抽象层次信息,即使提取这些抽象层次潜在表示有助于更好地预测实例的类标签;(2)在未知数据点上预分配模型的思想不适用于具有演化概率分布的流数据建模。这种挑战被称为模型灵活性。因此,考虑到这一点,我们需要设计的在线深度学习模型应该具有可变的底层结构;(3)此外,融合这些抽象层次潜在表示以实现更好的分类性能至关重要,并且在处理数据分布变化的数据流时,我们应该对不同层次的隐式表示信息赋予不同的权重。为了解决这些问题,我们提出了一种基于自动编码器的两阶段在线深度学习(ODLAE)。基于自动编码器,考虑重构损失,提取实例的抽象层次潜在表示;基于预测损失,设计了两种融合策略:输出级融合策略,将编码器的分类结果融合到各隐层;特征级融合策略,利用自注意机制融合各隐层输出。最后,为了提高算法的鲁棒性,我们还尝试利用去噪自动编码器来产生层次潜在表示。在不同数据集上的实验结果验证了我们提出的算法(ODLAE)的有效性,优于几个基线。
2022-01-19 cs.CV cs.LG
AutoDiscern: Rating the Quality of Online Health Information with Hierarchical Encoder Attention-based Neural Networks
University Hospital of Zurich(苏黎世大学医院);University of Zurich(苏黎世大学);Yale University School of Medicine(耶鲁大学医学院)
越来越多的患者在与健康专业人员交谈之前或代替与健康专业人员交谈,转向搜索引擎和在线内容。低质量的健康信息在互联网上很常见,以错误信息的形式给患者带来风险,并可能与他们的医生关系更差。为了解决这个问题,DISCERN标准(在牛津大学开发)用于评估在线健康信息的质量。然而,患者不太可能花时间将这些标准应用于他们访问的健康网站。我们使用机器学习模型构建了DISCERN仪器(简要版)的自动化实现。我们使用两种语言嵌入,BERT和BioBERT,比较了传统模型(随机森林)与分层编码器注意力神经网络(HEA)模型的性能。HEA BERT和BioBERT模型在所有标准下的平均F1-macro得分分别为0.75和0.74,优于随机森林模型(平均F1-macro = 0.69)。总体而言,基于神经网络的模型在100%和80%的覆盖率下分别实现了81%和86%的平均准确率,而手动评级准确率为94%。在HEA架构中实现的注意力机制不仅通过为满足Brief DISCERN标准的文档识别合理的支持语句来提供“模型可解释性”,而且与没有注意力机制的相同架构相比,还将F1性能提高了0.05。我们的研究表明,自动化在线健康信息质量评估是可行的,这是使患者成为医疗保健过程中知情合作伙伴的重要一步。
2020-05-26 cs.CL cs.CY cs.LG
Online Prompt Pricing based on Combinatorial Multi-Armed Bandit and Hierarchical Stackelberg Game
针对提示捆绑交易场景,提出基于CMAB与层级Stackelberg博弈的在线定价机制,实现消费者、平台和卖家三方利润满意,并在模拟文生图数据集上验证有效性。
2025-09-08 cs.AI cs.LG
Context-Aware Online Client Selection for Hierarchical Federated Learning
University of South Florida(南佛罗里达大学);Shanghai Jiao Tong University(上海交通大学);University of Miami(迈阿密大学)
与传统的机器学习(ML)相比,联邦学习(FL)被认为是解决移动设备数据隐私问题的一个有吸引力的框架。使用边缘服务器(Edge Server,ES)作为中介进行邻近模型聚合可以减少传输开销,在低延迟FL中具有巨大的潜力,其中FL的层次结构(HFL)受到了更多的关注。设计合适的客户选择策略可以显著提高培训绩效,并在外语研究中得到广泛应用。然而,据我们所知,目前还没有针对HFL的研究。此外,HFL的客户端选择面临比传统FL更多的挑战,例如,客户端-ES对的时变连接和网络运营商(NO)的有限预算。在本文中,我们研究了HFL的客户端选择问题,其中NO学习成功参与客户端的数量以提高训练性能(即,在每轮中选择尽可能多的客户端)以及在每个ES的有限预算下。提出了一种基于上下文组合多臂盗贼的在线客户选择策略--上下文感知在线客户选择策略。COCS观察客户端-ES对的本地计算和传输的侧信息(上下文),并在给定有限预算的情况下做出客户端选择决策以最大化NO的效用。从理论上讲,COCS实现了一个次线性的遗憾相比,甲骨文政策的强凸和非凸HFL。仿真结果也支持所提出的COCS政策在现实世界的数据集上的效率。
2021-12-03 cs.AI cs.DC cs.LG
Activity Recognition using Hierarchical Hidden Markov Models on Streaming Sensor Data
Amirkabir University of Technology(阿米尔卡比尔理工大学)
从传感器数据中识别活动涉及各种挑战,例如重叠活动,活动标记和活动检测。虽然识别领域的每个挑战都非常重要,但最重要的挑战是在线活动识别。本研究尝试使用在线层次隐马尔可夫模型来检测传感器数据流上的活动,该模型可以预测具有任何传感器事件的环境中的活动。活动识别样本通过活动持续时间等统计特征进行标记。我们提出的方法在现实世界中的两个不同的灵巧家庭数据集上进行测试的结果表明,一个数据集的结果提高了4%,达到了59%,而另一个数据的结果达到了64.6%,通过使用最好的方法。
2018-10-04 cs.LG stat.ML
Context-Aware Hierarchical Online Learning for Performance Maximization in Mobile Crowdsourcing
TU Darmstadt(达姆施塔特工业大学);Bilkent University(比尔肯特大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校);University of Oxford(牛津大学)
在移动众包(MCS)中,移动用户完成外包的人工智能任务。MCS需要适当的任务分配策略,因为不同的工人可能在接受率和质量方面有不同的表现。任务分配是具有挑战性的,因为工人的表现(i)可能会波动,这取决于工人当前的个人背景和任务背景,(ii)不是先验已知的,而是必须随着时间的推移而学习。此外,学习上下文特定的工作者性能需要访问上下文信息,由于通信开销或隐私问题,上下文信息可能在中央实体处不可用。此外,评估工人的表现可能需要昂贵的质量评估。在本文中,我们提出了一个上下文感知的分层在线学习算法解决MCS的性能最大化的问题。在我们的算法中,本地控制器(LC)在移动终端的工人定期观察工人的上下文,她/他的决定接受或拒绝任务和完成任务的质量。基于这些观察,LC定期估计工人的特定于上下文的性能。然后,移动众包平台(MCSP)基于从LC接收的绩效估计来选择工作者。这种分层方法使LC能够学习特定于上下文的工作器性能,并且它使MCSP能够选择合适的工作器。此外,我们的算法在本地保留了工人上下文,并保持所需的质量评估的数量较低。我们证明了我们的算法收敛到最优的任务分配策略。此外,该算法优于简单的任务分配策略在实验中的基础上合成和真实的数据。
2018-11-08 cs.HC cs.LG cs.SI
Online hierarchical partitioning of the output space in extreme multi-label data stream
Virginia Tech, Virginia Polytechnic Institute and State University(弗吉尼亚理工大学、弗吉尼亚理工学院和州立大学)
iHOMER通过增量分层方法提升在线多标签分类性能,有效应对概念漂移和非平稳性挑战。
2025-07-28 cs.AI cs.LG
Hierarchical Adversarial Bandits for Online Configuration Optimization
NVIDIA;Ben-Gurion University of the Negev(贝纳-约纳大学);Bar-Ilan University(巴伊兰大学)
针对动态参数空间的在线配置优化,提出层次化框架ABoB,通过聚类分解配置空间加速学习,在真实存储系统上性能提升高达50%,理论证明最坏情况界为O(√kT),有利条件下可加速至O(k^{1/4}√T)。
2026-06-23 cs.LG cs.MA stat.ML
UAV-assisted Online Machine Learning over Multi-Tiered Networks: A Hierarchical Nested Personalized Federated Learning Approach
Purdue University(普渡大学);University at Buffalo (SUNY)(纽约州立大学布法罗分校);Duke University(杜克大学)
我们研究了通过无人机(UAV)群在一组地理分布的、资源受限的设备集群上训练机器学习(ML)模型。设备集群中随时间变化的数据异质性和计算资源不足的存在激发了我们方法的四个关键部分:(i)由领导者、工作者和协调者UAV组成的分层UAV群,(ii)分层嵌套个性化联邦学习(HN-PFL),一种用于跨工作者-领导者-核心网络层次结构的个性化模型训练的分布式ML框架,(iii)通过在无人机群之间进行模型训练来解决设备的计算不足的合作无人机资源池,以及(iv)对时变数据分布进行建模的模型/概念漂移。在这样做时,我们认为微观(即,无人机级别)和宏(即,群级)系统设计。在微观层面,我们提出了网络感知的HN-PFL,在那里我们分布式编排群内的无人机,以优化能耗和ML模型性能,并保证性能。在宏观层面上,我们专注于群体轨迹和学习持续时间的设计,我们制定了一个顺序的决策问题,通过深度强化学习。我们的模拟展示了我们的方法在ML性能,网络资源节省和群轨迹效率方面所取得的改进。
2022-10-19 cs.LG cs.NI cs.SY
Hierarchical Weight Averaging for Deep Neural Networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Pengcheng Laboratory(鹏城实验室);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所)
本文提出 Hierarchical Weight Averaging(HWA)框架,首次融合在线与离线权重平均,在无需特殊学习率调整的情况下提升 DNN 收敛速度与泛化性能,并显著优于现有方法。
2023-04-23 cs.LG
Hierarchical model reduction driven by machine learning for parametric advection-diffusion-reaction problems in the presence of noisy data
Oak Ridge National Laboratory(橡树岭国家实验室);Politecnico di Milano(米兰理工大学)
我们提出了一种新的方法来产生一个可靠的降阶模型的参数椭圆问题,在存在噪声的数据。参考模型降阶过程是定向HiPOD方法,该方法根据离线/在线范例将分层模型降阶与标准本征正交分解相结合。在本文中,我们表明,定向HiPOD损失的准确性时,问题数据受到噪声的影响。这是由于插值驱动在线阶段,因为它复制了噪声趋势。为了克服这一限制,我们用机器学习拟合模型代替插值,更好地区分数据中的相关物理特征和不相关的非结构化噪声。数值评估虽然是初步的,但证实了新方法的潜力。
2022-04-01 cs.LG cs.NA math.NA
Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of Tasks with Multi-dimensional Relations
Tencent(腾讯)
关于如何提高多任务学习中共享学习的效率已经有很多研究。以前的工作集中在“微”共享的角度为少数任务,而在推荐系统(RS)和其他人工智能应用程序中,往往有大量的任务建模与多维任务关系的需求。例如,当使用MTL在RS中对各种用户行为进行建模时,如果我们将新用户和新项目与旧项目区分开,则会出现具有多维关系的任务的Carnival产品风格增加。本文从“宏观”的角度研究共享学习网络的设计,提出了一个多层面层次的MTL模型(MFH)。MFH采用嵌套的层次树结构,充分利用了多维任务关系,最大限度地提高了共享学习能力。我们在一个拥有100亿样本的大型行业视频平台上对MFH和SOTA模型进行了评估,结果表明,MFH在所有用户组的离线和在线评估中均显著优于SOTA MTL模型,特别是对于新用户而言,其在线时间增加了9.1%,次日留存率增加了1.85%。MFH已经应用于一个大规模的在线视频推荐系统中。MFH特别有利于RS中的冷启动问题,其中新用户和新项目经常遭受“局部过拟合”现象。然而,这个想法实际上是通用的,广泛适用于其他MTL场景。
2021-10-26 cs.LG
Zeroth-order non-convex learning via hierarchical dual averaging
Criteo AI Lab;Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
我们提出了一个层次版本的双平均零阶在线非凸优化-即,学习过程,其中在每个阶段,优化器面对未知的非凸损失函数,并且仅接收所引起的损失作为反馈。所提出的一类政策依赖于一个在线模型的建设,聚集损失信息,因为它到达,它由两个主要组成部分:(a)一个正则化适应的Fisher信息度量(相对于周围空间的度量规范);和(b)一个原则性的探索问题的状态空间的基础上,适应分层时间表。这种结构能够更好地控制模型的偏差和方差,并允许我们推导出学习者静态和动态后悔的严格界限-即,在游戏的地平线上,事后对最好的动态政策所产生的遗憾。
2021-09-13 cs.LG math.OC
Reconciling meta-learning and continual learning with online mixtures of tasks
Duke University(杜克大学);UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
学习-学习或元学习利用数据驱动的归纳偏差来提高对新任务的学习效率。当转移不具有优势时,例如当任务相当不同或随着时间的推移而变化时,这种方法就会遇到困难。我们使用基于梯度的元学习和分层贝叶斯之间的连接,提出了一个Dirichlet过程混合的分层贝叶斯模型的参数的任意参数模型,如神经网络。与将归纳偏差合并到一组超参数中相比,我们的任务相关超参数选择方法更好地处理了潜在的分布偏移,这在一组不断发展的、基于图像的、少样本学习基准测试中得到了证明。
2019-06-19 cs.LG stat.ML
Online Hierarchical Forecasting for Power Consumption Data
EDF R&D(法国电力公司研发中心);INRIA - Département d’Informatique de l’École Normale Supérieure, PSL Research University(法国国家信息与自动化研究所 - 巴黎高等师范学院信息系,巴黎文理研究大学);Laboratoire de mathématiques d’Orsay, CNRS, Université Paris-Saclay(奥赛数学实验室,法国国家科学研究中心,巴黎萨克雷大学)
我们研究的预测人口的家庭及其子群体的电力消费。这些亚群是根据位置、外部信息和/或我们从历史家庭消费时间序列确定的概况建立的。因此,我们的目标是预测电力消费量的时间序列在几个层次的家庭聚集。这些时间序列通过一些求和约束连接起来,这些求和约束引起层次结构。我们的方法包括三个步骤:功能生成,聚合和投影。首先(特征生成步骤),我们使用随机森林或广义可加模型为每个家庭考虑组构建基准预测(称为特征)。其次(聚合步骤),聚合算法并行运行,聚合这些预测并提供新的预测。最后(投影步骤),我们使用的求和约束诱导的时间序列的底层层次,以重新调解的预测,投影在一个精心挑选的线性子空间。我们提供了一些理论上的平均预测误差的这种方法,通过最小化的数量称为遗憾。我们还测试了我们的方法在英国收集的家庭用电数据的多个能源供应商的能源需求研究项目的背景下。我们建立和比较各种人口分割我们的方法性能的评估。
2020-03-01 cs.LG stat.ML
Hierarchical Partitioning Forecaster
DeepMind(深度思维)
本文提出分层划分预测器(HPF),通过分层划分特征空间并融合局部在线学习,在获得理论遗憾保证的同时,实现了与深度网络相当的经验性能。
2023-05-22 cs.LG
Expert with Clustering: Hierarchical Online Preference Learning Framework
ShanghaiTech University(上海科技大学);Massachusetts Institute of Technology(麻省理工学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本研究针对出行推荐系统的遗憾值最小化需求,提出整合聚类与专家建议的分层上下文赌博机框架EWC,实现了更优的理论遗憾界,实验中较LinUCB基线降低27.57%的遗憾值,适用于分层用户偏好场景。
2024-06-24 cs.LG
Privacy-Preserving Hierarchical Model-Distributed Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Seagate Technology(希捷科技)
本文针对分层ML推理场景的数据与模型隐私保护需求,提出结合秘密共享、同态加密等技术的privateMDI方案,通过模型并行化和阶段优化降低通信开销,显著提升了隐私保护下的推理速度。
2024-09-15 cs.CR cs.LG
Hierarchical Online-Scheduling for Energy-Efficient Split Inference with Progressive Transmission
School of Electronic and Information Engineering, Beijing Jiaotong University(电子与信息工程学院,北京交通大学);Department of Electrical and Electronic Engineering, The University of Hong Kong(电气与电子工程系,香港大学)
ENACHI通过分层调度优化任务和包级资源分配,提升推断准确率并降低能耗,适用于动态信道环境。
2026-01-13 cs.DC cs.LG cs.NI
Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes
ACE Robotics;Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
提出层级优势加权行为克隆(HABC),通过分离生存性和效率目标并自适应平衡,解决稀疏二元结果下VLA策略在线微调中的信用分配问题,在三个双臂接触任务上将成功率从12-44%提升至38-92%。
2026-06-16 cs.LG cs.RO
HMAF: A Hierarchical Multi-Slot GD-RTB Allocation Framework
Meituan(美团);Nanyang Technological University(南洋理工大学);China Agricultural University(中国农业大学)
针对GD与RTB共存广告平台中短期收益与长期交付的平衡难题,提出分层多槽分配框架HMAF,采用计划-校准-执行范式,集成离线约束优化与在线决策,在美团实现GD交付率提升3.72%、广告总收入提升1.59%。
2026-06-04 cs.AI cs.GT cs.LG
Hierarchical Online Prompt Mutation with Dual-Loop Feedback for Guardrailed Evidence Document Generation: A Production-Evaluation Case Study
eBay Inc.(eBay公司)
提出分层在线提示变异框架HOPM,通过双环反馈(人工审核与自动评判)优化提示策略,在真实市场纠纷证据生成中显著提升胜率和质量。
2026-05-31 cs.AI cs.DC cs.LG
Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers
Lakehead University(湖首大学)
本文提出了一种分层在线顺序学习算法(H-OS-ELM)对于具有从数百个中间层组合的特征的单馈前馈网络,该算法可以以固定或变化的块大小逐块学习,我们相信,顶层神经元的不同选择性(由其他神经元产生的编码分布式信息组成)提供了更好的计算优势,推理准确性为此,本文提出了一种结合在线顺序学习算法的分层模型框架,该模型首先由子空间特征提取器组成,子空间特征提取器由子网络神经元组成,使用子-特征是层次结构的第一层特征提取的结果,我们去除了对学习无用的无关因素,并简化了这个过程,以便将子特征重新组合到层次结构中。模型被加工成更容易被接受的认知。其次,通过使用OS-Elm,我们使用非迭代风格进行学习,我们实现了一个更宽和更浅的网络,这在概括整体性能方面发挥了重要作用,从而提高了学习速度
2020-06-12 cs.CV cs.LG cs.NE
In-Context Decision Transformer: Reinforcement Learning via Hierarchical Chain-of-Thought
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Jilin University(吉林大学);Lehigh University(利哈伊大学)
针对上下文强化学习中序列过长导致计算成本高的问题,提出上下文决策Transformer(IDT),通过引入人类决策的层次结构重构序列,利用高层决策指导多步低层动作,在长步长任务中实现高效自我改进并大幅提升在线评估速度。
2024-05-31 cs.AI cs.LG
Hierarchical adaptive control for real-time dynamic inference at the edge
MMMI Software Engineering(MMMI软件工程)
本文提出分层自适应架构,通过优化模型与系统决策,降低边缘节点的推理延迟和能耗,同时保持高效率和准确性。
2026-04-29 cs.LG
Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge
KTH Royal Institute of Technology(KTH皇家理工学院);IMDEA Networks Institute(IMDEA网络研究所)
本文面向边缘分层推理,提出基于最大 softmax 值和连续专家 PEA 的在线元学习框架及两种算法,以决定样本是否卸载,并证明次线性遗憾界。
2024-02-15 cs.CV cs.LG
Brain-Inspired Hierarchical Modularity for General Continual Learning
Tsinghua University(清华大学);IDG/McGovern Institute for Brain Research, Tsinghua University(清华大学IDG/麦戈文脑科学研究院);Tsinghua-Peking Center for Life Sciences(清华-北大生命科学联合中心)
受果蝇大脑启发,提出层次模块化原则,通过专家专业化与集成整合,在预训练模型上轻量适配,显著提升在线不确定数据流下的通用持续学习性能。
2026-09-23 cs.AI cs.LG
Online Learning for Autonomous Management of Intent-based 6G Networks
Sabanci University(萨班哲大学);Ericsson Research(爱立信研究院)
本文针对基于意图的6G网络中意图冲突和自主管理问题,提出了一种基于分层多臂老虎机的在线学习方法,实现了动态网络条件下的高效配置探索与利用,有效提升了资源分配与意图期望满足度。
2024-07-25 cs.LG cs.NI
Vehicle Dispatching and Routing of On-Demand Intercity Ride-Pooling Services: A Multi-Agent Hierarchical Reinforcement Learning Approach
Tsinghua University(清华大学);University of Michigan(密歇根大学);Central University of Finance and Economics(中央财经大学)
本研究针对按需城际拼车服务中车辆调度与路径规划的复杂性,提出一种结合多智能体封建强化学习与自适应大邻域搜索的两级在线车队管理框架,有效缓解供需不平衡并显著提升系统利润与订单完成率。
2024-03-20 cs.AI cs.LG cs.SY