SOFA-FL: Self-Organizing Hierarchical Federated Learning with Adaptive Clustered Data Sharing
Carnegie Mellon University(卡内基梅隆大学)
SOFA-FL通过自适应聚类数据共享和动态拓扑重构,解决联邦学习中数据异质性和网络拓扑刚性的挑战。
2025-12-09 cs.LG
A Generalized Hierarchical Nonnegative Tensor Decomposition
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Harvey Mudd College(哈维穆德学院)
非负矩阵分解在主题建模、文档分析等领域有着广泛的应用。分层NMF(HNMF)变体能够以各种粒度级别学习主题,并说明它们的层次关系。最近,非负张量因子分解(NTF)方法已经以类似的方式应用,以处理具有复杂的多模态结构的数据集。分层NTF(HNTF)方法已经提出,但是这些方法并不自然地推广他们的基于矩阵的同行。在这里,我们提出了一个新的HNTF模型,它直接推广了HNMF模型的特殊情况,并提供了一个监督扩展。我们还为该模型提供了一种乘法更新训练方法。我们的实验结果表明,该模型比以前的HNMF和HNTF方法更自然地阐明了主题层次。
2022-02-15 cs.LG stat.ML
Hierarchical Flow Decomposition for Turning Movement Prediction at Signalized Intersections
本文提出HFD-TM框架,通过预测走廊通行流量再扩展至个体转向流,降低转向流量预测误差,实验显示其在实时交通应用中具有优势。
2026-04-10 cs.LG
AMANet: Advancing SAR Ship Detection with Adaptive Multi-Hierarchical Attention Network
Army Engineering University of PLA(中国人民解放军陆军工程大学);Northwestern Polytechnical University(西北工业大学)
针对SAR图像中小型与沿海船舶受特征不足和背景杂波影响的检测难题,本文提出自适应多层级注意力模块AMAM并构建AMANet,通过多尺度融合与通道自适应聚合提升性能,且在两个大规模数据集上优于现有方法。
2024-01-24 cs.AI cs.CV cs.LG
HASSOD: Hierarchical Adaptive Self-Supervised Object Detection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
HASSOD提出层次自适应聚类与均值教师框架,实现无监督目标检测及组成理解,在LVIS和SA-1B上显著提升Mask AR,推动自监督检测前沿。
2024-02-05 cs.AI cs.CV cs.LG
HireVAE: An Online and Adaptive Factor Model Based on Hierarchical and Regime-Switch VAE
The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学);Shanghai AI Laboratory(上海人工智能实验室)
提出首个基于深度学习的在线自适应因子模型HireVAE,通过层次潜在空间嵌入市场状况与股票潜在因子的关系,仅利用历史信息即可预测股票收益,在四个真实基准上表现优于以往方法。
2023-06-05 cs.CV cs.LG q-fin.PM
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
Xidian University(西安电子科技大学);JD Finance American Corporation(京东金融美国公司);University of Pittsburgh(匹兹堡大学)
深度度量学习(DML)在各种机器学习任务中起着至关重要的作用。然而,大多数现有的具有二进制相似性的深度度量学习方法对真实世界数据中广泛存在的噪声标签敏感。由于这些噪声标签往往会导致严重的性能下降,这是至关重要的,以提高DML的鲁棒性和泛化能力。在本文中,我们提出了一种自适应分层相似性度量学习方法。它考虑了两个噪声不敏感的信息,\textit{i.e.},类的分歧和样本的一致性。具体而言,类间分歧可以利用双曲度量学习在建模中有效地挖掘比二进制更丰富的相似性信息,而样本一致性可以利用对比增强进一步提高模型的泛化能力。更重要的是,我们设计了一个自适应的策略来整合这些信息在一个统一的视图。值得注意的是,新方法可以扩展到任何基于对的度量损失。在基准数据集上的大量实验结果表明,与当前的深度度量学习方法相比,我们的方法具有最先进的性能。
2021-10-29 cs.AI cs.CV cs.LG
Conditional Hierarchical Bayesian Tucker Decomposition for Genetic Data Analysis
Engineering Sciences and Applied Mathematics(应用数学与工程科学);Industrial Engineering and Management Sciences(工业工程与管理科学);Preventive Medicine (Health and Biomedical Informatics)(预防医学(健康与生物医学信息学))
提出条件分层贝叶斯 Tucker 分解,将 LDA 扩展至多维稀疏遗传计数数据,以识别癌症与孤独症的共同风险因素,并取得优于基线的主题一致性。
2025-08-29 cs.LG stat.ME stat.ML
Adaptive Two-Stage Cloud Resource Scaling via Hierarchical Multi-Indicator Forecasting and Bayesian Decision-Making
Shanghai Jiao Tong Uni.(上海交通大学);AntGroup(蚂蚁集团)
针对云资源利用率低的问题,提出HARMONY系统,通过层次注意力多指标分布预测与不确定性感知贝叶斯决策实现自适应伸缩,在多个数据集上超越九种方法,并在真实部署中节省超3.5万GPU小时和10万美元以上成本。
2024-08-02 cs.LG
Working memory inspired hierarchical video decomposition with transformative representations
Shanghai Jiao Tong University(上海交通大学);Shanghai Jiao Tong University Affiliated Sixth People’s Hospital(上海交通大学附属第六人民医院);Ren Ji Hospital, School of Medicine, Shanghai Jiao Tong University(上海交通大学医学院仁济医院);UC Riverside(加州大学河滨分校)
在计算机视觉、机器学习和医学成像中,视频分解对于从复杂背景中提取运动前景对象非常重要,例如,从X射线冠状动脉造影术(XCA)的复杂和噪声背景中提取运动的造影剂填充血管。然而,动态背景、重叠的异构环境和复杂的噪声对视频分解带来的挑战仍然存在。为了解决这些问题,本研究首次在视频分解任务中引入灵活的视觉工作记忆模型,以提供可解释的和高性能的分层深层架构,从视觉和认知神经科学的角度整合感觉层和控制层之间的转换表征。具体而言,作为结构正则化传感器层的鲁棒PCA展开网络将XCA分解为稀疏/低秩结构化表示,以将移动的造影剂填充的血管与嘈杂和复杂的背景分开。然后,具有反向投影模块的补丁递归卷积LSTM网络将控制层的非结构化随机表示体现在工作记忆中,将时空分解的非局部补丁递归地投影到正交子空间中,用于异构血管检索和干扰抑制。这种视频分解深度架构有效地恢复了复杂背景干扰下运动对象的强度和几何形状的异构轮廓。实验结果表明,该方法在准确提取运动对比剂填充血管方面明显优于现有方法,具有良好的灵活性和计算效率。
2022-05-05 cs.AI cs.CV cs.LG
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
本文提出了分层强化学习的MAXQ方法的基础上分解的目标马尔可夫决策过程(MDP)到一个层次的较小的MDP和分解的价值函数的目标MDP到一个加法组合的价值函数的较小的MDP。本文定义了MAXQ层次结构,证明了其表示能力的形式化结果,并建立了安全使用状态抽象的五个条件。本文提出了一种在线无模型的学习算法MAXQ-Q,并证明了即使在存在五种状态抽象的情况下,它也以概率1收敛到一种称为递归最优策略的局部最优策略。本文通过三个领域的一系列实验对MAXQ表示和MAXQ-Q进行了评估,并通过实验表明MAXQ-Q(具有状态抽象)收敛到递归最优策略的速度比平坦Q学习快得多。MAXQ学习价值函数的表示的事实具有重要的益处:它使得可以通过类似于策略迭代的策略改进步骤的过程来计算和执行改进的非分层策略。本文通过实验证明了这种非分层执行的有效性。最后,本文的结论与相关工作的比较和层次强化学习的设计权衡的讨论。
1999-05-21 cs.LG
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia(弗吉尼亚大学);Amazon(亚马逊公司)
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题,提出带检索增强的分层提示方法,通过全局与自适应两层软令牌实现动态引导,在7项基准任务上优于所有基线。
2024-12-13 cs.LG
PEAR: Primitive Enabled Adaptive Relabeling for Boosting Hierarchical Reinforcement Learning
IIT Kanpur(印度理工学院坎普尔分校);University of Bath(巴斯大学)
PEAR提出一种两阶段方法,先对少量专家演示进行自适应重标记生成子目标监督,再联合强化学习与模仿学习优化分层智能体,在稀疏机器人控制等复杂任务中显著超越基线。
2025-02-09 cs.LG
Analysis and Design of Convolutional Networks via Hierarchical Tensor Decompositions
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
卷积网络是迄今为止最成功的深度学习架构,其背后的驱动力是它们的表达能力。尽管它被广泛接受和大量的经验证据,支持这一信念的正式分析是稀缺的。关于表达性的形式化推理的主要概念是效率和归纳偏差。表达效率是指网络架构实现需要替代架构大得多的功能的能力。归纳偏见是指在事先了解手头任务的情况下,将某些功能优先于其他功能。在本文中,我们概述了作者撰写的一系列作品,通过对分层张量分解的等价性,分析了各种卷积网络架构特征(深度,宽度,步幅等)的表达效率和归纳偏差。这些结果揭示了卷积网络的有效性,并为网络设计提供了新的工具。
2018-06-11 cs.LG cs.NE
Adaptive Resonance Theory-based Topological Clustering with a Divisive Hierarchical Structure Capable of Continual Learning
Osaka Prefecture University(大阪府立大学);Southern University of Science and Technology(南方科技大学)
自适应共振理论(ART)因其能够处理可塑性-稳定性矛盾而被认为是实现持续学习的有效途径。然而,一般来说,基于ART的算法的聚类性能强烈依赖于相似性阈值的指定,即,警惕参数,取决于数据并手动指定。本文提出了一种基于ART的拓扑聚类算法,该算法具有根据数据点的分布自动估计相似性阈值的机制。此外,为了提高信息抽取的性能,通过引入层次结构,提出了一种具有持续学习能力的分层层次聚类算法.实验结果表明,该算法具有较高的聚类性能与最近提出的最先进的层次聚类算法。
2022-07-07 cs.LG cs.NE
HELOC Applicant Risk Performance Evaluation by Topological Hierarchical Decomposition
Wright State University(莱特州立大学);Air Force Research Laboratory(空军研究实验室)
金融行业的严格监管意味着任何基于机器学习的决策都需要解释。这排除了使用强大的监督技术,如神经网络。在这项研究中,我们提出了一种新的无监督和半监督技术称为拓扑层次分解(THD)。这个过程将数据集分解为更小的组,其中组与近似数据集底层拓扑的单纯复形相关联。我们将THD应用于FICO机器学习挑战数据集,该数据集由使用MAPPER算法构建单纯复合体的匿名房屋净值贷款申请组成。我们确定了无法偿还贷款的不同群体,并通过从数据集上的两个THD中提取说明性解释来说明如何使用单纯复形中的特征值分布来解释授予或拒绝贷款的决定。
2018-11-26 cs.LG stat.ML
The Adaptive Mean-Linkage Algorithm: A Bottom-Up Hierarchical Cluster Technique
Universidade Federal de Pernambuco(伯南布哥联邦大学)
本文报道了经典的层次聚类分析的一种变体。这种凝聚(自下而上)聚类技术被称为自适应均值链接算法。它可以被解释为一种链接算法,其中阈值的值在每次交互时方便地更新。自适应聚类相对于平均链接算法的优越性如下,因为它在阈值上实现了良好的折衷:基于截止距离的阈值足够小以确保同质性,并且也足够大以保证至少一对合并集。这种方法适用于化学系列中一组可能的取代基。
2015-02-09 cs.LG stat.AP stat.ME
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University(卡内基梅隆大学)
提出多保真强化学习框架ALPHA,通过策略对齐自适应利用非分层异构低保真模型学习高保真策略,消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
Hierarchical Frequency-Decomposition Graph Neural Networks for Road Network Representation Learning
针对现有路网建模图神经网络存在空间-谱失配的问题,提出层级频率分解图神经网络HiFiNet,通过虚拟节点层级结构与分解-更新-重构框架统一两类建模,在多任务真实数据集上表现更优。
2025-11-16 cs.GR cs.LG
A hierarchical decomposition for explaining ML performance discrepancies
University of California, San Francisco(加利福尼亚大学旧金山分校);U.S. Food and Drug Administration(美国食品药品监督管理局)
本文提出一种无需因果图的非参数层次分解框架,从聚合和变量级两个层面解释机器学习算法跨领域性能差异的原因,并给出高效估计与置信区间推断方法。
2024-02-22 cs.LG stat.ML
HiHa: Introducing Hierarchical Harmonic Decomposition to Implicit Neural Compression for Atmospheric Data
Jilin University(吉林大学);Institute of Atmospheric Physics(大气物理研究所)
针对大气数据压缩难题,提出HiHa方法,通过分层谐波分解和多尺度隐式神经表示实现高保真高压缩率,实验证明其优于现有方法且压缩数据不影响下游模型精度。
2024-11-09 cs.IT cs.LG math.IT
Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
George Mason University(乔治梅森大学)
本文提出针对非凸-强凹极小极大和非凸-强凸双层优化的自适应算法,无需噪声先验知识即可达到尖锐收敛速率,并首次为随机分层优化提供自适应收敛保证。
2025-10-24 cs.LG math.OC
HiFuzz: Hierarchical Reinforcement Learning for Semantic-Aware and Adaptive CPU Fuzzing
Hong Kong University of Science and Technology (HKUST), Hong Kong(香港科技大学)
针对传统变异模糊测试在处理器验证中效率低的问题,提出HiFuzz框架,采用分层强化学习及结构化生成过程,集成自适应机制与编码器,经实验验证,该框架在覆盖率和漏洞检测上显著优于现有工具。
2026-07-09 cs.AR cs.LG
The Hierarchical Adaptive Forgetting Variational Filter
COSY, Institute of Neuroscience, Université Catholique de Louvain(比利时布鲁塞尔天主教鲁汶大学神经科学研究所COSY(需注意:COSY为缩写,此处保留原文))
机器学习和统计学中的一个常见问题是检测数据流中的当前样本是否属于与先前样本相同的分布,是孤立的离群值还是开创了一个新的数据分布。我们提出了一个分层贝叶斯算法,旨在学习一个特定时间的近似后验分布的参数描述的分布观察到的数据。我们推导了指数族模型在每个时间步的近似后验变分参数的更新方程,并表明这些更新在强化学习(RL)中找到了有趣的对应关系。从这个角度来看,我们的模型可以被看作是一个分层的RL算法,它根据一定的稳定性置信度学习后验分布,反过来,根据自己的稳定性置信度学习。最后,我们展示了我们的通用模型的一些应用,首先是在RL背景下,其次是自适应贝叶斯自回归模型,最后是在随机梯度下降优化的背景下。
2018-05-15 cs.LG stat.ML
Hierarchical Methods of Moments
McGill University(麦吉尔大学)
谱矩方法为潜变量模型的参数学习提供了一个强有力的工具。尽管它们在理论上很有吸引力,但由于对模型错误指定缺乏鲁棒性,这些方法对真实数据的适用性仍然有限。在本文中,我们提出了一个层次的方法来规避这些限制的时刻。我们的方法是基于取代张量分解步骤中使用的近似联合对角化在以前的算法。主题建模的实验表明,我们的方法优于以前的张量分解方法的速度和模型质量。
2018-10-17 cs.LG stat.ML
Extraction of hierarchical functional connectivity components in human brain using resting-state fMRI
University of Pennsylvania(宾夕法尼亚大学)
人类大脑网络中的层次结构的研究已经引起了研究人员的极大兴趣,因为许多研究已经指出了人类大脑的功能层次组织。本文提出了一种利用静息态fMRI提取人脑层次连接成分的新方法。该方法建立在稀疏连接模式(SCP)之前的工作,通过引入稀疏重叠模式的层次结构。通过fMRI生成的相关矩阵的深度因式分解来估计分量。本文的目标是使用相关矩阵提取可解释的层次模式,其中低秩分解由高秩分解的线性组合形成。我们制定的分解作为一个非凸优化问题,并解决它使用梯度下降算法与自适应步长。我们还提供了一种方法,使用奇异值分解的梯度下降的热启动。我们证明了所开发的方法在两个不同的现实世界的数据集上的有效性,通过显示多尺度分层SCP子样本之间是可重复的,并且与单尺度模式相比更具可重复性。我们还比较了我们的方法与现有的分层社区检测方法。我们的方法还提供了新的洞察人类大脑的功能组织。
2020-12-07 cs.LG eess.IV q-bio.NC
Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression
本文提出一种针对PINNs的动态误差有界层次矩阵压缩方法,通过局部误差估计自适应细化近似,在降低计算复杂度与内存需求的同时保持NTK特性,优于传统压缩方法并提升推理速度。
2024-09-25 cs.LG cs.NA math.NA
Model Primitive Hierarchical Lifelong Reinforcement Learning
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
学习可解释和可转移的子策略并从单个复杂任务执行任务分解是困难的。一些传统的分层强化学习技术以自上而下的方式执行这种分解,而元学习技术需要手头的任务分布来学习这种分解。本文提出了一个框架,使用不同的次优世界模型分解成简单的模块化子策略的复杂任务的解决方案。该框架以自自底向上的的方式执行单个源任务的自动分解,同时学习所需的模块化子策略以及控制器来协调它们。我们在高维连续动作控制任务上进行了一系列实验,以证明这种方法在复杂的单任务学习和终身学习中的有效性。最后,我们进行消融研究,以了解框架中不同元素的重要性和鲁棒性以及这种方法的局限性。
2019-03-04 cs.AI cs.LG cs.NE
Self-Adaptive Hierarchical Sentence Model
University of Waterloo(滑铁卢大学);Huawei Technologies(华为技术有限公司)
在不同阶段准确建模句子的能力(例如,词-短语-句子)在自然语言处理中起着中心作用。为了实现这一目标,我们提出了一个自适应层次句子模型(AdaSent)。AdaSent通过相邻段的递归门控局部组合有效地形成了从单词到短语再到句子的表示层次。我们设计了一个竞争机制(通过门控网络),允许同一个句子的表征参与特定的学习任务(例如,分类),因此有效地减轻了在其他递归模型中持续存在的梯度消失问题。定性和定量分析都表明,AdaSent可以在训练过程中自动形成和选择适合手头任务的表示,在5个基准数据集上产生优于竞争对手模型的分类性能。
2015-04-27 cs.CL cs.LG cs.NE
Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
University of Alberta(阿尔伯塔大学)
针对多链MDP的平均奖励强化学习,提出基于Bather分解的层次化异步值迭代算法,收敛到最优增益并生成增益最优策略,进一步扩展两种算法提升瞬态性能,为一般多链MDP提供首批无模型平均奖励RL方法。
2026-10-08 cs.LG math.OC
A rank-adaptive higher-order orthogonal iteration algorithm for truncated Tucker decomposition
Peking University(北京大学)
提出了一种新的秩自适应高阶正交迭代(HOOI)算法,在给定的误差容限下计算高阶张量的截断Tucker分解,并证明了该算法是局部最优的和单调收敛的.一系列的数值实验进行了相关的合成和现实世界的张量,以表明所提出的秩自适应HOOI算法是在精度和效率方面的优势。对HOOI算法和经典的交替最小二乘法进行了进一步的分析,以进一步理解为什么可以将秩自适应引入HOOI算法以及它是如何工作的。
2021-10-25 cs.LG cs.NA math.NA
Adaptive Conformal Prediction via Bayesian Uncertainty Weighting for Hierarchical Healthcare Data
Rochester Institute of Technology(罗切斯特理工学院)
本文提出一种结合贝叶斯不确定性加权与置信校准的混合框架,用于提升医疗数据中的不确定性量化精度与覆盖保证。
2026-01-03 cs.LG stat.ML
Adaptive Generation of Phantom Limbs Using Visible Hierarchical Autoencoders
University of Tennessee at Chattanooga(查塔努加田纳西大学)
根据异构运动传感器测量的人体功能部位的运动行为,提出了一种自适应幻肢生成中的分层可视自动编码器。提出的可视分层自动编码器由可解释的和多相关的自动编码器管道,这是直接从森林数据结构描述的分层网络派生。根据指定的动力学脚本(例如,跳舞、跑步等)和用户的身体状况,从人体肌肉骨骼网络中提取分层网络,该网络由多个身体部件(例如,肌肉、骨骼和关节等)它们在生物机械、功能或神经上相互关联,并且大多表现出非发散的动力学行为。多层感知器(MLP)回归模型,以及几种变化的自动编码器模型,研究了顺序生成的缺失或功能障碍的肢体。幻肢的运动学行为将使用虚拟现实和增强现实(VR/AR)、致动器和潜在的假肢控制器(一种替代缺失身体部位的人造设备)来构建。所述工作旨在开发实用的创新锻炼方法,其(1)使所有年龄段的个人,包括患有慢性健康状况和/或残疾的人,参与定期的身体活动,(2)加速患者的康复,以及(3)释放用户的幻肢疼痛。在今后的工作中,将严格评估所述工作的生理和心理影响。
2019-10-02 cs.HC cs.LG
Fast Meta-Learning for Adaptive Hierarchical Classifier Design
Econometric Institute, Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学计量经济研究所);Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学学院)
我们提出了一个新的分裂标准的元学习方法,多类分类器的设计,自适应地合并到一个树结构层次的日益困难的二进制分类问题的类。分类树是从经验估计的Henze-Penrose界的成对贝叶斯误分类率,排名的二进制子问题的分类难度。建议的经验估计的贝叶斯出错率计算从最小生成树(MST)的样本从每对类。此外,提出了一种元学习技术,用于从整个数据集上的单个MST中量化每个单独类的一对剩余贝叶斯出错率。在基准数据集上的大量模拟表明,所提出的分层方法通常可以比竞争方法更快地学习,同时达到竞争的准确性。
2017-11-09 cs.AI cs.IT cs.LG
Towards an Adaptive Dynamic Mode Decomposition
North South University(南北大学)
动态模式分解(DMD)是一种基于数据的建模工具,它识别一个矩阵,将某个时刻的量映射到未来的相同量。我们设计了一个新版本,我们称之为自适应动态模式分解(ADMD),它根据数据的性质利用时间延迟坐标,投影方法和滤波器来创建可用问题的模型。过滤器对于降低高维数据集的排名非常有效。我们采用了“离散傅里叶变换”和“增广拉格朗日乘子”作为滤波器在我们的方法。建议的ADMD进行了测试,不同的复杂性和它的性能似乎是有前途的几个数据集。
2020-12-11 cs.LG cs.NA eess.SP