MangaDiT: Reference-Guided Line Art Colorization with Hierarchical Attention in Diffusion Transformers
本文提出MangaDiT模型,通过引入层次注意力机制和动态注意力加权策略,隐式发现语义对应关系,解决了参考引导线稿上色中的区域级颜色一致性问题,在定性和定量评估中均优于现有方法。
2025-08-13 cs.CV
Theoretical Bound-Guided Hierarchical VAE for Neural Image Codecs
Elmore Family School of Electrical and Computer Engineering(埃尔莫尔电气与计算机工程学院);Purdue University(普渡大学)
为缩小变分自编码器理论界限与现有神经图像编解码器性能间的差距,提出理论界限引导的分层 VAE(BG-VAE),利用该界限指导模型优化,实现性能优于现有方法的变码率编解码器。
2024-03-27 cs.LG eess.IV
DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics
EPFL, Switzerland(瑞士联邦理工学院);Harvard University(哈佛大学);Sony Group Corporation(索尼集团);ETH Zurich, Switzerland(瑞士苏黎世联邦理工学院)
针对多模态语言模型难以系统建模视频视觉场景时间演变的问题,提出DynaVieW模型,通过学习交错状态转换序列理解视觉动态,在多架构下联合建模,提升下游视觉叙事创作等任务表现。
2026-07-07 cs.AI cs.CL cs.CV
ProGress: Structured Music Generation via Graph Diffusion and Hierarchical Music Analysis
Duke University(杜克大学)
本文提出ProGress框架,结合申克分析与DiGress离散扩散模型,解决现有音乐生成模型缺乏结构连贯性和可解释性的问题,支持用户控制生成过程,并在人类实验中表现优于现有方法。
2025-10-11 cs.LG cs.SD eess.AS
Learning deep autoregressive models for hierarchical data
Uppsala University(乌普萨拉大学)
我们提出了一个分层结构化数据模型作为随机时间卷积网络的扩展。该模型结合了自回归模型与分层变分自编码器和下采样,以实现卓越的计算复杂性。我们评估两种不同类型的序列数据:语音和手写文本的模型。结果是有希望的,所提出的模型实现国家的最先进的性能。
2021-07-01 cs.LG cs.SY eess.SY
Notes on hierarchical ensemble methods for DAG-structured taxonomies
Università degli Studi di Milano(米兰大学)
从文本分类到计算生物学的几个实际问题的特点是分层多标签分类任务。文献中提出的大多数方法都集中在树结构的分类,但只有少数的分类结构,根据有向无环图(DAG)。在这篇文章中,介绍了用于达格结构分类法的新型分类集成算法。特别是层次化的自顶向下(HTD-DAG)和真正的路径规则(TPR-DAG)的DAG提出和讨论。
2014-06-18 cs.AI cs.LG stat.ML
Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition
Great Bay University(广东东莞大亚湾大学);Tencent Youtu Lab(腾讯优图实验室)
本文提出HyperEmo-RAG,一种利用结构化情绪知识库的检索增强生成框架,通过双曲空间嵌入和证据图构建来提升多模态情绪识别的性能。
2026-05-16 cs.CV cs.LG
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research(微软研究院);University of Florida(佛罗里达大学);JD AI Research(京东人工智能研究院)
我们提出了一个层次结构的强化学习方法来解决规划的挑战,为视觉讲故事的任务产生连贯的多句故事。在我们的框架内,给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念(即,主题)中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子,该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事(VIST)数据集。来自自动和人工评估的实证结果表明,与强平深度强化学习基线相比,所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
Prediction of hierarchical time series using structured regularization and its application to artificial neural networks
University of Tsukuba(筑波大学);Fujitsu Laboratories Ltd.(富士通实验室有限公司)
本文讨论了层次时间序列的预测,其中每个上层时间序列是通过求和适当的下层时间序列计算的。对这种层次时间序列的预测应该是一致的,这意味着对上层时间序列的预测等于对相应下层时间序列的预测之和。以前的方法,使连贯的预测包括两个阶段:第一计算基础(不连贯)的预测,然后调和这些预测的基础上,其固有的层次结构。为了改善时间序列预测,我们提出了一种结构化正则化方法,同时完成这两个阶段。该方法基于底层时间序列的预测模型,并使用结构化正则化项将上层预测纳入预测模型。我们还开发了一个反向传播算法专门应用我们的方法,人工神经网络的时间序列预测。使用合成和真实世界的数据集的实验结果表明,我们的方法在预测精度和计算效率方面的优越性。
2020-07-30 cs.LG stat.ML
HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);Department of Bioengineering and Imperial-X, Imperial College London(帝国理工学院伦敦校区生物工程系);Department of Pathology, Xiangtan Maternal and Child Health Hospital(湘潭 maternal and child health hospital pathology department);Department of Pathology, The First People’s Hospital of Xiangtan City(湘潭市第一人民医院病理科)
提出HiPath框架,通过分层补丁聚合器、对比学习和槽位掩码诊断预测,在冻结UNI2和Qwen3骨干上实现结构化病理报告预测,准确率达68.9%,安全率97.3%。
2026-06-24 cs.AI cs.CV cs.LG
Tree-structured Attention with Hierarchical Accumulation
Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
类似选区树的分层结构已经被证明对于各种自然语言处理(NLP)任务是有效的。然而,很明显,像Transformer这样的基于序列的最新技术(SOTA)模型很难固有地编码这样的结构。另一方面,像Tree-LSTM这样的专用模型,虽然显式地对层次结构进行建模,但性能不如Transformer。在本文中,我们试图弥合这一差距与“分层积累”编码解析树结构到自注意在恒定的时间复杂度。我们的方法优于SOTA方法在四个IWITOS翻译任务和WMT'14英语-德语翻译任务。它还在三个文本分类任务上对Transformer和Tree-LSTM进行了改进。我们进一步证明,使用分层先验可以弥补数据短缺,我们的模型更喜欢短语级的注意力令牌级的注意力。
2020-02-19 cs.CL cs.LG
IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training
Imperial College London(帝国理工学院);École des Ponts(巴黎路桥学院);EDF R&D(法国电力公司研发中心);Royal Brompton and Harefield Hospital(皇家布朗普顿和 Harefield 医院);Tongji University(同济大学)
针对现有医学VLP忽略临床报告分层结构的问题,提出临床先验引导的分层视觉语言预训练框架IMITATE,通过多级视觉特征与分层文本对齐及临床信息对比损失提升性能,在多个下游任务上优于基线方法。
2024-10-30 cs.CV cs.LG
Hierarchically Structured Meta-learning
Pennsylvania State University(宾夕法尼亚州立大学);Tencent AI Lab(腾讯人工智能实验室)
为了用较少的样本快速学习,元学习利用从先前任务中学习的先验知识。然而,元学习的一个关键挑战是任务的不确定性和异构性,这不能通过全局共享知识的任务。在本文中,基于基于梯度的元学习,我们提出了一个层次结构的元学习(HSML)算法,显式定制的可转移的知识,以不同的任务集群。受人类组织知识的方式的启发,我们采用分层任务聚类结构来聚类任务。因此,所提出的方法不仅解决了挑战,通过知识定制到不同的任务集群,但也保留了知识的泛化之间的集群相似的任务。此外,为了适应任务关系的变化,我们将层次结构扩展到持续学习环境中。实验结果表明,我们的方法可以达到最先进的性能在玩具回归和Few-Shot图像分类问题。
2019-11-15 cs.LG stat.ML
Hierarchical Decision Making with Structured Policies: A Principled Design via Inverse Optimization
提出一种逆优化框架,将上层目标抽象与下层结构化决策整合,确保下层策略目标与长期任务一致,在资源分配和避障任务中优于端到端RL等方法。
2026-06-27 cs.LG
Normalized Hierarchical SVM
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Toyota Technological Institute(丰田工业大学)
我们提出了改进的方法,使用结构化的支持向量机在一个大规模的分层分类问题,即当标签是树叶,或树叶集,在一棵树或一个DAG。我们研究了规范化正则化和余量的必要性,并展示了这样做如何显着提高性能,包括允许实现最先进的结果,其中未规范化的结构化SVM的性能不如平面模型。我们还描述了层次支持向量机的进一步扩展,突出层次支持向量机和矩阵分解模型之间的连接。
2016-03-04 cs.LG
Improving Coherence in Hierarchical Time Series Forecasting using Structured Temporal Fusion
提出层次时间融合(HTF)模型,通过结构化层次嵌入和一致性损失函数,在训练中直接嵌入一致性约束,同时建模时间动态和结构一致性,在M5和能源数据集上降低不一致性并提升预测精度。
2026-06-26 cs.LG
SHIP: Structured and Hierarchical Insight with Privacy
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究院)
本研究提出SHIP方法,将差分隐私洞察作为可复用表示,通过映射查询到属性、构建分层混合分类体系并发布差分隐私合成表,在问答性能和结构化保真度上优于现有基线。
2026-10-16 cs.CL cs.CR cs.LG
Structured Diversification Emergence via Reinforced Organization Control and Hierarchical Consensus Learning
East China Normal University(华东师范大学);SRIAS(上海人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));AIRS(深圳市人工智能与机器人研究院)
在解决一个复杂的任务时,人类会自发地组成团队,分别完成整个任务的不同部分。同时,队友之间的合作也会提高效率。然而,对于目前的合作MARL方法,合作团队是通过构造或端到端的黑盒优化。为了提高合作和探索的效率,提出了一个基于强化组织控制和层次一致性学习的结构化多样化涌现MARL框架{ \sc{Rochico} }。{ \sc{Rochico} }首先通过组织控制模块学习一个自适应的分组策略,该策略是通过独立的多智能体强化学习建立的。在团队形成后,引入了基于共识约束的层次意图的层次共识模块。同时,利用层次一致性模块和自监督内在奖励增强决策模块,提出的协作MARL算法{ \sc{Rochico} }可以输出最终的多样化多智能体协作策略。这三个模块有机地结合在一起,促进了结构化多元化的出现。在4个大规模协作任务上的对比实验表明,{ \sc{Rochico} }在探索效率和协作强度方面明显优于现有的SOTA算法.
2021-02-09 cs.AI cs.GT cs.LG
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
目标条件分层强化学习(HRL)在解决复杂的长时间强化学习任务方面取得了可喜的成果。然而,在目标约束的HRL中,高层策略的动作空间往往很大,从而导致探索性差,导致训练效率低下。在本文中,我们提出了地标引导的历史强化学习(HIGL),这是一种新的框架,用于训练具有地标引导的减少的动作空间的高级策略,即,有希望的国家去探索。高级别指标的关键组成部分有两个方面:(a)对可供探索的地标进行抽样;(b)鼓励高级别政策为选定的地标制定一个次级目标。对于(a),我们考虑两个标准:整个访问状态空间的覆盖(即,状态的分散性)和状态的新颖性(即,状态的预测误差)。对于(b),我们选择一个地标作为节点是地标的图中最短路径中的第一个地标。我们的实验表明,我们的框架在各种控制任务中的表现优于现有技术,这要归功于地标引导的高效探索。
2021-12-05 cs.LG
Learning Hierarchical and Topographic Dictionaries with Structured Sparsity
INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
最近的工作在信号处理和统计集中在定义新的正则化函数,这不仅导致稀疏的解决方案,但也考虑到问题的结构。本文提出了一类在机器学习领域中引入的凸罚函数,其形式为变量组上的l_2和l_无穷范数之和.它们扩展了经典的组稀疏正则化,因为组可能重叠,从而在组设计中具有更大的灵活性。我们回顾了有效的优化方法来处理相应的逆问题,以及它们在自然图像块的字典学习问题中的应用:一方面,字典学习确实被证明对各种信号处理任务是有效的。另一方面,结构化稀疏性为字典元素之间的依赖关系建模提供了一个自然的框架。因此,我们考虑结构化稀疏正则化来学习嵌入在特定结构中的字典,例如树或二维网格。在后一种情况下,我们得到的结果是类似的字典地形独立成分分析。
2011-10-20 cs.LG
Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings
New Jersey Institute of Technology(新泽西理工学院)
本文提出层次Mamba结合双曲几何,以学习具有层次意识的语言嵌入,提升复杂层次推理能力。
2025-12-04 cs.CL cs.LG
Convex Hierarchical Clustering for Graph-Structured Data
Stanford University(斯坦福大学)
凸聚类是一个最近稳定的替代层次聚类。它制定了逐步合并集群的恢复作为一个正规化的凸问题。虽然凸聚类最初是为了处理数据点之间的欧氏距离而设计的,但在越来越多的应用中,数据直接由相似性矩阵或加权图来表征。在本文中,我们扩展了强大的层次聚类方法,这些更广泛的类的相似性。在定义了一个适当的凸目标之后,这种适应的关键在于我们能够提供:(a)正则化路径的有效恢复和(b)使用我们方法的经验证明。我们通过一个近端对偶算法解决第一个挑战,为此我们描述了一组实验的理论效率和经验性能。最后,我们强调了我们的方法的潜力,通过展示其应用到几个现实生活中的数据集,从而提供了一个自然的扩展到当前的凸聚类的应用范围。
2019-12-11 cs.LG stat.AP stat.ML
Hierarchical-Graph-Structured Edge Partition Models for Learning Evolving Community Structure
Great Bay Institute for Advanced Study(大湾区高等研究院);Great Bay University(大湾区大学);School of Computing and Information Technology(计算与信息技术学院)
提出一种基于 Poisson-gamma 边划分和层次图先验的动态网络模型,通过层次转移核建模潜在社区的演化与交互,在链路预测和社区检测任务上优于现有方法。
2024-11-18 cs.LG cs.SI
BGM-HAN: A Hierarchical Attention Network for Accurate and Fair Decision Assessment on Semi-Structured Profiles
Singapore University of Technology and Design(新加坡科技设计大学);Forth AI(forth人工智能)
针对高风险招生决策中的偏差与半结构化档案建模问题,提出 BGM-HAN 分层注意力网络,提升预测性能与可解释性,并在真实数据上优于传统机器学习及 LLM 基线。
2025-07-23 cs.AI cs.IR cs.LG
Adaptation of Hierarchical Structured Models for Speech Act Recognition in Asynchronous Conversation
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
我们解决了异步对话(论坛,电子邮件)中的言语行为识别(SAR)问题。与同步对话(例如,会议、电话),异步域缺乏大的标记数据集来训练有效的SAR模型。在本文中,我们提出的方法,有效地利用丰富的未标记的会话数据和可用的标记数据从同步域。我们的研究分三个主要步骤进行。首先,我们介绍了一个神经架构的基础上分层LSTM和条件随机场(CRF)的SAR,并表明,我们的方法优于现有的方法时,只在域内数据训练。其次,我们通过半监督学习改进了我们的初始SAR模型,这种半监督学习的形式是从大型未标记的会话语料库中学习的预训练词嵌入。最后,我们采用对抗性训练,通过利用来自同步域的标记数据和显式建模两个域中的分布变化来进一步改进结果。
2019-04-01 cs.CL cs.LG stat.ML
A Hierarchical Approach to Scaling Batch Active Search Over Structured Data
Stanford University(斯坦福大学)
主动搜索是在大型且通常是高维的参数空间中识别高值数据点的过程,这些参数空间的评估成本可能很高。传统的主动搜索技术(如贝叶斯优化)在连续评估中权衡了探索和利用,并且历史上专注于每轮评估的单个或少量(<5)示例。随着现代数据集的增长,需要将主动搜索扩展到大型数据集和批量大小。在本文中,我们提出了一个一般的层次框架的基础上,强盗算法的规模积极搜索大批量的大小,最大限度地提高信息来自每个数据集的独特结构。我们的分层框架,分层批量Bandit搜索(HBBS),通过促进对数据集内不同结构元素的广泛探索,在学习的嵌入空间中战略性地分布批量选择。我们将HBBS的应用集中在现代生物学上,大批量实验通常是研究过程的基础,并演示了生物序列(蛋白质和DNA)的批量设计。我们还提出了一个新的Gym环境,可以轻松地模拟不同的生物序列,并能够更全面地评估跨异构数据集的主动搜索方法。HBBS框架通过在结构化数据的每个分区内使用跨粗分区的广泛探索策略和细粒度利用,改进了用于批处理搜索的标准性能、挂钟和可扩展性基准。
2020-07-20 cs.LG q-bio.QM stat.ML
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University(阿尔托大学)
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题,提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化,显著提升了样本效率和性能。
2025-05-27 cs.LG
Tree edit distance for hierarchical data compatible with HMIL paradigm
Avast Software(爱维士软件)
我们定义编辑距离的分层结构的数据兼容的分层多实例学习范式。这种数据的示例是以JSON格式表示的数据集,其中内部Array对象被解释为无序的元素包。我们证明了正确的分析性质的定义的距离。
2022-07-26 cs.DB cs.LG
Learning Structured Communication for Multi-agent Reinforcement Learning
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Department of Computer Science and Engineering, Artificial Intelligence Institute, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系人工智能研究所);School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)理工学院);School of Computational Science and Engineering, College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院计算科学与工程学院)
本文研究了多智能体强化学习(MARL)环境下的大规模多智能体通信机制。我们总结了MARL文献中通信结构拓扑的一般类别,这些类别通常是手动指定的。然后,我们提出了一个新的框架,称为学习结构化通信(LSC),通过使用一个更灵活,更有效的通信拓扑结构。我们的框架允许自适应代理分组,形成不同的层次形成的情节,这是由一个辅助任务相结合的分层路由协议。给定每个形成的拓扑结构,学习分层图神经网络,以实现有效的消息信息生成和组间和组内通信之间的传播。与现有的通信机制相比,我们的方法有一个明确的,而可学习的分层通信设计。挑战性任务的实验结果表明,所提出的LSC具有较高的通信效率,可扩展性和全局协作能力。
2020-02-11 cs.LG stat.ML
Hierarchical Semantic Correspondence Learning for Post-Discharge Patient Mortality Prediction
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Northwestern University(西北大学)
预测患者死亡率是医疗保健领域中一个重要且具有挑战性的问题,特别是对于重症监护病房(ICU)患者。电子健康笔记作为学习患者陈述的丰富来源,可以促进有效的风险评估。然而,很大一部分的临床笔记是非结构化的,也包含特定领域的术语,我们需要从中提取结构化的信息。在本文中,我们引入了一个嵌入框架来学习语义合理的分布式表示的临床笔记,利用非结构化文本和它们相应的结构化知识,称为语义框架,在一个层次化的方式之间的语义对应。我们的方法将文本建模和语义对应学习集成到单个模型中,该单个模型包括:1)非结构化嵌入模块,其利用自相似矩阵表示,以便注入临床文本中固有的不同片段的结构化映射,以促进局部一致性; 2)结构化嵌入模块,其嵌入语义框架(例如,UMLS语义类型)与深度ConvNet的交互,以及3)分层语义对应模块,其通过增强多个级别上的文本语义框架嵌入对之间的交互来嵌入(即,单词、句子、注释)。出院后重症监护患者死亡率预测任务的多个嵌入基准的评估表明,它的有效性相比,不利用结构化和非结构化的信息之间的语义相互作用的临床笔记的方法。
2019-10-15 cs.CL cs.LG
Hierarchical Tree-structured Knowledge Graph For Academic Insight Survey
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);FPT University(FPT大学)
针对初学者在研究综述中难以把握论文逻辑层次与推荐依据的问题,本文提出一种层次化树状结构知识图谱,反映研究主题的继承洞察与论文间的相关性洞察,以支持学术洞察调研。
2024-09-25 cs.CL cs.DL cs.LG
Reinforcement Learning with Structured Hierarchical Grammar Representations of Actions
Imperial College London(帝国理工学院);Einstein Center for Neurosciences Berlin(柏林爱因斯坦神经科学中心);Technical University Berlin(柏林工业大学);MRC London Institute of Medical Sciences(英国医学研究委员会伦敦医学科学研究所)
从很小的时候起,人类就学会了使用语法原则来分层地将单词组合成句子。动作语法是一个平行的概念,即有一组潜在的规则(一种“语法”)来控制我们如何分层地组合动作以形成新的、更复杂的动作。我们引入了动作语法强化学习(AG-RL)框架,该框架利用动作语法的概念来不断提高强化学习代理的样本效率。AG-RL通过使用语法推理算法来推断训练中途代理的“动作语法”。代理的动作空间,然后增加了由语法识别的宏动作。我们将此框架应用于双深度Q学习(AG-DDQN)和Soft Actor-Critic(AG-SAC)的离散动作版本,并发现它分别在8个测试的Atari游戏中的8个(中位数+31%,最大+668%)和20个测试的Atari游戏中的19个(中位数+96%,最大+3,756%)中提高了性能,而无需实质性的超参数调整。我们还表明,AG-SAC在20个测试的Atari游戏中的17个中的样本效率方面击败了无模型的最先进水平(中位数+62%,最大值+13,140%),同样没有实质性的超参数调整。
2019-10-23 cs.AI cs.LG stat.ML
HighLight: Efficient and Flexible DNN Acceleration with Hierarchical Structured Sparsity
MIT(麻省理工学院);NVIDIA(英伟达)
本文提出分层结构化稀疏性 HSS 及加速器 HighLight,用简单稀疏模式分层表示多种稀疏度,以低硬件开销灵活加速稠密与稀疏 DNN,EDP 最高改善 6.4 倍。
2023-10-01 cs.AR cs.LG
Recurrent Hierarchical Topic-Guided RNN for Language Generation
Xidian University(西安电子科技大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
为了从文本语料库中同时捕获语法和全局语义,提出了一种新的基于大上下文递归神经网络(RNN)的语言模型,通过动态深度主题模型提取递归层次语义结构,指导自然语言生成。超越了传统的基于RNN的语言模型,忽略了长期的单词依赖关系和句子顺序,所提出的模型不仅捕捉句子内的单词依赖关系,而且还捕捉句子之间的时间转换和句子间的主题依赖关系。对于推理,我们开发了一个混合的随机梯度马尔可夫链蒙特卡罗和经常性自编码变分贝叶斯。在多种真实文本语料库上的实验结果表明,该模型不仅优于基于大上下文RNN的语言模型,而且能够学习可解释的循环多层主题,生成句法正确、语义连贯的句子和段落。
2020-06-27 cs.CL cs.LG stat.ME
Hierarchical Utility Calibration for Structured Multiclass Decisions
The University of Osaka(大阪大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心(AIP));Mila – Quebec AI Institute(米拉——魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Nagoya University(名古屋大学)
针对多类概率预测中的效用校准问题,提出分层效用校准(HUC)方法,通过分解标签树内部节点贡献并逐节点校准,解决了层次结构中效用误差抵消问题,并给出有限样本评估与理论保证。
2026-09-30 cs.LG stat.ML
How transformers learn structured data: insights from hierarchical filtering
Department of Computing Sciences, Università Bocconi, Milan, Italy(计算科学系,博科尼大学,米兰,意大利);Department of Finance, Università Bocconi, Milan, Italy(金融系,博科尼大学,米兰,意大利)
该研究提出树上序列数据的层次化过滤方法,通过受控相关性实验揭示仅编码器 Transformer 如何逐层重建多尺度相关性并实现精确推理。
2025-06-10 cond-mat.dis-nn cond-mat.stat-mech cs.CL