Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
我们考虑的问题，多标签分类的标签位于一个层次结构。然而，与大多数现有的作品在分层多标签分类，我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功，这让我们受到鼓舞，我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势：i）分类器更好地泛化，因为它利用了标签上存在层次结构的先验知识，以及ii）除了标签同现信息之外，标签嵌入还可以受益于输入数据点的流形结构，从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明，联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外，建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习，并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
Norm-Hierarchy Transitions in Representation Learning: When and Why Neural Networks Abandon Shortcuts
H&K Research Studio, Clevix LLC（H&K研究室，Clevix LLC）
本研究提出范数层级过渡框架，解释神经网络在训练过程中如何从依赖捷径特征逐步转向结构化表示，揭示了延迟特征发现的共同机制。
2026-03-07 cs.AI cs.LG
Bhargava Cube--Inspired Quadratic Regularization for Structured Neural Embeddings
Department of Computer Science；Engineering (AI \& ML), PES University, Bangalore 560 085, India Department of Electronics；Communication Engineering, PES University, Bangalore 560 085, India
本文提出受Bhargava立方体启发的二次正则化方法，用于生成结构化的神经嵌入，通过数学约束提升表示的可解释性和一致性。
2025-12-12 cs.LG
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
University of Pennsylvania（宾夕法尼亚大学）
本文提出HCEP框架，通过在潜在空间中诱导概念嵌入的层次结构，利用层次稀疏编码恢复图像中的概念，提升分类可解释性与精度。
2026-03-30 cs.CV cs.LG
Binary embeddings with structured hashed projections
Google（谷歌）；NVIDIA（英伟达）
我们考虑构建二进制嵌入的哈希机制，涉及伪随机投影，然后是非线性（符号函数）映射。伪随机投影由矩阵描述，其中并非所有条目都是独立的随机变量，而是固定的“随机性预算”分布在矩阵上。这样的矩阵可以有效地存储在次二次或甚至线性空间中，减少随机性使用（即所需随机值的数量），并且经常导致计算速度加快。我们证明了几个理论结果表明，通过各种结构化矩阵的投影，然后通过非线性映射准确地保持输入高维向量之间的角距离。据我们所知，这些结果是第一个，使理论基础的使用一般结构矩阵的非线性设置。特别是，他们推广了以前的扩展的约翰逊-林登施特劳斯引理，并证明了该方法的可验证性，到目前为止，只有实证证实了一些特殊的结构矩阵。因此，我们表明，许多结构化矩阵可以作为一种有效的信息压缩机制。我们的研究结果更好地理解了某些深度架构，这些架构包含随机加权和未经训练的层，但在不同的学习任务中实现了高性能。我们实证验证了我们的理论研究结果，并通过结构化的散列投影的性能上的神经网络以及最近邻分类器的学习的依赖。
2016-07-01 cs.LG
Hierarchy-based Image Embeddings for Semantic Image Retrieval
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
已经发现，经过分类训练的深度神经网络可以学习强大的图像表示，这些图像表示也经常用于其他任务，例如将图像与图像进行比较。他们的视觉相似性。然而，视觉相似性并不意味着语义相似性。为了学习语义判别功能，我们建议将图像映射到类嵌入，其成对点积对应于类之间的语义相似性度量。这样的嵌入不仅改善了图像检索结果，而且还可以促进为其他任务集成语义，例如，新颖性检测或少样本学习。我们引入了一个确定性的算法，直接计算类质心的基础上编码在一个层次结构的类，如WordNet的先验世界知识。在CIFAR-100，NABIrds和ImageNet上的实验表明，我们学习的语义图像嵌入大大提高了图像检索结果的语义一致性。
2019-03-19 cs.AI cs.CV cs.IR
Poincaré Differential Privacy for Hierarchy-Aware Graph Embedding
Beihang University（北京航空航天大学）；Guangxi Normal University（广西师范大学）
针对层次感知图嵌入中的隐私泄露与层次扰动边界估计不足问题，提出 PoinDP 框架，结合 Poincaré 模型、个性化层次敏感度和双曲高斯机制实现差分隐私，并在五个数据集上验证其保护效果与分类性能。
2024-02-29 cs.CR cs.LG
Rapidly Mixing Gibbs Sampling for a Class of Factor Graphs Using Hierarchy Width
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
因子图上的吉布斯抽样是一种广泛使用的推理技术，它经常产生良好的经验结果。其性能的理论保证是薄弱的：即使是树结构图，吉布斯的混合时间可能是指数的变量的数量。为了帮助理解吉布斯采样的行为，我们引入了一个新的（超）图属性，称为层次宽度。我们表明，在适当的条件下的权重，有界的层次宽度确保多项式混合时间。我们的研究层次结构宽度的部分动机是一类因素图模板，层次模板，它有界的层次结构宽度-无论用于实例化它们的数据。我们展示了一个丰富的应用程序，从自然语言处理中，吉布斯采样证明混合迅速，并达到准确性，超过人类志愿者。
2015-10-02 cs.LG
Structural Hierarchy and Geometry in Molecular Representation Learning
Delft University of Technology（代尔夫特理工大学）
该研究探讨显式编码Bemis-Murcko骨架并以其监督分子嵌入的效果，对比欧氏与洛伦兹对比目标，发现骨架监督可塑造分子嵌入空间组织，且对分子属性预测有增益，效果因任务和几何类型而异。
2026-09-01 cs.LG q-bio.BM
Fast nonlinear embeddings via structured matrices
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
我们提出了一个新的范例，加快随机计算的几个经常使用的功能在机器学习。特别是，我们的范例可以应用于改进基于随机嵌入的内核计算。在此基础上，提出的框架涵盖了多元随机函数。作为一个副产品，我们提出了一个算法的方法，也导致了显着降低空间的复杂性。我们的方法是基于仔细回收高斯向量到结构化矩阵，共享完全随机矩阵的属性。所提出的结构化方法的质量如下从这些结构化矩阵的行之间的相关性编码的图形的组合属性。我们的框架涵盖了特殊情况下已经知道的结构化方法，如快速约翰逊-林登施特劳斯变换，但更一般，因为它也可以应用于高度非线性嵌入。我们提供了强大的浓度结果显示所提出的范例的质量。
2016-04-25 cs.LG stat.ML
Learning Output Embeddings in Structured Prediction
LTCI, Télécom Paris, IP Paris（LTCI，巴黎电信，巴黎理工学院）；INRIA - Département d’Informatique de l’ENS, PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系，巴黎文理研究大学）；INRAE, MIAT, Université de Toulouse（法国国家农业食品与环境研究院，图卢兹大学）；Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
结构化预测的一种强大而灵活的方法在于通过输出核将待预测的结构化对象嵌入到可能无限维的特征空间中，然后在该输出空间中解决回归问题。通过求解前像问题来计算原始空间中的预测。在这种方法中，与目标损失相关联的嵌入在学习阶段之前被定义。在这项工作中，我们建议共同学习输出嵌入和回归函数到新的特征空间的有限近似。为此，我们利用了输出的先验信息以及未利用的无监督输出数据，这两者在结构化预测问题中经常可用。我们证明了由此产生的结构化预测器是一个相合估计量，并推导出超额风险界。此外，新的结构化预测工具享有一个显着较小的计算复杂度比以前的输出核方法。在各种结构化预测问题上进行的经验测试表明，该方法是通用的，能够处理大型数据集。
2020-11-02 cs.LG stat.ML
Embeddings and Representation Learning for Structured Data
Bielefeld University（比勒费尔德大学）；University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
对结构化数据执行机器学习是复杂的，因为这样的数据不具有向量形式。因此，已经出现了多种方法来构造结构化数据的向量表示，从内核和距离方法到递归、递归和卷积神经网络。近年来，在这一要求很高的研究领域中，出现了一些新的方法，如结构化数据的度量学习、图卷积神经网络和结构化数据的递归解码器网络。在这篇文章中，我们提供了一个高层次的概述，最先进的表示学习和嵌入结构化数据在广泛的机器学习领域。
2019-05-15 cs.LG stat.ML
Learning Structured Representations with Hyperbolic Embeddings
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Netflix Inc.（网飞公司）
针对现有表示学习方法忽略标签层次结构、欧氏距离易扭曲语义的问题，提出双曲结构化正则化方法HypStructure，结合双曲树表示损失与中心损失，在低维场景提升泛化性能并通过特征值分析关联表示几何与OOD检测性能。
2024-12-02 cs.CV cs.LG
Set Representation Learning with Generalized Sliced-Wasserstein Embeddings
HRL Laboratories, LLC.（HRL实验室）
越来越多的机器学习任务处理从集合结构化数据中学习表示。这些问题的解决方案涉及置换等变模块的组合（例如，自注意或经由前馈神经网络的个体处理）和置换不变模块（例如，全局平均汇集或通过多头注意力的汇集）。在本文中，我们提出了一个几何可解释的框架，用于从集结构数据中学习表示，该框架植根于最优公共交通问题。特别是，我们把一个集合的元素作为样本的概率测度，并提出了一个精确的欧氏嵌入广义切片Wasserstein（GSW）距离有效地从集合结构化数据学习。我们评估了我们提出的多监督和无监督集学习任务的框架，并证明了它的优越性比国家的最先进的集表示学习方法。
2021-03-05 cs.LG
Visual-Semantic Embedding Model Informed by Structured Knowledge
The University of Manchester（曼彻斯特大学）
我们提出了一种新的方法来改善视觉语义嵌入模型，将从外部结构化知识库捕获的概念表示。我们研究了它在标准和zero-shot设置下的图像分类性能。我们提出了两个新的评价框架来分析分类错误的知识库所示的类层次结构。使用ILSVRC 2012图像数据集和WordNet知识库对该方法进行了测试。相对于标准和zero-shot图像分类，我们的方法表现出优越的性能相比，原来的方法，它使用词嵌入。
2020-09-21 cs.CL cs.CV cs.LG
Deep Metric Learning via Lifted Structured Feature Embedding
Stanford University（斯坦福大学）；MIT（麻省理工学院）
学习样本之间的距离度量对于学习和视觉识别具有重要意义。随着最先进的卷积神经网络的显着成功，最近的工作已经显示出有前途的结果，有区别地训练网络学习语义特征嵌入，其中相似的例子被映射到彼此接近，不相似的例子被映射到更远的地方。在本文中，我们描述了一种算法，充分利用训练批次的神经网络的训练，通过提升的成对距离的向量在批次内的成对距离矩阵。该步骤使算法能够通过优化提升问题上的新结构化预测目标来学习最先进的特征嵌入。此外，我们收集了在线产品数据集：23 k类在线产品的120 k图像用于度量学习。我们在CUB-200-2011、CARS 196和在线产品数据集上的实验表明，在GoogLeNet网络的所有实验嵌入大小上，现有的深度特征嵌入方法都有显著的改进。
2015-11-19 cs.CV cs.LG
Structured Embedding Models for Grouped Data
词嵌入是分析语言的强大方法，指数族嵌入（EFE）将其扩展到其他类型的数据。在这里，我们开发了结构化指数族嵌入（S-EFE），这是一种用于发现在相关数据组中变化的嵌入的方法。我们研究了美国国会演讲的词汇使用如何在各州和党派之间变化，ArXiv各部分的词汇使用如何不同，以及杂货的共同购买模式如何在季节之间变化。我们的方法成功的关键是这些组共享统计信息。我们开发了两种共享策略：分层建模和摊销。我们证明了这种方法的好处，在实证研究的演讲，摘要和购物篮。我们展示了S-EFE如何使特定于组的解释词的使用，并优于EFE在预测举行了数据。
2017-09-28 cs.CL cs.LG stat.ML
Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy
Princeton University（普林斯顿大学）；Zoom Video Communications（Zoom视频通讯）
针对LLM缺乏指令层次结构导致易受恶意提示攻击的问题，提出指令片段嵌入（ISE）技术，在架构层面将指令优先级直接嵌入模型，显著提升了模型的安全性与指令遵循能力。
2025-03-01 cs.AI cs.CL cs.CR
KEEP: Integrating Medical Ontologies with Clinical Data for Robust Code Embeddings
Columbia University（哥伦比亚大学）；New York Genome Center（纽约基因组中心）
针对医疗机器学习中医学编码表征方法的知识与现实模式难以兼顾的问题，提出KEEP框架，结合知识图谱嵌入与临床数据正则化训练，无需任务特定训练即可生成嵌入，在多个EHR数据集上表现更优且计算需求低。
2025-10-06 cs.LG
SHREWD: Semantic Hierarchy-based Relational Embeddings for Weakly-supervised Deep Hashing
Intuition Machines Inc.（直觉机器公司）
使用类别标签来表示类别相似性是训练深度哈希系统进行检索的典型方法;来自相同或不同类别的样本采用二进制1或0相似性值。这种相似性并没有对数据点之间可能存在的语义关系的全部丰富知识进行建模。在这项工作中，我们建立在使用语义层次结构的想法，以形成所有可用的样本标签之间的距离度量;例如，猫到狗的距离比猫到吉他的距离小。我们将这种类型的语义距离结合到损失函数中，以促进深度神经网络嵌入之间的相似距离。我们还引入了经验Kullback-Leibler发散损失项，以促进嵌入的二值化和均匀性。我们测试了由此产生的SHREWD方法，并证明了使用紧凑的二进制哈希码而不是实值哈希码在分层检索分数上的改进，并表明在弱监督哈希设置中，我们能够在不明确依赖于类标签的情况下竞争性地学习，而是依赖于标签之间的相似性。
2019-08-12 cs.AI cs.CV cs.IR
CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks
Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心）；Geisinger（盖辛格）
嵌入算法越来越多地用于表示医疗保健中的临床概念，以改进机器学习任务，例如临床表型和疾病预测。最近的研究已经将最先进的双向编码器表示从Transformers（BERT）架构调整为结构化电子健康记录（EHR）数据，以用于生成情境化概念嵌入，但没有完全合并跨多个临床领域的时间数据。因此，我们开发了一个新的BERT适应，CEHR-BERT，将时间信息使用混合的方法，通过增加输入到BERT使用人工时间令牌，结合时间，年龄和概念嵌入，并引入一个新的第二个学习目标访问类型。CEHR-BERT在哥伦比亚大学欧文医学中心-约克长老会医院的临床数据子集上进行了训练，其中包括240万名患者，跨越30年，并使用4倍交叉验证对以下预测任务进行了测试：住院，死亡，新发心力衰竭（HF）诊断和HF再入院。我们的实验表明，CEHR-BERT在ROC-AUC和PR-AUC的所有4个预测任务中均优于现有的最先进的临床BERT适应和基线模型。CEHR-BERT还展示了强大的迁移学习能力，因为我们的模型只训练了5%的数据，优于在整个数据集上训练的比较模型。消融研究，以更好地了解每个时间成分的贡献显示每个元素的增量收益，这表明CEHR-BERT的人工时间令牌，时间和年龄嵌入与概念嵌入的结合，以及第二个学习目标的增加代表了未来基于BERT的临床嵌入的一种有前途的方法。
2021-11-10 cs.LG
Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction
Department of Computer Science and Engineering, Chalmers University of Technology and University of Gothenburg（计算机科学与工程系，查尔姆斯理工大学和哥德堡大学）；Department of Life Sciences, Chalmers University of Technology（生命科学系，查尔姆斯理工大学）；Department of Industrial Biotechnology, KTH Royal Institute of Technology（工业生物技术系，皇家理工学院）；Department of Chemical Engineering and Biotechnology, University of Cambridge（化学工程与生物技术系，剑桥大学）
本文提出了一种利用图神经网络和来自底层本体的语义损失来生成层次感知的知识图谱嵌入的方法，用于酵母表型预测，并展示了其在基因敲除效应预测和知识图谱修订评估中的应用。
2026-05-20 cs.AI cs.LG q-bio.QM
Automated Concatenation of Embeddings for Structured Prediction
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
预训练的上下文嵌入是结构化预测任务的强大单词表示。最近的研究发现，通过连接不同类型的嵌入可以获得更好的单词表示。然而，选择嵌入以形成最佳的级联表示通常取决于任务和候选嵌入的集合，并且嵌入类型的数量不断增加使其成为一个更加困难的问题。在本文中，我们提出了嵌入的自动连接（ACE），以自动化的过程中找到更好的串联嵌入结构化预测任务，基于最近的神经架构搜索的进展启发制定。具体地，控制器根据其考虑到任务的各个嵌入类型的有效性的当前信念，交替地对嵌入的级联进行采样，并基于奖励更新信念。我们遵循强化学习中的策略来优化控制器的参数，并根据任务模型的准确性计算奖励，该任务模型以采样的级联作为输入并在任务数据集上进行训练。在6个任务和21个数据集上的实证结果表明，我们的方法优于强基线，并在所有评估中通过微调嵌入实现了最先进的性能。
2021-06-01 cs.AI cs.CL cs.LG
Order-Embeddings of Images and Language
University of Toronto（多伦多大学）
上位概念、文本蕴涵和图像描述可以被视为单词、句子和图像上的单一视觉语义层次结构的特殊情况。在本文中，我们主张明确建模的偏序结构的层次结构。为了实现这一目标，我们介绍了一种学习有序表示的一般方法，并展示了它如何应用于涉及图像和语言的各种任务。我们表明，所得到的表示提高性能比目前的方法，上位词预测和图像标题检索。
2016-03-01 cs.CL cs.CV cs.LG
word2vec, node2vec, graph2vec, X2vec: Towards a Theory of Vector Embeddings of Structured Data
RWTH Aachen University（亚琛工业大学）
图形和关系结构的向量表示，无论是手工制作的特征向量还是学习的表示，都使我们能够将标准数据分析和机器学习技术应用于结构。在机器学习和知识表示文献中已经研究了用于生成这样的嵌入的各种方法。然而，从理论的角度来看，向量嵌入受到的关注相对较少。从一个嵌入技术，已在实践中使用的调查，在本文中，我们提出了两个理论方法，我们认为是理解向量嵌入的基础的核心。我们绘制各种方法之间的联系，并为未来的研究方向提出建议。
2020-03-27 cs.DB cs.DM cs.LG
DensE: An Enhanced Non-commutative Representation for Knowledge Graph Embedding with Adaptive Semantic Hierarchy
Rutgers University（罗格斯大学）
获取关系的组成模式是知识图谱构建中的一项重要任务。它也是对学习知识进行多跳推理的基本步骤。以前，已经开发了几种基于旋转的平移方法，使用一系列复值对角矩阵的乘积来建模复合关系。然而，这些方法倾向于对复合关系做出几个过于简化的假设，例如，迫使它们是可交换的、独立于实体并且缺乏语义层次。为了系统地解决这些问题，我们已经开发了一种新的知识图谱嵌入方法，命名为DensE，提供了一个改进的建模方案的复杂组成模式的关系。特别地，我们的方法将每个关系分解为基于SO（3）群的旋转算子和三维（3-D）欧氏空间中的缩放算子。这种设计原则导致了我们的方法的几个优点：（1）对于复合关系，对应的对角关系矩阵可以是非交换的，反映了现实世界中的主要场景;（2）我们的模型保留了关系操作和实体嵌入之间的自然交互;（3）缩放操作为实体的内在语义层次结构提供了建模能力;（4）在参数大小和训练时间方面以高计算效率实现了DensE的增强的表达能力;（5）在欧几里得空间而不是四元数空间中建模实体保持了关系模式的直接几何解释。在多个基准知识图谱上的实验结果表明，DensE优于当前最先进的缺失链接预测模型，特别是在复合关系上。
2022-01-11 cs.AI cs.CL cs.LG
Whitening Inverts the Hierarchy: What the Norm of a Whitened Embedding Measures
Université Paris 1（巴黎第一大学）；Faculty of Science and Technology of Tangier（丹吉尔科学与技术学院）；Abdelmalek Essaadi University（阿卜杜勒马利克·埃萨迪大学）
本文揭示白化嵌入平方范数并非高斯似然，而是语义非典型性的马氏度量，解释了其有效性及校准失败原因。
2026-09-22 cs.AI cs.LG
Embedding Text in Hyperbolic Spaces
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
自然语言文本在许多方面表现出层次结构。理想情况下，我们可以将这种层次结构的先验知识结合到处理文本数据的无监督学习算法中。Nickel & Kiela（2017）最近的工作提出使用双曲而不是欧几里得嵌入空间来表示分层数据，并在嵌入图形时展示了令人鼓舞的结果。在这项工作中，我们扩展了他们的方法与重新参数化技术，使我们能够学习任意参数化对象的双曲嵌入。我们应用这个框架学习词和句子嵌入在双曲空间中的无监督的方式从文本语料库。由此产生的嵌入似乎编码了某些直观的层次概念，如单词上下文频率和短语选区。然而，学习的双曲空间中的隐式连续层次结构使得询问模型的学习层次结构比学习项目之间的显式边缘的模型更困难。学习的双曲嵌入在一些（但不是所有）下游任务中显示出比欧几里得嵌入的改进，这表明分层组织对某些任务比其他任务更有用。
2018-06-12 cs.CL cs.LG
Language Models as Hierarchy Encoders
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；The University of Manchester（曼彻斯特大学）
本文提出将预训练语言模型重新训练为层级Transformer编码器（HiTs），通过在自适应曲率的庞加莱球中结合双曲聚类与向心损失显式编码层级结构，并在传递推理、蕴含预测和跨层级迁移任务上一致优于多种基线。
2024-11-21 cs.AI cs.CL cs.LG
Embedding Geographic Locations for Modelling the Natural Environment using Flickr Tags and Structured Data
Cardiff University（卡迪夫大学）
Flickr等照片分享网站的元数据可用于获取丰富的地理位置词汇描述，事实证明，这些数据除其他外对生态特征建模和预测很有价值。从以前的工作中获得的一个重要见解是，从Flickr获得的描述往往是对传统科学资源中可用的结构化信息的补充。为了更好地整合这两种不同的信息源，在本文中，我们考虑了一种学习地理位置的向量空间嵌入的方法。我们的实验表明，这种方法改进了现有的方法，特别是在结构化信息可用的情况下。
2018-10-12 cs.CL cs.CV cs.IR
NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IIM Udaipur（印度管理学院乌代浦尔分校）
NativeTernary 提出了一种自限二进制编码，用于三进制神经网络权重和结构化数据，相比 GGUF 在存储效率和性能上有显著提升。
2026-04-08 cs.LG eess.SP
Hierarchy Neighborhood Discriminative Hashing for An Unified View of Single-Label and Multi-Label Image retrieval
School of Information and Communication Engineering（信息与通信工程学院）；University of Electronic Science and Technology of China（电子科技大学）
最近，深度监督哈希方法已经成为大规模图像检索任务的热门。为了保持示例之间的语义相似性概念，它们通常利用成对监督或三元组监督信息进行散列学习。然而，这些方法通常忽略了语义类信息，这有助于提高哈希码的语义区分能力。本文提出了一种新的层次邻域判别哈希算法。具体地说，我们构造了一个二分图来建立子类特征中心和嵌入特征之间的粗略语义邻域关系。此外，我们利用成对监督信息来构建嵌入特征之间的精细语义邻域关系。最后，我们提出了一个层次邻域判别散列损失统一的单标签和多标签图像检索问题与单流深度神经网络架构。在两个大规模数据集上的实验结果表明，该方法的性能优于现有的散列方法。
2019-01-11 cs.CV cs.LG
Variational Integrator Networks for Physically Structured Embeddings
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）；University College London（伦敦大学学院）
在许多应用领域中，学习动力系统的可行表示正成为一个越来越重要的问题。通过利用最近将深度神经网络连接到微分方程系统的工作，我们提出了\emph{variational integrator networks}，这是一类旨在保留物理系统几何结构的神经网络架构。这类网络架构有助于实现准确的长期预测、可解释性和数据高效学习，同时仍然保持高度灵活性，并能够对复杂行为进行建模。我们证明，他们可以准确地学习动态系统从相空间中的噪声观测和图像像素内的未知动态嵌入。
2020-03-02 cs.LG stat.ML
HCOE: Hyperbolic Clinical Ontology Embeddings from Biomedical Language Models
McGill University（麦吉尔大学）；Northwestern University（西北大学）；Ohio University（俄亥俄大学）
针对生物医学语言模型未显式保留医学代码层级的问题，提出双曲临床本体嵌入（HCOE），将BioBERT嵌入映射至庞加莱球，结合本体引导对比学习与路径聚合，在ICD/ATC关系预测及MIMIC-IV多项临床任务上取得最优性能。
2026-09-28 cs.AI cs.LG
A Structured Self-attentive Sentence Embedding
IBM Watson（IBM 沃森）；Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
本文提出了一种新的模型，通过引入自注意提取一个可解释的句子嵌入。我们不使用向量，而是使用一个二维矩阵来表示嵌入，矩阵的每一行都代表句子的不同部分。我们还提出了一个自注意力机制和一个特殊的正则化项的模型。作为一个副作用，嵌入附带了一种简单的方法，可以可视化句子的哪些特定部分被编码到嵌入中。我们在3个不同的任务上评估我们的模型：作者分析，情感分类和文本蕴涵。结果表明，我们的模型产生了显着的性能增益相比，其他句子嵌入方法在所有的3个任务。
2017-03-09 cs.AI cs.CL cs.LG
Hyperbolic Molecular Representation Learning for Drug Repositioning
University of Pittsburgh（匹兹堡大学）
学习准确的药物表示是必不可少的任务，如计算药物重新定位。药物层级是一个有价值的来源，它以树状结构编码药物之间关系的知识，其中作用于相同器官、治疗相同疾病或结合相同生物靶标的药物被分组在一起。然而，其在学习药物表征中的效用尚未被探索，并且目前描述的药物表征不能将新分子置于药物层级中。在这里，我们开发了一种半监督的药物嵌入，它包含两个信息来源：（1）从药物和药物样分子的化学结构推断的基础化学语法（无监督），以及（2）在专家制作的批准药物层次结构中编码的层次关系（监督）。我们使用变分自动编码器（VAE）框架来编码分子的化学结构，并使用从层次结构中获得的药物之间的相似性信息来诱导药物在双曲空间中的聚类。双曲空间适合于编码层次关系。我们的定性结果支持学习药物嵌入可以诱导药物之间的层次关系。我们证明，学习药物嵌入可用于药物重新定位。
2022-07-06 cs.LG q-bio.BM
A General Framework for Consistent Structured Prediction with Implicit Loss Embeddings
Imperial College London（帝国理工学院）；University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；Massachusetts Institute of Technology（麻省理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research（巴黎文理研究大学）
我们提出并分析了一种新的结构化预测的理论和算法框架。虽然到目前为止，这个术语指的是离散的输出空间，但这里我们考虑更一般的设置，例如流形或概率测度的空间。我们将结构化预测定义为输出空间缺乏向量结构的问题。我们确定并研究了一大类损失函数，隐含地定义了一个合适的几何问题。后者是开发一个算法框架的关键，该框架适合于尖锐的统计分析并产生有效的计算。当处理输出空间的无限基数，一个合适的隐式公式的估计是至关重要的。
2020-02-13 cs.LG math.ST stat.ML
Supervized Segmentation with Graph-Structured Deep Metric Learning
Univ. Paris-Est（巴黎东大学）；IGN-ENSG（法国国家地理信息学院-巴黎地理学院）；LaSTIG（土地、城市、地理信息与遥感实验室）
我们提出了一个完全监督的学习方法来分割由邻接图结构化的数据。我们介绍了图形结构的对比损失，一个损失函数结构的地面真相分割。它促进学习顶点嵌入，这些顶点嵌入在所需的段内是均匀的，并且在它们的接口处具有高对比度。因此，计算这种嵌入的分段常数近似产生接近目标分割的图分区。这种损失是完全反向传播的，这允许我们使用深度学习算法来学习顶点嵌入。我们评估我们的方法上的3D点云过分割任务，定义了一个新的国家的最先进的大幅度。这些结果基于Landrieu和Boussaha 2019年发表的工作。
2019-06-24 cs.CV cs.LG stat.ML
Structured Representation Learning with Locally Linear Embeddings and Adaptive Feature Fusion
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）
受神经科学启发，提出一种强化学习框架，利用局部线性嵌入捕捉状态局部结构，并通过注意力机制自适应融合动态与奖励特征，提升学习效率。
2026-06-18 cs.AI cs.LG
Tree-Wasserstein Distance for High Dimensional Data with a Latent Feature Hierarchy
Viterbi Faculty of Electrical and Computer Engineering, Technion（以色列理工学院维特比电气与计算机工程学院）；Department of Mathematics, Yale University（耶鲁大学数学系）
提出一种针对具有潜在特征层次结构的高维数据的树Wasserstein距离，通过扩散几何嵌入多尺度双曲空间并解码树结构，高效恢复潜在层次，在词-文档和单细胞RNA测序数据上优于现有方法。
2025-02-24 cs.LG stat.ML
Evaluating Disentanglement of Structured Representations
我们介绍的第一个指标，用于评估在个人层次结构的潜在代表性。应用于以对象为中心的生成模型，这提供了一种系统的，统一的方法来评估（i）潜在插槽之间的对象分离（ii）单个插槽内的对象属性的解纠缠（iii）内在和外在对象属性的解纠缠。我们从理论上表明，对于结构化表示，我们的框架提供了更强的保证，选择一个好的模型比以前的解纠缠指标。实验上，我们证明，查看对象的组合性作为一个解纠缠的问题解决了几个问题，与以前的视觉指标的对象分离。作为一个核心技术组成部分，我们提出了第一个表示探测算法处理时隙排列不变性。
2022-01-29 cs.CV cs.LG
UniVSE: Robust Visual Semantic Embeddings via Structured Semantic Representations
Fudan University（复旦大学）；Bytedance AI Lab（字节跳动人工智能实验室）；Tsinghua University（清华大学）
我们提出了统一的视觉语义嵌入（UniVSE）学习视觉和文本概念的联合空间。空间统一了不同层次的概念，包括对象，属性，关系和全场景。提出了一种对比学习方法，用于仅从图像-字幕对进行细粒度对齐。此外，我们提出了一个有效的方法来执行的覆盖范围内出现在句子中的语义成分。我们证明了统一VSE在防御文本域对抗攻击跨模态检索任务的鲁棒性。这种鲁棒性还使得能够使用视觉线索来解决新句子中的单词依赖性。
2019-04-28 cs.CL cs.CV cs.LG
Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings
New Jersey Institute of Technology（新泽西理工学院）
本文提出层次Mamba结合双曲几何，以学习具有层次意识的语言嵌入，提升复杂层次推理能力。
2025-12-04 cs.CL cs.LG
Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web
Samsung Research America（三星美国研究院）
知识以实体及其关系的形式被捕获并存储在知识图谱中。知识图谱增强了许多不同领域的应用程序的功能，包括Web搜索、推荐和自然语言理解。这主要是因为，实体使机器能够理解超越简单令牌的事物。许多现代算法使用从这些结构化表示中学习的实体嵌入。然而，构建知识图谱需要时间和精力，因此非常昂贵且不平凡。另一方面，许多Web资源以某种结构化格式描述实体，因此，找到将它们转化为有用的实体知识的方法是有利的。我们提出了一种处理以实体为中心的文本知识源来学习实体嵌入的方法，从而避免了对传统知识图谱的需要。我们首先提取三元组到新的表示格式，不使用传统的复杂的三元组提取方法定义的预定义的关系标签。然后我们通过这种新类型的三元组学习实体嵌入。我们表明，从我们的方法学习的嵌入是：（i）高质量和可比的一个已知的知识图谱为基础的嵌入，并可用于进一步改善他们，（ii）优于上下文语言模型为基础的实体嵌入，和（iii）易于计算和通用的领域特定的应用程序中的知识图谱是不容易获得的
2021-03-29 cs.CL cs.IR cs.LG
Stronger Enforcement of Instruction Hierarchy via Augmented Intermediate Representations
NVIDIA（英伟达）
通过在中间表示中注入增强的指令层级信号，有效降低提示注入攻击的成功率，同时保持模型性能。
2026-03-09 cs.AI cs.LG
Structured Query Construction via Knowledge Graph Embedding
Southeast University（东南大学）；VU Amsterdam（阿姆斯特丹自由大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；University of Jyväskylä（于韦斯屈莱大学）
本文提出一种基于知识图谱嵌入的查询构建框架，通过将知识图谱编码到低维空间并利用嵌入表示推断查询结构，在基准数据集上显著提升了复杂自然语言查询构建的效果与效率。
2019-09-06 cs.AI cs.CL cs.LG
Semi-Supervised Hierarchical Drug Embedding in Hyperbolic Space
University of Pittsburgh（匹兹堡大学）
学习准确的药物表示对于诸如计算药物重新定位和预测药物副作用等任务至关重要。药物层级是一种有价值的来源，它将人类对药物关系的知识编码为树状结构，其中作用于相同器官、治疗相同疾病或结合相同生物靶标的药物被分组在一起。然而，其在学习药物表征中的效用尚未被探索，并且目前描述的药物表征不能将新分子置于药物层级中。在这里，我们开发了一种半监督的药物嵌入，它包含两个信息来源：（1）从药物和药物样分子的分子结构推断的基础化学语法（无监督），以及（2）在专家制作的批准药物层次结构中编码的层次关系（监督）。我们使用变分自动编码器（VAE）框架来编码分子的化学结构，并使用基于知识的药物相似性来诱导药物在双曲空间中的聚类。双曲空间适合于编码分层概念。定量和定性的结果都支持学习药物包埋可以准确地再现化学结构，并诱导药物之间的层次关系。此外，我们的方法可以推断新分子的药理学性质，从嵌入空间检索类似的药物。我们证明，学习药物嵌入可以用来寻找现有药物的新用途，并发现副作用。我们表明，它显着优于基线在这两个任务。
2020-06-01 cs.LG q-bio.MN q-bio.QM
SSSD-ECG-nle: New Label Embeddings with Structured State-Space Models for ECG generation
ISP RAS（俄罗斯科学院信息学研究所）
本文提出SSSD-ECG-nle架构，利用结构化状态空间扩散模型生成10秒12导联ECG信号，通过改进条件机制提升下游任务效率，并经定量定性评估及医师验证确保数据质量与可复现性。
2024-07-15 cs.LG eess.SP
Hierarchical Image Classification using Entailment Cone Embeddings
ETH Zurich（苏黎世联邦理工学院）；MIT（麻省理工学院）
图像分类已被广泛研究，但在使用传统图像-标签对之外的非常规外部指导进行训练方面的工作有限。我们提出了一套利用信息的语义层次结构嵌入类标签的方法。我们首先将标签层次知识注入到任意基于CNN的分类器中，并根据经验表明，这种外部语义信息与图像的视觉语义相结合的可用性提高了整体性能。在这个方向上更进一步，我们更明确地建模的标签标签和标签图像的相互作用，使用保序嵌入由欧几里德和双曲几何，在自然语言中流行，并将其调整到分层图像分类和表示学习。我们在分层ETHEC数据集上实证验证了所有模型。
2020-04-25 cs.CV cs.LG stat.ML
Cost-efficient Gaussian Tensor Network Embeddings for Tensor-structured Inputs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了具有张量网络结构的随机矩阵（$S$）的张量网络嵌入。这些嵌入已被用于执行张量网络结构化输入$x$的降维，并加速诸如张量分解和核回归之类的应用。现有的工作已经为具有特定结构的输入$x$设计了嵌入，使得计算$Sx$的计算成本是有效的。我们提供了一种系统的方法来设计由高斯随机张量组成的张量网络嵌入，使得对于具有更一般的张量网络结构的输入，草图大小（$S$的行大小）和草图计算成本都很低。我们分析了一般的张量网络嵌入，可以减少到一个序列的草图矩阵。我们提供了一个充分条件来量化这种嵌入的准确性，并推导出草图渐近成本下界使用嵌入，满足这个条件，并具有低于任何输入尺寸的草图大小。然后，我们提供了一个算法，有效地使用这样的嵌入草图输入数据。该算法中使用的嵌入的草图大小与输入的草图尺寸的数量呈线性关系。假设张量收缩与经典的稠密矩阵乘法算法进行，该算法实现的渐近成本的一个因素$O(\sqrt{m})$的成本下界，其中$m$是草图的大小。此外，当输入中的每个张量具有需要绘制的尺寸时，该算法产生最优的绘制渐近成本。我们将我们的草图分析不精确张量分解优化算法。我们提供了一个草图算法的CP分解，是渐近快于现有的工作在多个政权，并显示最优的张量训练舍入的现有算法。
2022-05-26 cs.DS cs.LG cs.NA
A Structured Prediction Approach for Label Ranking
LTCI（电信与信息处理实验室）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法，解决了监督学习问题的两个步骤：在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名，将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的，无论是通过产生相合估计量，还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下，他们的自然扩展，并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
WavePhaseNet: A DFT-Based Method for Constructing Semantic Conceptual Hierarchy Structures (SCHS)
Pionira Solutions LLC（皮奥尼拉解决方案有限公司）
WavePhaseNet通过DFT构建语义概念层次结构，利用频谱分析和上同调正则化实现语义一致性控制，减少维度以提升推理能力并抑制幻觉。
2026-08-13 cs.CL cs.LG
Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence
School of Computer Science and Technology, Northwestern Polytechnical University（西北工业大学计算机科学与技术学院）
本文针对脑-语言解码的模糊性问题，提出MD-SigLIP框架，通过边际正则化结构化语义对齐实现基于检索的解码，在全词汇与子集评估下均取得最优检索性能。
2026-08-19 cs.CL cs.LG
Point Cloud Oversegmentation with Graph-Structured Deep Metric Learning
Univ. Paris-Est（巴黎东大）；IGN-ENSG（法国国家地理林业信息学院）
我们提出了一个新的监督学习框架，用于将3D点云过度分割成超级点。我们将这个问题转化为学习3D点的局部几何和辐射度量的深度嵌入，使得对象的边界呈现高对比度。嵌入计算使用一个轻量级的神经网络上的点的局部邻域操作。最后，我们将点云过度分割表示为关于学习到的嵌入的图划分问题。这种新方法使我们能够在密集的室内数据集（S3DIS）和稀疏的室外数据集（vKITTI）上设置一个新的最先进的点云过度分割。我们的最佳解决方案需要比之前在S3 DIS上发布的方法少五倍以上的超级点才能达到类似的性能。此外，我们表明，我们的框架可以用来改善基于超点的语义分割算法，设置一个新的国家的最先进的这项任务，以及。
2019-04-03 cs.CV cs.LG
