Metric Learning for Ordered Labeled Trees with pq-grams
Kyoto University（京都大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
计算两个数据点之间的相似性在许多机器学习算法中起着至关重要的作用。度量学习的目的是从数据中自动学习一个好的度量。现有的树结构数据度量学习研究大多采用树编辑距离的学习方法。然而，编辑距离不适合大数据分析，因为它会导致高计算成本。在本文中，我们提出了一个新的度量学习方法的树结构数据与pq-gram。pq-gram距离是有序标记树的距离，并且具有比树编辑距离低得多的计算成本。为了进行基于pq-gram的度量学习，我们提出了一种新的可微参数化距离，加权pq-gram距离。我们还提出了一种基于大间隔最近邻（LMNN）学习建议距离的方法，这是一种经过充分研究和实用的度量学习方案。我们制定的度量学习问题作为一个优化问题，并使用梯度下降技术来执行度量学习。我们的经验表明，所提出的方法不仅取得了竞争力的结果与国家的最先进的编辑距离为基础的方法在各种分类问题，但也解决了分类问题更迅速地比编辑距离为基础的方法。
2020-03-09 cs.LG stat.ML
Embeddings and Representation Learning for Structured Data
Bielefeld University（比勒费尔德大学）；University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
对结构化数据执行机器学习是复杂的，因为这样的数据不具有向量形式。因此，已经出现了多种方法来构造结构化数据的向量表示，从内核和距离方法到递归、递归和卷积神经网络。近年来，在这一要求很高的研究领域中，出现了一些新的方法，如结构化数据的度量学习、图卷积神经网络和结构化数据的递归解码器网络。在这篇文章中，我们提供了一个高层次的概述，最先进的表示学习和嵌入结构化数据在广泛的机器学习领域。
2019-05-15 cs.LG stat.ML
Unsupervised Representation Learning of Structured Radio Communication Signals
Virginia Tech（弗吉尼亚理工大学）；Corgan Labs（科根实验室）
我们探讨无线电通信信号的无监督表示学习在原始采样时间序列表示。我们证明了我们可以使用卷积自编码器学习调制基函数，并直观地识别它们与数字通信中使用的分析基的关系。我们还提出和评估量化metrics的编码质量使用域相关的性能指标。
2016-04-24 cs.LG
Instance Cross Entropy for Deep Metric Learning
Anyvision Research Team（Anyvision研究团队）；Queen’s University Belfast（贝尔法斯特女王大学）
损失函数在深度度量学习中起着至关重要的作用，因此已经提出了各种各样的损失函数。一些监督学习过程的成对或三重相似性约束，而其他人利用结构化的相似性信息之间的多个数据点。在这项工作中，我们从一个新的角度来研究深度度量学习。我们提出了实例交叉熵（ICE），它测量估计的实例级匹配分布和其地面真实分布之间的差异。ICE有三个主要吸引人的特性。首先，与分类交叉熵（CCE）类似，ICE具有明确的概率解释，并利用结构化的语义相似性信息进行学习监督。其次，ICE可扩展到无限的训练数据，因为它在小批量上迭代学习，并且与训练集大小无关。第三，在相对权重分析的基础上，引入了无缝样本权重调整。它通过调整样本的梯度来控制对训练样本的区分度，而不是通过样本挖掘来截断样本。除了它的简单性和直观性之外，在三个真实世界基准上的广泛实验证明了ICE的优越性。
2019-11-22 cs.CV cs.IR cs.LG
Multiple Closed-Form Local Metric Learning for K-Nearest Neighbor Classifier
The University of Hong Kong（香港大学）
许多研究致力于学习马氏距离度量，它可以有效地提高kNN分类的性能。大多数方法都是迭代和计算昂贵的，线性刚性仍然严重限制了度量学习算法更好地执行。我们提出了一个计算经济的框架来学习封闭形式的多个度量。
2013-11-12 cs.LG
CPMetric: Deep Siamese Networks for Learning Distances Between Structured Preferences
University of Padova（帕多瓦大学）；Tulane University（杜兰大学）；IBM Research（IBM研究院）；IHMC（人类与机器认知研究所）
偏好是机器和人类决策的核心。在计算机科学和其他学科中，用偏好表示、学习和推理都是一个重要的研究领域。当使用偏好时，有必要理解和计算对象集之间的距离，例如，用户的偏好和要推荐的对象的描述。我们提出了CPDist，一种新的神经网络，以解决学习测量结构化偏好表示之间的距离的问题。我们使用流行的CP网络形式主义来表示偏好，然后利用深度神经网络来学习最近提出的一个度量函数，该函数在计算上很难直接计算。CPDist是一种基于深度连体网络的新型度量学习方法，它学习由紧凑偏好表示引起的偏序之间的Kendal Tau距离。我们发现，CPDist是能够学习的距离函数具有高精度和优于现有的近似算法的回归和分类任务，使用更少的计算时间。即使与解空间的维度相比，CPDist只使用少量样本进行训练，性能仍然很好，这表明网络泛化能力很好。
2019-06-20 cs.AI cs.LG stat.ML
Optimal Transport for structured data with application on graphs
Univ. Bretagne-Sud（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）；Univ. Côte d’Azur（蔚蓝海岸大学）；OCA Lagrange（蔚蓝海岸天文台拉格朗日研究所）；Univ. Rennes（雷恩大学）；LETG（环境时空地理研究所）
这项工作考虑的问题，计算结构化对象之间的距离，如无向图，被视为概率分布在一个特定的度量空间。我们考虑一个新的运输距离（即最小化运输概率质量的总成本），揭示了结构化对象空间的几何性质。与Wasserstein或Gromov-Wasserstein度量不同，它们分别单独关注特征（通过考虑特征空间中的度量）或结构（通过将结构视为度量空间），我们的新距离联合利用了这两种信息，因此被称为融合Gromov-Wasserstein（FGW）。在讨论了它的属性和计算方面之后，我们展示了图分类任务的结果，其中我们的方法优于图内核和深度图卷积网络。进一步利用FGW的度量属性，有趣的几何对象，如Fréchet手段或图的重心说明和讨论的聚类上下文中。
2019-05-13 cs.LG stat.ML
A Unified View of Evaluation Metrics for Structured Prediction
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）；Microsoft（微软）
本文提出一个统一结构化预测任务评估指标的概念框架，通过将输出表示为特定数据类型并匹配公共子结构来推导指标，并发布了支持创建新指标的库。
2023-10-20 cs.CL cs.LG
Evaluating Disentanglement of Structured Representations
我们介绍的第一个指标，用于评估在个人层次结构的潜在代表性。应用于以对象为中心的生成模型，这提供了一种系统的，统一的方法来评估（i）潜在插槽之间的对象分离（ii）单个插槽内的对象属性的解纠缠（iii）内在和外在对象属性的解纠缠。我们从理论上表明，对于结构化表示，我们的框架提供了更强的保证，选择一个好的模型比以前的解纠缠指标。实验上，我们证明，查看对象的组合性作为一个解纠缠的问题解决了几个问题，与以前的视觉指标的对象分离。作为一个核心技术组成部分，我们提出了第一个表示探测算法处理时隙排列不变性。
2022-01-29 cs.CV cs.LG
Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction
Department of Computer Science, University of Reading, United Kingdom（计算机科学系，阅读大学，英国）
本文提出结构化径向基函数网络s-RBFN，通过质心Voronoi镶嵌、结构化数据集构建与参数化多样性控制实现多假设回归预测，在两类多变量预测任务上验证了其更优的泛化性与计算效率。
2024-09-20 cs.LG stat.ML
Structured Evaluation of Synthetic Tabular Data
Redpoll；Rutgers University（罗格斯大学）；Institute for Advanced Study（高等研究院）
本文提出一个以单一数学目标为核心的表格合成数据评估框架，通过结构分解统一现有指标并论证指标完备性，实验表明显式建模表格结构的生成器在较小数据集上表现更优。
2024-03-29 cs.LG stat.ML
Shapley Value as Principled Metric for Structured Network Pruning
ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
结构化修剪是一种众所周知的减少神经网络的存储大小和推理成本的技术。通常的修剪管道包括根据网络内部过滤器和激活对网络性能的贡献对它们进行排名，删除贡献最低的单元，并微调网络以减少修剪引起的危害。最近的结果表明，如果有足够的微调资源，随机修剪的性能与其他指标相当。在这项工作中，我们表明，这是不正确的低数据制度时，微调是不可能的或无效的。在这种情况下，减少修剪造成的危害对于保持网络的性能至关重要。首先，我们分析的问题，估计隐藏单元的贡献与合作博弈论提出的工具，并提出Shapley值作为这项任务的原则性排名度量。我们比较了文献中提出的几种替代方案，并讨论了Shapley值在理论上是如何更可取的。最后，我们比较了低数据修剪的挑战性场景中的所有排名指标，在那里我们展示了Shapley值如何优于其他算法。
2020-06-02 cs.CV cs.LG cs.NE
A Graph Is More Than Its Nodes: Towards Structured Uncertainty-Aware Learning on Graphs
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
当前处理图上节点分类的图神经网络（GNN）往往只关注节点得分，并且仅通过节点度量进行评估。这限制了图上的不确定性估计，因为节点边缘不能完全表征给定图结构的联合分布。在这项工作中，我们提出了新的边向度量，即边向预期校准误差（ECE）和同意/不同意的ECES，提供标准的不确定性估计超出节点设置的图形。我们的实验表明，所提出的边缘度量可以补充节点的结果，并产生额外的见解。此外，我们还表明，考虑图上结构化预测问题的GNN模型往往具有更好的不确定性估计，这说明了超越节点设置的好处。
2022-10-27 cs.AI cs.LG stat.ML
Sample-aware Adaptive Structured Pruning for Large Language Models
本文提出AdaPruner框架，通过贝叶斯优化自适应选择校准数据与重要性估计指标，在多种剪枝比例下优于现有结构化剪枝方法，并在20%剪枝时保持97%性能。
2025-03-08 cs.AI cs.CL cs.LG
Common Geodesics Do Not Guarantee Fisher Consistency of the Structured SVM: Minimal Counterexamples and a Tree-Metric Classification
Tsinghua University（清华大学）
本文针对结构化SVM，通过构造最小反例，证明公共测地线条件无法保证其费希尔一致性，并对树度量分类得出argmax一致性仅当树为路径的结论。
2026-08-28 cs.LG
Graph Convolutional Networks for Classification with a Structured Label Space
Bombora Inc.（Bombora公司）；New York University（纽约大学）
在多类分类中，通常忽略类的结构信息。在本文中，我们提出了一个图卷积网络（GCN）增强神经网络分类器，利用一个已知的，底层的图形结构的标签。所提出的方法类似于（近似）推理过程，例如，条件随机场（CRF）。我们评估所提出的方法对文件分类和对象识别和报告的准确性和图论指标，对应于模型的预测的一致性。实验结果表明，所提出的模型优于基线方法，忽略了图形结构的标签空间的图论度量。
2018-02-22 cs.LG stat.ML
Structured Sparsity and Generalization
UCL（伦敦大学学院）
我们提出了一个数据相关的推广界的一大类正则化算法，实现结构化稀疏约束。该界可以应用于标准的平方范数正则化，Lasso，群Lasso，具有重叠群的群Lasso的某些版本，多核学习和其他正则化方案。在所有这些情况下，都获得了有竞争力的结果。我们的界限的一个新的特点是，它可以应用于一个无限维的设置，如Lasso在一个可分离的希尔伯特空间或多核学习与可数数量的内核。
2011-09-02 cs.LG stat.ML
Learning to Extract Structured Entities Using Language Models
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Microsoft Research（微软研究院）；ETH Zürich（苏黎世联邦理工学院）
本文提出以实体为中心的结构化实体抽取任务、AESOP 评估指标及多阶段 MuSEE 模型，实验表明其效果与效率优于基线。
2024-10-02 cs.CL cs.LG
Online Learning with Multiple Fairness Regularizers via Graph-Structured Feedback
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Department of Computer Science, Czech Technical University（捷克技术大学计算机科学系）；Dyson School of Design Engineering, Imperial College London（伦敦帝国理工学院设计工程戴森学院）；Imperial College London（伦敦帝国理工学院）
本文针对在线决策中多重公平约束的权重自适应问题，提出了一种基于图结构反馈的赌博机算法，能够在不预先知道权重的情况下在线学习并平衡多个公平性目标。
2026-05-22 cs.AI cs.LG
Graph-Structured Deep Learning Framework for Multi-task Contention Identification with High-dimensional Metrics
Santa Clara University（圣克拉拉大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；New York University（纽约大学）；University of Southern California（南加州大学）；University of Missouri–Kansas City（密苏里大学堪萨斯城分校）；Boston University（波士顿大学）
本文提出基于图结构的深度学习框架，用于高维指标下的多任务竞争识别，通过结构化表示和多任务分类提升竞争模式识别能力。
2026-01-28 cs.DC cs.LG
Tight Bounds for Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function
该研究针对带结构损失函数的数据驱动超参数多重调优，利用实代数几何建立紧伪维界，提出多区域下界框架并扩展拓扑框架，解决了现有界宽松及缺乏全面下界的问题。
2026-08-19 cs.LG stat.ML
Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology, Madras, India（电子工程系，印度理工学院，马德拉斯，印度）
本文提出一种无需调参的多测量向量联合稀疏恢复方法，利用隐式正则化实现高效稀疏信号恢复。
2026-01-30 cs.LG stat.ML
PAMD: Structured Adaptive Distances for Bisimulation Representations in Visual Reinforcement Learning
针对视觉强化学习中潜在距离选择影响性能的问题，提出PAMD（成对自适应马氏距离），它为测量潜在状态相似性参数化正定成对条件度量，是现有双模拟方法的简单插件，在视觉MuJoCo任务中显著提升了相关算法性能。
2026-07-21 cs.AI cs.LG
Multiple Additive Neural Networks for Structured and Unstructured Data
Interdisciplinary Institute for Applied Artificial Intelligence and Data Science（应用人工智能与数据科学跨学科研究所）
本文扩展并解释了多加性神经网络（MANN）方法，通过浅层神经网络替代传统决策树，提升结构化和非结构化数据处理能力，实验表明MANN在准确性上优于XGB等传统方法。
2026-04-29 cs.LG
Multi-utility Learning: Structured-output Learning with Multiple Annotation-specific Loss Functions
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Microsoft Research Cambridge（微软研究院剑桥实验室）
结构化输出学习是一个具有挑战性的问题;特别是因为很难获得完整标记实例的大型数据集进行训练。在本文中，我们试图克服这个困难，提出了一个多效用学习框架结构化预测，可以从训练实例与不同形式的监督。我们提出了一个统一的技术推断的损失函数最适合量化的解决方案与给定的弱注释的一致性。我们证明了我们的框架上具有挑战性的语义图像分割问题，各种各样的注释可以使用的有效性。例如，用于语义分割的流行训练数据集由具有难以生成的全像素标签的图像以及具有容易获得的弱注释的图像组成，例如对象周围的边界框或指定图像中存在哪些对象类别的图像级标签。实验评估表明，与仅使用一种类型的弱注释的基线系统相比，使用特定于注释的损失函数显著提高了分割精度。
2014-06-23 cs.CV cs.LG
Information-Induced Training Geometry: Exact Reduction, Canonical Completion, and Structured Expressivity
Xidian University（西安电子科技大学）
本研究在仿射不变黎曼几何下，证明信息诱导的压缩映射存在唯一完备化，实现精确变分约化，并刻画了正定锥上的分层结构与结构化表达性。
2026-09-14 cs.LG math.OC
Center Smoothing: Certified Robustness for Networks with Structured Outputs
University of Maryland（马里兰大学）
可证明对抗鲁棒性的研究主要限于分类任务和具有一维实值输出的模型。我们将可证明的鲁棒性的范围扩展到具有更一般和结构化输出的问题，如集合，图像，语言等。我们将输出空间建模为距离/相似性函数下的度量空间，如交集，感知相似性，总变化距离等。此类模型用于许多机器学习问题，如图像分割，目标检测，生成模型，图像/音频到文本系统等。基于称为随机平滑的鲁棒性技术，我们的$\textit{center smoothing}$过程可以产生保证输出中的变化的模型，如通过距离度量测量的，对于输入的任何范数有界的对抗性扰动保持较小。我们应用我们的方法来创建具有不同输出空间的可证明的鲁棒模型-从集合到图像-并表明它产生有意义的证书，而不会显着降低基础模型的性能。我们的实验代码可在https://github.com/aounon/center-smoothing上获得。
2022-01-12 cs.LG
S-Omninet: Structured Data Enhanced Universal Multimodal Learning Architecture
Allstate Insurance Company（好事达保险公司）
本文提出S-Omninet架构，通过引入交叉缓存注意力、视觉patch embeddings及结构化数据支持，实现多模态多任务学习，显著优于基线Omninet。
2023-07-01 cs.CV cs.LG
Draw a Portrait of Your Graph Data: An Instance-Level Profiling Framework for Graph-Structured Data
提出NodePro框架，通过为节点分配结合数据与模型信号的可解释画像分数，实现图模型细粒度行为诊断，揭示模型差异并支持无标签预测可靠性及知识图谱异常检测。
2025-09-15 cs.LG
Structured State Space Models for Multiple Instance Learning in Digital Pathology
CentraleSupélec（巴黎中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）
本文提出将结构化状态空间模型作为多实例学习器应用于数字病理学，通过在转移检测、癌症亚型分类等任务上的实验，证明其在处理长序列时与现有最先进方法具有竞争力。
2023-06-27 cs.CV cs.LG
Revisiting Structured Dropout
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；SIAT（中国科学院深圳先进技术研究院）
大型神经网络通常是过参数化的，容易出现过拟合，Dropout是一种广泛使用的正则化技术，用于对抗过拟合和提高模型泛化能力。然而，非结构化Dropout对于特定的网络架构并不总是有效的，这导致了多种结构化Dropout方法的形成，以提高模型性能，有时还减少了推理所需的计算资源。在这项工作中，我们重新审视结构化Dropout，比较不同的Dropout方法，以自然语言处理和计算机视觉任务，用于多个最先进的网络。此外，我们设计了一种方法，我们称之为\textbf{\emph{ProbDropBlock}}的结构化丢弃，从特征图中删除相邻块的概率由归一化的特征显着值。我们发现，通过一个简单的调度策略，与基线和其他Dropout方法相比，所提出的结构化Dropout方法在各种任务和模型上持续提高了模型性能。特别是，我们表明\textbf{\emph{ProbDropBlock}}通过$0.22\%$改进了MNLI上的RoBERTa微调，并通过$0.28\%$在ImageNet上训练ResNet 50。
2022-10-05 cs.AI cs.CL cs.LG
Conditional GraphGANFed: Optimizing Graph-Structured Molecule Generation in Federated Generative Adversarial Networks
本文针对GraphGANFed无法按用户定义指标生成分子的问题，提出cGraphGANFed模型，引入评判网络整合评估结果优化生成器，经实验证实其在多指标优化、QED提升及抗非IID数据干扰上表现更优。
2026-08-26 cs.DC cs.LG
Retrieval Augmented Structured Generation: Business Document Information Extraction As Tool Use
Expedock Software, Inc（Expedock软件公司）
本文将商业文档信息抽取建模为工具使用问题，提出RASG框架，使LLM在KIE和LIR任务上超越LMM，并设计了更贴合实际的新指标GLIRM及无需视觉编码器的边界框反算启发式算法。
2024-05-30 cs.AI cs.CL cs.IR
Multiple Instance Learning with the Optimal Sub-Pattern Assignment Metric
多实例数据是无序元素的集合或多集合。使用集的度量或距离，我们提出了一种方法，几个多实例学习任务，如聚类（无监督学习），分类（监督学习），和新颖性检测（半监督学习）。特别是，我们引入了最优子模式分配度量多实例学习，以提供通用的设计选择。模拟和真实数据的数值实验来说明所提出的解决方案的通用性。
2017-03-27 cs.LG
Hedging and Pricing Structured Products Featuring Multiple Underlying Assets
Ernst & Young（安永）；Ernst & Young LLP（安永有限责任合伙）
本文提出机器学习定价方法加速含三个标的资产的自动赎回票据定价，并引入分布强化学习对冲策略，显著优于传统Delta中性策略，提升盈亏表现。
2024-11-02 cs.CE cs.LG q-fin.PR
Structured Recognition for Generative Models with Explaining Away
Institute of Cognitive Neuroscience（认知神经科学研究所）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；UCL（伦敦大学学院）
无监督学习的一个关键目标是超越密度估计和样本生成，以揭示观察数据中固有的结构。这种结构可以通过概率图形模型捕获的解释性潜在变量之间的交互模式来表达。尽管结构化图形模型的学习有着悠久的历史，但最近在无监督建模方面的许多工作都强调了灵活的基于深度网络的生成，要么将独立的潜在生成器转换为复杂数据的模型，要么假设不同的观测变量来自不同的潜在节点。在这里，我们扩展摊销变分推理，将结构化的因素在多个变量，能够捕捉观察诱导的后验依赖性的结果从“解释”的潜伏期，从而允许复杂的观察依赖于多个节点的结构化图。我们表明，适当的参数化因素可以有效地结合在丰富的图形结构的变化的消息传递。我们在非线性高斯过程因子分析中实例化该框架，使用来自已知生成过程的合成数据评估结构化识别框架。我们拟合的GPFA模型的高维神经尖峰数据从海马体的自由移动的啮齿动物，该模型成功地识别出潜在的信号，与行为协变量。
2022-11-10 cs.LG q-bio.NC
GPrune-LLM: Generalization-Aware Structured Pruning for Large Language Models
Department of Computing, The Hong Kong Polytechnic University, Hong Kong（香港理工大学计算机系）；School of Artificial Intelligence and Data Science, IIT Jodhpur（IIT朱罗浦人工智能与数据科学学院）
本文提出GPrune-LLM框架，通过识别神经元在不同分布下的行为差异，改进结构化剪枝方法，提升模型在分布外任务中的泛化能力。
2026-08-04 cs.AI cs.LG
Opinion Extraction as A Structured Sentiment Analysis using Transformers
UC Berkeley School of Information（加州大学伯克利分校信息学院）
关系提取和命名实体识别一直被认为是两个不同的任务，需要不同的输入数据，标签和模型。然而，这两者对于结构化的情感分析都是必不可少的。我们相信，这两个任务可以结合成一个单一的堆栈模型与相同的输入数据。我们进行了不同的实验，以找到从单个句子中提取多个意见元组的最佳模型。意见元组将由持有者、目标和表达式组成。有了意见元组，我们将能够提取我们需要的关系。
2021-12-09 cs.CL cs.LG
