Parallel-beam X-ray CT datasets of apples with internal defects and label balancing for machine learning
Centrum Wiskunde & Informatica（数学与计算机科学研究所）；Leiden University（莱顿大学）；Eindhoven University of Technology（埃因霍温理工大学）
我们提出了三个平行光束断层扫描数据集的94个苹果与内部缺陷以及缺陷标签文件。这些数据集用于开发和测试数据驱动的、基于学习的图像重建、分割和后处理方法。这三个版本是无噪声模拟;添加高斯噪声的模拟和散射噪声。这些数据集基于真实的3D X射线CT数据及其随后的体积重建。基于体积重建的地面实况图像也可通过该项目获得。苹果含有各种缺陷，这自然会引入标签偏见。我们通过将偏差公式化为优化问题来解决这个问题。此外，我们演示了解决这个问题的两种方法：一个简单的启发式算法和通过混合整数二次规划。这确保了数据集可以分为测试，训练或验证子集，消除了标签偏差。因此，这些数据集可用于图像重建、分割、自动缺陷检测，以及测试机器学习中标签偏差的影响（以及应用新的方法来去除标签偏差）。
2020-12-24 cs.CV cs.LG math-ph
Communication-Free Parallel Supervised Topic Models
AQR Capital Management LLC（AQR资本管理有限责任公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
令人尴尬的是（无通信）并行马尔可夫链蒙特卡罗（MCMC）方法通常用于学习图形模型。然而，MCMC不能直接应用于主题模型的学习，因为主题的多峰分布引起的准遍历性问题。在本文中，我们开发了一个并行MCMC算法的sLDA。我们的算法通过切换sLDA中的采样主题组合和标签变量预测的顺序来工作，其中它克服了准遍历性问题，因为遵循多峰分布的高维主题被投影到遵循单峰分布的一维文档标签中。我们的实证实验证实，使用我们的并行算法的样本外预测性能与非并行sLDA相当，而计算时间显着减少。
2017-08-10 cs.CL cs.IR cs.LG
Geometric compression of invariant manifolds in neural nets
Institute of Physics, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院物理研究所）
我们研究了神经网络如何压缩模型中的无信息输入空间，其中数据位于$d$维度中，但其标签仅在维度$d_\parallel < d$的线性流形内变化。我们表明，对于一个隐藏层网络初始化与无穷小的权重（即在特征学习制度）训练梯度下降，第一层的权重演变成为几乎不敏感的$d_\perp=d-d_\parallel$无信息的方向。这些数据通过因子$λ\sim \sqrt{p}$有效压缩，其中$p$是训练集的大小。我们量化的好处，这样的压缩测试误差$ε$。对于权重的大初始化（懒惰训练制度），没有压缩发生，并且对于分隔标签的规则边界，我们发现$ε\sim p^{-β}$与$β_\text{Lazy} = d / (3d-2)$。压缩改进了学习曲线，使得如果$d_\parallel = 1$则为$β_\text{Feature} = (2d-1)/(3d-2)$，如果$d_\parallel > 1$则为$β_\text{Feature} = (d + d_\perp/2)/(3d-2)$。我们测试这些预测的条纹模型的边界是平行的接口（$d_\parallel=1$）以及圆柱形边界（$d_\parallel=2$）。接下来，我们展示了压缩在时间上塑造了神经切线核（NTK）的演化，使得其顶部特征向量变得更具信息性，并在标签上显示更大的投影。因此，在训练结束时使用冻结的NTK进行的内核学习优于初始NTK。…
2021-03-11 cs.LG stat.ML
Tree Methods for Hierarchical Classification in Parallel
我们提出的方法，使高效的分层分类并行。我们的方法将一批分类分数和标签（对应于语义树中的给定节点）转换为对应于沿着树向下到每个给定节点的祖先路径中的所有节点的分数和标签，仅依赖于在硬件加速器上有效执行的张量操作。我们实现了我们的方法，并在当前的硬件加速器上测试它们，其中包含WordNet 3.0中所有英语同义词集的树，跨越20个深度级别的117，659个类。我们将一批批分数和标签转换为它们各自的祖先路径，所产生的计算可以忽略不计，并且在数据足迹上仅消耗固定的0.04GB内存。
2022-09-21 cs.AI cs.LG
Optimal Resource Allocation for U-Shaped Parallel Split Learning
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Case Western Reserve University（凯斯西储大学）
针对传统拆分学习易泄露标签隐私的问题，提出并行U形拆分学习框架，设计LSCRA算法优化资源分配与拆分层，在保护标签隐私的同时实现与基线相当的性能。
2023-10-09 cs.LG
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology（谢里夫理工大学）
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度，证明了其NP难性，并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法，实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
Label Embedding via Low-Coherence Matrices
Electrical Engineering and Computer Science University of Michigan（电气工程与计算机科学大学密歇根大学）
本文研究极端多类分类中的标签嵌入理论，利用低相干嵌入矩阵建立超额风险界，揭示计算与统计效率权衡，并提出简单可扩展的并行算法。
2025-08-28 cs.LG stat.ML
A Multi-Task Gradient Descent Method for Multi-Label Learning
Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
多标签学习研究一个实例与一组标签相关联的问题。通过将单标签学习问题视为一个任务，多标签学习问题可以转化为同时解决多个相关任务。本文提出了一种新的多任务梯度下降（MGD）算法，用于同时解决一组相关任务。在该算法中，每个任务使用改进的梯度下降最小化其各自的成本函数，其中任务之间的关系，通过有效地传递模型参数值在多个任务。理论分析表明，该算法是收敛的，与适当的转移机制。与现有方法相比，MGD算法易于实现，对训练模型的要求较低，能够实现无缝的非对称转换，从而减轻负迁移，并且在任务数量较大时能够利用并行计算。在多标签学习数据集上的实验结果验证了该算法的有效性。
2019-11-19 cs.LG stat.ML
Polite Dialogue Generation Without Parallel Data
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
文体对话响应生成，在基于个性的会话代理中具有有价值的应用，是一项具有挑战性的任务，因为响应需要流畅，上下文相关，以及语言准确。此外，常规到风格对的并行数据集通常不可用。我们提出了三个弱监督模型，可以在没有并行数据的情况下生成不同的礼貌（或粗鲁）对话响应。我们的后期融合模型（Fusion）将编码器-注意力-解码器对话模型的解码器与在独立礼貌话语上训练的语言模型合并。我们的标签微调（LFT）模型在训练期间为每个源序列预先添加一个礼貌评分缩放标签（由我们最先进的礼貌分类器预测），并且在测试时能够通过简单地缩放标签嵌入相应的分数来生成礼貌，中立和粗鲁的响应。我们的强化学习模型（Polite-RL）通过分配与采样响应的礼貌分类器得分成比例的奖励来鼓励礼貌生成。我们还提出了两个检索为基础的礼貌对话模型基线。人类评价验证，虽然融合和基于检索的模型实现礼貌与较差的上下文相关性，LFT和礼貌RL模型可以产生显着更礼貌的反应，而不牺牲对话质量。
2018-05-08 cs.AI cs.CL cs.LG
Hybrid Approach for Inductive Semi Supervised Learning using Label Propagation and Support Vector Machine
BITS, Pilani（皮拉尼伯拉技术与科学学院）
半监督学习方法在当今世界已经获得了重要性，因为人类专家标记未标记数据所涉及的大量费用和时间。提出的混合方法使用SVM和标签传播标记的未标记的数据。在这个过程中，在每一步SVM的训练，以尽量减少误差，从而提高预测质量。实验采用支持向量机（SVM）和逻辑回归（Logreg）进行。结果表明，SVM的性能大大优于Logreg。该方法使用12个不同大小的数据集进行测试，范围从1000到10000的顺序。结果表明，该方法优于标签传播的一个很大的保证金与F-措施的平均几乎两倍。设计并实现了该方法的并行版本，分析表明，并行版本的训练时间大大减少。
2015-12-02 cs.DC cs.LG
Mixed Robust/Average Submodular Partitioning: Fast Algorithms, Guarantees, and Applications to Parallel Machine Learning and Multi-Label Image Segmentation
University of Washington（华盛顿大学）
我们研究了两个混合的鲁棒/平均情况下的子模块划分问题，我们统称为子模块划分。这些问题概括了问题的纯鲁棒实例（即最大-最小子模块公平分配（SFA）和最小-最大子模块负载均衡（SLB）），并且还概括了平均情况实例（即子模块福利问题（SWP）和子模块多路划分（SMP））。虽然在理论界已经研究了强大的版本，现有的工作集中在紧近似保证，和由此产生的算法是不是，在一般情况下，可扩展到非常大的现实世界中的应用。这与大多数算法都是可扩展的平均情况相反。在本文中，我们弥合这一差距，提出了几个新的算法（包括基于贪婪，优化最小化，优化最大化，和松弛算法），不仅规模大，但也实现了理论近似保证接近国家的最先进的，并在某些情况下实现新的紧边界。我们还提供了新的可扩展算法，适用于添加剂组合的强大和平均情况下的极端目标。我们表明，这些问题在机器学习（ML）中有许多应用。这包括：1）并行机器上分布式机器算法的数据划分和负载均衡; 2）数据聚类;以及3）经由像素划分的具有（仅）布尔子模函数的多标记图像分割。我们经验性地证明了我们的算法在涉及标准机器学习目标（包括凸和深神经网络目标）的分布式优化的数据分区的现实问题上的功效，以及在纯无监督（即，无监督或半监督学习，以及无交互式分割）图像分割。
2016-08-16 cs.DM cs.DS cs.LG
Low-rank Label Propagation for Semi-supervised Learning with 100 Millions Samples
University of Minnesota Twin Cities（明尼苏达大学双城分校）
半监督学习的成功关键取决于对大量未标记数据的可扩展性，这些数据是捕获底层流形结构以进行更好分类所需的。由于在大多数种类的输入数据中计算训练数据之间的成对相似性是非常昂贵的，因此目前，没有通用的现成的半监督学习方法/工具可用于学习数千万或更多的数据点。本文采用了两种低秩标签传播算法GLNP（Global Linear Neighborhood Propagation）和核Nyström Approximation的思想，实现了这两种算法的并行化版本，并使用Nesterov的加速投影梯度下降算法对大数据标签传播（BigLP）进行加速。并行算法在5个实际数据集上进行了测试，数据集的大小从7000到10，000，000，以及100，000，000个样本的模拟数据集。在实验中，该实现可以扩展到具有100，000，000个样本和数百个特征的数据集，并且当只有很小比例的数据被标记时，该算法也显着提高了预测精度。结果表明，BigLP实现是高度可扩展的大数据和有效地利用未标记的数据进行半监督学习。
2017-02-28 cs.LG
DiSMEC - Distributed Sparse Machines for Extreme Multi-label Classification
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
极端多标签分类是指涉及数十万甚至数百万个标签的监督多标签学习。极端分类中的数据集表现出符合幂律分布，即大部分标签在数据分布中具有非常少的正实例。大多数用于极端多标签分类的最先进方法试图通过将标签矩阵嵌入到低维线性子空间来捕获标签之间的相关性。然而，在幂律分布的非常大的和不同的标签空间的存在下，结构假设，如低秩可以很容易地被违反。在这项工作中，我们提出了DiSMEC，这是一个大规模的分布式框架，用于学习一对休息的线性分类器，再加上显式的容量控制，以控制模型的大小。与大多数最先进的方法不同，DiSMEC不对标签矩阵进行任何低秩假设。使用双层并行化，DiSMEC可以在几个小时内学习由数十万个标签组成的数据集的分类器。显式容量控制机制过滤掉虚假参数，使模型在尺寸上保持紧凑，而不会损失预测精度。我们对由多达670，000个标签组成的公开真实世界数据集进行了广泛的实证评估。我们比较DiSMEC与最近的国家的最先进的方法，包括SLEEC这是一个领先的方法，用于学习稀疏的本地嵌入，和FastXML这是一个基于树的方法，优化排名的损失函数。在一些数据集上，DiSMEC可以显著提高预测准确性-绝对值比SLECC高10%，比FastXML高15%。
2016-09-08 cs.LG stat.ML
Neural Message Passing for Multi-Label Classification
University of Virginia（弗吉尼亚大学）
多标签分类（MLC）是为给定样本分配一组目标标签的任务。MLC中组合标签相互作用的建模一直是一个长期的挑战。我们提出了标签消息传递（LaMP）神经网络，以有效地模拟多个标签的联合预测。LaMP将标签视为标签交互图上的节点，并使用基于注意力的神经消息传递来计算每个标签节点的隐藏表示。注意力使LaMP能够为每个标签的邻居节点分配不同的重要性，学习标签如何交互（隐式）。所提出的模型简单，准确，可解释，结构不可知，适用于预测密集标签，因为LaMP是令人难以置信的并行化。我们在七个真实世界的MLC数据集上验证了LaMP的好处，涵盖了广泛的输入/输出类型，并优于最先进的结果。值得注意的是，LaMP能够直观地解释每个标签的分类如何取决于样本的元素，同时依赖于它与其他标签的相互作用。我们在https://github.com/QData/LaMP上提供代码和数据集
2019-04-17 cs.IR cs.LG stat.ML
Exploiting Parallel Audio Recordings to Enforce Device Invariance in CNN-based Acoustic Scene Classification
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
在训练和应用时看到的数据之间的分布不匹配仍然是机器学习所有应用领域的主要挑战。我们在机器监听的背景下研究这个问题（DCASE 2019挑战赛的任务1b）。我们提出了一种新的方法来学习域不变的分类器在一个端到端的方式，通过实施平等的隐藏层表示域并行的样本，即时间对齐的记录从不同的记录设备。我们的域自适应（DA）方法不需要分类标签，这使得数据收集过程更便宜。
2019-09-04 cs.LG cs.SD eess.AS
A Study on the Autoregressive and non-Autoregressive Multi-label Learning
The Hong Kong University of Science and Technology（香港科技大学）；New York University（纽约大学）；University of Amsterdam（阿姆斯特丹大学）
极端分类任务是具有极大量标签（tags）的多标签任务。这些任务是困难的，因为标签空间通常（i）非常大，例如数千或数百万个标签，（ii）非常稀疏，即很少的标签应用于每个输入文档，以及（iii）高度相关，这意味着一个标签的存在改变了预测所有其他标签的可能性。在这项工作中，我们提出了一个基于自注意力的变分编码器模型来提取标签标签和标签特征的依赖关系，并预测标签为一个给定的输入。更详细地说，我们提出了一个非自回归潜变量模型，并将其与基于所有先前生成的标签预测标签的强自回归基线进行比较。因此，我们的模型可以用于并行预测所有标签，同时仍然包括通过潜变量的标签-标签和标签-特征依赖关系，并且与自回归基线相比具有优势。我们将我们的模型应用于四个标准的极端分类自然语言数据集，和一个新闻视频数据集，用于从语义概念词典中自动检测标签。实验结果表明，虽然自回归模型使用给定的标签顺序进行链序标签预测，对于小规模标签或高排名标签的预测效果很好，但当我们需要预测更多标签时，我们的非自回归模型超过它们约2%至6%，或者数据集具有大量标签。
2020-12-03 cs.LG
BlockRR: A Unified Framework of RR-type Algorithms for Label Differential Privacy
School of Mathematics and Statistics & Institute of Interdisciplinary Research for Mathematics and Applied Science & Hubei Key Laboratory of Engineering Modeling and Scientific Computing（数学与统计学学院及数学与应用科学交叉研究机构及湖北工程建模与科学计算重点实验室）
BlockRR是一种统一的RR型算法框架，用于提升标签差分隐私下的模型性能，在高隐私和中等隐私范围内表现更优。
2026-02-03 cs.LG
One-Shot Multi-Label Causal Discovery in High-Dimensional Event Sequences
BMW Group（宝马集团）；Chair for Machine Learning and Computer Vision, Augsburg University（机器学习与计算机视觉主任，埃施魏尔大学）
针对高维事件序列因果发现现有方法无法扩展的问题，提出单样本因果自回归方法OSCAR，利用预训练Transformer推断马尔可夫边界，在真实汽车数据集上快速恢复可解释因果结构，支持生产规模诊断。
2025-11-13 cs.AI cs.LG
Scalable Label Propagation for Multi-relational Learning on the Tensor Product of Graphs
University of Minnesota Twin Cities（明尼苏达大学双城分校）
知识图谱上的多关系学习推断跨图的实体之间的高阶关系。该学习任务可以通过在知识图谱的张量积上的标签传播来解决，以学习作为张量的高阶关系。在本文中，我们推广了广泛使用的标签传播模型的归一化张量积图，并提出了一个优化配方和可扩展的基于低秩张量的标签传播算法（LowrankTLP）推断多关系的两个学习任务，超链接预测和多图对齐。优化配方最大限度地减少噪音张量估计误差的上界多图对齐，通过学习与归一化张量积图的频谱中的特征对的子集。我们还提供了一个数据依赖的二进制超链接预测的转导Rademacher绑定。我们加速LowrankTLP与并行张量计算，使标签传播的张量积的100个图，每个大小为1000在不到半小时的模拟。LowrankTLP还被应用于预测出版记录中的作者-论文-地点超链接，多达26个CT扫描图像的分割区域的对齐以及多个物种的蛋白质-蛋白质相互作用网络的对齐。实验表明，LowrankTLP确实很好地近似原始标签传播，具有更好的可扩展性和准确性。
2020-05-18 cs.LG
Towards Practical Multi-label Causal Discovery in High-Dimensional Event Sequences via One-Shot Graph Aggregation
BMW Group（宝马集团）；Chair for Machine Learning and Computer Vision, Augsburg University（机器学习与计算机视觉主任，艾尔堡大学）
CARGO通过一次图聚合方法，在高维事件序列中实现高效的多标签因果发现，适用于医疗和车辆诊断等复杂场景。
2025-12-12 cs.AI cs.LG
Breaking 3-Factor Approximation for Correlation Clustering in Polylogarithmic Rounds
Boston College（波士顿学院）
针对相关性聚类并行算法长期受限于3近似比的问题，提出多对数深度的(2.4+ε)-近似并行算法，并给出串行与MPC实现。
2023-07-13 cs.DC cs.DS cs.LG
Physics-Informed Self-Supervised Learning for Joint Wire Calibration and Interaction Position Reconstruction in Multi-Wire Parallel Plate Avalanche Counters
GANIL, CEA/DRF - CNRS/IN2P3（GANIL，CEA/DRF - CNRS/IN2P3）
提出物理信息自监督学习框架，联合校准多丝平行板雪崩计数器丝线增益并重建相互作用位置，无需标签数据，实验验证提升均匀性与分辨率。
2026-09-25 cs.LG nucl-ex physics.ins-det
Label-Looping: Highly Efficient Decoding for Transducers
NVIDIA（英伟达）；University of London（伦敦大学）
本研究针对Transducer语音识别模型解码效率问题，提出交换帧与标签循环顺序、结合CUDA张量并行假设操作的Label-Looping贪心解码算法，在批量32时速度最高提升2倍，通用性强且已开源。
2024-09-16 cs.AI cs.CL cs.LG
Epileptic Seizure Classification Using Combined Labels and a Genetic Algorithm
Ulster University（阿尔斯特大学）；Monash University（莫纳什大学）
癫痫影响着全世界5000万人，是最常见的严重神经系统疾病之一。癫痫发作检测和分类是诊断和维持病情的宝贵工具。自动分类算法将允许准确的诊断。利用天普大学医院（TUH）癫痫发作语料库，比较了六种癫痫发作类型：失神、复杂部分、肌阵挛、简单部分、强直和强直-阵挛模型。本研究提出了一种方法，利用独特的功能与一种新的并行分类器-并行遗传朴素贝叶斯（NB）癫痫分类器（PGNBSC）。PGNBSC算法通过特征进行搜索，并通过每次对数据进行重新分类，该算法将创建一个用于最佳搜索标准的矩阵。发作状态从脑电图被分割成1.8秒的窗口，其中的历元，然后进一步分解成13个不同的功能，从第一本征模式函数（IMF）。在第一模型中使用原始NB分类器比较特征。在第二个模型中，通过使用具有NB分类器的遗传算法（二进制灰狼优化，选项1）来对此进行改进。第三个模型使用简单部分性发作和复杂部分性发作的组合，为三个模型中的六个发作中的每一个提供最高的分类准确度（第一、第二和第三个模型分别为20%、53%和85%）。
2022-04-28 cs.LG cs.NE eess.SP
