L-Vector: Neural Label Embedding for Domain Adaptation
Microsoft（微软）
我们提出了一种新的神经标签嵌入（NLE）方案，用于深度神经网络（DNN）声学模型的域自适应，该模型具有来自源域和目标域的未配对数据样本。使用NLE方法，我们将来自强大的源域DNN的知识提取到标签嵌入或l-向量的字典中，每个senone类一个。每个I向量是源域DNN的特定于状态元的输出分布的表示，并且通过简单的平均或标准反向传播来学习以最小化到具有相同标签的输出向量的平均L2、Kullback-Leibler（KL）或对称KL距离。在自适应过程中，l-向量作为软目标来训练具有交叉熵损失的目标域模型。由于没有师生学习中的并行数据约束，NLE特别适用于无法从源域数据模拟成对目标域数据的情况。我们采用6400小时的多条件美国英语声学模型，以适应9种口音英语（80至830小时）和儿童语音（80小时）中的每一种。NLE实现了高达14.1%的相对字错误率降低直接重新训练与一个热标签。
2020-04-25 cs.CL cs.LG cs.SD
Leveraging Implicit Expert Knowledge for Non-Circular Machine Learning in Sepsis Prediction
Heidelberg University（海德堡大学）；University of Manitoba（曼尼托巴大学）
败血症是非冠状动脉重症监护病房的主要死亡原因。此外，严重脓毒症患者的抗生素治疗仅延迟几个小时与死亡率增加相关。这种见解使得早期预测败血症的准确模型成为医疗保健机器学习的关键任务。先前的方法已经通过从电子健康记录中学习来实现高AUROC，其中脓毒症标签是根据建立的临床标准自动定义的。我们认为，纳入临床标准，用于自动定义地面真实脓毒症标签的严重程度评分模型的功能的做法是固有的循环和妥协的有效性提出的方法。我们建议通过电子问卷记录主治医生对患者脓毒症状态的日常判断，利用临床医生的隐性知识为脓毒症研究创建一个独立的基础事实。我们表明，尽管它的大小很小，我们的数据集允许实现最先进的AUROC分数。对线性模型标准化特征的学习权重的检查可以让我们推断出潜在的令人惊讶的特征贡献，并允许解释看似违反直觉的发现。
2019-09-20 cs.LG q-bio.QM stat.ML
When is Network Lasso Accurate: The Vector Case
Department of Computer Science（计算机科学系）；Aalto University（阿尔托大学）
最近提出的用于大规模网络结构数据集（网络上的大数据）的学习算法是网络Lasso（nLasso），其将众所周知的Lasso估计器从稀疏模型扩展到网络结构数据集。已经使用现代凸优化方法提出了nLasso的有效实现。在本文中，我们提供了关于网络结构和可用标签信息的充分条件，以便nLasso从一些数据点的标签提供的信息中准确地学习向量值图信号（表示标签信息）。
2017-10-11 cs.LG
Multi-Level Generative Models for Partial Label Learning with Non-random Label Noise
Carleton University（卡尔顿大学）；Northwestern Polytechnical University（西北工业大学）
部分标签（PL）学习解决了每个训练实例与一组候选标签相关联的问题，这些候选标签包括真实标签和不相关的噪声标签。在本文中，我们提出了一种新的多层次生成模型部分标签学习（MGPLL），它解决了这个问题，学习标签级对抗生成器和特征级对抗生成器之间的双向映射框架下的标签向量和数据样本。具体而言，MGPLL使用条件噪声标签生成网络来建模非随机噪声标签并执行标签去噪，并使用多类预测器将训练实例映射到去噪标签向量，而条件数据特征生成器用于形成从去噪标签向量到数据样本的逆映射。噪声标签生成器和数据特征生成器都以对抗的方式学习，以分别匹配观察到的候选标签和数据特征。在合成的和真实世界的部分标签数据集上进行了广泛的实验。所提出的方法展示了部分标签学习的最新性能。
2020-05-11 cs.LG stat.ML
GraphHop: An Enhanced Label Propagation Method for Node Classification
University of Southern California（南加州大学）
提出了一种基于图结构数据的可扩展半监督节点分类方法GraphHop。该图包含所有节点的属性，但少数节点的标签。经典的标签传播（LP）方法和新兴的图卷积网络（GCN）是两个流行的半监督解决方案，这个问题。LP方法在对节点属性和标签进行联合建模时效果不佳，或者在大规模图上收敛速度较慢。GraphHop是针对其缺点提出的。通过适当的初始标签向量嵌入，GraphHop的每次迭代都包含两个步骤：1）标签聚合和2）标签更新。在步骤1中，每个节点聚合在先前迭代中获得的其邻居的标签向量。在步骤2中，基于节点自身的标签和在步骤1中获得的聚合标签信息，为每个节点预测新的标签向量。这个迭代过程利用了邻近信息，使GraphHop能够在极小的标签速率设置中表现良好，并能够很好地扩展到非常大的图形。实验结果表明，GraphHop在广泛的任务（例如，引文网络、社会图和商品消费图上的多标签和多类别分类）。我们的代码可在GitHub上公开获取（https：//github.com/TianXieUSC/GraphHop）。
2021-01-07 cs.LG
Multi-view Vector-valued Manifold Regularization for Multi-label Image Classification
Peking University（北京大学）；University of Technology, Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）
在计算机视觉中，用于分类的图像数据集自然与多个标签相关联，并由多个视图组成，因为每个图像可能包含多个对象（例如行人，自行车和树木），并通过多个视觉特征（例如颜色，纹理和形状）进行适当表征。当前可用的工具忽略标签关系或视图互补。受向量值函数成功构造矩阵值核来探索输出空间中的多标签结构的启发，我们引入多视图向量值流形正则化（MV $\mathbf{^3}$ MR）来集成多个特征。MV $\mathbf{^3}$ MR利用不同特征的互补性，在流形正则化的主题下发现不同特征所共有的紧支撑的内在局部几何。我们在两个具有挑战性但流行的数据集PASCAL VOC' 07（VOC）和MIR Flickr（MIR）上进行了广泛的实验，并验证了所提出的MV $\mathbf{^3}$ MR用于图像分类的有效性。
2019-04-08 cs.CV cs.LG stat.ML
Positive semidefinite support vector regression metric learning
Tianjin University（天津大学）
大多数现有的度量学习方法集中于学习依赖于样本对之间的相似和不相似关系的相似性或距离度量。然而，在许多现实世界的应用中，样本对不能被简单地识别为相似或不相似，例如，多标签学习，标签分布学习。为此，提出了关系对齐度量学习（RAML）框架来处理这些场景中的度量学习问题。但RAML框架使用SVR求解器进行优化。它不能学习度量学习所必需的半正定距离度量。本文提出了两种方法来克服这一弱点。在RAML框架下，通过单标签分类、多标签分类、标签分布学习等实验验证了新方法的有效性。
2020-08-18 cs.LG stat.ML
Group Preserving Label Embedding for Multi-Label Classification
University of Hyderabad（海得拉巴大学）；Central University of Rajasthan（拉贾斯坦中央大学）
多标签学习涉及具有多个类别标签的数据的分类。这与传统的分类问题形成对比，在传统的分类问题中，每个数据实例都有一个标签。由于输出空间的指数大小，利用特征和标签空间中的内在信息一直是近年来研究的主要方向，参数化和嵌入的使用一直是主要焦点。研究者们从标签嵌入、输入嵌入、降维和特征选择等几个方面进行了研究。这些方法彼此不同的能力，以捕捉其他内在属性，如标签相关性，局部不变性等，我们假设在这里的输入数据形成组，因此，标签矩阵表现出稀疏模式，因此，标签对应的对象在同一组具有类似的稀疏性。在本文中，我们研究了嵌入标签与组信息的目标，以建立一个有效的多标签分类。我们假设存在一个低维空间，特征向量和标签向量可以嵌入到该空间上。为了实现这一点，我们解决了三个子问题，即：（1）标签组的识别;（2）将标签向量嵌入到低秩空间中，使得各个组的稀疏特性保持不变;以及（3）确定一个线性映射，该映射将特征向量嵌入到低维空间中的相同点集上，如阶段2中所述。我们比较我们的方法与七个著名的算法在12个基准数据集。我们的实验分析表明，我们所提出的方法的优越性超过国家的最先进的多标签学习算法。
2018-12-24 cs.LG stat.ML
Hybrid Approach for Inductive Semi Supervised Learning using Label Propagation and Support Vector Machine
BITS, Pilani（皮拉尼伯拉技术与科学学院）
半监督学习方法在当今世界已经获得了重要性，因为人类专家标记未标记数据所涉及的大量费用和时间。提出的混合方法使用SVM和标签传播标记的未标记的数据。在这个过程中，在每一步SVM的训练，以尽量减少误差，从而提高预测质量。实验采用支持向量机（SVM）和逻辑回归（Logreg）进行。结果表明，SVM的性能大大优于Logreg。该方法使用12个不同大小的数据集进行测试，范围从1000到10000的顺序。结果表明，该方法优于标签传播的一个很大的保证金与F-措施的平均几乎两倍。设计并实现了该方法的并行版本，分析表明，并行版本的训练时间大大减少。
2015-12-02 cs.DC cs.LG
Support Vector Machines under Adversarial Label Contamination
Technical University of Munich（慕尼黑工业大学）；University of Cagliari（卡利亚里大学）
机器学习算法越来越多地应用于安全相关的任务，如垃圾邮件和恶意软件检测，尽管其针对蓄意攻击的安全特性尚未得到广泛理解。智能和自适应攻击者确实可能利用机器学习技术暴露的特定漏洞来侵犯系统安全性。因此，对对抗性数据操纵的鲁棒性是机器学习算法在对抗性环境中成功操作的重要附加要求。在这项工作中，我们评估的安全性支持向量机（SVM）精心制作的，对抗标签噪声攻击。特别是，我们考虑的攻击者，其目的是最大限度地提高SVM的分类错误翻转的标签数的训练数据。我们形式化了相应的最优攻击策略，并通过启发式方法求解，以保持计算复杂性的易处理性。我们报告了一个广泛的实验分析的有效性的考虑攻击线性和非线性SVM，无论是在合成和真实世界的数据集。最后，我们认为我们的方法还可以为开发更安全的支持向量机学习算法提供有用的见解，以及许多相关研究领域的新技术，例如半监督学习和主动学习。
2022-06-01 cs.LG
Revisiting the Vector Space Model: Sparse Weighted Nearest-Neighbor Method for Extreme Multi-Label Classification
Graduate School of Keio University（庆应义塾大学研究生院）；Keio University（庆应义塾大学）
近年来，机器学习在信息检索（IR）中发挥了重要作用。例如，在搜索引擎中，接受查询关键字，并按照与给定查询的相关性顺序返回文档;这可以被视为机器学习中的多标签排名问题。通常，候选文档的数量非常大（从几千到几百万）;因此，分类器必须处理许多标签。这个问题被称为极端多标签分类（XMLC）。在本文中，我们提出了一种新的方法XMLC称为稀疏加权最近邻方法。这种技术可以作为最先进的（SOTA）一对休息的线性分类器非常稀疏的数据集的快速实现。此外，我们表明，分类器可以写为一个稀疏的推广的代表定理与线性内核。此外，我们的方法可以被看作是在IR中使用的向量空间模型。最后，我们表明，稀疏加权最近邻方法可以处理数据点在XMLC数据集上的实时与SOTA模型的性能相当，具有单线程和更小的存储空间。特别是，我们的方法在具有300万个标签的数据集上表现出优于SOTA模型的性能。
2018-02-12 cs.LG stat.ML
Subsampling for Ridge Regression via Regularized Volume Sampling
Department of Computer Science University of California Santa Cruz（加州大学圣克鲁兹分校计算机科学系）
给定$n$向量$\mathbf{x}_i\in \mathbb{R}^d$，我们想要拟合噪声标签$y_i\in\mathbb{R}$的线性回归模型。岭估计是解决这个问题的经典方法。然而，当标签昂贵时，我们被迫仅选择向量$\mathbf{x}_i$的一个小子集，我们为其获得标签$y_i$。我们提出了一个新的程序选择的子集的向量，这样的脊估计从该子集中获得的均方预测误差在整个数据集的$n$标记的向量提供了强有力的统计保证。所需标签的数量与问题的统计维度成比例，该问题的统计维度通常比$d$小得多。我们的方法是一个扩展的联合二次抽样程序称为体积采样。第二个主要贡献是，我们加快了批量采样的速度，使其基本上与杠杆分数一样有效，杠杆分数是主要的i.i.d.。本次任务的抽样程序。最后，我们从理论上和实验上表明，体积采样有一个明显的优势，任何独立同分布。标签价格昂贵时的抽样。
2018-02-23 cs.LG
$ε$-Softmax: Approximating One-Hot Vectors for Mitigating Label Noise
Faculty of Computing, Harbin Institute of Technology（计算机学院，哈尔滨工业大学）；Department of Automation, Tsinghua University（自动化系，清华大学）
本文提出$ε$-softmax方法，通过以可控误差近似独热向量来放宽对称条件，实现噪声容忍学习，并与对称损失结合以平衡鲁棒性和拟合能力，实验验证其有效性。
2025-08-04 cs.CV cs.LG
Adversarial Partial Multi-Label Learning
Carleton University（卡尔顿大学）；Northweastern Polytechnical University（西北工业大学）
部分多标签学习（PML）解决了从具有过完整噪声注释的实例中学习多标签预测模型的问题，最近开始受到研究界的关注。在本文中，我们提出了一种新的对抗性学习模型，PML-GAN，在一个广义的编码器-解码器框架下进行部分多标签学习。PML-GAN模型使用消歧网络来识别噪声标签，并使用多标签预测网络将训练实例映射到消歧的标签向量，同时部署生成对抗网络作为从标签向量到输入特征空间中的数据样本的逆映射。整个模型的学习对应于一个极大极小对抗游戏，它增强了输入特征与双向映射中输出标签的对应性。在多个数据集上进行了广泛的实验，而所提出的模型展示了部分多标签学习的最新性能。
2020-06-05 cs.LG stat.ML
A Hybrid Method for Distance Metric Learning
Stanford University（斯坦福大学）
我们考虑的问题，学习的特征空间中的向量之间的距离的措施，并提出了一种混合的方法，同时学习分配给对的向量和类标签分配给各个向量的相似性评级。我们的方法是基于一个生成模型，其中类标签可以提供的信息，是不是在特征向量编码，但还涉及到感知对象之间的相似性。实验与合成数据以及一个真正的医学图像检索问题表明，利用类标签，通过使用我们的方法，提高检索性能显着。
2012-06-29 cs.IR cs.LG stat.ML
