Rep-GLS: Report-Guided Generalized Label Smoothing for Robust Disease Detection
Arizona State University（亚利桑那州立大学）；Guangzhou Institutes of Biomedicine and Health, Chinese Academy of Sciences（广州生物医学研究院，中国科学院）；Kunming Medical University（昆明医科大学）；Northumbria University（北umbria大学）；NII, Tokyo Institute of Technology（东京技术大学国家研究所）；RIKEN（理化学研究所）；Westlake University（西湖大学）
Rep-GLS通过利用大语言模型挖掘医学报告中的不确定性表达，提出了一种通用标签平滑方法，以提升医学疾病检测的鲁棒性。
2025-11-20 cs.CV cs.LG
AID-AppEAL: Automatic Image Dataset and Algorithm for Content Appeal Enhancement and Assessment Labeling
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Cloudinary
提出图像内容吸引力评估（ICAA）新指标，通过自动化数据集生成与算法提升内容吸引力，实验表明其与美学低相关，用户研究验证其有效性。
2024-07-18 cs.CV
Generalized Universal Domain Adaptation with Generative Flow Networks
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）
提出广义通用域自适应（GUDA）统一框架，利用生成流网络设计GFlowDA算法，通过主动采样和协同优化，实现对未知类别精确预测，实验验证其优越性。
2023-08-30 cs.CV
Multi-Label Learning with Label Enhancement
Southeast University（东南大学）
多标签学习的任务是为未见过的实例预测一组相关标签。传统的多标签学习算法将每个类标签视为相应标签与实例相关还是不相关的逻辑指示符，即，+1表示与实例相关，-1表示与实例无关。用-1或+1表示的这种标号称为逻辑标号。逻辑标签不能反映不同标签的重要性。然而，对于现实世界的多标签学习问题，每个可能的标签的重要性通常是不同的。在实际应用中，很难直接获得标签重要性信息。因此，我们需要一种方法来重建的逻辑多标签数据的基本标签的重要性。为了解决这个问题，我们假设每个多标签实例由一个潜在实值标签向量来描述，该向量可以反映相应标签的重要性。这种标签称为数字标签。利用逻辑标签信息和特征空间的拓扑结构，从逻辑多标签数据中重构数字标签的过程称为标签增强。在本文中，我们提出了一种新的多标签学习框架LEMLL，即，标签增强的多标签学习，它将数字标签的回归和标签增强纳入一个统一的框架。大量的对比研究表明，通过标签增强可以显著提高多标签学习的性能，LEMLL可以有效地从逻辑多标签数据中重构潜在的标签重要性信息。
2019-04-16 cs.CV cs.LG
Label Information Bottleneck for Label Enhancement
Fuzhou University（福州大学）；Shandong University（山东大学）
在这项工作中，我们专注于标签增强（LE），其目的是从逻辑标签准确地恢复标签分布的挑战性问题，并提出了一种新的标签信息瓶颈（LIB）的LE方法。对于标签分布的恢复过程，数据集中包含的标签无关信息可能会导致恢复性能不理想。为了解决这个问题，我们努力挖掘必要的标签相关信息，以提高恢复性能。我们的方法将LE问题公式化为以下两个联合过程：1）学习具有基本标签相关信息的表示，2）基于学习的表示恢复标签分布。标签相关信息可以基于由学习的表示形成的“瓶颈”来挖掘。值得注意的是，在我们的方法中可以探索关于标签分配的标签相关信息和关于标签间隙的标签相关信息。在多个基准标签分布学习数据集上进行的评估实验验证了LIB的有效性和竞争力。我们的源代码可以在https://github.com/qinghai-zheng/LIBLE上找到
2023-03-14 cs.LG
Contrastive Label Enhancement
Xi’an Jiaotong University（西安交通大学）
针对标签分布学习中现有标签增强方法忽略特征与逻辑标签多视角描述的问题，提出ConLE方法，通过对比学习将特征与逻辑标签整合到统一投影空间生成高级特征，并在LDL基准数据集上验证了其有效性。
2023-05-16 cs.LG
PLESS: Pseudo-Label Enhancement with Spreading Scribbles for Weakly Supervised Segmentation
Akian College of Science and Engineering, American University of Armenia（阿塞拜疆美国大学科学与工程学院）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
PLESS通过扩散涂鸦信息提升伪标签可靠性，改进弱监督分割性能。
2026-02-12 cs.CV cs.LG
D2ACE: Multi-Label Batch Selection Guided by Dual Dynamics and Adaptive Correlation Enhancement
Key Laboratory of DECV, Chongqing University of Posts and Telecommunications（重庆邮电大学信息与通信工程重点实验室）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；School of Informatics, Aristotle University of Thessaloniki（希腊塞萨洛尼基阿里斯托芬大学信息学院）
D2ACE通过双动态和自适应相关增强方法，提升多标签分类的训练效率和预测性能，通过动态标签权重和局部上下文相关增强，优化标签重要性与相关性建模。
2026-05-10 cs.LG
Data Augmentation For Label Enhancement
Southeast University（东南大学）
标签分布（LD）使用描述度来描述实例，从而在标签歧义的情况下提供更细粒度的监督信息。然而，LD在许多现实世界的应用中是不可用的。为了获得LD，标签增强（LE）出现了从逻辑标签中恢复LD。现有的LE方法存在以下问题：（\textbf{i}）使用逻辑标签来训练到LD的映射，但监督信息过于松散，导致模型预测不准确;（\textbf{ii}）忽略特征冗余，直接使用收集的特征。为了求解（\textbf{i}），我们使用特征空间的拓扑来生成更准确的标签置信度。为了解决（\textbf{ii}），我们提出了一种新的监督LE降维方法，该方法将原始数据投影到低维特征空间。结合以上两个，我们得到的增广数据LE。在此基础上，提出了一种基于标签置信度和约简特征的非线性LE模型。在12个真实数据集上进行了大量的实验，结果表明，我们的方法始终优于其他五种比较方法。
2023-03-21 cs.LG
Enhancement Encoding: A Novel Imbalanced Classification Approach via Encoding the Training Labels
School of Information Science and Engineering（信息科学与工程学院）；Shandong University（山东大学）
类不平衡，也称为长尾分布，是基于机器学习的分类任务中常见的问题。如果发生这种情况，少数数据将被大多数数据淹没，这对数据科学提出了相当大的挑战。为了解决类不平衡问题，研究人员提出了很多方法：一些人使数据集平衡（SMOTE），一些人改进损失函数（Focal Loss），甚至有人注意到标签的值影响类不平衡学习（Yang和Xu）。重新思考标签对改善班级不平衡学习的价值。在NeurIPS 2020中），但还没有人改变对数据标签进行编码的方式。目前，最流行的标签编码技术是独热编码，因为它在一般情况下具有良好的性能。然而，对于不平衡的数据，它不是一个好的选择，因为分类器将平等地对待多数和少数样本。本文创新性地提出了针对非平衡分类的增强编码技术。增强编码结合了重加权和成本敏感性，可以反映硬类和易类（或少数类和多数类）之间的差异。为了减少验证样本的数量和计算成本，我们还将混淆矩阵替换为一种新的软混淆矩阵，该矩阵在较小的验证集下效果更好。在实验中，我们评估了增强编码与三种不同类型的损失。结果表明，增强编码对提高非平衡数据训练网络的性能是非常有效的。特别是在少数民族班级的表现更好。
2023-03-28 cs.LG
Revisiting Label-Free Speaker Embedding Enhancement with vMF Profile Likelihood
Seoul National University（首尔大学）；Research Institute of Mathematics（数学研究所）
本文提出一种基于vMF轮廓似然的简单闭式目标，用于无标签说话人嵌入增强，在多个基准上保持基线性能并提升失配场景效果，表明无需高度结构化公式。
2026-10-06 cs.LG cs.SD
Back to Reality: Weakly-supervised 3D Object Detection with Shape-guided Label Enhancement
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
在本文中，我们提出了一种弱监督的方法，用于3D目标检测，这使得有可能训练一个强大的3D检测器与位置级注释（即对象中心的注释）。为了弥补从框注释到中心的信息丢失，我们的方法，即回到现实（BR），利用合成的3D形状将弱标签转换为完全注释的虚拟场景作为更强的监督，并反过来利用完美的虚拟标签来补充和细化真实标签。具体来说，我们首先组装成物理上合理的虚拟场景根据粗糙的场景布局从位置级注释提取的三维形状。然后，我们回到现实中，通过应用虚拟到现实的领域自适应方法，细化弱标签，并额外监督与虚拟场景的检测器的训练。此外，我们提出了一个更具挑战性的benckmark室内3D目标检测与更多的多样性，在对象大小，以更好地显示BR的潜力。在不到5%的标记劳动力的情况下，我们在广泛使用的ScanNet数据集上实现了与一些流行的全监督方法相当的检测性能。代码可在：https://github.com/wyf-ACCEPT/BackToReality
2022-03-27 cs.AI cs.CV cs.LG
Weakly Supervised Learning Meets Ride-Sharing User Experience Enhancement
Nanjing University（南京大学）；Didi Chuxing（滴滴出行）
弱监督学习的目的是处理稀缺的标记数据。以往的弱监督研究通常假设数据中只有一种弱监督。然而，在许多应用中，原始数据通常同时包含一种以上的弱监督。例如，在最大的在线拼车平台之一滴滴的用户体验提升中，乘车评论数据包含严重的标签噪音（由于乘客的主观因素）和严重的标签分布偏差（由于抽样偏差）。我们称之为“复合弱监督学习“。本文基于滴滴拼车评论数据，提出了CWSL方法来解决这一问题。具体而言，实例重新加权策略，以应付严重的标签噪声的评论数据，其中有害的噪声实例的权重很小。稳健的标准，如AUC，而不是准确度和验证性能进行了优化，以纠正偏倚的数据标签。交替优化和随机梯度方法加速了大规模数据的优化。在滴滴拼车评论数据上的实验清楚地验证了有效性。我们希望这项工作可以为弱监督学习在复杂的实际情况中的应用提供一些启示。
2020-01-19 cs.LG stat.ML
Pretrained Generalized Autoregressive Model with Adaptive Probabilistic Label Clusters for Extreme Multi-label Text Classification
Lehigh University（理海大学）；Xiamen University of Technology（厦门理工学院）
极端多标签文本分类（XMTC）是一个任务，标记一个给定的文本与最相关的标签从一个非常大的标签集。我们提出了一种新的深度学习方法，称为APLC-XLNet。我们的方法微调了最近发布的广义自回归预训练模型（XLNet），以学习输入文本的密集表示。我们提出了自适应概率标签集群（APLC）近似的交叉熵损失，利用不平衡的标签分布，形成集群，显着减少计算时间。我们在五个基准数据集上进行的实验表明，我们的方法在四个基准数据集上取得了新的最先进的结果。我们的源代码可在https://github.com/huiyegit/APLC_XLNet上公开获取。
2020-08-15 cs.LG stat.ML
Disentanglement Learning for Variational Autoencoders Applied to Audio-Visual Speech Enhancement
最近，标准变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然后，变分自动编码器以描述高级语音属性（例如语音活动）的标签为条件，该标签允许对语音生成进行更明确的控制。然而，标签不能保证与其他潜在变量分离，这导致与标准变分自动编码器相比性能提高有限。在这项工作中，我们建议使用变分自编码器的对抗性训练方案，以将标签与其他潜在变量分开。在训练时，我们使用一个与变分自动编码器的编码器竞争的编码器。同时，我们还使用了一个额外的编码器来估计变分自编码器的解码器的标签，这被证明是至关重要的学习解纠缠。我们提出的解纠缠学习的好处时，从视觉数据估计的语音活动标签，用于语音增强。
2021-08-03 cs.LG cs.SD eess.AS
Variational Label-Correlation Enhancement for Congestion Prediction
Southeast University（东南大学）
针对拥塞预测中常被忽视的网格间空间标签相关性问题，提出一种利用变分推断估计局部标签相关权重的新方法，有效增强回归模型性能并在公开基准上验证了其卓越有效性。
2023-08-01 cs.AR cs.LG
PUe: Biased Positive-Unlabeled Learning Enhancement by Causal Inference
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
研究正无标记学习问题，基于SAR-PU倾向加权框架提出PUe框架，运用归一化倾向得分和NIPW，有归一化逆概率加权风险公式等贡献，在多个数据集实验中，在非均匀标签分布下优于多个PU基线。
2026-07-16 cs.LG
Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement
NVIDIA（英伟达）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出一种利用视频码流中结构、运动及量化信息的深度学习架构，以单一模型实现多种压缩设置下的快速、准确且通用的压缩视频质量增强。
2023-10-30 cs.CV cs.LG eess.IV
Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels
Cornell University（康奈尔大学）
深度神经网络（DNN）在许多学科的各种应用中取得了巨大的成功。然而，它们卓越的性能伴随着需要正确注释的大规模数据集的昂贵成本。此外，由于DNN的丰富容量，训练标签中的错误可能会影响性能。为了解决这个问题，最近提出了平均绝对误差（MAE）作为常用的分类交叉熵（CCE）损失的噪声鲁棒替代方案。然而，正如我们在本文中所示，MAE在DNN和具有挑战性的数据集上的表现可能很差。在这里，我们提出了一个理论上接地的噪声鲁棒损失函数，可以被看作是一个泛化的MAE和CCE。提出的损失函数可以很容易地应用于任何现有的DNN架构和算法，同时在各种噪声标签场景中产生良好的性能。我们报告了CIFAR-10，CIFAR-100和FASHION-MNIST数据集和合成生成的噪声标签进行的实验结果。
2018-11-29 cs.CV cs.LG stat.ML
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels
KTH（瑞典皇家理工学院）
先前的工作已经发现，将可证明的噪声鲁棒损失函数，具有标准分类损失函数的平均绝对误差（MAE），例如交叉熵（CE），以提高其可学习性。在这里，我们建议使用Jensen-Shannon分歧作为噪声鲁棒性损失函数，并表明它有趣地在CE和MAE之间插值，并具有可控的混合参数。此外，我们做了一个重要的观察，CE表现出较低的一致性周围的噪声数据点。基于这一观察结果，我们采用了广义版本的詹森-香农分歧的多个分布，以鼓励数据点周围的一致性。使用这个损失函数，我们展示了合成（CIFAR）和真实世界（例如，WebVision）噪声，具有不同的噪声率。
2021-10-29 cs.CV cs.LG stat.ML
Towards Generalized Speech Enhancement with Generative Adversarial Networks
Amazon Research（亚马逊研究院）
语音增强的任务通常包括去除加性噪声或混响，这些噪声或混响部分掩盖了口语，影响了它们的可懂度。然而，很少有人注意到其他的，也许更积极的信号失真，如削波，块消除，或频带去除。这种失真不仅对可懂度，而且对自然度甚至说话人身份都有很大的影响，并且需要仔细的信号重建。在这项工作中，我们充分考虑了这种广义的语音增强任务，并表明它可以用时域生成对抗网络（GAN）来解决。特别是，我们扩展了以前的基于GAN的语音增强系统，以处理四种类型的侵略性失真的混合物。首先，我们提出了一个对抗性的声学回归损失，促进了更丰富的特征提取的边缘。其次，我们还使用了两步对抗训练计划，作为热身和微调序列。客观和主观评价表明，这两个增加带来了改进的语音重建，更好地匹配原始扬声器的身份和自然。
2019-04-06 cs.LG cs.SD eess.AS
SAGE: Subpopulation-Aware Generative Enhancement for Mitigating Spurious Correlations
Harbin Institute of Technology（哈尔滨工业大学）；State Key Laboratory of Smart Farm Technologies and Systems（智慧农场技术与系统国家重点实验室）
SAGE是两阶段生成增强框架，通过生成合成数据缓解虚假关联，在Waterbirds等三个数据集上的最差群体准确率优于无群体标签基线，提升最多7.7个百分点。
2026-09-02 cs.CV cs.LG
Stochastic Generalized Adversarial Label Learning
Virginia Tech（弗吉尼亚理工学院）
机器学习模型的使用已经大幅增长，并且正在扩展到几个应用领域。使用机器学习模型的一个常见需求是收集训练这些模型所需的数据。在某些情况下，标记大量数据集可能是一个严重的瓶颈，因此需要开发在难以获得大量数据的训练标签时工作的模型。一个可能的解决方案是弱监督，它使用容易从多个来源获得的噪声标签。挑战在于如何最好地结合这些嘈杂的标签，并训练一个模型，使其在给定的任务中表现良好。在本文中，我们提出了随机广义对抗标签学习（Stoch-GALL），这是一个用于训练机器学习模型的框架，当提供噪声和可能相关的标签时，该模型表现良好。我们的框架允许用户提供不同的弱标签和对这些标签的多个约束。然后，我们的模型试图通过求解非零和博弈优化来学习数据的参数。这个游戏是在为数据选择标签的对手和最小化对手标签造成的错误的模型之间进行的。我们通过训练卷积神经网络模型在三个数据集上测试了我们的方法，这些模型学习对训练标签访问受限的图像对象进行分类。我们的方法即使在弱监督混淆了最先进的弱监督学习方法的情况下也能够学习。我们的实验结果表明，这种方法的适用性一般的分类任务。
2019-09-18 cs.LG stat.ML
Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized Linear Models
Google Research（谷歌研究院）
研究了对抗性腐败下广义线性模型的学习问题。我们分析了一个经典的启发式称为迭代修剪最大似然估计，这是已知的是有效的标签腐败在实践中。在标签损坏的情况下，我们证明了这个简单的估计在广泛的广义线性模型，包括高斯回归，泊松回归和二项式回归上实现了极大极小近似最优风险。最后，我们将估计量扩展到更具挑战性的标签和协变量腐败设置，并证明了其鲁棒性和最优性。
2022-10-23 cs.LG stat.ML
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Boosting Single Positive Multi-label Classification with Generalized Robust Loss
University of International Business and Economics（对外经济贸易大学）
针对单正例多标签学习中的假阴性问题，提出基于期望风险最小化的广义软伪标签损失框架及可平衡正负样本的新型鲁棒损失，在四个基准上显著提升性能。
2024-05-06 cs.AI cs.CV cs.LG
Principled Algorithms for Optimizing Generalized Metrics in Multi-Label Learning
Google Research（谷歌研究）；CIMS（应用数学与计算科学研究所）
本文基于H-一致性理论，设计了可分解的代理损失函数，提出MMO算法族，用于优化多标签学习中的广义线性分式度量，并在大规模数据集上验证了其可扩展性和优越性能。
2026-05-27 cs.LG stat.ML
Label Distribution Learning via Implicit Distribution Representation
Nanjing University of Science and Technology（南京理工大学）
与多标签学习不同，标签分布学习通过标签分布来表征示例的多义性，以表示更丰富的语义。在标签分布的学习过程中，主要通过人工标注或标签增强算法收集训练数据，生成标签分布。不幸的是，人工注释任务的复杂性或标签增强算法的不准确性导致标签分布训练集中的噪声和不确定性。为了缓解这个问题，我们在标签分布学习框架中引入隐式分布来表征每个标签值的不确定性。具体而言，我们使用深度隐式表示学习来构造具有高斯先验约束的标签分布矩阵，其中每个行分量对应于每个标签值的分布估计，并且该行分量受到先验高斯分布的约束，以缓和标签分布数据集的噪声和不确定性干扰。最后，利用自注意算法将标签分布矩阵的每一行分量转化为标准的标签分布形式。此外，在训练阶段采用了一些具有正则化特性的方法来提高模型的性能。
2022-09-28 cs.LG
A generalized framework to predict continuous scores from medical ordinal labels
Martinos Center for Biomedical Imaging（马蒂诺斯生物医学影像中心）；Massachusetts Institute of Technology（麻省理工学院）；Polytechnique Montreal（蒙特利尔理工学院）；Oregon Health and Science University（俄勒冈健康与科学大学）；National Eye Institute（国家眼科研究所）；MGH & BWH Center for Clinical Data Science（麻省总医院与布莱根妇女医院临床数据科学中心）；University of Colorado Anschutz Medical Campus（科罗拉多大学安舒茨医学校区）
本文提出一个仅用离散有序标签即可预测连续评分的广义框架，并在三个临床任务中验证其优于传统多分类模型，且结合MC dropout可更真实地反映潜在连续严重程度。
2023-05-30 cs.CV cs.LG eess.IV
Domain Adaptation with Conditional Distribution Matching and Generalized Label Shift
Microsoft Research Montreal（微软研究院蒙特利尔）；D. E. Shaw & Co.（D. E. Shaw公司）；UC Santa Barbara（加州大学圣巴巴拉分校）
对抗学习通过学习领域不变表示，在无监督的领域自适应设置中表现出良好的性能。然而，最近的工作表明，这种方法的局限性时，标签分布不同的源和目标域之间。在本文中，我们提出了一个新的假设，广义标签偏移（$GLS$），以提高对不匹配的标签分布的鲁棒性。$GLS$指出，以标签为条件，存在源域和目标域之间不变的输入表示。在$GLS$下，我们对任何分类器的传递性能提供理论保证。我们还设计了必要和充分条件$GLS$举行，通过使用域之间的相对类权重的估计和适当的重新加权的样本。我们的权重估计方法可以直接和一般地应用于现有的领域自适应（DA）算法，学习域不变的表示，与小的计算开销。特别是，我们修改三个DA算法，JAN，DANN和CDAN，并评估其性能标准和人工DA任务。我们的算法优于基础版本，对于大的标签分布不匹配有很大的改进。我们的代码可在https://tinyurl.com/y585xt6j上获得。
2020-12-11 cs.AI cs.LG stat.ML
Inducing Generalized Multi-Label Rules with Learning Classifier Systems
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；University of Edinburgh（爱丁堡大学）
近年来，多标签分类吸引了大量的研究，其动机是现实生活中的应用，如文本分类和医疗诊断。虽然在这方面的研究很少，学习分类器系统自然非常适合多标签分类问题，其搜索空间通常涉及多个高度特定的小生境。这是我们目前工作背后的动机，它引入了一种通用的多标签规则格式-允许灵活的标签依赖建模，不需要明确的知识来搜索哪些相关性-并将其用作进一步适应通用里根式监督学习分类器系统框架的指南。上述规则格式和框架适应的集成导致了一种新的多标签分类算法，其行为通过一组适当定义的人工问题进行研究。该算法还在一组多标签数据集上进行了全面评估，并发现与其他最先进的多标签分类方法相比具有竞争力。
2015-12-25 cs.LG cs.NE
Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出自监督特征适应框架SSFA，通过解耦伪标签预测并引入自监督任务使特征提取器适应无标签数据分布，解决了有标签与无标签数据分布不一致导致的伪标签噪声累积问题，显著提升了半监督学习性能。
2024-05-31 cs.CV cs.LG
Generalized Label Shift Correction via Minimum Uncertainty Principle: Theory and Algorithm
Sun Yat-Sen University（中山大学）
作为机器学习的一个基本问题，数据集迁移是一种在变化环境下学习和传递知识的范式。以前的方法假设变化是由协变量引起的，这对于复杂的真实世界数据是不太实际的。我们认为广义标签偏移（GLS），它提供了一个可解释的洞察到学习和转移的理想的知识。当前GLS方法：1）与统计学习理论没有很好的联系; 2）通常假设移动的条件分布将与隐式变换相匹配，但其显式建模尚未探索。在本文中，我们提出了一个有条件的适应框架来应对这些挑战。从学习理论的角度，我们证明了条件自适应的泛化误差低于以往的协变量自适应。根据理论结果，我们提出了最小不确定性原则，通过差异优化学习条件不变变换。具体地说，我们提出了Hilbert空间上的\textit{conditional metric operator}来刻画条件分布的独特性。对于有限的观察，我们证明了经验估计总是定义良好的，并会收敛到潜在的真理作为样本量的增加。大量的实验结果表明，该模型在不同的GLS场景下具有竞争力的性能。
2022-02-26 cs.CV cs.LG
Classification under Nuisance Parameters and Generalized Label Shift in Likelihood-Free Inference
Carnegie Mellon University（卡内基梅隆大学）；Università di Padova（帕多瓦大学）；Istituto Nazionale di Fisica Nucleare（国家核物理研究所）；Lulea Techniska Universitet（吕勒奥理工大学）；Universal Scientific Education and Research Network（环球科学教育与研究网络）；Universidade Federal de São Carlos（圣卡洛斯联邦大学）
本文针对训练与目标数据在标签和干扰参数分布不同的广义标签偏移问题，提出基于干扰参数空间 ROC 估计的鲁棒分类与不确定性量化方法，使预训练分类器具备领域自适应能力并返回有效预测集。
2024-07-01 cs.LG stat.ML
Reliability-based cleaning of noisy training labels with inductive conformal prediction in multi-modal biomedical data mining
Stanford University（斯坦福大学）；Jinling Hospital（金陵医院）
针对生物医学数据标注困难的问题，提出一种基于归纳共形预测（ICP）的训练数据清洗方法，利用少量准确标签纠正噪声数据，在多模态分类任务中显著提升了性能且无需大量人工标注数据。
2023-09-13 cs.AI cs.CV cs.LG
Online Feature Updates Improve Online (Generalized) Label Shift Adaptation
UC San Diego（加利福尼亚大学圣迭戈分校）；Cornell University（康奈尔大学）；University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
针对在线场景下带标签缺失的标签偏移问题，提出结合自监督学习在线更新特征的OLS-OFU方法，理论上保持相近在线遗憾收敛性，实验效果较现有方法有显著提升。
2024-10-31 cs.LG
Knowledge Graph semantic enhancement of input data for improving AI
Amazon（亚马逊）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；Wright State University（莱特州立大学）
使用机器学习算法设计的智能系统需要大量的标记数据。背景知识提供补充的真实世界事实信息，其可以增强有限的标记数据以训练机器学习算法。知识图谱（KG）这一术语在许多实际应用中非常流行，将这些背景知识以图的形式组织起来是方便和有用的。最近的学术研究和实现的工业智能系统已经显示出将训练数据与知识图谱相结合的机器学习算法的有前途的性能。在本文中，我们讨论了使用相关KG来增强两个使用机器学习的应用程序的输入数据-推荐和社区发现。KG提高了准确性和可解释性。
2020-05-10 cs.AI cs.CL cs.LG
Generalized test utilities for long-tail performance in extreme multi-label classification
Aalto University（阿尔托大学）；Poznan University of Technology（波兹南理工大学）；University of Bath（巴斯大学）；Yahoo! Research（雅虎研究院）
本文针对极端多标签分类中的长尾性能问题，提出在期望测试效用框架下优化预算为k的广义度量，并基于块坐标上升设计可扩展算法，获得具有遗憾保证且对模型错误设定鲁棒的预测规则。
2024-01-17 cs.LG
Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing
ETH Zürich（苏黎世联邦理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
先前的工作已经探索了直接正则化概率模型的输出分布，以减轻峰值（即过度自信）预测，这是过度拟合的常见迹象。这类技术，标签平滑是其中之一，与熵正则化有关。尽管标签平滑在语言生成任务中跨架构和数据集的一致成功，但仍存在两个问题：（1）对熵正则化对模型的潜在影响了解甚少，以及（2）熵正则化技术的整个空间在很大程度上未被探索。我们引入了一个参数族的熵正则化，其中包括标签平滑作为一个特例，并使用它来更好地理解模型的熵和它的性能之间的关系语言生成任务。我们还发现，模型性能的方差可以在很大程度上解释由模型的熵。最后，我们发现，标签平滑证明不允许稀疏的输出分布，一个不可取的属性语言生成模型，因此建议使用其他熵正则化方法在其位置。
2020-05-12 cs.CL cs.LG
CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
Korea University（高丽大学）
针对PEFT在噪声标签环境下的脆弱性，提出基于路由的CleaR方法，自适应激活模块以优先学习干净样本，实验证明其显著提升噪声环境下的性能。
2024-10-31 cs.AI cs.LG
