Learning Gradient Boosted Multi-label Classification Rules
TU Darmstadt(达姆施塔特工业大学);JKU Linz(林茨约翰内斯·开普勒大学);Paderborn University(帕德博恩大学)
在多标签分类中,预测的评估不如单标签分类直接,已经提出了各种有意义的,尽管不同的损失函数。理想情况下,学习算法应该是针对性能度量的特定选择可定制的。从这个角度来看,提升的现代实现,最突出的是梯度提升决策树,似乎很有吸引力。然而,它们大多限于单标签分类,因此不适合多标签丢失,除非这些是标签方式可分解的。在这项工作中,我们开发了一个泛化的梯度提升框架多输出问题,并提出了一种算法,用于学习多标签分类规则,能够最大限度地减少可分解以及不可分解的损失函数。以著名的汉明损失和子集0/1损失为代表,分析了该方法在合成数据上的能力和局限性,并在多标签基准测试上评估了其预测性能。
2020-06-23 cs.LG stat.ML
Consistent Multilabel Ranking through Univariate Losses
Mathematics and Computer Science, Marburg University(马尔堡大学数学与计算机科学学院)
我们考虑多标签分类中的秩损失最小化问题,这通常是通过定义在标签对上的凸代理损失来解决的。最近,这种方法受到质疑,一个负面的结果表明,常用的成对替代损失,如指数和逻辑损失,是不一致的。在本文中,我们展示了一个积极的结果,这可以说是令人惊讶的,鉴于前一个:更简单的单变量的指数和逻辑代理(即,定义在单个标签上)对于秩损失最小化是一致的。而不是直接证明收敛性,我们给出了一个更强大的结果,通过推导遗憾界和收敛速度。建议的损失建议有效的和可扩展的算法,这是实验测试。
2012-06-27 cs.LG stat.ML
On the Learnability of Multilabel Ranking
本文刻画了多标签排序在批处理和在线设置下针对一大类排序损失的可学习性,并基于可学习性给出两类涵盖实践中大多数损失的排序损失等价类。
2023-05-25 cs.LG stat.ML
Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization
Tsinghua University(清华大学)
(部分)排名损失是多标签分类的常用评估指标,通常使用凸代理进行优化以提高计算效率。以前的理论工作多标签排名主要集中在(Fisher)的一致性分析。然而,现有的理论和实践之间存在差距-一些成对损失可以导致有希望的性能,但缺乏一致性,而一些单变量损失是一致的,但通常在实践中没有明显的优势。本文试图从学习算法的一致性和泛化误差界两个互补的角度对这一问题进行系统的研究。我们的研究结果表明,一致的单变量损失的学习算法有一个错误界$O(c)$($c$是标签的数量),而不一致的成对损失的算法依赖于$O(\sqrt{c})$在以前的工作。这说明后者在实际应用中可以取得比前者更好的性能。此外,我们提出了一个不一致的重加权单变量损失为基础的学习算法,享有$O(\sqrt{c})$的错误界有前途的性能,以及单变量损失的计算效率。最后,实验结果验证了我们的理论分析。
2021-05-10 cs.LG stat.ML
Selective Matching Losses -- Not All Scores Are Created Equal
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
本文提出通过递增链接函数构建选择性匹配损失,并基于复合 Softmax 建立多维框架,使模型在关键分数区域获得更准确的预测与排序能力。
2025-06-09 cs.LG
Graph Neural Network-based Algorithm Selection for the Traveling Salesman Problem: A Systematic Study of Cost and Rank Losses under Distinct Budget Regimes
研究旅行商问题的算法选择,提出基于图神经网络的GNNAS - TSP框架,将其作为联合成本预测和排序任务,通过实验评估多种学习目标,在不同预算下所选配置优于单一最佳求解器,证明该框架是有用的元求解策略。
2026-07-22 cs.LG
Differentially Private Optimization for Non-Decomposable Objective Functions
Google Research(谷歌研究院)
针对对比损失等不可分解目标在差分隐私训练中梯度敏感度随批量增大的问题,提出新型 DP-SGD 变体,将求和梯度敏感度降为 $O(1)$,并在 CIFAR-10/100 上验证其接近非隐私性能。
2025-02-20 cs.CR cs.LG
Gradient-based Label Binning in Multi-label Classification
TU Darmstadt(达姆施塔特工业大学);JKU Linz(约翰内斯·开普勒大学林茨分校);Paderborn University(帕德博恩大学)
在多标签分类中,单个示例可能同时与多个类别标签相关联,对标签之间的依赖关系进行建模的能力被认为是有效优化不可分解的评估措施(如子集0/1损失)的关键。梯度提升框架为专门针对这样的损失函数定制的学习模型提供了充分研究的基础,并且最近的研究证明了在多标记设置中实现高预测准确性的能力。利用二阶导数,如许多最近的提升方法所使用的,有助于指导不可分解损失的最小化,这是由于它将关于标签对的信息并入优化过程中。缺点是,即使标签的数量很小,这也会带来很高的计算成本。在这项工作中,我们解决了这种方法的计算瓶颈-需要解决一个线性方程组-通过将一种新的近似技术集成到升压过程。基于训练期间计算的导数,我们将标签动态地分组到预定义数量的bin中,以对线性系统的维度施加上限。我们使用现有的基于规则的算法进行的实验表明,这可能会提高训练速度,而不会对预测性能造成任何重大损失。
2021-06-22 cs.LG
Stochastic Mirror Descent for Low-Rank Tensor Decomposition Under Non-Euclidean Losses
Shenzhen Research Institute of Big Data(深圳大数据研究院);Oregon State University(俄勒冈州立大学);University of Minnesota(明尼苏达大学)
本文研究了统计机器学习和信号处理中经常出现的一类非欧几里德损失函数下的低秩正则多元分解(CPD)。这些损失函数通常用于某些类型的张量数据,例如,计数和二进制张量,其中最小二乘损失被认为是不自然的。与最小二乘损失相比,非欧几里德损失通常更具挑战性。非欧几里德CPD已经吸引了相当大的兴趣和一些现有的作品存在。然而,紧迫的计算和理论挑战,如可扩展性和收敛问题,仍然存在。这项工作提供了一个统一的随机算法框架下的各种非欧几里德损失函数的大规模CPD分解。我们的主要贡献在于基于张量纤维采样策略的灵活的随机镜像下降框架。利用采样方案和低秩张量的多线性代数结构,所提出的轻量级算法确保在合理的条件下全局收敛到一个稳定点。数值结果表明,我们的框架达到了有前途的非欧CPD性能。与最先进的方法相比,所提出的框架还显示出大量的计算节省。
2021-04-29 cs.LG eess.SP stat.ML
Learning Rank Functionals: An Empirical Study
Centre for Pattern Recognition and Data Analytics, Deakin University(迪肯大学模式识别与数据分析中心)
排序是诸如信息检索、问答、广告投放和推荐系统等许多应用的关键方面。学习排序的目标是根据训练数据自动估计排序模型。在实际设置中,任务通常简化为估计对象相对于查询的秩函数。在本文中,我们研究设计一个有效的学习排序算法的关键问题。这些包括数据表示,秩泛函的选择,损失函数的设计,使其与评价中使用的秩度量相关。对于损失函数,我们研究了三种技术:近似的秩度量的光滑函数,分解的损失成一个加权和的元素的损失和成对的损失的加权和。然后,我们提出的推导分段损失的高阶马尔可夫链和马尔可夫随机场的理论。在实验中,我们评估这些设计方面的两个任务:在社会问答网站的答案排名,和Web信息检索。
2015-02-07 cs.IR cs.LG stat.ML
Absence of spurious solutions far from ground truth: A low-rank analysis with high-order losses
University of California, Berkeley(加州大学伯克利分校)
本文研究矩阵感知中的非凸伪解问题,证明远离真实矩阵的临界点为严格鞍点,并提出高阶损失以增强负曲率、加速逃离,从而替代过参数化。
2024-03-10 cs.LG eess.SP math.OC
Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study
Independent Researcher(独立研究者)
本文通过实验证明,基于JEPA的门控方法在条件深度路由中优于MLP门控,且去除辅助损失可提升性能,但结论受限于研究范围。
2026-04-19 cs.LG
Pairwise Ranking Losses of Click-Through Rates Prediction for Welfare Maximization in Ad Auctions
The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Google Research(谷歌研究院);Stanford University(斯坦福大学)
本文面向广告拍卖社会福利优化,提出无需eCPM分布假设的加权成对排序损失及教师标签校准方法,并在合成与真实数据上验证其优势。
2023-06-01 cs.GT cs.IR cs.LG
Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms
Stanford University(斯坦福大学);University of Salzburg(萨尔茨堡大学);University of Konstanz(康斯坦茨大学);Tuebingen AI Center(蒂宾根人工智能中心);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对可微排序与最短路径损失的非凸及梯度消失、爆炸问题,本文提出 Newton Losses,仅利用损失的经验 Fisher 与 Hessian 二阶信息替换原损失,并在八种算法上验证其稳定提升。
2024-10-24 cs.LG
Which Tricks Are Important for Learning to Rank?
Yandex(扬德克斯);ShareChat;Yandex Research(扬德克斯研究院)
本文在统一框架下对比多种基于GBDT的学习排序算法,探讨排序损失优化的关键问题,提出YetiRank的改进方案,获得新的最先进排序算法。
2023-10-06 cs.LG
Learning by Minimizing the Sum of Ranked Range
University at Buffalo, SUNY(纽约州立大学布法罗分校);University at Albany, SUNY(纽约州立大学奥尔巴尼分校);CuraCloud Corporation(CuraCloud公司)
在形成学习目标时,人们通常需要将一组个体值集合到单个输出中。这种情况发生在聚合损失中,它结合了每个训练样本上学习模型的个体损失,以及多标签学习的个体损失,它结合了所有类别标签上的预测分数。在这项工作中,我们介绍了排名范围(SoRR)的总和作为一种通用的方法来形成学习目标。排序范围是一组实数的排序值的连续序列。用差分凸算法(DCA)求解SoRR的最小化问题。我们探索SoRR框架的最小化在机器学习中的两个应用,即二进制分类的AoRR总损失和多标签/多类分类的TKML个体损失。我们的实证结果突出了所提出的优化框架的有效性,并证明了使用合成和真实数据集的建议损失的适用性。
2020-10-05 cs.LG stat.ML
Learning with Fenchel-Young Losses
NTT Communication Science Laboratories(NTT通信科学实验室);Unbabel(Unbabel公司);Instituto de Telecomunicações(电信研究所)
在过去的几十年里,已经提出了许多损失函数用于各种监督学习任务,包括回归,分类,排名和更一般的结构化预测。理解这些损失的核心原理和理论特性是为正确的问题选择正确的损失以及创造结合其优势的新损失的关键。在本文中,我们介绍了Fenchel-Young损失,这是一种为正则化预测函数构造凸损失函数的通用方法。我们在非常广泛的环境中对其属性进行了深入研究,涵盖了所有上述监督学习任务,并揭示了稀疏性,广义熵和分离边缘之间的新联系。我们表明,Fenchel-Young损失统一了许多著名的损失函数,并允许创建有用的新的容易。最后,我们推导出有效的预测和训练算法,使Fenchel-Young损失在理论和实践中都具有吸引力。
2020-03-02 cs.LG stat.ML
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta(阿尔伯塔大学)
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示:正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用,我们恢复了一个因子化的角度,揭示了一些差距,在目前的文献。除了确定一个有用的新损失流形展开,一个关键的贡献是获得新的凸正则化,结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Learning to Rank For Push Notifications Using Pairwise Expected Regret
Twitter(推特)
列表排序损失在推荐系统中得到了广泛的研究。然而,新的内容消费模式对排名方法提出了新的挑战。在这项工作中,我们有助于分析学习排序个性化的移动推送通知,并讨论了独特的挑战,这提出了传统的排名问题相比。为了解决这些挑战,我们引入了一种新的排名损失的基础上加权候选人之间的成对损失的预期遗憾误排序对。我们证明了所提出的方法可以优于以前的方法,无论是在模拟环境中,并在一个主要的社会网络的生产实验。
2022-01-19 cs.IR cs.LG
Relational Surrogate Loss Learning
The University of Sydney(悉尼大学);SenseTime Research(商汤科技研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Huazhong University of Science and Technology(华中科技大学);University of Science and Technology of China(中国科学技术大学)
机器学习中的评估度量通常很难被视为损失函数,因为它们可能是不可微和不可分解的,例如,平均精度和F1得分。本文旨在通过重新审视替代损失学习来解决这个问题,其中采用深度神经网络来近似评估指标。与其通过深度神经网络来追求评估度量的精确恢复,我们被提醒这些评估度量存在的目的,即区分一个模型比另一个模型更好还是更差。在本文中,我们表明,直接维护代理损失和指标之间的模型的关系就足够了,并提出了一种基于秩相关的优化方法,以最大限度地提高这种关系,并学习代理损失。与以前的作品相比,我们的方法更容易优化,并享有显着的效率和性能增益。大量的实验表明,我们的方法实现了各种任务,包括图像分类和神经机器翻译的改进,甚至优于人类姿势估计和机器阅读理解任务的最先进的方法。代码可在:https://github.com/hunto/ReLoss.
2022-02-26 cs.CV cs.LG
Sum of Ranked Range Loss for Supervised Learning
University at Buffalo, State University of New York(纽约州立大学布法罗分校);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
在形成学习目标时,人们通常需要将一组个体值集合到单个输出中。这种情况发生在聚合损失中,它结合了每个训练样本上学习模型的个体损失,以及多标签学习的个体损失,它结合了所有类别标签上的预测分数。在这项工作中,我们介绍了排名范围(SoRR)的总和作为一种通用的方法来形成学习目标。排序范围是一组实数的排序值的连续序列。用差分凸算法(DCA)求解SoRR的最小化问题。我们探索SoRR框架的最小化在机器学习中的两个应用,即样本级的二进制/多类分类的AoRR总损失和标签级的多标签/多类分类的TKML个体损失。提出了一种新的学习目标,即AoRR和TKML的组合损失,以提高多标签学习在样本和标签中的离群点面前的鲁棒性。我们的实证结果突出了所提出的优化框架的有效性,并证明了使用合成和真实数据集的建议损失的适用性。
2022-04-04 cs.LG stat.ML
ITEM: Improving Training and Evaluation of Message-Passing based GNNs for top-k recommendation
Conservatoire national des arts et métiers(法国国立工艺学院);Sorbonne Université(索邦大学)
本研究针对top-k推荐中基于消息传递的GNN训练与评估问题,提出排序损失平滑优化方法与个性化PageRank负采样策略,还拓展了归纳式用户中心评估协议,在多数据集和架构上实现性能与训练速度的双重提升。
2024-07-03 cs.IR cs.LG
Understanding Deep Contrastive Learning via Coordinate-wise Optimization
Meta AI (FAIR)(元人工智能(基础人工智能研究团队))
我们表明,对比学习(CL)在一个广泛的家庭的损失函数(包括InfoNCE)有一个统一的配方的坐标优化的网络参数$\boldsymbolθ$和成对的重要性$α$,其中的\emph{max player} $\boldsymbolθ$学习表示对比度,和\emph{min player} $α$把更多的权重对不同的样本,共享类似的表示。由此产生的公式,称为$α$ -CL,不仅统一了各种现有的对比损耗,不同的样本对重要性$α$是如何构建的,但也能够外推,以提供新的对比损耗超出流行的,开辟了一条新的途径对比损耗设计。这些新的损失在CIFAR 10、STL-10和CIFAR-100上产生了与经典InfoNCE相当(或更好)的性能。此外,我们还详细分析了max player:我们证明了在固定$α$的情况下,max player等价于深度线性网络的主成分分析(PCA),并且几乎所有的局部极小值都是全局的和秩为1的,恢复最优PCA解。最后,我们将我们对max player的分析扩展到2层ReLU网络,表明它的不动点可以有更高的秩。
2022-11-20 cs.CV cs.LG cs.NE
Deep Attentive Ranking Networks for Learning to Order Sentences
IIT Kanpur(印度理工学院坎普尔分校)
我们提出了一个基于注意力的排名框架,用于学习给定段落的句子排序。我们的框架是建立在一个双向的句子编码器和一个基于自注意力的Transformer网络,以获得一个输入顺序不变的段落表示。此外,它允许使用各种基于排名的损失函数(例如逐点、成对和列表排名)进行无缝训练。我们将我们的框架应用于两个任务:句子排序和顺序歧视。我们的框架在各种评估指标上优于这些任务的各种最先进的方法。我们还表明,它实现了更好的结果时,使用成对和列表排序损失,而不是逐点排序损失,这表明,将相对位置的两个或两个以上的句子中的损失函数有助于更好的学习。
2019-12-31 cs.CL cs.LG stat.ML
Implicit Bias of Large Depth Networks: a Notion of Rank for Nonlinear Functions
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);New York University(纽约大学)
我们证明了具有齐次非线性的全连接神经网络的表示成本-它描述了具有$L_2$正则化或具有交叉熵等损失的网络的函数空间中的隐式偏差-随着网络的深度趋于无穷大,收敛到非线性函数上的秩的概念。然后,我们询问在哪些条件下的全球最小的损失恢复的“真正的”排名的数据:我们表明,对于太大的深度的全球最小值将大约排名1(低估的排名),然后我们认为,有一个范围的深度增长的数据点的数量恢复的真实排名。最后,我们讨论了分类器的秩对所得类边界的拓扑结构的影响,并表明具有最佳非线性秩的自编码器自然是去噪的。
2023-03-23 cs.AI cs.LG stat.ML
Mixability of Integral Losses: a Key to Efficient Online Aggregation of Functional and Probabilistic Forecasts
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Institute for Information Transmission Problems(信息传输问题研究所)
本文将专家建议在线预测扩展到函数值预测,通过改造可混合且指数凹的积分损失,证明其可混合性,并用于统一验证多种概率预测损失。
2025-01-06 cs.LG stat.ML
Proper losses regret at least 1/2-order
The Institute of Statistical Mathematics(统计数学研究所);The University of Tokyo(东京大学)
本文研究了proper losses的替代遗憾,证明了严格properness是建立非空替代遗憾界限的必要条件,并指出p-范数的收敛阶不能比替代遗憾的1/2阶更快。
2026-03-03 cs.LG stat.ML
I'm Sorry for Your Loss: Spectrally-Based Audio Distances Are Bad at Pitch
越来越多的研究表明,综合故障模式意味着较差的推广。我们比较常用的音频到音频损失的合成基准,测量两个固定正弦波之间的间距。结果令人惊讶:许多人对音高方向的感觉很差。这些缺点暴露使用简单的秩假设。我们的任务对人类来说微不足道,但对于这些音频距离来说很困难,这表明通过改善电流损耗可以在自我监督音频学习方面取得重大进展。
2020-12-09 cs.AI cs.LG cs.SD
Value-Monotonicity Matters: A Concordance Loss for Deep Survival Prediction
Department of Radiation Oncology, University of Colorado School of Medicine(科罗拉多大学医学院放射肿瘤学系);Department of Radiation Oncology, University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心放射肿瘤学系)
研究在深度生存模型中,针对小且严重删失的肿瘤学队列端到端训练时频繁计算C-index成本高的问题,提出价值单调一致性损失SCL,它与架构无关,训练时损失值与C-index强相关,能可靠替代C-index用于模型选择等。
2026-07-21 cs.CV cs.LG stat.ML