An Empirical Evaluation of Four Algorithms for Multi-Class Classification: Mart, ABC-Mart, Robust LogitBoost, and ABC-LogitBoost
Cornell University(康奈尔大学)
本实证研究主要致力于比较四种基于树的boosting算法:mart,abc-mart,robust logitboost和abc-logitboost,在各种公开数据集上进行多类分类。其中一些数据集已经在之前的研究中使用广泛的分类算法进行了彻底的测试,包括SVM,神经网络和深度学习。在经验分类误差方面,我们的实验结果表明:1。abc-马特大大提高马特。2. abc-logitboost大大提高了(鲁棒)logitboost。3. robust)logitboost}大大提高了大多数数据集上的mart。4. abc-logitboost在大多数数据集上大大改进了abc-mart。5.这四种boosting算法(特别是abc-logitboost)在许多数据集上的性能优于SVM。6.与最好的深度学习方法相比,这四种boosting算法(尤其是abc-logitboost)具有竞争力。
2010-01-07 cs.AI cs.CV cs.LG
Robust LogitBoost and Adaptive Base Class (ABC) LogitBoost
Cornell University(康奈尔大学)
Logitboost是一种有影响力的分类提升算法。在本文中,我们开发了强大的logitboost,为logitboost构建弱学习器(回归树)提供了一个明确的树分裂标准。这个公式导致logitboost的数值稳定的实现。然后,我们提出了abc-logitboost多类分类,通过结合强大的logitboost与abc-boost的先前工作。在此之前,abc-boost是使用mart算法作为abc-mart实现的。我们在多类分类上的大量实验比较了四种算法:mart,abcmart,(鲁棒)logitboost和abc-logitboost,并证明了abc-logitboost的优越性。与包括SVM和深度学习在内的其他学习方法的比较也可以通过先前的出版物获得。
2012-03-15 cs.LG stat.ML
Learning Dynamics of Logits Debiasing for Long-Tailed Semi-Supervised Learning
Beijing Jiaotong University(北京交通大学);AntGroup(蚂蚁集团);Northwestern Polytechnical University(西北工业大学);University of Southampton(南安普顿大学)
本研究针对长尾半监督学习中伪标签偏向多数类的问题,从动态学习视角揭示对数去偏机制,提出DyTrim动态剪枝框架,经实验验证可提升模型泛化性能。
2026-09-01 cs.AI cs.LG
Model-Level GNN Explanations via Rule-to-Graph Readout for Logit Reconstruction
University of Victoria(维多利亚大学);University of Alberta(阿尔伯塔大学);LSU ATHENA Lab(路易斯安那州立大学ATHENA实验室);University of Toronto(多伦多大学)
本文提出基于规则的图神经网络解释框架,通过规则级读取重建logit,实现全局解释与子图接地,提升预测一致性并加快速度。
2026-05-11 cs.AI cs.LG
Logits are predictive of network type
Quintic AI(昆蒂克人工智能公司)
我们证明,预测哪个深度网络生成了给定的logit向量是可能的,其准确性远远高于偶然性。我们在数据集上使用了许多网络,这些网络使用随机权重或预训练权重进行初始化,以及微调网络。然后在该数据集的训练集的logit向量上训练分类器,以将logit向量映射到生成它的网络索引。然后在数据集的测试集上评估分类器。随机初始化网络的结果更好,但也适用于预训练网络和微调网络。使用非标准化logits的分类精度高于标准化logits。我们发现,当将分类器应用于相同的网络但具有不同的权重集时,几乎没有转移。除了帮助更好地理解深度网络及其编码不确定性的方式外,我们预计我们的发现在某些应用中是有用的(例如,为某种类型的网络定制对抗攻击)。代码可在https://github.com/aliborji/logits上获得。
2022-11-04 cs.AI cs.CV cs.LG
Logit-based Uncertainty Measure in Classification
Northwestern University(西北大学)
我们为分类任务引入了一种新的、可靠的、不可知的不确定性度量,称为logit不确定性。它基于神经网络的logit输出。我们特别表明,这种新的不确定性度量在不同的任务,包括样本检测和发现错误的预测,产生了优于现有的不确定性度量的性能。我们分析了测量的理论基础,并探讨了与高密度区域的关系。我们还演示了如何在生成对抗网络的训练中使用中间输出来测试不确定性。我们提出了两种潜在的方法来利用logit为基础的不确定性在现实世界中的应用,并表明不确定性措施优于。
2021-07-06 cs.LG
Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework
Tencent(腾讯);Peking University(北京大学)
持续学习要求模型在从非独立数据流中持续学习的同时保持所学习的知识。由于单遍训练设置,在线持续学习非常具有挑战性,但它更接近真实世界的场景,快速适应新数据是有吸引力的。在本文中,我们专注于在线类增量学习设置中,新的类随着时间的推移而出现。几乎所有现有的方法都是使用softmax分类器的基于重放的。然而,softmax分类器中固有的logits偏差问题是灾难性遗忘的主要原因,而现有的解决方案不适用于在线设置。为了绕过这个问题,我们放弃了softmax分类器,并提出了一种新的基于特征空间的生成框架。在我们的框架中,一个生成分类器,利用重放记忆用于推理,和训练目标是一个基于对的度量学习损失,理论上证明,以生成的方式优化特征空间。为了提高学习新数据的能力,我们进一步提出了一种混合生成和判别损失的训练模型。在包括新引入的无任务数据集在内的多个基准测试上进行的大量实验表明,我们的方法击败了一系列最先进的基于重放的方法,并以显著的幅度减少了灾难性遗忘。
2022-05-19 cs.AI cs.LG
Class-aware Information for Logit-based Knowledge Distillation
Cornell University(康奈尔大学)
知识蒸馏旨在通过利用教师模型的预测/特征将知识转移到学生模型,并且基于特征的蒸馏最近显示出其优于基于logit的蒸馏。然而,由于额外的特征变换的计算和存储繁琐,基于特征的方法的训练开销远高于基于logit的蒸馏。在这项工作中,我们重温了基于logit的知识蒸馏,并观察到现有的基于logit的蒸馏方法处理的预测logits仅在实例级别,而许多其他有用的语义信息被忽视。为了解决这个问题,我们提出了一个类感知的Logit知识蒸馏(CLKD)方法,扩展的logit蒸馏在实例级和类级。CLKD使学生模型能够从教师模型中模仿更高的语义信息,从而提高了蒸馏性能。我们进一步引入了一种新的损失,称为类相关性损失,迫使学生学习教师的固有类水平的相关性。实证比较表明,所提出的方法优于几个流行的基于logit的方法和基于特征的方法,其中CLKD在各种视觉分类任务上取得了令人信服的结果,并优于最先进的基线。
2022-11-27 cs.CV cs.LG
Federated Learning with Label Distribution Skew via Logits Calibration
Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室)
传统的联邦优化方法在异构数据上表现不佳(即精度降低),特别是对于高度偏斜的数据。在本文中,我们调查的标签分布偏斜FL,标签的分布在不同的客户端。首先,我们从统计的角度研究标签分布偏斜。我们从理论上和经验上证明,以前基于softmax交叉熵的方法是不合适的,这可能导致局部模型严重过拟合少数类和缺失类。此外,我们在理论上引入了一个偏差界来衡量局部更新后的梯度偏差。最后,本文提出了FedLC(\textbf {Fed} erated learning via \textbf {L} ogits \textbf {C} alibration),它根据每个类出现的概率,在softmax交叉熵之前对logits进行校准。FedLC通过添加成对标签余量来将细粒度校准的交叉熵损失应用于局部更新。在联邦数据集和真实数据集上的大量实验表明,FedLC导致更准确的全局模型和更高的性能。此外,将其他FL方法集成到我们的方法中可以进一步提高全局模型的性能。
2022-09-25 cs.AI cs.LG
Joint Enhancement and Classification using Coupled Diffusion Models of Signals and Logits
Technion -- Israel Institute of Technology, Haifa, Israel(技术学院——以色列理工学院,海法,以色列);NTT, Inc., Japan(日本NTT公司)
本文提出一种集成信号和logits扩散模型的框架,通过相互指导提升分类鲁棒性,有效应对噪声环境下的分类挑战。
2026-05-16 cs.LG
Advancing Adversarial Robustness Through Adversarial Logit Update
University of Alberta(阿尔伯塔大学);Northwestern Polytechnical University(西北工业大学)
提出对抗性Logit更新(ALU)原则,利用净化前后logit差异提升模型对抗鲁棒性,无需额外训练数据,在多个数据集上优于现有方法。
2023-08-29 cs.CR cs.LG
Fast Single-Class Classification and the Principle of Logit Separation
University of Augsburg(奥格斯堡大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学);Imperial College London(伦敦帝国学院)
我们考虑神经网络训练,在应用程序中,有许多可能的类,但在测试时,任务是一个二元分类任务,确定给定的例子是否属于一个特定的类,其中感兴趣的类可以是不同的每次应用分类器。例如,这是实时图像搜索的情况。我们定义了单Logit分类(SLC)任务:训练网络,以便在测试时,可以仅基于该类的输出logit,以计算高效的方式准确识别示例是否属于给定类。我们提出了一个自然的原则,Logit分离原则,作为选择和设计适合SLC的损失的指导方针。我们表明,交叉熵损失函数不符合Logit分离原理。相比之下,有已知的损失函数,以及我们提出的新的批量损失函数,这是符合这一原则。我们总共研究了七个损失函数。我们的实验表明,实际上在几乎所有情况下,与不符合Logit分离原理的损失相比,符合Logit分离原理的损失在SLC任务中获得至少20%的相对准确度提高,有时甚至更多。此外,我们表明,快速SLC不会导致任何下降,在二进制分类的准确性相比,标准的分类,其中所有的logits计算,并产生一个加速增长的类的数量。例如,当类的数量为400,000时,我们演示了10倍的加速。用于优化新批次损失的Tensorflow代码可在https://github.com/cruvadom/Logit Separation上公开获取。
2018-09-17 cs.LG stat.ML
Bounded logit attention: Learning to explain image classifiers
St. Pölten University of Applied Sciences(圣帕尔滕应用科学大学)
可解释的人工智能是试图通过被称为“解释”的适当的辅助信息来阐明太复杂而不能被人类认知直接访问的系统的工作。我们为卷积图像分类器提出了一个可训练的解释模块,我们称之为有界logit注意力(BLA)。BLA模块学习为每个输入实例选择卷积特征映射的子集,然后将其用作分类器预测的解释。BLA克服了Chen等人(2018)引入的实例特征选择方法“学习解释”(L2X)的几个限制:1)BLA扩展到现实世界大小的图像分类问题,2)BLA提供了一种学习可变大小解释的规范方法。由于其模块化,BLA适合于迁移学习设置,也可以用作训练分类器的事后添加。除了可解释性之外,BLA可以作为子集选择的可微近似的通用方法。在一项用户研究中,我们发现,BLA的解释是首选的流行(梯度)CAM方法产生的解释。
2021-05-31 cs.AI cs.CV cs.LG
ZClassifier: Temperature Tuning and Manifold Approximation via KL Divergence on Logit Space
Shim Soon Yong(独立研究者)
提出 ZClassifier 分类框架,用对角高斯分布的 logits 替代确定性 logits,通过最小化 KL 散度统一解决温度调节与流形近似问题,在 CIFAR-10/100 上提升了鲁棒性、校准和潜在分离表现。
2025-08-11 cs.LG
Bottom-up Hierarchical Classification Using Confusion-based Logit Compression
Ohio State University(俄亥俄州立大学);AFRL/RYAP(美国空军研究实验室/赖特-帕特森空军基地研究部)
在这项工作中,我们提出了一种方法来有效地计算标签后验的基本平面分类器中存在的几个验证的例子内自自底向上的【形】的分层推理框架。独立的验证集(不用于训练基本分类器)对于后验估计是优选的,以避免过拟合基本分类器,然而,小的验证集限制了可以有效使用的特征的数量。我们提出了一个简单的,但强大的,logit向量压缩方法的基础上广义logits和标签混淆的任务标签后验估计的上下文中的分层分类。在多个大小的验证集上提供了与其他压缩技术的广泛比较实验,并与相关的分层分类方法进行了比较。所提出的方法缓解了没有足够的验证实例进行可靠的后验估计的问题,同时保持强大的分层分类性能。
2021-10-05 cs.CV cs.LG
The Implicit Bias of Logit Regularization
Raymond and Beverly Sackler School of Physics and Astronomy, Tel-Aviv University, Tel-Aviv 69978, Israel(雷蒙德与贝弗利·萨克勒物理与天文学学院,特拉维夫大学);École Polytechnique Fédérale de Lausanne (EPFL), Switzerland(洛桑联邦理工学院(EPFL),瑞士);Racah Institute of Physics, The Hebrew University of Jerusalem, Edmond J. Safra Campus, Jerusalem 9190401, Israel(拉卡姆物理研究所,耶路撒冷希伯来大学);Selim Benin School of Computer Science and Engineering, The Hebrew University of Jerusalem, Edmond J. Safra Campus, Jerusalem 9190401, Israel(塞利姆·本因计算机科学与工程学院,耶路撒冷希伯来大学)
本文研究了对数几率正则化在线性分类中的隐含偏见,证明其诱导对数几率集中并提升泛化能力。
2026-02-13 cs.LG stat.ML
Online Continual Learning via Logit Adjusted Softmax
Shanghai Jiao Tong University(上海交通大学);Institute of Image Processing and Pattern Recognition(图像处理与模式识别研究所)
本文针对在线持续学习中的类间不平衡导致遗忘的问题,提出Logit Adjusted Softmax方法,通过调整模型logits抵抗类别先验偏差,以极小的计算代价在多种场景下显著提升性能。
2024-09-29 cs.LG
Improving Adversarial Robustness via Probabilistically Compact Loss with Logit Constraints
Wayne State University(韦恩州立大学)
卷积神经网络(CNN)在计算机视觉的各种任务上都取得了最先进的性能。然而,最近的研究表明,这些模型很容易受到精心制作的对抗样本的影响,并且在预测它们时会出现显着的性能下降。已经提出了许多方法来提高对抗鲁棒性(例如,对抗训练和新的损失函数以学习对抗鲁棒的特征表示)。在这里,我们对CNN的预测行为提供了一个独特的见解,即它们往往会将对抗样本错误分类为最可能的错误类别。这启发我们提出了一种新的具有logit约束的概率紧凑(PC)损失,它可以用作交叉熵(CE)损失的替代品,以提高CNN的对抗鲁棒性。具体地说,PC损失扩大了真类和假类之间的概率差距,同时logit约束防止差距被一个小的扰动融化。我们在白盒和黑盒攻击下使用大规模数据集将我们的方法与最先进的方法进行了广泛比较,以证明其有效性。源代码可从以下URL获得:https://github.com/xinli0928/PC-LC。
2020-12-14 cs.CV cs.LG
Class-wise Contribution Estimation via Logit Maximization for Federated Learning
MBZUAI, Abu Dhabi, UAE(MBZUAI,阿布扎赫德,阿联酋);Michigan State University, Michigan, USA(密歇根州立大学,密歇根,美国)
本文提出了一种基于Logit最大化的无数据客户端贡献估计和聚合框架CELM,该框架无需共享原始数据、客户端元数据或辅助公开数据,通过客户端更新获取类别证据分数并构建跨客户端证据矩阵,以量化每类的竞争力和类别覆盖范围,从而计算出对少数类提供强判别性证据的客户端贡献权重,提高联邦学习的鲁棒性和性能。
2026-09-14 cs.AI cs.DC cs.LG
Adaptive Adversarial Logits Pairing
Beijing Jiaotong University(北京交通大学);University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
对抗性实例为理解图像分类系统提供了机会,也提出了挑战。基于对对抗性训练解决方案Adversarial Logits Pairing(ALP)的分析,我们在这项工作中观察到:(1)与脆弱的特征相比,对抗性鲁棒模型的推理倾向于依赖较少的高贡献特征。(2)ALP算法的训练目标对部分样本的拟合效果不佳,过分强调了logits配对损失,阻碍了分类损失的最小化。受这些观察的启发,我们通过修改ALP的训练过程和训练目标,设计了自适应对抗性对数配对(AALP)解决方案。具体来说,AALP由一个自适应特征优化模块和一个自适应样本加权模块组成,该自适应特征优化模块具有Guided Dropout以系统地追求较少的高贡献特征,该自适应样本加权模块通过设置样本特定的训练权重来平衡logits配对损失和分类损失。所提出的AALP解决方案在多个数据集上表现出优异的防御性能,并进行了大量的实验。
2021-04-16 cs.CV cs.LG
ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training
AWS AI Labs(亚马逊云科技人工智能实验室)
针对模型更新引入负翻转的问题,提出ELODI方法,通过将同质集成蒸馏为单模型并引入LDI目标仅惩罚高logit类别差异,在单模型推理成本下实现高准确率与低负翻转率。
2024-04-20 cs.CV cs.LG
A Closer Look at Knowledge Distillation with Features, Logits, and Gradients
Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
知识蒸馏(KD)是将学习到的知识从一个神经网络模型转移到另一个模型的实质性策略。已经为这一战略开发了大量的方法。虽然大多数方法设计了一种更有效的方式来促进知识转移,但很少注意比较知识源(如特征,logits和梯度)的效果。该工作提供了一个新的视角来激励一组知识蒸馏策略,通过近似经典的KL发散准则与不同的知识源,使得系统的比较可能在模型压缩和增量学习。我们的分析表明,logits通常是一个更有效的知识来源,并建议有足够的特征尺寸是至关重要的模型设计,有效的基于KD的迁移学习提供了一个实用的指导方针。
2022-03-18 cs.AI cs.CV cs.LG
AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
该研究从logit偏置视角分析基于CLIP的少样本学习方法,拆解关键组件并提出AMU-Tuning方法,通过辅助特征、多分支训练和不确定性融合学习有效logit偏置,在多个基准上取得同类最优性能。
2024-04-13 cs.CL cs.CV cs.LG
Logit-Based Losses Limit the Effectiveness of Feature Knowledge Distillation
University of Colorado Boulder(科罗拉多大学波得尔)
针对现有特征知识蒸馏采用logit损失限制效果的问题,本文提出仅用特征损失训练学生骨干的KD框架,结合知识质量度量筛选教师层,在多数据集、多架构师生配对上取得SOTA性能,最高提升top-1准确率15%。
2025-11-18 cs.AI cs.CV cs.LG
Logit Attenuating Weight Normalization
LinkedIn Corporation(领英公司);University of California, Berkeley(加利福尼亚大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
使用基于梯度的优化器训练的过度参数化深度网络是解决分类和排名问题的流行选择。在没有适当调整的$\ell_2$正则化或权重衰减的情况下,这样的网络往往会使输出分数(logits)和网络权重变大,导致训练损失变得太小,网络在参数空间中失去自适应性(移动能力)。虽然正则化通常是从过拟合的角度来理解的,但我们强调了它在使网络更具自适应性方面的作用,并使其能够更容易地从泛化能力差的权重中逃脱。为了提供这样的能力,我们提出了一种称为Logit衰减权重归一化(LAWN)的方法,该方法可以堆叠到任何基于梯度的优化器上。LAWN通过约束最终齐次子网络中各层的权重范数来控制logits。从经验上讲,我们证明了优化器的LAWN变体使深度网络更适合在大规模图像分类和推荐系统上找到具有出色泛化性能的最小值。虽然LAWN在改进Adam方面特别令人印象深刻,但当用于大批量时,它极大地改进了所有优化器
2021-08-12 cs.AI cs.CV cs.LG
Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
Nanyang Technological University(南洋理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Southeast University(东南大学)
本文提出双头知识蒸馏方法,通过分离分类头和骨干网络,解决传统知识蒸馏中logit级损失与概率级损失结合导致的分类头崩溃问题,提升模型性能。
2025-05-28 cs.CV cs.LG
FeNeC: Enhancing Continual Learning via Feature Clustering with Neighbor- or Logit-Based Classification
Faculty of Mathematics and Computer Science Jagiellonian University(雅盖隆大学数学与计算机科学学院);Secondary School No 2 in Nowy Targ(新塔尔格第二中学);Upper-Secondary Schools of Communications in Cracow(克拉科夫高等通信学校)
针对深度学习模型的持续学习需求,提出FeNeC及其变体FeNeC-Log,通过数据聚类捕捉类内变异性,利用马氏距离实现邻居或对数似然分类,在任务身份未知场景中性能优异且在多基准上达SOTA。
2025-04-14 cs.LG
Long-tail learning via logit adjustment
Google Research(谷歌研究院)
现实世界的分类问题通常表现出不平衡或长尾标签分布,其中许多标签仅与少数样本相关联。这对这些标签的泛化提出了挑战,也使朴素学习偏向于主导标签。在本文中,我们对标准softmax交叉熵训练进行了两个简单的修改,以应对这些挑战。我们的技术重新审视了基于标签频率的logit调整的经典思想,无论是事后应用于训练模型,还是在训练期间的损失中实施。这种调整鼓励在稀有标签与显性标签的logits之间存在较大的相对裕度。这些技术统一和概括了文献中最近的几个建议,同时拥有更坚实的统计基础和经验表现。
2021-07-09 cs.LG stat.ML
Improving Adversarial Robustness via Attention and Adversarial Logit Pairing
X-Lab, Baidu Inc.(百度公司X-Lab)
虽然深度神经网络在视觉分类方面已经达到了最先进的性能,但最近的研究表明,它们都容易受到对抗性样本的攻击。在本文中,我们开发了用于防御对抗性示例的改进技术。首先,我们提出了一种增强的防御技术,称为注意力和对抗性Logit配对(AT+ALP),它鼓励注意力地图和logit的例子对是相似的。当应用于干净示例及其对抗性对应示例时,AT+ALP在对抗性训练上提高了对抗性示例的准确性。我们表明,AT+ALP可以有效地提高关键区域对抗性示例的平均激活率,并证明它专注于区分特征以提高模型的鲁棒性。最后,我们使用广泛的数据集进行了广泛的实验,实验结果表明,我们的AT+ALP达到了最先进的防御性能。例如,在17个花卉类别数据库上,在强200次迭代的PGD灰盒和黑盒攻击下,现有技术的准确率分别为34%和39%,我们的方法达到了50%和51%。与以前的工作相比,我们的工作是在具有高度挑战性的PGD攻击:最大扰动$ε\in \{0.25,0.5\}$,即$L_\infty \in \{0.25,0.5\}$与10至200攻击迭代。据我们所知,这种强大的攻击以前没有在广泛的数据集上进行过探索。
2021-09-08 cs.CR cs.LG eess.IV
Machine Unlearning: Linear Filtration for Logit-based Classifiers
St. Pölten University of Applied Sciences(圣帕尔滕应用科技大学);Management Center Innsbruck(因斯布鲁克管理中心)
最近颁布的立法赋予个人决定以何种方式使用其个人数据的某些权利,特别是“被遗忘权”。这给机器学习带来了挑战:当一个人撤回使用模型训练过程中数据的许可时,该如何继续?从这个问题中出现了机器遗忘领域,它可以被广泛地描述为如何“从模型中删除训练数据”的研究。我们的工作补充了这一研究方向,为分类模型(例如深度神经网络)的类范围删除请求的特定设置。作为第一步,我们提出线性过滤作为一种直观的,计算效率高的消毒方法。我们的实验证明了在对抗性环境中比天真删除方案的好处。
2020-07-08 cs.LG stat.ML
How to Inject Backdoors with Better Consistency: Logit Anchoring on Clean Data
Peking University(北京大学);Sony AI(索尼AI);Ant Group(蚂蚁集团);Lehigh University(理海大学)
由于从头开始训练大规模后门模型需要大量的训练数据集,最近的几次攻击都考虑将后门注入到经过训练的干净模型中,而不改变干净数据上的模型行为。以前的工作发现,后门可以通过对抗性权重扰动(AWP)注入到经过训练的干净模型中。这里AWPs指的是在后门学习中很小的参数变化。在这项工作中,我们观察到一个有趣的现象,参数的变化总是AWP时,调整训练干净的模型注入后门。我们进一步提供理论分析来解释这一现象。我们将在干净数据上保持准确性的行为表述为后门模型的一致性,包括全局一致性和实例一致性。我们广泛地分析了AWPs对后门模型一致性的影响。为了实现更好的一致性,我们提出了一种新的锚定损失锚定或冻结模型行为的干净的数据,与理论保证。分析和实验结果都验证了锚定损失在提高一致性,特别是实例一致性方面的有效性。
2022-03-02 cs.CR cs.LG
Classification Logit Two-sample Testing by Neural Networks
Duke University(杜克大学);University of California at San Diego(加州大学圣地亚哥分校);Halicioğlu Data Science Institute(哈利西奥卢数据科学研究所)
最近生成对抗网络和变分学习的成功表明,训练分类器网络可以很好地解决经典的双样本问题。基于网络的测试具有算法可扩展到大样本的计算优势。本文提出了一种双样本统计量,这是由训练好的分类神经网络提供的logit函数的差异,评估两个数据集的测试集分裂。在理论上,我们证明了在网络充分参数化的情况下,区分两个次指数密度的检验能力。当这两个密度位于或接近嵌入在可能的高维空间中的低维流形时,所需的网络复杂性被降低到仅与固有维数成比例。近似和估计误差分析都是基于近流形积分近似的一个新结果。在实验中,所提出的方法表现出更好的性能比以前的基于网络的测试使用分类精度作为两个样本的统计量,并比较有利的合成数据集和手写数字数据集的某些内核最大均值差异测试。
2020-05-22 cs.LG math.ST stat.ML
ExCeL : Combined Extreme and Collective Logit Information for Enhancing Out-of-Distribution Detection
The University of Sydney(悉尼大学);Qatar Computing Research Institute(卡塔尔计算研究所)
本文提出 ExCeL 方法,通过结合最大 logit 极端信息与跨类别排名集体信息来增强 OOD 检测,在 CIFAR100 和 ImageNet-200 上均取得领先性能。
2023-11-23 cs.LG
Mitigating Measurement-Induced Training Instability in Hybrid Quantum Neural Networks for Protein Classification
University Medical Center Göttingen(哥廷根大学医学中心)
针对混合量子神经网络中测量引起的对数收缩导致训练不稳定的问题,提出可学习的量子测量温度(QMT)参数,在训练前重缩放测量输出以增强梯度,实验证明其能稳定训练并提升分类精度。
2026-06-23 cs.CV cs.LG
Graph neural networks for residential location choice: connection to classical logit models
Department of Urban and Regional Planning, University of Florida(佛罗里达大学城市与区域规划系);Department of Landscape Architecture and Urban Planning, Texas A&M University(德克萨斯大学农业与机械学院景观建筑与城市规划系);Department of Computer Science, University of California, Santa Barbara(加州大学圣芭芭拉分校计算机科学系)
本文提出基于图神经网络的住宅选址选择模型,通过捕捉空间替代关系,优于传统模型,展现深度学习与离散选择模型结合的潜力。
2025-07-28 cs.LG stat.ML
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland(马里兰大学)
对抗性训练是对抗对抗攻击的最强防御之一,但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中,我们探索了对抗性训练提高分类器鲁棒性的机制,并表明这些机制可以使用简单的正则化方法有效地模仿,包括标签平滑和logit挤压。值得注意的是,使用这些简单的正则化方法与高斯噪声注入相结合,我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
BeeTLe: An Imbalance-Aware Deep Sequence Model for Linear B-Cell Epitope Prediction and Classification with Logit-Adjusted Losses
Georgia Institute of Technology, Atlanta, USA(佐治亚理工学院)
BeeTLe通过深度学习模型和对数调整损失技术,解决线性B细胞表位预测与分类中的类别不平衡问题,提升预测性能。
2025-12-09 cs.LG q-bio.QM
Federated Skewed Label Learning with Logits Fusion
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Beijing Jiaotong University(北京交通大学)
针对联邦学习中标签分布偏斜导致性能下降的问题,提出FedBalance方法,通过融合本地模型与私有弱学习器的logits来校准优化偏差,实验显示平均准确率提升13%。
2023-11-14 cs.LG
FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning
School of Cyber Science and Engineering, Qufu Normal University(曲阜师范大学网络空间安全学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对联邦学习中数据异质与全局长尾分布导致的类别偏差问题,提出FedLF方法,通过自适应逻辑调整、连续类中心优化和特征去相关三项改进,在CIFAR-10-LT和CIFAR-100-LT上有效缓解性能下降。
2024-09-18 cs.LG
Detecting Brittle Decisions for Free: Leveraging Margin Consistency in Deep Robust Classifiers
IID-Université Laval(拉瓦尔大学IID研究所);Mila(米拉实验室);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);I3S(信息、信号与智能系统实验室);Maasai(Maasai研究所)
针对逐样本对抗脆弱性检测计算成本高的问题,提出边际一致性概念,证明其是用logit边际检测非鲁棒样本的充要条件,还通过伪边际解决一致性不足问题,实现高效脆弱决策检测。
2024-11-01 cs.AI cs.CV cs.LG
Exploiting Features and Logits in Heterogeneous Federated Learning
The University of Hong Kong(香港大学)
本文提出Felo及其扩展Velo两种无数据联邦学习方法,通过在服务器端管理中层特征和logits并利用条件VAE生成合成特征,解决异构客户端模型下的联邦学习问题,实验验证了其优于现有方法的性能。
2025-04-08 cs.LG
Few-Shot Open-Set Audio Classification via Transductive Prototype Refinement and Class Logit Enhancement
针对小样本开放集音频分类的原型易受未知类别污染问题,提出两阶段直推式方法,结合内类度加权与解耦评分,在三个音频数据集上取得最优结果。
2026-08-25 cs.LG cs.SD
Leveraging Label Non-Uniformity for Node Classification in Graph Neural Networks
Nanyang Technological University(南洋理工大学);Jiangnan University(江南大学)
该研究针对图神经网络节点分类任务,提出标签非均匀性概念,通过理论分析其分布规律给出提升性能的策略,可轻松集成到基础模型中并提升多种基准模型的分类效果。
2023-04-29 cs.LG eess.SP
Multiplicative Logit Adjustment Approximates Neural-Collapse-Aware Decision Boundary Adjustment
The University of Tokyo(东京大学)
本文从神经坍缩视角提出最优决策边界调整理论,并证明乘性 logit 调整(MLA)可近似该最优方法,同时通过长尾数据集实验验证其有效性并给出超参数调节指导。
2025-03-10 cs.LG
From Logits to Hierarchies: Hierarchical Clustering made Simple
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);ETH AI Center, Zurich(苏黎世联邦理工学院人工智能中心)
本文提出了一种基于预训练非层次聚类模型的轻量级方法,能够有效进行层次聚类,且无需微调,适用于任何输出 logit 的预训练聚类模型。
2025-12-17 cs.AI cs.CV cs.LG
Swapped Logit Distillation via Bi-level Teacher Alignment
Cyberlink(Cyberlink公司)
本文提出交换对数几率蒸馏(SLD),通过交换教师和学生输出并引入损失调度实现双层教师对齐,在图像分类任务上超越现有最先进方法。
2025-04-27 cs.LG eess.IV eess.SP
Defending Adversarial Attacks by Correcting logits
Shanghai Jiao Tong University(上海交通大学);Noah’s Ark Lab, Huawei Inc.(华为诺亚方舟实验室)
生成和消除对抗性样本一直是深度学习领域一个有趣的话题。虽然之前的研究证实,对抗攻击通常很脆弱,并且可以通过图像级处理进行防御,但尚不清楚此类攻击如何干扰高级特征。我们从一个新的角度来研究这个问题,这个角度纯粹依赖于logits,softmax之前的类得分,来检测和防御对抗攻击。我们的防御者是一个双层网络,在一组干净和扰动的logits上训练,目标是恢复原始预测。在广泛的对抗攻击,我们的简单的方法显示出有希望的结果,在防御中具有相对较高的准确性,防御者可以转移到攻击者具有类似的属性。更重要的是,我们的防御者可以在图像数据不可用的情况下工作,并且具有很高的可解释性,特别是在语义层面。
2019-06-26 cs.CR cs.CV cs.LG
Logit-Origin Centering for Singleton Test-Time Adaptation
Indian Institute of Technology Jodhpur(印度焦特布尔印度理工学院)
针对单样本表格全测试时自适应的退化问题,提出PLOC方法,该方法保持源模型冻结,仅存储过往logit均值,在五个表格基准上显著优于现有基线。
2026-08-04 cs.CV cs.LG
Understanding Adversarial Examples from the Mutual Influence of Images and Perturbations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
各种各样的作品都探讨了对抗性例子存在的原因,但在解释上没有达成共识。我们建议将DNN logits视为特征表示的向量,并利用它们来分析基于Pearson相关系数(PCC)的两个独立输入的相互影响。我们利用这种向量表示来理解对抗性示例,通过解开干净图像和对抗性扰动,并分析它们之间的相互影响。我们的研究结果提出了一个新的视角对图像和普遍扰动之间的关系:普遍扰动包含主导功能,图像的行为就像噪音。这种特征视角导致了一种使用随机源图像生成有针对性的通用对抗性扰动的新方法。我们是第一个在不利用原始训练数据的情况下实现有针对性的通用攻击的具有挑战性的任务。我们使用代理数据集的方法实现了与利用原始训练数据集的最先进基线相当的性能。
2020-07-13 cs.CV cs.LG
OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification
Meta AI
提出OmniOPD框架,通过基于蒙特卡洛展开的块级语义相似度替代token级logit匹配,结合峰值熵调度器和贝叶斯先验,解决在线策略蒸馏中logit不可获取和信号脆弱问题,在数学任务上超越标准OPD达28.64%。
2026-06-15 cs.CL cs.LG
Neural Prior Estimation: Learning Class Priors from Latent Representations
University of Isfahan(伊斯法罕大学);Department of Electrical Engineering Faculty of Engineering(电气工程系)
本文提出神经先验估计器NPE,通过从潜在表示中学习类先验以缓解深度学习中的类别不平衡问题。
2026-08-21 cs.CV cs.LG
Logit-Based Ensemble Distribution Distillation for Robust Autoregressive Sequence Uncertainties
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
本文研究了大规模自然语言序列到序列任务中的集成分布蒸馏(EDD),提出通过对集成logits而非softmax概率进行建模,显著提升了学生模型的不确定性估计性能,并在分布外检测上超越Deep Ensembles约10% AUROC。
2023-05-17 cs.CL cs.LG
Short Data, Long Context: Distilling Positional Knowledge in Transformers
Meta Reality Labs(Meta现实实验室)
本文通过基于logit的知识蒸馏,在不使用长上下文预训练的情况下,实现了长上下文检索能力的转移,揭示了位置信息在模型中的传播机制及参数更新模式。
2026-04-07 cs.CL cs.LG
Avoiding spurious correlations via logit correction
New York University(纽约大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
实证研究表明,用经验风险最小化(ERM)训练的机器学习模型通常依赖于可能与类别标签虚假相关的属性。这样的模型通常导致在对缺乏这种相关性的数据进行推断期间性能较差。在这项工作中,我们明确考虑的情况下,潜在的虚假相关性存在于大多数的训练数据。与现有的方法相比,这些方法使用ERM模型输出来检测没有虚假相关性的样本,并对这些样本进行逐层加权或上采样,我们提出了logit校正(LC)损失,这是对softmax交叉熵损失的一种简单而有效的改进,以校正样本logit。我们证明了最小化LC损失相当于最大化组平衡精度,因此所提出的LC可以减轻虚假相关的负面影响。我们广泛的实验结果进一步表明,所提出的LC损失优于国家的最先进的解决方案,在多个流行的基准的大幅度,平均5.5%的绝对改善,没有访问虚假的属性标签。LC也与使用属性标签的Oracle方法竞争。代码可在https://github.com/shengliu66/LC上获得。
2023-02-28 cs.CL cs.CV cs.LG