Entropy Regularization: A Free Correction to Cross-Entropy for Verified Demonstrations
University of Michigan（密歇根大学）
本文发现交叉熵最小化在验证任务中可能与验证器风险不一致，提出熵正则化交叉熵（ER-CE）作为修正，通过在数学推理和代码生成基准上实验证明其能提高验证器准确性。
2026-09-28 cs.LG stat.ML
Taming the Cross Entropy Loss
Kalrsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们提出了驯服交叉熵（TCE）损失函数，这是深度学习中用于分类任务的标准交叉熵（CE）损失的鲁棒导数。然而，与其他鲁棒损失不同，TCE损失被设计为表现出与无噪声场景中的CE损失相同的训练属性。因此，与CE损失相比，TCE损失不需要对训练方案进行修改，因此可以应用于当前使用CE损失的所有应用中。我们使用ResNet架构在四个图像数据集上评估TCE损失，这些图像数据集被我们人为地污染了各种级别的标签噪声。在每个测试场景中，TCE损失都优于CE损失。
2018-10-11 cs.LG stat.ML
Entropy Partial Transport with Tree Metrics: Theory and Practice
RIKEN AIP（理化学研究所先进智能项目中心）；The University of Akron（阿克伦大学）
最优运输理论为比较概率测度提供了强有力的工具。然而，OT仅限于具有相同质量的非负测度，并且在计算和统计方面存在严重缺陷。这导致了最近的文献中OT的正则化变体的几个建议。在这项工作中，我们考虑了一个\textit{entropy partial transport}（EPT）问题的非负措施的树具有不同的质量。的EPT被证明是相当于一个标准的完整的OT问题上的一个节点的扩展树。我们推导出它的对偶公式，然后利用这一点提出了一种新的正则化EPT承认快速计算和负定性。据我们所知，提出的正则化EPT是第一种方法，产生一个\textit{closed-form}解决方案之间的可用变种的不平衡OT。对于实际应用中没有先验知识的树结构的措施，我们提出了树切片的变量的正则化EPT，计算平均这些措施之间的正则化EPT使用随机树度量，自适应地建立从支持数据点。利用我们的正则化EPT的负定性，我们引入了一个正定内核，并评估它对基准任务，如文档分类与词嵌入和拓扑数据分析的其他基线。此外，我们的经验表明，我们的正则化也提供了有效的近似。
2021-01-24 cs.LG stat.ML
The Differentiable Cross-Entropy Method
Facebook AI Research（Facebook 人工智能研究院）；New York University（纽约大学）
我们研究的交叉熵方法（CEM）的非凸优化的连续和参数化的目标函数，并引入一个可微的变体，使我们能够区分CEM的输出相对于目标函数的参数。在机器学习设置中，这将CEM带入端到端学习管道内，否则这是不可能的。我们展示了在基于合成能量的结构化预测任务和非凸连续控制中的应用。在控制设置中，我们展示了如何将最优动作序列嵌入到低维空间中。DCEM使我们能够通过策略优化来微调基于CEM的控制器。
2020-08-14 cs.LG cs.RO math.OC
A Layer Separation Optimization Framework for Cross-Entropy Training in Deep Learning
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）；Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）
本文提出分层分离策略以缓解深度网络训练中的强非凸性，通过引入辅助变量将原始优化问题分解为更易处理的子问题，并通过理论分析证明新损失函数为原交叉熵损失的上界。
2026-04-25 cs.LG math.OC
Set Cross Entropy: Likelihood-based Permutation Invariant Loss Function for Probability Distributions
IBM Research（IBM研究院）
我们提出了一个置换不变的损失函数设计的神经网络重建一组元素，而不考虑其向量表示的顺序。与流行的方法编码和解码的一组，我们的工作不依赖于精心设计的网络拓扑结构，也没有任何额外的顺序算法。所提出的方法，集交叉熵，有一个自然的信息理论的解释，并与集定义的度量。我们评估所提出的方法在两个对象重建任务和规则学习任务。
2018-12-05 cs.LG stat.ML
Quantum Cross Entropy and Maximum Likelihood Principle
Stanford University（斯坦福大学）；University of Maryland（马里兰大学）
量子机器学习是机器学习和量子计算交叉的新兴领域。经典交叉熵在机器学习中起着核心作用。我们定义了它的量子推广，量子交叉熵，证明了它的下界，并研究了它与量子保真度的关系。在经典情况下，最小化交叉熵等价于最大化似然。在量子情况下，当量子交叉熵由不受量子测量干扰的量子数据构造时，这种关系成立。经典交叉熵等于负对数似然。当我们根据测量结果通过经验密度矩阵得到量子交叉熵时，量子交叉熵是负对数似然下界。这两种不同的情况说明了在进行量子测量时的信息损失。我们的结论是，为了实现全量子机器学习的目标，利用延迟测量原理至关重要。
2022-10-24 cs.IT cs.LG hep-th
Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks
University of California San Diego（加利福尼亚大学圣地亚哥分校）
用于分类任务的现代神经架构是使用交叉熵损失来训练的，交叉熵损失被广泛认为在经验上优于平方损失。在这项工作中，我们提供的证据表明，这种信念可能是没有根据的。我们探索了几种主要的神经架构和一系列用于NLP，自动语音识别（ASR）和计算机视觉任务的标准基准数据集，以表明这些架构具有与文献中报道的相同的超参数设置，即使在均衡计算资源之后，在平方损失的情况下训练时也会表现出色或更好。事实上，我们观察到平方损失在绝大多数NLP和ASR实验中产生更好的结果。交叉熵似乎在计算机视觉任务上有一点优势。我们认为，几乎没有令人信服的经验或理论证据表明一个明确的优势，交叉熵损失。事实上，在我们的实验中，几乎所有非视觉任务的表现都可以通过切换到平方损失来提高，有时甚至是显着提高。此外，平方损失的训练似乎对初始化中的随机性不太敏感。我们认为，使用平方损失进行分类的训练需要成为现代深度学习与交叉熵平等的最佳实践的一部分。
2021-10-23 cs.LG stat.ML
Max-Entropy Reinforcement Learning with Flow Matching and A Case Study on LQR
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Harvard University（哈佛大学）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算机学院）
本文提出了一种基于流模型的SAC变体，通过重要性采样流匹配技术提升策略更新效率，并在LQR问题中验证了其学习最优动作分布的能力。
2025-12-29 cs.LG
Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Tokyo Institute of Technology（东京工业大学）；Gunma University（群马大学）；RIKEN AIP（理化学研究所先进智能项目中心）
在知识图谱嵌入中，softmax交叉熵与负采样损失函数之间的理论关系尚未得到研究。这使得很难公平地比较两个不同的损失函数的结果。我们试图通过使用Bregman散度来解决这个问题，以提供对softmax交叉熵和负采样损失函数的统一解释。在这种解释下，我们可以得出理论上的发现，以进行公平的比较。在FB 15 k-237和WN 18 RR数据集上的实验结果表明，理论研究结果在实际环境中是有效的。
2022-03-16 cs.CL cs.LG stat.ML
Minimax Generalized Cross-Entropy
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque, Basque Foundation for Science（伊克尔巴斯基，巴斯克科学基金会）；Johns Hopkins University（约翰霍普金斯大学）
本文提出最小最大广义交叉熵(MGCE)，通过凸优化改进分类边界的优化问题，提升模型在复杂数据集和标签噪声下的准确性和鲁棒性。
2026-04-27 cs.LG stat.ML
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
Introduction to Cross-Entropy Clustering The R Package CEC
Jagiellonian University（雅盖隆大学）；AGH University of Science and Technology（AGH科技大学）
R Package CEC基于最近使用信息论开发的交叉熵聚类（CEC）方法执行聚类。CEC的主要优点是它结合了$k$ -means的速度和简单性，以及使用各种高斯混合模型和减少不必要的聚类的能力。在这项工作中，我们提出了一个实用的教程CEC的基础上R包CEC。提供的函数涵盖了整个群集过程。
2015-08-19 cs.LG stat.ME stat.ML
Aligned Cross Entropy for Non-Autoregressive Machine Translation
Facebook AI Research（Facebook人工智能研究院）
非自回归机器翻译模型通过允许对整个目标序列的并行预测来显著地加速解码。然而，由于模型中缺乏自回归因子，因此建模词序更具挑战性。这个困难在训练过程中与交叉熵损失相结合，交叉熵损失可以严重惩罚词序中的小变化。在本文中，我们提出对齐交叉熵（AXE）作为一个替代的损失函数的非自回归模型的训练。AXE使用可微动态程序来基于目标令牌和模型预测之间的最佳可能单调对齐来分配损失。基于AXE的条件掩蔽语言模型（CMLM）训练大大提高了主要WMT基准测试的性能，同时为非自回归模型设定了新的最新技术水平。
2020-04-03 cs.CL cs.LG stat.ML
Change Point Detection by Cross-Entropy Maximization
CERC, Polytechnique Montréal（蒙特利尔理工学院 CERC）
许多离线无监督变化点检测算法依赖于最小化分段成本的惩罚总和。我们扩展了这个框架，建议最大限度地减少段之间的差异。特别是，我们建议选择的变化点，以最大限度地提高连续段之间的交叉熵，引入新的变化点的惩罚平衡。我们提出了一个动态规划算法来解决这个问题，并分析了它的复杂性。在两个具有挑战性的数据集上的实验表明，与三种最先进的方法相比，我们的方法具有优势。
2020-09-02 cs.LG eess.SP stat.ML
A unifying mutual information view of metric learning: cross-entropy vs. pairwise losses
ÉTS Montreal（蒙特利尔高等技术学院）；CentraleSupelec-CNRS-Université Paris-Saclay（法国中央理工-高等电力学院-法国国家科学研究中心-巴黎萨克雷大学）
最近，深度度量学习（DML）的大量研究工作集中在设计复杂的成对距离损失上，这需要复杂的方案来简化优化，例如样本挖掘或对加权。在DML中，分类的标准交叉熵损失在很大程度上被忽视了。从表面上看，交叉熵似乎与度量学习无关，因为它没有明确涉及成对距离。然而，我们提供了一个理论分析，将交叉熵与几个众所周知的和最近的成对损失联系起来。我们的连接来自两个不同的角度：一个基于明确的优化洞察力;另一个基于标签和学习特征之间的互信息的判别和生成视图。首先，我们明确地证明了交叉熵是一个新的成对损失的上界，它具有类似于各种成对损失的结构：它最小化类内距离，同时最大化类间距离。因此，最小化交叉熵可以被视为用于最小化这种成对损失的近似边界优化（或Majorize-Minimize）算法。其次，我们表明，更一般地说，最小化的交叉熵实际上相当于最大化的互信息，我们连接到几个众所周知的成对损失。此外，我们表明，各种标准的成对损失可以明确地通过绑定关系彼此相关。我们的研究结果表明，交叉熵代表了最大化互信息的代理-成对损失-而不需要复杂的样本挖掘算法。我们的实验超过四个标准的DML基准强烈支持我们的研究结果。我们获得了最先进的结果，优于最近和复杂的DML方法。
2021-11-26 cs.CV cs.LG stat.ML
The Real-World-Weight Cross-Entropy Loss Function: Modeling the Costs of Mislabeling
Thinky.AI Research（Thinky.AI研究院）
在本文中，我们提出了一个新的度量来衡量分类器的拟合优度，真实世界成本函数。该指标考虑了有关真实世界问题的信息，例如财务影响，而其他指标（如准确性或F1）则没有。这个指标也更直接地为用户解释。为了优化这个指标，我们在二进制和单标签分类变体中引入了真实世界权重交叉熵损失函数。这两种变体都允许直接输入真实世界的成本作为权重。对于单标签、多类别分类，我们的损失函数还允许在机器学习模型的训练期间直接惩罚按标签加权的概率误报。我们比较了我们的损失函数的设计，二进制交叉熵和分类交叉熵函数，以及它们的加权变体，以讨论在处理各种已知的缺点机器学习，从不平衡类，医疗诊断错误，社会偏见的强化的改进潜力。我们使用MNIST数据集创建模拟这些问题的场景，并展示我们新的损失函数的经验结果。最后，我们基于极大似然估计给出了该函数的证明，并讨论了未来的研究方向。
2020-01-03 cs.AI cs.LG stat.ML
Sample-efficient Cross-Entropy Method for Real-time Planning
Max Planck ETH Center for Learning Systems（马克斯·普朗克ETH学习系统中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
基于基于模型的强化学习的轨迹优化器，如交叉熵方法（CEM），即使在高维控制任务和稀疏奖励环境中也可以产生令人信服的结果。然而，它们的采样效率低，使它们不能用于实时的【形】形规划和控制。我们提出了一个改进版本的CEM算法的快速规划，与新的补充，包括时间相关的行动和内存，需要2.7- 22倍的样本，并产生1.2- 10倍的性能提高高维控制问题。
2020-08-14 cs.LG cs.RO stat.ML
GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal Black Box Constraint Satisfaction
University of California Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一种新的方法，黑箱优化和约束满足。试图解决这个问题的现有算法无法考虑多个模式，并且不能适应环境动态的变化。为了解决这些问题，我们开发了一种改进的交叉熵方法（CEM），使用掩蔽自回归神经网络建模均匀分布的解决方案空间。我们使用来自强化学习的最大熵策略梯度方法对模型进行训练。我们的算法是能够表达复杂的解决方案空间，从而使它能够跟踪各种不同的解决方案区域。我们经验比较我们的算法与变化的CEM，包括一个高斯先验与固定方差，并表现出更好的性能方面：不同的解决方案，更好的模式发现在多模态问题，更好的样本效率在某些情况下。
2020-02-17 cs.AI cs.LG stat.ML
Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator
Australian National University（澳大利亚国立大学）；Pohang University of Science and Technology（浦项科技大学）
互信息被广泛应用于学习观测值的潜在表示，而其在分类神经网络中的含义仍有待更好地解释。我们表明，优化分类神经网络的参数与softmax交叉熵是等价的最大化输入和标签之间的互信息的平衡数据假设。通过在人工数据集和真实数据集上的实验，我们表明softmax交叉熵可以近似地估计互信息。当应用于图像分类时，这种关系有助于近似输入图像和标签之间的逐点互信息，而无需修改网络结构。为此，我们提出了infoCAM，信息类激活图，突出显示区域的输入图像是最相关的一个给定的标签的基础上的差异信息。激活图有助于定位输入图像中的目标对象。通过两个真实世界数据集的半监督对象定位任务的实验，我们评估了我们的信息理论方法的有效性。
2020-09-17 cs.CV cs.LG stat.ML
Regularizing cross entropy loss via minimum entropy and K-L divergence
提出两种基于最小熵和K-L散度正则化的交叉熵损失函数，在EMNIST-Letters上使VGG模型准确率提升至95.933%，跃居排行榜第二。
2025-01-23 cs.CV cs.LG
Symmetric Cross Entropy for Robust Learning with Noisy Labels
JD AI（京东人工智能）；The University of Melbourne（墨尔本大学）；Cainiao AI（菜鸟人工智能）；Shanghai Jiao Tong University（上海交通大学）
在存在噪声标签的情况下训练准确的深度神经网络（DNN）是一项重要且具有挑战性的任务。虽然已经提出了许多方法来学习嘈杂的标签，许多开放的问题仍然存在。在本文中，我们证明了使用交叉熵（CE）的DNN学习在某些类（“简单”类）上表现出对噪声标签的过度拟合，但更令人惊讶的是，它在其他一些类（“困难”类）上也存在显著的学习不足。直觉上，CE需要一个额外的术语来促进硬类的学习，更重要的是，这个术语应该是噪声容忍的，以避免过度拟合到噪声标签。受对称KL发散的启发，我们提出了\textbf{Symmetric cross entropy Learning}（SL）的方法，用噪声鲁棒的反向交叉熵（RCE）对称地提升CE。我们提出的SL方法同时解决了在存在噪声标签的情况下CE的学习不足和过拟合问题。我们提供了SL的理论分析，并在一系列基准和真实世界的数据集上实证显示，SL优于最先进的方法。我们还表明，SL可以很容易地纳入现有的方法，以进一步提高其性能。
2019-08-16 cs.CV cs.LG stat.ML
Model Order Selection in DoA Scenarios via Cross-Entropy based Machine Learning Techniques
Technical University Munich（慕尼黑工业大学）
在本文中，我们提出了一种机器学习方法来估计入射波前的数量在一个波达方向的情况。与以前的工作相比，训练了一个具有交叉熵目标的多层神经网络。此外，我们调查的在线训练过程，允许自适应的神经网络的天线阵列的缺陷，而不明确校准阵列流形。我们通过模拟表明，该方法优于经典的模型阶选择计划的基础上的信息标准的准确性，特别是对于少量的快照和低信噪比。此外，在线训练过程使神经网络能够适应只有几个在线训练样本，如果通过离线训练人工数据初始化。
2019-10-21 cs.LG eess.SP stat.ML
On Dissipativity of Cross-Entropy Loss in Training ResNets
本文从最优控制视角提出ResNets和神经ODE训练的耗散公式，通过将交叉熵变体作为正则化项，证明训练后的ResNet表现出转向点现象，并利用该现象可找到适合分类任务的浅层网络。
2024-05-29 cs.LG cs.SY eess.SY
Neural Collapse with Cross-Entropy Loss
Duke University（杜克大学）；University of Washington（华盛顿大学）
我们考虑了$\mathbb{R}^d$中单位超球面上$n$特征向量交叉熵损失的变分问题。我们证明了当$d \geq n - 1$时，全局极小值由单纯形等角紧框架给出，从而证明了神经元的崩溃行为。我们还证明了当$n \rightarrow \infty$具有固定的$d$时，极小点将均匀分布在超球面上，并与Benedetto & Fickus的框架势有关.
2021-01-18 cs.LG math.CA
What Scales in Cross-Entropy Scaling Law?
Tsinghua University（清华大学）
本文通过分解交叉熵为误差熵、自我对齐和置信度三个部分，揭示了误差熵是唯一遵循幂律缩放的因素，从而解释了交叉熵缩放定律在小规模有效但在大尺度失效的原因。
2026-02-28 cs.AI cs.CL cs.LG
A Dual Process Model for Optimizing Cross Entropy in Neural Networks
National Library of Medicine, National Institutes of Health（美国国立医学图书馆，美国国立卫生研究院）
最小交叉熵是一种广泛使用的人工神经网络训练方法。许多基于反向传播的训练过程直接使用交叉熵作为其损失函数。相反，这篇理论文章研究了一个具有两个过程的对偶过程模型，其中一个过程最小化Kullback-Leibler散度，而其对偶过程最小化Shannon熵。假设学习由两个相互补充的双重过程组成，该模型定义了两个过程的平衡状态，其中损失函数假定其最小值。所提出的模型的一个优点是，它允许导出最佳的学习率和动量权重，以更新反向传播的网络权重。此外，该模型引入了黄金分割比和复数作为机器学习中的重要新概念。
2021-04-27 cs.LG cs.NE
Likelihood-free inference with an improved cross-entropy estimator
Imperial College London（伦敦帝国学院）；New York University（纽约大学）；University of Liège（列日大学）；Federico Santa María Technical University（费德里科·圣玛丽亚理工大学）
我们扩展最近的工作（Bavelmer，等。例如，2018年），使用神经网络作为替代模型的似然自由推理。在以前的工作中，我们利用的事实，即联合似然比和联合得分，条件的观察和潜在的变量，往往可以从一个隐式生成模型或模拟器中提取，以增加这些代理模型的训练数据。我们展示了如何使用这种增强的训练数据来提供一种新的交叉熵估计器，与以前利用这种增强的训练数据的损失函数相比，它提供了更高的样本效率。
2018-08-02 cs.LG hep-ph physics.data-an
Persistent Cross Entropy
Artificial Intelligence Graduate School, Pohang University of Science and Technology（浦项科技大学人工智能研究生院）；Department of Mathematics, Pohang University of Science and Technology（浦项科技大学数学系）
该研究针对持久图的事件空间差异问题，定义诱导概率以扩展交叉熵为持久交叉熵（PCE），证明其性质与稳定性，经数值研究验证PCE可区分特定图、分离因果方向及用作知识蒸馏的定向拓扑损失。
2026-08-26 cs.IT cs.LG math.IT
Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一个新的训练目标命名为顺序不可知交叉熵（OaXE）的完全非自回归翻译（NAT）模型。OaXE改进了标准的交叉熵损失，以改善单词重排的效果，这是NAT中关键多模态问题的常见来源。具体地，OaXE消除了单词顺序错误的惩罚，并基于模型预测和目标令牌之间的最佳对齐来计算交叉熵损失。由于日志丢失对无效引用非常敏感，因此我们利用交叉熵初始化和丢失截断来确保模型集中在搜索空间的很大一部分。在主要的WMT基准测试上进行的大量实验表明，OaXE大大提高了翻译性能，为完全NAT模型创造了新的技术水平。进一步的分析表明，OaXE通过减少令牌重复和增加预测置信度来解决多模态问题。我们的代码、数据和训练模型可以在https://github.com/tencent-ailab/ICML21_OAXE上找到。
2021-06-09 cs.AI cs.CL cs.LG
Quantum Data Compression and Quantum Cross Entropy
Stanford Institute for Theoretical Physics, Stanford University（斯坦福大学理论物理研究所）；GreenQubit AI
本文提出量子交叉熵作为量子数据压缩的压缩率，并设计通用压缩协议，证明其最小值等于冯·诺依曼熵，可用于量子机器学习损失函数。
2023-11-11 cond-mat.stat-mech cs.IT cs.LG
Quantitative Mitigation of Timing Side Channels
University of Colorado Boulder（科罗拉多大学博尔德分校）
定时侧信道对软件应用程序的安全性和隐私性构成重大威胁。我们提出了一种方法来减轻这个问题，通过降低侧通道的强度，如基于熵的目标，如最小猜测熵测量。我们的目标是最大限度地减少信息泄漏，同时保证用户指定的最大可接受的性能开销。我们把这个问题的决定版本香农缓解，并考虑两个变量，确定性和随机。首先，我们证明了确定性变量是NP难的。然而，我们给出了一个多项式算法，找到一个最佳的解决方案，从一个限制集。其次，对于随机变量，我们开发了一种算法，该算法使用特定于所使用的基于熵的目标的优化技术。例如，对于最小猜测熵，我们使用混合整数线性规划。我们将该算法应用到一个威胁模型中，攻击者可以进行功能性观察，也就是说，她观察程序的运行时间与不同的公共输入值相结合的相同的秘密值。现有的缓解方法不提供这种威胁模型的机密性或性能保证。我们评估我们的工具SCHMIT上的一些微基准和现实世界中的应用程序与不同的基于熵的目标。与现有的缓解方法相比，我们表明，在功能观察威胁模型，SCHMIT是可扩展的，能够最大限度地提高保密性的性能开销约束下。
2019-06-21 cs.CR cs.LG
Tilted Cross Entropy (TCE): Promoting Fairness in Semantic Segmentation
Shell Global Solutions International B.V.（壳牌全球解决方案国际公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）
传统的经验风险最小化（ERM）的语义分割可以不成比例的优势或劣势，有利于（不公平的，但）改善整体性能的某些目标类。受最近引入的倾斜ERM（TERM）的启发，我们提出了倾斜交叉熵（TCE）损失，并将其适应于语义分割设置，以最大限度地减少目标类之间的性能差异，促进公平性。通过定量和定性的性能分析，我们证明了所提出的用于语义分割的随机TCE可以有效地改善使用多类交叉熵（MCCE）训练的Cityscapes和ADE 20 k数据集的低性能类，并且还可以提高整体公平性。
2021-03-25 cs.AI cs.CV cs.LG
Multi-Frame Cross-Entropy Training for Convolutional Neural Networks in Speech Recognition
IBM Research AI, IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心IBM研究人工智能部门）；IBM Watson（IBM沃森）
我们为卷积神经网络声学模型引入了多帧交叉熵训练（MFCE）。认识到与RNN类似，CNN本质上是采用可变长度输入的序列模型，我们建议将足够长的话语的一部分作为CNN的输入，以便同时预测多个标签，因此从多个相邻帧中获得交叉熵损失信号。这大大增加了标签信息的数量，而边际计算成本却很小。在2000小时的Switchboard基准上进行培训后，我们在hub5和rt02上显示出较大的WER改进。
2019-07-29 cs.CL cs.LG cs.SD
Amended Cross Entropy Cost: Framework For Explicit Diversity Encouragement
Ben Gurion University（本古里安大学）
交叉熵（CE）在机器学习中，特别是在神经网络中具有重要作用。它通常用于神经网络中，作为标签的已知分布与Softmax/Sigmoid输出之间的成本。在本文中，我们提出了一个新的成本函数称为修正的交叉熵（ACE）。它的新颖之处在于它提供了训练多个分类器的能力，同时显式地控制它们之间的多样性。我们通过数学分析和“逆向工程“我们希望梯度的行为方式推导出新的成本，并生成一个量身定制的，优雅和直观的成本函数，以实现预期的结果。这个过程类似于选择CE成本作为Softmax/Sigmoid分类器的成本函数以获得线性导数的方式。通过选择最佳的多样性因子，我们产生了一个合奏，产生更好的结果比香草之一。我们证明了这一结果的两个潜在用途，并提出实证结果。我们的方法适用于分类问题，类似于回归问题的负相关学习（NCL）。
2020-07-16 cs.IT cs.LG math.IT
Instance Cross Entropy for Deep Metric Learning
Anyvision Research Team（Anyvision研究团队）；Queen’s University Belfast（贝尔法斯特女王大学）
损失函数在深度度量学习中起着至关重要的作用，因此已经提出了各种各样的损失函数。一些监督学习过程的成对或三重相似性约束，而其他人利用结构化的相似性信息之间的多个数据点。在这项工作中，我们从一个新的角度来研究深度度量学习。我们提出了实例交叉熵（ICE），它测量估计的实例级匹配分布和其地面真实分布之间的差异。ICE有三个主要吸引人的特性。首先，与分类交叉熵（CCE）类似，ICE具有明确的概率解释，并利用结构化的语义相似性信息进行学习监督。其次，ICE可扩展到无限的训练数据，因为它在小批量上迭代学习，并且与训练集大小无关。第三，在相对权重分析的基础上，引入了无缝样本权重调整。它通过调整样本的梯度来控制对训练样本的区分度，而不是通过样本挖掘来截断样本。除了它的简单性和直观性之外，在三个真实世界基准上的广泛实验证明了ICE的优越性。
2019-11-22 cs.CV cs.IR cs.LG
Enhancing Cross Entropy with a Linearly Adaptive Loss Function for Optimized Classification Performance
Extreme Materials Research Center, Korea Institute of Science and Technology（极端材料研究中心，韩国科学技术院）；Climate and Environmental Research Institute, Korea Institute of Science and Technology（气候与环境研究所，韩国科学技术院）；Division of AI-Robotics, KIST Campus, University of Science and Technology（人工智能机器人系，韩国科学技术院校园）
提出线性自适应交叉熵损失函数，通过增加依赖真实类别预测概率的额外项优化分类任务，在 CIFAR-100 上基于 ResNet 评估，准确率优于标准交叉熵且效率相当。
2025-07-10 cs.AI cs.LG cs.NE
CE-U: Cross Entropy Unlearning
Tacnode US Inc（美国塔克诺德公司）
本文提出 CE-U 交叉熵遗忘损失函数，统一学习与遗忘框架，克服梯度上升的梯度消失与爆炸问题，并在 TOFU 上以 LLaMA2-7B 达到最先进性能。
2025-03-15 cs.LG
Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of Modulated Cross-Entropy in Natural Language Inference
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
没有完美的数据集。在一些数据集中，深度神经网络发现了底层的学习算法，这些算法允许它们在学习过程中走捷径，从而导致泛化能力差。而不是使用标准的交叉熵，我们探讨是否调制版本的交叉熵称为焦点损失可以约束模型，以便不使用统计学和提高泛化性能。我们在自然语言推理中的实验表明，焦点丢失对学习过程具有正则化影响，提高了分布外数据的准确性，但略微降低了分布内数据的性能。尽管改进的分布外的性能，我们证明了缺点的焦点损失和它的劣势相比，如无偏的焦点损失和自去偏合奏的方法的性能。
2022-11-23 cs.CL cs.LG
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland（昆士兰大学机器人设计实验室）
Soft Actor-Critic（SAC）是基于最大熵的强化学习（RL）框架内的最先进的非策略强化学习（RL）算法之一。SAC在一系列连续控制任务中表现良好，具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略，该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略，SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略（SAC-CEPO），它使用交叉熵方法（CEM）来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样，并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性，我们还引入了一个解耦的策略结构，将高斯策略分为一个学习均值的策略和一个学习偏差的策略，使得CEM只训练均值策略。我们表明，这种解耦的政策结构收敛到一个最优的，我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
A Note on the Entropy/Influence Conjecture
Weizmann Institute of Science（魏茨曼科学研究所）；U.C. Berkeley（加州大学伯克利分校）；Hebrew University（希伯来大学）
Friedgut和Kalai在1996年提出了熵/影响猜想，试图将布尔函数的傅里叶系数的两种不同的浓度度量联系起来。粗略地说，它声称，如果傅里叶频谱被“涂抹掉”，那么傅里叶系数就集中在“高”水平上。本文将该猜想推广到离散立方体上的有偏积测度，并证明了该猜想在“高”层上具有极低Fourier权的函数上的一个变形.
2011-05-13 cs.LG math.CO
Cross-Entropy Attacks to Language Models via Rare Event Simulation
University of Technology Sydney（悉尼科技大学）；Shandong University（山东大学）
本文提出基于交叉熵优化的文本对抗攻击方法CEA，通过稀有事件模拟解决黑盒攻击中的优化与语义保持问题，在文档分类和翻译任务上验证了其攻击性能、不可感知性和句子质量的优越性。
2025-01-21 cs.CL cs.CR cs.LG
RECE: Reduced Cross-Entropy Loss for Large-Catalogue Sequential Recommenders
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；HSE University（高等经济大学）；Artificial Intelligence Research Institute（人工智能研究院）
针对大规模目录下序列推荐中全交叉熵损失GPU内存占用过高的问题，提出基于类局部敏感哈希近似logits张量的RECE损失，可最高降12倍内存且保持或超越原有性能。
2024-08-14 cs.IR cs.LG
Improving Neural Response Diversity with Frequency-Aware Cross-Entropy Loss
University of Amsterdam（阿姆斯特丹大学）
序列到序列（Seq2Seq）模型在对话响应生成任务上取得了令人鼓舞的性能。然而，现有的基于Seq2Seq的响应生成方法存在低多样性问题：它们经常生成通用响应，这使得对话不那么有趣。在本文中，我们解决了低多样性问题，通过调查它与模型的过度自信反映在预测分布。具体而言，我们首先分析了常用的交叉熵（CE）损失函数的影响，并发现CE损失函数更喜欢高频令牌，这导致低多样性响应。然后，我们提出了一个频率感知交叉熵（FACE）的损失函数，提高了CE的损失函数，结合加权机制的令牌频率。在基准数据集上进行的大量实验表明，FACE损失函数能够在自动和人工评估方面显著提高现有最先进的Seq2Seq响应生成方法的多样性。
2019-02-25 cs.CL cs.IR cs.LG
When Labels Have Structure: Improving Image Classification with Hierarchy-Aware Cross-Entropy
Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系）；Department of Computer Science, University of Milan（米兰大学计算机科学系）；Department of Control and Computer Engineering, Politecnico di Torino（都灵理工大学控制与计算机工程系）；Eric and Wendy Schmidt Center, Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所埃里克和wendy Schmidt中心）
本文提出层次感知交叉熵（HACE），通过整合已知的类别层次结构来改进图像分类，实验表明在多种架构和数据集上HACE在端到端训练和线性探测任务中均表现出色。
2026-05-07 cs.CV cs.LG
Unified Focal loss: Generalising Dice and cross entropy-based losses to handle class imbalanced medical image segmentation
University of Cambridge（剑桥大学）；University of Salerno（萨莱诺大学）
自动分割方法是医学图像分析的一个重要进展。机器学习技术，特别是深度神经网络，是大多数医学图像分割任务的最新技术。类不平衡的问题对医学数据集构成了重大挑战，病变通常相对于背景占据相当小的体积。用于深度学习算法训练的损失函数在对类别不平衡的鲁棒性方面有所不同，这对模型收敛有直接影响。最常用的分割损失函数是基于交叉熵损失、骰子损失或两者的组合。我们提出了统一的焦点损失，一个新的层次框架，概括骰子和交叉熵为基础的损失处理类的不平衡。我们在五个公开的、类别不平衡的医学成像数据集上评估了我们提出的损失函数：CVC-ClinicDB、用于血管提取的数字视网膜图像（DRIVE）、乳腺超声2017（BUS 2017）、脑肿瘤分割2020（BraTS 20）和肾肿瘤分割2019（KiTS 19）。我们比较了我们的损失函数的性能与六个骰子或交叉熵为基础的损失函数，在2D二进制，3D二进制和3D多类分割任务，表明我们提出的损失函数是强大的类不平衡，并始终优于其他损失函数。源代码可从以下网址获得：https://github.com/mlyg/unified-focal-loss
2021-11-24 cs.CV cs.LG eess.IV
