Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
TAB-Fields: A Maximum Entropy Framework for Mission-Aware Adversarial Planning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对对抗策略未知但受任务与环境约束的规划问题，提出基于最大熵的 TAB-Fields 表示及 TAB-conditioned POMCP，并通过水下与地面机器人实验验证其优于基线。
2024-12-03 cs.AI cs.LG cs.MA
Q($γ_H$): Entropy-Guided Horizon Mixing in Multi-Discount Q-Learning
School of Computer Science, University of Leeds（利兹大学计算机学院）
本研究针对Q学习固定折扣因子无法适配不同训练需求的问题，提出多视界Q学习框架Q($γ_H$)，通过熵引导的自适应混合权重实现视界切换，在延迟信用任务上较基线有显著改进，且兼容标准值学习方法。
2026-10-16 cs.LG
GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal Black Box Constraint Satisfaction
University of California Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一种新的方法，黑箱优化和约束满足。试图解决这个问题的现有算法无法考虑多个模式，并且不能适应环境动态的变化。为了解决这些问题，我们开发了一种改进的交叉熵方法（CEM），使用掩蔽自回归神经网络建模均匀分布的解决方案空间。我们使用来自强化学习的最大熵策略梯度方法对模型进行训练。我们的算法是能够表达复杂的解决方案空间，从而使它能够跟踪各种不同的解决方案区域。我们经验比较我们的算法与变化的CEM，包括一个高斯先验与固定方差，并表现出更好的性能方面：不同的解决方案，更好的模式发现在多模态问题，更好的样本效率在某些情况下。
2020-02-17 cs.AI cs.LG stat.ML
Risk Sensitive Model-Based Reinforcement Learning using Uncertainty Guided Planning
University of Bristol（布里斯托大学）
识别不确定性并采取缓解措施对于安全可靠的强化学习代理至关重要，特别是在高风险环境中部署时。在本文中，风险敏感性，促进了基于模型的强化学习算法，利用自举集成的动力学模型，以估计环境认知不确定性的能力。我们提出了不确定性指导的交叉熵方法规划，该方法惩罚在模型推出期间导致高方差状态预测的动作序列，将代理引导到具有低不确定性的状态空间的已知区域。实验显示的能力，为代理，以确定不确定的区域的状态空间规划过程中，并采取行动，保持代理在高置信度的地区，而不需要明确的约束。其结果是在获得回报方面的业绩下降，显示出风险和回报之间的权衡。
2021-11-09 cs.LG
CE-U: Cross Entropy Unlearning
Tacnode US Inc（美国塔克诺德公司）
本文提出 CE-U 交叉熵遗忘损失函数，统一学习与遗忘框架，克服梯度上升的梯度消失与爆炸问题，并在 TOFU 上以 LLaMA2-7B 达到最先进性能。
2025-03-15 cs.LG
Planning and Learning Using Adaptive Entropy Tree Search
University of Warsaw（华沙大学）；Institute of Mathematics of the Polish Academy of Sciences（波兰科学院数学研究所）
人工智能的最新突破表明，基于树的规划与深度学习的结合可以带来卓越的性能。我们提出了自适应熵树搜索（ANTS）-一种新的算法结合规划和学习的最大熵范式。通过对Atari基准测试的一系列综合实验，我们发现ANTS的性能明显优于最先进的AlphaZero系统的规划组件PUCT。ANTS建立在最大熵规划方法的最新工作基础上-然而，正如我们所展示的，与学习相结合失败。ANTS解决了这个问题，达到了最先进的性能。我们进一步发现，ANTS表现出优越的鲁棒性，不同的超参数选择，相比以前的算法。我们相信，蚂蚁的高性能和鲁棒性可以使树搜索规划更接近广泛的实际应用。
2023-03-14 cs.AI cs.LG
Informative Planning for Worst-Case Error Minimisation in Sparse Gaussian Process Regression
University of Technology Sydney（悉尼科技大学）
我们提出了一个规划框架，最大限度地减少稀疏高斯过程（GP）回归的确定性最坏情况下的错误。首先，我们推导出一个普遍的最坏情况下的误差界稀疏GP回归有界噪声再生核希尔伯特空间（RKHS）的插值理论。通过利用条件独立（CI）假设中央稀疏GP回归，我们表明，最坏情况下的误差最小化可以通过解决后验熵最小化问题。反过来，使用高斯置信空间规划算法解决后验熵最小化问题。我们证实了建议的最坏情况下的误差范围在一个简单的一维例子，并测试规划框架在模拟中的二维车辆在一个复杂的流场。我们的研究结果表明，所提出的后验熵最小化方法是有效的确定性误差最小化，并优于传统的测量熵最大化制定时，诱导点是固定的。
2022-03-08 cs.LG cs.RO
Sample-efficient Real-time Planning with Curiosity Cross-Entropy Method and Contrastive Learning
Universität Hamburg（汉堡大学）；Aswan University（阿斯旺大学）
针对高维环境中交叉熵方法（CEM）缺乏探索的问题，提出Curiosity CEM（CCEM），通过最大化包含外在和内在奖励的Q值并引入对比表示学习来鼓励探索，在DeepMind Control suite上实现了远超以往MBRL算法的样本效率。
2023-09-10 cs.LG
Entropy-Reinforced Planning with Large Language Models for Drug Discovery
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
提出ERP算法，通过熵增强规划平衡探索与利用，提升Transformer解码在药物分子生成中的有效性，在多个基准上超越现有方法。
2025-03-29 cs.AI cs.LG q-bio.QM
Entropy Regularization: A Free Correction to Cross-Entropy for Verified Demonstrations
University of Michigan（密歇根大学）
本文发现交叉熵最小化在验证任务中可能与验证器风险不一致，提出熵正则化交叉熵（ER-CE）作为修正，通过在数学推理和代码生成基准上实验证明其能提高验证器准确性。
2026-09-28 cs.LG stat.ML
Taming the Cross Entropy Loss
Kalrsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们提出了驯服交叉熵（TCE）损失函数，这是深度学习中用于分类任务的标准交叉熵（CE）损失的鲁棒导数。然而，与其他鲁棒损失不同，TCE损失被设计为表现出与无噪声场景中的CE损失相同的训练属性。因此，与CE损失相比，TCE损失不需要对训练方案进行修改，因此可以应用于当前使用CE损失的所有应用中。我们使用ResNet架构在四个图像数据集上评估TCE损失，这些图像数据集被我们人为地污染了各种级别的标签噪声。在每个测试场景中，TCE损失都优于CE损失。
2018-10-11 cs.LG stat.ML
The Differentiable Cross-Entropy Method
Facebook AI Research（Facebook 人工智能研究院）；New York University（纽约大学）
我们研究的交叉熵方法（CEM）的非凸优化的连续和参数化的目标函数，并引入一个可微的变体，使我们能够区分CEM的输出相对于目标函数的参数。在机器学习设置中，这将CEM带入端到端学习管道内，否则这是不可能的。我们展示了在基于合成能量的结构化预测任务和非凸连续控制中的应用。在控制设置中，我们展示了如何将最优动作序列嵌入到低维空间中。DCEM使我们能够通过策略优化来微调基于CEM的控制器。
2020-08-14 cs.LG cs.RO math.OC
A Unified View of Algorithms for Path Planning Using Probabilistic Inference on Factor Graphs
Università degli Studi della Campania “Luigi Vanvitelli”（坎帕尼亚大学“路易吉·万维泰利”）；University of Connecticut（康涅狄格大学）；ENEA（意大利国家新技术、能源与可持续经济发展局）
即使路径规划可以使用来自动态规划和控制的标准技术来解决，该问题也可以使用概率推理来处理。使用后一种框架出现的算法具有一些吸引人的特性，这些特性使概率方法成为更传统的控制公式的强大替代方案。使用随机模型的估计来解决控制问题的想法并不新鲜，这里考虑的推理方法属于主动推理（AI）和控制即推理（CAI）的范畴。在这项工作中，我们看看具体的递归，从各种成本函数，虽然它们可能会出现类似的范围，承担明显的差异，至少当应用于典型的路径规划问题。我们首先提出的路径规划问题的概率因子图，并显示如何将各种算法转化为特定的消息组成规则。然后，我们将展示这种统一的方法，在概率空间和日志空间，提供了一个非常一般的框架，包括总和产品，最大产品，动态规划和混合奖励/熵准则为基础的算法。该框架还扩展了算法设计选项，以实现更平滑或更清晰的策略分布，包括广义和/最大积算法、平滑动态规划算法和修改后的奖励/熵递归版本。我们提供了一个全面的递归表，并通过模拟进行比较，首先在一个合成的小网格上，有一个单一的目标与障碍，然后在一个网格上外推从现实世界的场景与多个目标和语义地图。
2021-06-19 cs.LG stat.ML
Online variants of the cross-entropy method
Eötvös Loránd University（厄特沃什·罗兰大学）
交叉熵法是一种简单而有效的全局优化方法。在本文中，我们提供了两个在线变种的基本CEM，连同收敛性证明。
2008-01-14 cs.LG
Set Cross Entropy: Likelihood-based Permutation Invariant Loss Function for Probability Distributions
IBM Research（IBM研究院）
我们提出了一个置换不变的损失函数设计的神经网络重建一组元素，而不考虑其向量表示的顺序。与流行的方法编码和解码的一组，我们的工作不依赖于精心设计的网络拓扑结构，也没有任何额外的顺序算法。所提出的方法，集交叉熵，有一个自然的信息理论的解释，并与集定义的度量。我们评估所提出的方法在两个对象重建任务和规则学习任务。
2018-12-05 cs.LG stat.ML
Quantum Cross Entropy and Maximum Likelihood Principle
Stanford University（斯坦福大学）；University of Maryland（马里兰大学）
量子机器学习是机器学习和量子计算交叉的新兴领域。经典交叉熵在机器学习中起着核心作用。我们定义了它的量子推广，量子交叉熵，证明了它的下界，并研究了它与量子保真度的关系。在经典情况下，最小化交叉熵等价于最大化似然。在量子情况下，当量子交叉熵由不受量子测量干扰的量子数据构造时，这种关系成立。经典交叉熵等于负对数似然。当我们根据测量结果通过经验密度矩阵得到量子交叉熵时，量子交叉熵是负对数似然下界。这两种不同的情况说明了在进行量子测量时的信息损失。我们的结论是，为了实现全量子机器学习的目标，利用延迟测量原理至关重要。
2022-10-24 cs.IT cs.LG hep-th
Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks
University of California San Diego（加利福尼亚大学圣地亚哥分校）
用于分类任务的现代神经架构是使用交叉熵损失来训练的，交叉熵损失被广泛认为在经验上优于平方损失。在这项工作中，我们提供的证据表明，这种信念可能是没有根据的。我们探索了几种主要的神经架构和一系列用于NLP，自动语音识别（ASR）和计算机视觉任务的标准基准数据集，以表明这些架构具有与文献中报道的相同的超参数设置，即使在均衡计算资源之后，在平方损失的情况下训练时也会表现出色或更好。事实上，我们观察到平方损失在绝大多数NLP和ASR实验中产生更好的结果。交叉熵似乎在计算机视觉任务上有一点优势。我们认为，几乎没有令人信服的经验或理论证据表明一个明确的优势，交叉熵损失。事实上，在我们的实验中，几乎所有非视觉任务的表现都可以通过切换到平方损失来提高，有时甚至是显着提高。此外，平方损失的训练似乎对初始化中的随机性不太敏感。我们认为，使用平方损失进行分类的训练需要成为现代深度学习与交叉熵平等的最佳实践的一部分。
2021-10-23 cs.LG stat.ML
CAFE-AD: Cross-Scenario Adaptive Feature Enhancement for Trajectory Planning in Autonomous Driving
Institute of Advanced Technology, University of Science and Technology of China (USTC)（中国科学技术大学先进技术研究院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；School of Artificial Intelligence and Data Science, USTC（中国科学技术大学人工智能与数据科学学院）；School of Computer Science and Technology, USTC（中国科学技术大学计算机科学与技术学院）
针对nuPlan模仿学习中的因果混淆与场景长尾问题，提出CAFE-AD方法，通过自适应特征剪枝和跨场景特征插值增强特征表示，在nuPlan闭环基准上超越现有规划器并验证了真实环境有效性。
2025-04-09 cs.LG cs.RO
Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Tokyo Institute of Technology（东京工业大学）；Gunma University（群马大学）；RIKEN AIP（理化学研究所先进智能项目中心）
在知识图谱嵌入中，softmax交叉熵与负采样损失函数之间的理论关系尚未得到研究。这使得很难公平地比较两个不同的损失函数的结果。我们试图通过使用Bregman散度来解决这个问题，以提供对softmax交叉熵和负采样损失函数的统一解释。在这种解释下，我们可以得出理论上的发现，以进行公平的比较。在FB 15 k-237和WN 18 RR数据集上的实验结果表明，理论研究结果在实际环境中是有效的。
2022-03-16 cs.CL cs.LG stat.ML
Minimax Generalized Cross-Entropy
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque, Basque Foundation for Science（伊克尔巴斯基，巴斯克科学基金会）；Johns Hopkins University（约翰霍普金斯大学）
本文提出最小最大广义交叉熵(MGCE)，通过凸优化改进分类边界的优化问题，提升模型在复杂数据集和标签噪声下的准确性和鲁棒性。
2026-04-27 cs.LG stat.ML
Introduction to Cross-Entropy Clustering The R Package CEC
Jagiellonian University（雅盖隆大学）；AGH University of Science and Technology（AGH科技大学）
R Package CEC基于最近使用信息论开发的交叉熵聚类（CEC）方法执行聚类。CEC的主要优点是它结合了$k$ -means的速度和简单性，以及使用各种高斯混合模型和减少不必要的聚类的能力。在这项工作中，我们提出了一个实用的教程CEC的基础上R包CEC。提供的函数涵盖了整个群集过程。
2015-08-19 cs.LG stat.ME stat.ML
Aligned Cross Entropy for Non-Autoregressive Machine Translation
Facebook AI Research（Facebook人工智能研究院）
非自回归机器翻译模型通过允许对整个目标序列的并行预测来显著地加速解码。然而，由于模型中缺乏自回归因子，因此建模词序更具挑战性。这个困难在训练过程中与交叉熵损失相结合，交叉熵损失可以严重惩罚词序中的小变化。在本文中，我们提出对齐交叉熵（AXE）作为一个替代的损失函数的非自回归模型的训练。AXE使用可微动态程序来基于目标令牌和模型预测之间的最佳可能单调对齐来分配损失。基于AXE的条件掩蔽语言模型（CMLM）训练大大提高了主要WMT基准测试的性能，同时为非自回归模型设定了新的最新技术水平。
2020-04-03 cs.CL cs.LG stat.ML
Change Point Detection by Cross-Entropy Maximization
CERC, Polytechnique Montréal（蒙特利尔理工学院 CERC）
许多离线无监督变化点检测算法依赖于最小化分段成本的惩罚总和。我们扩展了这个框架，建议最大限度地减少段之间的差异。特别是，我们建议选择的变化点，以最大限度地提高连续段之间的交叉熵，引入新的变化点的惩罚平衡。我们提出了一个动态规划算法来解决这个问题，并分析了它的复杂性。在两个具有挑战性的数据集上的实验表明，与三种最先进的方法相比，我们的方法具有优势。
2020-09-02 cs.LG eess.SP stat.ML
A unifying mutual information view of metric learning: cross-entropy vs. pairwise losses
ÉTS Montreal（蒙特利尔高等技术学院）；CentraleSupelec-CNRS-Université Paris-Saclay（法国中央理工-高等电力学院-法国国家科学研究中心-巴黎萨克雷大学）
最近，深度度量学习（DML）的大量研究工作集中在设计复杂的成对距离损失上，这需要复杂的方案来简化优化，例如样本挖掘或对加权。在DML中，分类的标准交叉熵损失在很大程度上被忽视了。从表面上看，交叉熵似乎与度量学习无关，因为它没有明确涉及成对距离。然而，我们提供了一个理论分析，将交叉熵与几个众所周知的和最近的成对损失联系起来。我们的连接来自两个不同的角度：一个基于明确的优化洞察力;另一个基于标签和学习特征之间的互信息的判别和生成视图。首先，我们明确地证明了交叉熵是一个新的成对损失的上界，它具有类似于各种成对损失的结构：它最小化类内距离，同时最大化类间距离。因此，最小化交叉熵可以被视为用于最小化这种成对损失的近似边界优化（或Majorize-Minimize）算法。其次，我们表明，更一般地说，最小化的交叉熵实际上相当于最大化的互信息，我们连接到几个众所周知的成对损失。此外，我们表明，各种标准的成对损失可以明确地通过绑定关系彼此相关。我们的研究结果表明，交叉熵代表了最大化互信息的代理-成对损失-而不需要复杂的样本挖掘算法。我们的实验超过四个标准的DML基准强烈支持我们的研究结果。我们获得了最先进的结果，优于最近和复杂的DML方法。
2021-11-26 cs.CV cs.LG stat.ML
On the Rényi Cross-Entropy
Queen’s University（女王大学）
两个分布之间的Rényi交叉熵度量是香农交叉熵的推广，最近被用作深度学习生成对抗网络改进设计的损失函数。在这项工作中，我们研究这种措施的性质，并推导出封闭形式的表达式时，其中一个分布是固定的，当两个分布属于指数家庭。我们还分析确定一个公式的交叉熵率平稳高斯过程和有限字母马尔可夫源。
2022-08-06 cs.IT cs.LG math.IT
The Global Neural World Model: Spatially Grounded Discrete Topologies for Action-Conditioned Planning
Western Digital Corporation（西部数据公司）
本文提出全局神经世界模型，通过平衡的连续熵约束实现拓扑量化，采用连续动作条件联合嵌入预测架构，将环境映射到离散2D网格，防止流形漂移，通过最大熵探索学习通用过渡动态。
2026-04-17 cs.AI cs.LG
Model Tensor Planning
Intelligent Autonomous Systems, Department of Computer Science, Technical University of Darmstadt（德意志技术大学达姆施塔特分校计算机科学系智能自主系统研究中心）；Systems AI for Robot Learning, German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI）机器人学习系统AI研究中心）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心（hessian.AI））；Centre for Cognitive Science, Technical University of Darmstadt（德意志技术大学达姆施塔特分校认知科学中心）；Automation & Control Institute, TU Wien（维也纳技术大学自动化与控制研究所）；Austrian Institute of Technology (AIT), Vienna（奥地利技术研究所（AIT））；VinRobotics and VinUniversity（VinRobotics和Vin大学）
提出模型张量规划（MTP），一种基于张量采样的MPC框架，通过结构化采样和β混合策略增强探索，在多种机器人任务中优于标准MPC和进化策略基线。
2025-08-02 cs.AI cs.LG cs.RO
Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator
Australian National University（澳大利亚国立大学）；Pohang University of Science and Technology（浦项科技大学）
互信息被广泛应用于学习观测值的潜在表示，而其在分类神经网络中的含义仍有待更好地解释。我们表明，优化分类神经网络的参数与softmax交叉熵是等价的最大化输入和标签之间的互信息的平衡数据假设。通过在人工数据集和真实数据集上的实验，我们表明softmax交叉熵可以近似地估计互信息。当应用于图像分类时，这种关系有助于近似输入图像和标签之间的逐点互信息，而无需修改网络结构。为此，我们提出了infoCAM，信息类激活图，突出显示区域的输入图像是最相关的一个给定的标签的基础上的差异信息。激活图有助于定位输入图像中的目标对象。通过两个真实世界数据集的半监督对象定位任务的实验，我们评估了我们的信息理论方法的有效性。
2020-09-17 cs.CV cs.LG stat.ML
Symmetric Cross Entropy for Robust Learning with Noisy Labels
JD AI（京东人工智能）；The University of Melbourne（墨尔本大学）；Cainiao AI（菜鸟人工智能）；Shanghai Jiao Tong University（上海交通大学）
在存在噪声标签的情况下训练准确的深度神经网络（DNN）是一项重要且具有挑战性的任务。虽然已经提出了许多方法来学习嘈杂的标签，许多开放的问题仍然存在。在本文中，我们证明了使用交叉熵（CE）的DNN学习在某些类（“简单”类）上表现出对噪声标签的过度拟合，但更令人惊讶的是，它在其他一些类（“困难”类）上也存在显著的学习不足。直觉上，CE需要一个额外的术语来促进硬类的学习，更重要的是，这个术语应该是噪声容忍的，以避免过度拟合到噪声标签。受对称KL发散的启发，我们提出了\textbf{Symmetric cross entropy Learning}（SL）的方法，用噪声鲁棒的反向交叉熵（RCE）对称地提升CE。我们提出的SL方法同时解决了在存在噪声标签的情况下CE的学习不足和过拟合问题。我们提供了SL的理论分析，并在一系列基准和真实世界的数据集上实证显示，SL优于最先进的方法。我们还表明，SL可以很容易地纳入现有的方法，以进一步提高其性能。
2019-08-16 cs.CV cs.LG stat.ML
Model Order Selection in DoA Scenarios via Cross-Entropy based Machine Learning Techniques
Technical University Munich（慕尼黑工业大学）
在本文中，我们提出了一种机器学习方法来估计入射波前的数量在一个波达方向的情况。与以前的工作相比，训练了一个具有交叉熵目标的多层神经网络。此外，我们调查的在线训练过程，允许自适应的神经网络的天线阵列的缺陷，而不明确校准阵列流形。我们通过模拟表明，该方法优于经典的模型阶选择计划的基础上的信息标准的准确性，特别是对于少量的快照和低信噪比。此外，在线训练过程使神经网络能够适应只有几个在线训练样本，如果通过离线训练人工数据初始化。
2019-10-21 cs.LG eess.SP stat.ML
Regularizing cross entropy loss via minimum entropy and K-L divergence
提出两种基于最小熵和K-L散度正则化的交叉熵损失函数，在EMNIST-Letters上使VGG模型准确率提升至95.933%，跃居排行榜第二。
2025-01-23 cs.CV cs.LG
Neural Collapse with Cross-Entropy Loss
Duke University（杜克大学）；University of Washington（华盛顿大学）
我们考虑了$\mathbb{R}^d$中单位超球面上$n$特征向量交叉熵损失的变分问题。我们证明了当$d \geq n - 1$时，全局极小值由单纯形等角紧框架给出，从而证明了神经元的崩溃行为。我们还证明了当$n \rightarrow \infty$具有固定的$d$时，极小点将均匀分布在超球面上，并与Benedetto & Fickus的框架势有关.
2021-01-18 cs.LG math.CA
What Scales in Cross-Entropy Scaling Law?
Tsinghua University（清华大学）
本文通过分解交叉熵为误差熵、自我对齐和置信度三个部分，揭示了误差熵是唯一遵循幂律缩放的因素，从而解释了交叉熵缩放定律在小规模有效但在大尺度失效的原因。
2026-02-28 cs.AI cs.CL cs.LG
A Dual Process Model for Optimizing Cross Entropy in Neural Networks
National Library of Medicine, National Institutes of Health（美国国立医学图书馆，美国国立卫生研究院）
最小交叉熵是一种广泛使用的人工神经网络训练方法。许多基于反向传播的训练过程直接使用交叉熵作为其损失函数。相反，这篇理论文章研究了一个具有两个过程的对偶过程模型，其中一个过程最小化Kullback-Leibler散度，而其对偶过程最小化Shannon熵。假设学习由两个相互补充的双重过程组成，该模型定义了两个过程的平衡状态，其中损失函数假定其最小值。所提出的模型的一个优点是，它允许导出最佳的学习率和动量权重，以更新反向传播的网络权重。此外，该模型引入了黄金分割比和复数作为机器学习中的重要新概念。
2021-04-27 cs.LG cs.NE
Likelihood-free inference with an improved cross-entropy estimator
Imperial College London（伦敦帝国学院）；New York University（纽约大学）；University of Liège（列日大学）；Federico Santa María Technical University（费德里科·圣玛丽亚理工大学）
我们扩展最近的工作（Bavelmer，等。例如，2018年），使用神经网络作为替代模型的似然自由推理。在以前的工作中，我们利用的事实，即联合似然比和联合得分，条件的观察和潜在的变量，往往可以从一个隐式生成模型或模拟器中提取，以增加这些代理模型的训练数据。我们展示了如何使用这种增强的训练数据来提供一种新的交叉熵估计器，与以前利用这种增强的训练数据的损失函数相比，它提供了更高的样本效率。
2018-08-02 cs.LG hep-ph physics.data-an
Persistent Cross Entropy
Artificial Intelligence Graduate School, Pohang University of Science and Technology（浦项科技大学人工智能研究生院）；Department of Mathematics, Pohang University of Science and Technology（浦项科技大学数学系）
该研究针对持久图的事件空间差异问题，定义诱导概率以扩展交叉熵为持久交叉熵（PCE），证明其性质与稳定性，经数值研究验证PCE可区分特定图、分离因果方向及用作知识蒸馏的定向拓扑损失。
2026-08-26 cs.IT cs.LG math.IT
Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一个新的训练目标命名为顺序不可知交叉熵（OaXE）的完全非自回归翻译（NAT）模型。OaXE改进了标准的交叉熵损失，以改善单词重排的效果，这是NAT中关键多模态问题的常见来源。具体地，OaXE消除了单词顺序错误的惩罚，并基于模型预测和目标令牌之间的最佳对齐来计算交叉熵损失。由于日志丢失对无效引用非常敏感，因此我们利用交叉熵初始化和丢失截断来确保模型集中在搜索空间的很大一部分。在主要的WMT基准测试上进行的大量实验表明，OaXE大大提高了翻译性能，为完全NAT模型创造了新的技术水平。进一步的分析表明，OaXE通过减少令牌重复和增加预测置信度来解决多模态问题。我们的代码、数据和训练模型可以在https://github.com/tencent-ailab/ICML21_OAXE上找到。
2021-06-09 cs.AI cs.CL cs.LG
Quantum Data Compression and Quantum Cross Entropy
Stanford Institute for Theoretical Physics, Stanford University（斯坦福大学理论物理研究所）；GreenQubit AI
本文提出量子交叉熵作为量子数据压缩的压缩率，并设计通用压缩协议，证明其最小值等于冯·诺依曼熵，可用于量子机器学习损失函数。
2023-11-11 cond-mat.stat-mech cs.IT cs.LG
Tilted Cross Entropy (TCE): Promoting Fairness in Semantic Segmentation
Shell Global Solutions International B.V.（壳牌全球解决方案国际公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）
传统的经验风险最小化（ERM）的语义分割可以不成比例的优势或劣势，有利于（不公平的，但）改善整体性能的某些目标类。受最近引入的倾斜ERM（TERM）的启发，我们提出了倾斜交叉熵（TCE）损失，并将其适应于语义分割设置，以最大限度地减少目标类之间的性能差异，促进公平性。通过定量和定性的性能分析，我们证明了所提出的用于语义分割的随机TCE可以有效地改善使用多类交叉熵（MCCE）训练的Cityscapes和ADE 20 k数据集的低性能类，并且还可以提高整体公平性。
2021-03-25 cs.AI cs.CV cs.LG
Multi-Frame Cross-Entropy Training for Convolutional Neural Networks in Speech Recognition
IBM Research AI, IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心IBM研究人工智能部门）；IBM Watson（IBM沃森）
我们为卷积神经网络声学模型引入了多帧交叉熵训练（MFCE）。认识到与RNN类似，CNN本质上是采用可变长度输入的序列模型，我们建议将足够长的话语的一部分作为CNN的输入，以便同时预测多个标签，因此从多个相邻帧中获得交叉熵损失信号。这大大增加了标签信息的数量，而边际计算成本却很小。在2000小时的Switchboard基准上进行培训后，我们在hub5和rt02上显示出较大的WER改进。
2019-07-29 cs.CL cs.LG cs.SD
Amended Cross Entropy Cost: Framework For Explicit Diversity Encouragement
Ben Gurion University（本古里安大学）
交叉熵（CE）在机器学习中，特别是在神经网络中具有重要作用。它通常用于神经网络中，作为标签的已知分布与Softmax/Sigmoid输出之间的成本。在本文中，我们提出了一个新的成本函数称为修正的交叉熵（ACE）。它的新颖之处在于它提供了训练多个分类器的能力，同时显式地控制它们之间的多样性。我们通过数学分析和“逆向工程“我们希望梯度的行为方式推导出新的成本，并生成一个量身定制的，优雅和直观的成本函数，以实现预期的结果。这个过程类似于选择CE成本作为Softmax/Sigmoid分类器的成本函数以获得线性导数的方式。通过选择最佳的多样性因子，我们产生了一个合奏，产生更好的结果比香草之一。我们证明了这一结果的两个潜在用途，并提出实证结果。我们的方法适用于分类问题，类似于回归问题的负相关学习（NCL）。
2020-07-16 cs.IT cs.LG math.IT
Second-Order Smooth Planning with Optimal-Transport Bellman Smoothing
Hanoi University of Science and Technology（河内理工大学）
针对生成模型下的规划问题，提出基于最优传输平滑贝尔曼备份的二阶规划器SecondOrderSmoothCruiser，将预言机复杂度从一阶的$\widetilde O(\varepsilon^{-4})$降至$\widetilde O(\varepsilon^{-3})$。
2026-09-09 cs.AI cs.LG
Instance Cross Entropy for Deep Metric Learning
Anyvision Research Team（Anyvision研究团队）；Queen’s University Belfast（贝尔法斯特女王大学）
损失函数在深度度量学习中起着至关重要的作用，因此已经提出了各种各样的损失函数。一些监督学习过程的成对或三重相似性约束，而其他人利用结构化的相似性信息之间的多个数据点。在这项工作中，我们从一个新的角度来研究深度度量学习。我们提出了实例交叉熵（ICE），它测量估计的实例级匹配分布和其地面真实分布之间的差异。ICE有三个主要吸引人的特性。首先，与分类交叉熵（CCE）类似，ICE具有明确的概率解释，并利用结构化的语义相似性信息进行学习监督。其次，ICE可扩展到无限的训练数据，因为它在小批量上迭代学习，并且与训练集大小无关。第三，在相对权重分析的基础上，引入了无缝样本权重调整。它通过调整样本的梯度来控制对训练样本的区分度，而不是通过样本挖掘来截断样本。除了它的简单性和直观性之外，在三个真实世界基准上的广泛实验证明了ICE的优越性。
2019-11-22 cs.CV cs.IR cs.LG
A Layer Separation Optimization Framework for Cross-Entropy Training in Deep Learning
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）；Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）
本文提出分层分离策略以缓解深度网络训练中的强非凸性，通过引入辅助变量将原始优化问题分解为更易处理的子问题，并通过理论分析证明新损失函数为原交叉熵损失的上界。
2026-04-25 cs.LG math.OC
Enhancing Cross Entropy with a Linearly Adaptive Loss Function for Optimized Classification Performance
Extreme Materials Research Center, Korea Institute of Science and Technology（极端材料研究中心，韩国科学技术院）；Climate and Environmental Research Institute, Korea Institute of Science and Technology（气候与环境研究所，韩国科学技术院）；Division of AI-Robotics, KIST Campus, University of Science and Technology（人工智能机器人系，韩国科学技术院校园）
提出线性自适应交叉熵损失函数，通过增加依赖真实类别预测概率的额外项优化分类任务，在 CIFAR-100 上基于 ResNet 评估，准确率优于标准交叉熵且效率相当。
2025-07-10 cs.AI cs.LG cs.NE
Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of Modulated Cross-Entropy in Natural Language Inference
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
没有完美的数据集。在一些数据集中，深度神经网络发现了底层的学习算法，这些算法允许它们在学习过程中走捷径，从而导致泛化能力差。而不是使用标准的交叉熵，我们探讨是否调制版本的交叉熵称为焦点损失可以约束模型，以便不使用统计学和提高泛化性能。我们在自然语言推理中的实验表明，焦点丢失对学习过程具有正则化影响，提高了分布外数据的准确性，但略微降低了分布内数据的性能。尽管改进的分布外的性能，我们证明了缺点的焦点损失和它的劣势相比，如无偏的焦点损失和自去偏合奏的方法的性能。
2022-11-23 cs.CL cs.LG
Cross-Entropy Attacks to Language Models via Rare Event Simulation
University of Technology Sydney（悉尼科技大学）；Shandong University（山东大学）
本文提出基于交叉熵优化的文本对抗攻击方法CEA，通过稀有事件模拟解决黑盒攻击中的优化与语义保持问题，在文档分类和翻译任务上验证了其攻击性能、不可感知性和句子质量的优越性。
2025-01-21 cs.CL cs.CR cs.LG
On Dissipativity of Cross-Entropy Loss in Training ResNets
本文从最优控制视角提出ResNets和神经ODE训练的耗散公式，通过将交叉熵变体作为正则化项，证明训练后的ResNet表现出转向点现象，并利用该现象可找到适合分类任务的浅层网络。
2024-05-29 cs.LG cs.SY eess.SY
RECE: Reduced Cross-Entropy Loss for Large-Catalogue Sequential Recommenders
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；HSE University（高等经济大学）；Artificial Intelligence Research Institute（人工智能研究院）
针对大规模目录下序列推荐中全交叉熵损失GPU内存占用过高的问题，提出基于类局部敏感哈希近似logits张量的RECE损失，可最高降12倍内存且保持或超越原有性能。
2024-08-14 cs.IR cs.LG
Improving Neural Response Diversity with Frequency-Aware Cross-Entropy Loss
University of Amsterdam（阿姆斯特丹大学）
序列到序列（Seq2Seq）模型在对话响应生成任务上取得了令人鼓舞的性能。然而，现有的基于Seq2Seq的响应生成方法存在低多样性问题：它们经常生成通用响应，这使得对话不那么有趣。在本文中，我们解决了低多样性问题，通过调查它与模型的过度自信反映在预测分布。具体而言，我们首先分析了常用的交叉熵（CE）损失函数的影响，并发现CE损失函数更喜欢高频令牌，这导致低多样性响应。然后，我们提出了一个频率感知交叉熵（FACE）的损失函数，提高了CE的损失函数，结合加权机制的令牌频率。在基准数据集上进行的大量实验表明，FACE损失函数能够在自动和人工评估方面显著提高现有最先进的Seq2Seq响应生成方法的多样性。
2019-02-25 cs.CL cs.IR cs.LG
