Asymptotic normality in the maximum entropy models on graphs with an increasing number of parameters
最大熵模型是$β$ -模型到加权图的自然推广，其动机是在神经元科学中的应用。与$β$模型类似，最大熵模型中的每个顶点都被赋予一个潜在的参数，并且度序列是自然的充分统计量。Hillar和Wibisono（2013）证明了极大似然估计的一致性。本文进一步证明了三种边权的最大熵模型中，当参数总数趋于无穷大时，任意有限个极大似然估计的渐近正态性.仿真研究来说明渐近结果。
2014-08-08 math.ST stat.TH
Geometric Information Decomposition for Weighted Empirical Measures on the Sphere
Baruch College（巴鲁克学院）；Yale University（耶鲁大学）
研究单位球面上加权概率测度的方向不确定性，传统方法用von Mises-Fisher分布不完整，引入几何信息分解（GID），通过球面特征拟合最大熵投影序列，证明相关性质，实验展示不同情况下GID作用。
2026-07-31 stat.ME
Cost-Based Budget Active Learning for Deep Learning
Paris8 University（巴黎第八大学）
经典的主动学习（AL）方法通常使用熵和间隔等统计理论来度量实例效用，但无法捕捉到未标记数据中包含的数据分布信息。这最终会导致分类器选择离群实例进行标记。同时，在典型的分类任务中，与错误标记实例相关的损失远远高于与相反错误相关的损失。为了解决这些挑战，我们提出了一个基于成本的Bugdet主动学习（CBAL），它考虑了分类的不确定性，以及实例的多样性，在人口的预算约束。基于最小-最大原则的方法被认为是最小化所选实例的标记和决策成本，这确保了一个接近最优的结果，大大减少了计算工作量。大量的实验结果表明，该方法优于几个国家的最先进的主动学习方法。
2020-12-09 cs.LG stat.ML
Semi-supervised Wrapper Feature Selection by Modeling Imperfect Labels
CNRS（法国国家科学研究中心）；LIG/IMAG（格勒诺布尔信息学实验室/格勒诺布尔计算机应用数学研究所）
在本文中，我们提出了一种新的包装特征选择方法与部分标记的训练样本，其中未标记的意见是伪标记使用的预测标记的训练集上训练的初始分类器。该包装器由一个用于提出新特征子集的遗传算法和一个用于对不同特征子集进行评分的评价指标组成。特征子集的选择是通过为特征分配权重并递归地消除那些不相关的特征来完成的。选择标准是基于一个新的多类$\mathcal{C}$的约束，明确考虑到伪标签机制引起的错误标记的错误，使用概率误差模型。不同数据集上的实验结果表明，我们的框架相比，一些国家的最先进的半监督特征选择方法的有效性。
2020-03-10 cs.LG stat.ML
Auto-weighted Robust Federated Learning with Corrupted Data Sources
Uppsala University（乌普萨拉大学）；The University of Hong Kong（香港大学）；University College London（伦敦大学学院）
联邦学习通过启用具有大量参与者的学习统计模型，同时将他们的数据保存在本地客户端中，提供了一个高效的通信和隐私保护的培训过程。然而，标准的联邦学习技术天真地最小化了平均损失函数，容易受到离群值、系统错误标记甚至对手的数据破坏。此外，由于对用户数据隐私的日益关注，服务提供商通常禁止验证数据样本的质量。在本文中，我们提出了自动加权鲁棒联邦学习（arfl），一种新的方法，联合学习的全局模型和局部更新的权重，以提供对损坏的数据源的鲁棒性，以解决这一挑战。我们证明了一个学习界的预期风险的预测和权重的客户端，这指导了定义的目标，强大的联邦学习。通过比较客户端的经验损失与最佳p个客户端的平均损失（p平均）来分配权重，因此我们可以降低损失显著高的客户端的权重，从而降低它们对全局模型的贡献。我们表明，这种方法实现了鲁棒性时，损坏的客户端的数据分布不同于良性的。为了优化目标函数，我们提出了一种基于块最小化范式的通信高效算法。我们在多个基准数据集上进行实验，包括CIFAR-10，FEMNIST和Shakespeare，考虑不同的深度神经网络模型。结果表明，我们的解决方案对不同的情况下，包括标签洗牌，标签翻转和嘈杂的功能是强大的，并优于国家的最先进的方法在大多数情况下。
2022-07-14 cs.AI cs.LG
EntroPack: Fast and Accurate Entropy-Coded Weight Compression at Arbitrary Bitrates
EntroPack提出熵编码权重压缩方法，结合E8格量化与条件概率模型，支持任意比特率，无需校准或微调，在Z-Image-Turbo上实现比NF4更低的权重误差和更少存储。
2026-09-29 cs.AI cs.LG
Improving Semi-Supervised Contrastive Learning via Entropy-Weighted Confidence Integration of Anchor-Positive Pairs
Doshisha University（立命馆大学）
本文提出基于熵加权置信度整合的半监督对比学习方法，通过提升伪标签分配的置信度来增强分类准确率和学习稳定性。
2026-01-08 cs.AI cs.LG
Weighted Entropy Modification for Soft Actor-Critic
University of California, Los Angeles（加州大学洛杉矶分校）
将现有的强化学习（RL）中的最大Shannon熵原理推广到加权熵，通过对状态-动作对进行定性加权，将其与策略的先验知识、经验重放和演化过程联系起来。我们提出了一个算法的动机与引入的权重函数，这导致了国家的最先进的性能Mujoco任务，尽管其简单的实施自我平衡的探索。
2020-11-18 cs.LG cs.RO
Heat-Kernel Entropy Profiles and Geometric Effective Sample Size for Weighted Measures on Manifolds
Baruch College（巴克尔学院）
研究紧致流形上加权测度，引入热核熵剖面这一多尺度总结方法，通过内在热流扩散加权原子并跟踪尺度不均匀性，可计算二阶Rényi熵的几何有效样本量，实验表明其能揭示传统总结遗漏的结构。
2026-07-31 cs.LG stat.ME stat.ML
Reformulating van Rijsbergen's $F_β$ metric for weighted binary cross-entropy
本文通过为 $F_β$ 度量假设统计分布并利用拐点算法确定最优 $β$，将其转化为加权二元交叉熵中的动态惩罚权重，从而在分类任务中同时提升性能与可解释性。
2023-11-13 cs.LG stat.ML
Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning
Concordia University（康考迪亚大学）；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
本文针对联邦学习中客户端数据异质性导致的灾难性遗忘问题，提出通过逐客户端重新加权softmax logits来修改交叉熵目标，保护客户端标签集之外的类别表征，实验表明该方法能有效缓解遗忘并提升标准联邦学习算法性能。
2023-04-11 cs.AI cs.LG
Partial local entropy and anisotropy in deep weight spaces
Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Inovalabs Digital S.L. (TECHEYE)
我们改进了最近提出的一类局部熵损失函数，限制平滑正则化，只有一个子集的权重。新的损失函数被称为部分局部熵。它们可以适应权重空间的各向异性，从而优于它们的各向同性对应物。我们支持的理论分析与实验的图像分类任务进行多层，全连接和卷积神经网络。本研究提出了如何更好地利用深景观的各向异性的性质，并提供了直接探测的形状遇到的最小值的随机梯度下降算法。作为一个副产品，我们观察到一个渐近动力学制度在后期的训练时间，所有层的温度服从一个共同的冷却行为。
2021-04-06 cond-mat.dis-nn cs.LG stat.ML
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
What Does the Weight Norm Control in Grokking? Logit-Scale Mediation under Cross-Entropy
H&K Research Studio, Clevix LLC
本文通过固定权重范数并改变输出温度，发现Grokking延迟主要由对数尺度（logit scale）决定，权重范数仅通过影响对数尺度间接起作用。
2026-06-18 cs.AI cs.LG
Deep Out-of-Distribution Uncertainty Quantification via Weight Entropy Maximization
Manufacture Française des pneumatiques Michelin（法国米其林轮胎制造公司）；Centre Borelli（博雷利中心）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
本文针对深度学习在分布外检测中缺乏预测和权重多样性的问题，提出基于最大熵原理和奇异值分解的新型权重参数化方法，在最小化经验风险的同时最大化权重熵，显著提升了不确定性量化性能，在包含三十余种方法的基准测试中稳居前三。
2025-01-31 cs.LG
Barycentric Neural Networks and Length-Weighted Persistent Entropy Loss: A Green Geometric and Topological Framework for Function Approximation
Department of Applied Mathematics I, University of Seville（应用数学I系，塞维利亚大学）；Department of Computer Science and Artificial Intelligence, University of Seville（计算机科学与人工智能系，塞维利亚大学）
本文提出重心神经网络（BNN）与长度加权持续熵（LWPE）损失，通过优化基点而非内部参数，实现对连续分段线性函数的精确逼近，在低资源场景下比标准损失更快更准，提供绿色可持续的函数逼近方案。
2025-10-09 cs.AI cs.LG
Rethinking GSPO: The Perplexity-Entropy Equivalence
本文揭示GSPO序列级权重等价于逆困惑度比率和指数交叉熵变化，提供信息论视角解释其方差缩减与混合专家训练稳定性，并通过数学推理实验验证。
2025-10-27 cs.AI cs.CL cs.LG
Rebalancing Token Importance in Language Models with TF-IDF Weighted Cross-Entropy Loss
University of Southern California（南加州大学）；Vanderbilt University（范德堡大学）
针对语言模型均匀词元加权导致记忆表面文本的问题，提出TF-IDF加权交叉熵损失，在保持性能的同时显著减少记忆子串长度，且计算开销低。
2026-09-11 cs.CL cs.LG
Motion-Compensated Weight Compression
Multidisciplinary Faculty of Nador Mohammed Premier University（纳多莫哈梅德 premier 大学多学科学院）
提出运动补偿权重压缩（MCWC）方法，通过对齐置换对称块并利用层序预测和熵编码，有效压缩神经网络权重，在Transformer语言建模和视觉分类任务中提升率-精度帕累托前沿。
2026-05-23 cs.AI cs.CV cs.LG
Weight Fixing Networks
University of Southampton（南安普顿大学）
深度学习模型的现代迭代包含数百万（数十亿）个唯一参数，每个参数由一个b位数字表示。压缩神经网络的流行尝试（如修剪和量化）表明，许多参数是多余的，我们可以删除（修剪）或用少于b位的（量化）来表示，而不会影响性能。在这里，我们希望在最小化网络信息内容方面走得更远。而不是通道或逐层编码，我们期待无损全网络量化，以最小化网络中唯一参数的熵和数量。我们提出了一种新的方法，我们称之为权重固定网络（WFN），我们设计它来实现四个模型结果目标：i）非常少的唯一权重，ii）低熵权重编码，iii）适合节能版本的硬件乘法的唯一权重值，以及iv）无损任务性能。其中一些目标是相互冲突的。为了最好地平衡这些冲突，我们结合了一些新的（和一些常用的）技巧;一个新的正则化术语，（i，ii）将聚类成本视为相对距离变化（i，ii，iv），以及关注整个网络重用权重（i，iii）。我们的Imagenet实验证明了无损压缩使用比SOTA量化方法少56倍的唯一权重和低1.9倍的权重空间熵。
2022-10-24 cs.AI cs.CV cs.LG
EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Institute of Technology（佐治亚理工学院）；Case Western Reserve University（凯斯西储大学）
EntroLLM结合混合量化和熵编码技术，通过提升权重压缩率和编码效率，在边缘设备上实现高效的大语言模型推理，实验显示存储节省达30%-65%，推理速度提升31.9%-146.6%。
2026-01-26 cs.LG
Output-weighted and relative entropy loss functions for deep learning precursors of extreme events
Massachusetts Institute of Technology（麻省理工学院）
许多科学和工程问题需要精确的动力系统模型与罕见和极端事件。这些问题对数据驱动的建模提出了挑战性的任务，许多幼稚的机器学习方法无法预测或准确量化这些事件。这种困难的一个原因是，根据定义，具有极端事件的系统产生不平衡的数据集，并且标准损失函数容易忽略罕见事件。也就是说，用于训练模型的拟合优度的度量不是为了确保罕见事件的准确性而设计的。这项工作旨在提高极端事件的回归模型的性能，考虑损失函数，旨在突出离群值。我们提出了一种新的损失函数，调整后的输出加权损失，并扩大适用性的相对熵为基础的损失函数的低维输出系统。所提出的功能进行了测试，使用几种情况下的动力系统表现出极端事件，并显着提高极端事件的预测精度。
2021-12-01 cs.LG cs.NA math.NA
Uncertainty-Guided Attention and Entropy-Weighted Loss for Precise Plant Seedling Segmentation
Faculty of Computer Science October University for Modern Science \& Arts Giza, Egypt
本文提出UGDA-Net，通过不确定性引导双注意力、熵加权损失和深度监督提升植物幼苗分割精度，实验表明其在Dice系数和减少假阳性方面优于基线模型。
2026-04-12 cs.CV cs.LG
Dilated Balanced Cross Entropy Loss for Medical Image Segmentation
University of Tehran（德黑兰大学）；Sharif University of Technology（谢里夫理工大学）
针对医学图像分割的类别不平衡问题，提出基于类别掩码扩张区域加权的扩张平衡交叉熵损失，大幅提升平衡交叉熵性能，效果可媲美Dice与交叉熵的组合损失。
2024-12-08 cs.CV cs.LG eess.IV
A Dual Process Model for Optimizing Cross Entropy in Neural Networks
National Library of Medicine, National Institutes of Health（美国国立医学图书馆，美国国立卫生研究院）
最小交叉熵是一种广泛使用的人工神经网络训练方法。许多基于反向传播的训练过程直接使用交叉熵作为其损失函数。相反，这篇理论文章研究了一个具有两个过程的对偶过程模型，其中一个过程最小化Kullback-Leibler散度，而其对偶过程最小化Shannon熵。假设学习由两个相互补充的双重过程组成，该模型定义了两个过程的平衡状态，其中损失函数假定其最小值。所提出的模型的一个优点是，它允许导出最佳的学习率和动量权重，以更新反向传播的网络权重。此外，该模型引入了黄金分割比和复数作为机器学习中的重要新概念。
2021-04-27 cs.LG cs.NE
