最大熵方法：抽样偏倚

从有限大小的数据集学习最大熵模型：快速数据驱动算法允许从后验分布中采样

Learning Maximum Entropy Models from finite size datasets: a fast Data-Driven algorithm allows sampling from the posterior distribution

最大熵模型提供了最少约束的概率分布，再现了实验数据集的统计特性。在这项工作中，我们的学习动态的特点，最大限度地提高对数似然的情况下，大，但有限的数据集。我们首先展示了最速下降动力学是如何不是最优的，因为它是由模型参数空间的非均匀曲率减慢的。然后，我们提供了一种方法来纠正这个空间，它只依赖于数据集的属性，并不需要大量的计算工作。我们的结论是通过解决的参数动态，包括系统使用吉布斯采样产生的随机性的长时间限制。在这个随机框架中，而不是收敛到一个固定点，动态达到一个平稳的分布，这对于纠正动态再现后验分布的参数。我们总结了所有这些见解在一个“纠正”数据驱动算法，这是快速的，并通过采样的参数后验避免了欠拟合和过拟合沿所有方向的参数空间。通过学习成对的伊辛模型从一个大的人口的视网膜神经元的记录，我们展示了我们的算法优于最速下降法。

构象熵作为蛋白质的集体变量

Conformational Entropy as Collective Variable for Proteins

许多强化抽样方法，如伞式抽样、元统计学或变异强化抽样，都依赖于确定适当的集体变量。对于蛋白质，即使是很小的蛋白质，找到合适的集体变量也是一个挑战。在这里，我们建议，NMR $S^2$序参量可以用于这种效果。我们将这一说法的有效性追溯到$S^2$和熵之间的建议关系。使用$S^2$序参量和蛋白质焓的替代品结合Metadhesics或变分增强采样，我们能够可逆地折叠和展开一个小的蛋白质，并在一小部分的时间，是在无偏模拟所需的自由能。从更概念化的观点来看，这意味着将折叠描述为熵和焓之间的权衡结果。我们还使用$S^2$结合自由能洪水方法来计算该肽的去折叠速率。我们在不同温度下重复此计算以获得去折叠活化能。

Sampling effects and measurement overlap can bias the inference of neuronal avalanches

To date, it is still impossible to sample the entire mammalian brain with single-neuron precision. This forces one to either use spikes (focusing on few neurons) or to use coarse-sampled activity (averaging over many neurons, e.g. LFP). Naturally, the sampling technique impacts inference about collective properties. Here, we emulate both sampling techniques on a simple spiking model to quantify how they alter observed correlations and signatures of criticality. We describe a general effect: when the inter-electrode distance is small, electrodes sample overlapping regions in space, which increa…

关于Tsallis熵偏差和广义最大熵模型

On Tsallis Entropy Bias and Generalized Maximum Entropy Models

在密度估计任务中，最大熵模型（Maxent）可以通过一定的约束有效地使用可靠的先验信息，即，无经验参数的线性约束。然而，可靠的先验信息往往是不够的，不确定的约束条件的选择成为必要的，但带来相当大的实现复杂性。不确定约束的不当设置可能导致过拟合或欠拟合。针对这一问题，在Tsallis熵框架下，提出了Maxent的一个推广.所提出的方法引入了一个凸二次约束（预期）Tsallis熵偏差（TEB）的校正。具体来说，我们证明了预期的Tsallis熵的采样分布是小于Tsallis熵的基本实际分布。这个预期的熵减少正是（预期的）TEB，它可以由一个封闭形式的公式表示，并作为一个一致的和无偏的校正。TEB表示特定采样分布的熵应该相应地增加。这需要对马克森特原理进行定量的重新解释。通过补偿TEB并同时迫使所得分布接近采样分布，我们的广义TEBC Maxent可以预期减轻过拟合和欠拟合。我们还提出了TEB和Lidstone估计之间的连接。因此，TEB-Lidstone估计器是通过解析识别Lidstone中的概率校正率来开发的。广泛的经验评估表明，与各种最先进的密度估计方法相比，TEBC Maxent和TEB-Lidstone的性能都很好。

将难计数转化为抽样：计算三维堵塞填料的构型熵

Turning intractable counting into sampling: computing the configurational entropy of three-dimensional jammed packings

我们报告了一个数值计算的总数无序堵塞配置$Ω$的$N$排斥，三维球在一个固定的体积$V$。为了使这些计算易于处理，我们提高了Xu等人的方法的计算效率。106，245502（2011））和Asenjo等人（Phys.Rev.Lett. 112，098002（2014）），并且我们扩展该方法以允许计算作为压力的函数的构型熵。我们使用的方法计算的配置熵采样的绝对体积的吸引力的盆地的稳定包装的势能景观。我们发现了一个令人惊讶的强相关性的压力之间的配置和体积的盆地的吸引力的势能景观。这种关系可以用幂律很好地描述。我们的方法来计算势能景观中的最小值的数量应该适用于统计物理学，弦论，宇宙学和机器学习中的其他枚举问题，这些问题旨在找到依赖于许多自由度的标量成本函数的极值的分布。