Review and Prospect of Algebraic Research in Equivalent Framework between Statistical Mechanics and Machine Learning Theory
RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能中心）
本文面向理论物理学家回顾并展望统计力学与机器学习理论等价框架中的代数研究，强调代数方法处理奇异随机哈密顿量以推导自由能与泛化误差，并介绍基于代数学习理论构建AI对齐理论基础的最新进展。
2025-03-26 cond-mat.stat-mech cs.LG math.ST
Performance of machine-learning-assisted Monte Carlo in sampling from simple statistical physics models
Dipartimento di Fisica, Sapienza Università di Roma（罗马大学物理系）；CNR-Nanotec, Rome unit（CNR-纳米技术罗马单位）；INFN, sezione di Roma1（INFN罗马1分部）
本研究针对Curie-Weiss模型，解析分析了浅层MADE架构下的顺序回火流程，比较了有无局部Metropolis步骤的性能，为机器学习辅助蒙特卡洛采样提供了理论指导。
2025-10-07 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey
Japan Women's University（日本女子大学）；XiChang University（西昌学院）；Sichuan University（四川大学）；Pittsburgh Institute（匹兹堡研究所）；Macao Polytechnic University（澳门理工大学）
本文从梯度、概率、不变性与等价性及拓扑斯四个视角综述范畴论在机器学习中的应用，更新了过去五年研究并首次系统探讨拓扑斯理论，凸显其在表达网络全局与局部结构及几何逻辑中的深刻作用。
2025-02-03 cs.LG
Exploring Adversarial Examples for Efficient Active Learning in Machine Learning Classifiers
University of Florida（佛罗里达大学）；National Cheng Kung University（国立成功大学）；University of Central Florida（中佛罗里达大学）
机器学习研究人员早就注意到这样一种现象，即当训练样本围绕底层决策边界密集采样时，模型训练过程将更加有效和高效。虽然这种观察已经广泛应用于一系列机器学习安全技术中，但它缺乏对观察正确性的理论分析。为了解决这一挑战，我们首先使用对抗攻击方法向原始训练样本添加特定的扰动，使得生成的示例可以近似位于ML分类器的决策边界上。然后，我们调查主动学习和这些特定的训练样本之间的联系。通过对k-NN分类器、核方法以及深度神经网络等具有代表性的分类器的分析，为观测建立了理论基础。因此，我们的理论证明提供了支持更有效的主动学习方法的帮助下，对抗的例子，相反，以前的作品中，对抗的例子往往被用作破坏性的解决方案。实验结果表明，所建立的理论基础将指导更好的基于对抗性实例的主动学习策略。
2021-09-23 cs.LG
Theoretical Impediments to Machine Learning With Seven Sparks from the Causal Revolution
University of California, Los Angeles（加州大学洛杉矶分校）
当前的机器学习系统几乎完全以统计或无模型模式运行，这对它们的功率和性能带来了严重的理论限制。这样的系统不能推理干预和回顾，因此不能作为强大人工智能的基础。为了达到人类水平的智能，学习机器需要现实模型的指导，类似于因果推理任务中使用的模型。为了证明这些模型的重要作用，我将总结当前机器学习系统无法完成的七项任务，这些任务已经使用因果建模工具完成。
2018-01-11 cs.AI cs.LG stat.ML
Theoretical Understandings of Product Embedding for E-commerce Machine Learning
Walmart Labs（沃尔玛实验室）；Instacart（Instacart公司）
产品嵌入在过去几年中得到了大量的研究，作为电子商业中广泛的机器学习应用的基石。尽管产品嵌入在经验上取得了成功，但从理论角度来看，人们对它们如何以及为什么起作用知之甚少。自然语言处理（NLP）的类似结果通常依赖于无法转移到电子商业环境的特定领域属性，并且下游任务通常集中在嵌入的不同方面。本文从电子商业的角度出发，从表示学习和学习理论两个角度对产品嵌入进行了全面的理论分析。我们证明了广泛采用的跳跃克负采样算法及其变体训练的产品嵌入是足够的降维关于一个关键的产品相关性措施。下游机器学习任务中的泛化性能由嵌入和产品相关性度量之间的对齐控制。根据理论发现，我们进行了探索性实验，支持我们的理论见解的产品嵌入。
2021-02-24 cs.IR cs.LG
Symmetry-Enriched Learning: A Category-Theoretic Framework for Robust Machine Learning Models
本研究提出融合高阶对称性与范畴论的对称性增强学习框架，引入超对称范畴等数学构造，设计对应模型与优化技术并开展理论分析，证实其可提升机器学习算法的鲁棒性等性能，开辟新研究方向。
2024-09-18 cs.LG
Is Extreme Learning Machine Feasible? A Theoretical Assessment (Part II)
极限学习机（ELM）可以看作是一个两级前馈神经网络（FNN）学习系统，它在第一级中随机分配与隐层神经元之间的连接，在第二级中调整与输出神经元之间的连接。因此，ELM训练本质上是一个线性学习问题，这大大减少了计算负担。大量的应用表明，这种计算负担的减少并没有降低泛化能力。然而，这在理论上是否正确还没有定论。本文的研究目的是通过分析企业学习管理的利弊，探讨企业学习管理在理论上的可行性。在关于这个主题的前一部分中，我们指出，通过适当地选择激活函数，ELM不会在期望意义上降低泛化能力。在本文中，我们从不同的方向展开研究，并表明ELM的随机性也会导致某些负面后果。一方面，我们发现随机性导致ELM的额外的不确定性问题，无论是在逼近和学习。另一方面，我们从理论上证明，也存在一个激活函数，使得相应的ELM的泛化能力下降。特别地，我们证明了高斯核ELM的泛化能力本质上比高斯核FNN差。为促进ELM的使用，我们还提供了这种退化的补救措施。我们发现，发达的系数正则化技术可以从根本上提高泛化能力。所得结果揭示了ELM的本质特征，为如何使用ELM提供了理论指导。
2014-01-24 cs.LG
A Critical Analysis of the Theoretical Framework of the Extreme Learning Machine
University of Ostrava（俄斯特拉发大学）；Cracow University of Technology（克拉科夫工业大学）；Universidad de Málaga（马拉加大学）；University of Warmia and Mazury in Olsztyn（奥尔什丁瓦尔米亚玛祖里大学）
本文批判性分析了极限学习机（ELM）的理论基础，通过反驳两个核心命题的证明并构建反例数据集揭示其缺陷，同时提出了替代性基础命题以论证ELM在特定理论情形下的有效性。
2024-06-25 cs.LG cs.NE
Optimal Margin Distribution Machine
Nanjing University（南京大学）
支持向量机（Support Vector Machine，SVM）是最流行的学习算法之一，其中心思想是最大化最小间隔，即，从实例到分类边界的最小距离。然而，最近的理论结果表明，最大化最小余量并不一定会导致更好的泛化性能，相反，余量分布已被证明是更重要的。基于这一思想，我们提出了一种新的方法，命名为最佳的边缘分布机（ODM），试图通过优化的边缘分布，以达到更好的泛化性能。我们通过一阶和二阶统计量来表征边际分布，即，保证金均值和方差。该方法是一种通用的学习方法，可以用于任何地方，支持向量机可以应用，并在本文中的优越性进行了理论和实证验证。
2016-04-12 cs.LG
Explainable Graph-theoretical Machine Learning with Application to Alzheimer's Disease Prediction
University of Fribourg（弗里堡大学）；Lausanne University Hospital (CHUV)（洛桑大学医院（CHUV））；University of Lausanne（洛桑大学）
提出可解释图论机器学习框架XGML，利用FDG-PET构建个体代谢脑图预测多变量AD结果，最佳配置达r=0.595，识别出潜在网络生物标志物。
2026-09-17 cs.LG
Large Margin Distribution Machine
Nanjing University（南京大学）
支持向量机（Support Vector Machine，SVM）是最流行的学习算法之一，其中心思想是最大化最小间隔，即，从实例到分类边界的最小距离。然而，最近的理论结果表明，最大化最小余量并不一定会导致更好的泛化性能，相反，余量分布已被证明是更重要的。在本文中，我们提出了大间隔分布机（LDM），它试图通过优化间隔分布来实现更好的泛化性能。我们通过一阶和二阶统计量来表征边际分布，即，保证金均值和方差。LDM是一种通用的学习方法，可以应用于任何支持向量机可以应用的地方，本文从理论和实证两个方面验证了LDM的优越性。
2014-05-23 cs.LG
Competitive Machine Learning: Best Theoretical Prediction vs Optimization
Red Trading Group（3Red交易集团）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）；Texas A&M University（得克萨斯农工大学）
机器学习通常用于竞争场景：参与者学习并适应静态模型，这些模型在共享平台上竞争。通常的假设是，为了赢得竞争，必须拥有最佳的预测模型，即，样本外误差最小的模型那一定是真的吗目标的最佳理论预测模型是否总是在竞争中产生最佳回报？如果没有，是否可以采用最佳模式，并有目的地将其改变为理论上较低的模式，从而在实践中产生更高的竞争优势？这个修改是什么样子的？最后，如果所有参与者都修改了他们的预测模型，使其具有最佳的实际性能，那么谁受益最大？模型较差的参与者，还是理论上优越的参与者？本文的主旨就是提出这些重要问题，并提出一个理论模型来回答这些问题。我们考虑一个研究案例，其中两个线性预测模型竞争一个共享的目标。具有最接近估计的模型获得整个奖励，其等于目标的绝对值。我们描述了每个模型的奖励函数，并使用一个基本的博弈论方法，证明了劣势的竞争对手可以显着提高他的性能，通过选择最佳的模型系数，是不同的最佳理论预测。这是一项初步研究，强调了这样一个事实，即在许多预测机器学习为竞争服务的应用中，与静态预测改进相比，可以从模型的实际（回测）优化中获益匪浅。
2018-03-09 cs.LG stat.ML
System-Level Uncertainty Quantification with Multiple Machine Learning Models: A Theoretical Framework
本文提出一个理论框架，通过解耦模型不确定性与输入不确定性之间的耦合，生成多个机器学习模型预测的联合分布，为系统级不确定性量化与后续数值算法开发奠定基础。
2025-09-20 cs.LG stat.ML
Generalising the Discriminative Restricted Boltzmann Machine
City University London（伦敦城市大学）
我们提出了一个新的理论结果，概括的歧视性限制玻尔兹曼机（DRBM）。虽然最初定义的DRBM假设{0，1}-伯努利分布在其每个隐藏单元，这个结果使得它可以推导出成本函数的DRBM的变体，利用其他分布，包括一些经常在文献中遇到的。这里用二项式和{-1，+1}-伯努利分布来说明这一点。我们评估了这两个DRBM变体，并将其与三个基准数据集（即MNIST和USPS数字分类数据集以及20个新闻组文档分类数据集）上的原始变体进行比较。结果表明，三个比较的模型中的每一个都优于其余两个在三个数据集之一，从而表明，所提出的理论概括的DRBM可能是有价值的实践。
2016-04-06 cs.LG
Mathematics of Differential Machine Learning in Derivative Pricing and Hedging
University of Copenhagen（哥本哈根大学）
本文通过严格数学框架提出金融微分机器学习算法，为衍生品定价与对冲中的数据驱动模型提供统一理论基础，并证明该方法在当前背景下的最优性。
2024-05-02 cs.LG q-fin.CP q-fin.MF
On Choice of Hyper-parameter in Extreme Value Theory based on Machine Learning Techniques
Nikon Corporation（尼康公司）；Mathematical Science Research Laboratory（数理科学研究实验室）
极值理论（EVT）是一种分析极端事件的统计工具。极值理论有很强的理论背景，但需要选择超参数来应用极值理论。在最近的机器学习研究中，选择超参数的技术已经得到了很好的研究。本文提出了一种基于机器学习技术的极值理论超参数选取方法。我们还对真实数据进行了实验，证明了我们的方法具有良好的可用性。
2021-07-13 cs.LG
Using theoretical ROC curves for analysing machine learning binary classifiers
Durham University（杜伦大学）
大多数二进制分类器的工作原理是处理输入以产生标量响应并将其与阈值进行比较。分类器性能的各种度量明确地或隐含地假设属于任一类别的响应的概率分布$P_s$和$P_n$、每种类型的误分类的成本的概率分布，并且从预期成本计算性能分数。在机器学习中，分类器响应是通过实验获得的，性能分数是直接从它们中计算出来的，对$P_s$和$P_n$没有任何假设。在这里，我们认为，省略的步骤估计理论分布的$P_s$和$P_n$可能是有用的。在一个生物识别安全的例子中，我们将beta分布拟合到两个分类器的响应中，一个基于逻辑回归，一个基于ANN，并使用它们来建立一个分类，将其分类为在ROC曲线末端具有不同极端行为的少量类别。
2019-09-21 cs.CV cs.LG stat.ML
Minimal Learning Machine: Theoretical Results and Clustering-Based Reference Point Selection
University of Jyvaskyla（于韦斯屈莱大学）；Federal University of Ceará - UFC（塞阿拉联邦大学）；Federal Institute of Education, Science and Technology of Ceará - IFCE（塞阿拉联邦教育科学技术学院）
最小学习机（MLM）是一种基于学习在输入和输出数据空间中计算的距离矩阵之间的线性映射的非线性监督方法，其中使用称为参考点的点的子集来计算距离。它的简单配方吸引了一些最近的工作扩展和应用。在本文中，我们的目的是解决一些与传销有关的公开问题。首先，我们详细的理论方面，保证插值和普遍的近似能力的MLM，这是以前只有经验验证。其次，我们确定的任务，选择参考点具有重大意义的MLM的泛化能力。然后提出并分析了几种基于聚类的回归场景参考点选择方法。基于广泛的实证评估，我们得出结论，评估的方法是可扩展的和有用的。具体而言，对于少量的参考点，基于聚类的方法优于原始MLM公式的标准随机选择。
2020-10-06 cs.LG stat.ML
Which Factorization Machine Modeling is Better: A Theoretical Answer with Optimal Guarantee
Alibaba Group（阿里巴巴集团）；Department of Computational Medicine and Bioinformatics, University of Michigan（密歇根大学计算医学与生物信息学系）；University of Michigan（密歇根大学）
因式分解机（FM）是一种流行的机器学习模型，用于捕获二阶特征交互。FM及其广义版本的最优学习保证尚未开发。对于$d$维输入的秩$k$广义FM，以前已知的最佳采样复杂度是高斯分布下的$\mathcal{O}[k^{3}d\cdot\mathrm{polylog}(kd)]$。与信息理论下限$\mathcal{O}(kd)$相比，该界限是次优的。在这项工作中，我们的目标是收紧这一界向最佳和推广的分析亚高斯分布。证明了当输入数据满足$τ$ -矩可逆性时，广义FM的采样复杂度可以提高到$\mathcal{O}[k^{2}d\cdot\mathrm{polylog}(kd)/τ^{2}]$。当在广义FM中排除二阶自相互作用项时，该界可以改进到最佳的$\mathcal{O}[kd\cdot\mathrm{polylog}(kd)]$，直到对数因子。我们的分析还表明，半正定约束在传统的FM是多余的，因为它没有提高采样的复杂性，同时使模型难以优化。在实时高精度GPS信号校准任务中，对改进的FM模型进行了评估，验证了其优越性。
2019-01-30 cs.LG stat.ML
Logifold: A Geometrical Foundation of Ensemble Machine Learning
Boston University（波士顿大学）
本文提出logifold几何结构，将受限域网络模型视为数据集的局部坐标卡，为集成机器学习建立数学基础，并通过实验证明其能识别模糊域并提升准确率。
2024-10-19 cs.LG math.DG
Derivation of Information-Theoretically Optimal Adversarial Attacks with Applications to Robust Machine Learning
University of Iowa（爱荷华大学）
我们考虑的理论问题，设计一个最佳的对抗攻击的决策系统，最大限度地降低了系统的可实现的性能，作为衡量退化的信号和标签之间的互信息的兴趣。这个问题是由机器学习分类器的对抗性示例的存在引起的。通过采用信息论的观点，我们试图确定对抗脆弱性是不可避免的条件，即即使是最佳设计的分类器也容易受到小的对抗扰动。我们提出了离散和连续信号的最佳对抗攻击的推导，即，找到最佳扰动分布以最小化所述退化信号与遵循连续或离散分布的信号之间的互信息。此外，我们表明，这是很难实现对抗攻击最小化互信息时，输入信号的多个冗余副本可用。这为最近提出的"特征压缩”假设提供了额外的支持，该假设解释了深度学习分类器的对抗性脆弱性。我们还报告了计算实验的结果来说明我们的理论结果。
2020-07-28 cs.IT cs.LG math.IT
Automated Content Grading Using Machine Learning
AMITY UNIVERSITY（阿米提大学）
试卷评分是一项繁忙、耗时耗力的工作，而且在检查中经常受到效率低下和偏见的影响。这个研究项目是一个原始的实验，在自动化的理论答案写在考试中的学生在技术课程，但仍继续被人类评分。在本文中，我们展示了如何使用机器学习中的算法方法来自动检查和评分考试答案中的理论内容。词袋，它们的向量和质心，以及一些语义和词汇文本特征已经被整体使用。机器学习模型已经在根据参加技术课程的毕业生给出的考试手动构建的数据集上实现。这些模型进行了比较，以显示每个模型的有效性。
2020-04-08 cs.CY cs.LG
One-Shot Federated Learning: Theoretical Limits and Algorithms to Achieve Them
Sharif University of Technology（谢里夫理工大学）
我们考虑在单次设置中的分布式统计优化，其中有$m$机器，每个机器观察$n$ i.i.d.。样品基于其观察到的样本，每台机器向服务器发送一条$B$位长的消息。然后，服务器从所有机器收集消息，并估计使预期凸损失函数最小化的参数。我们调查的影响，通信约束，$B$，对预期的错误，并推导出一个严格的下界的错误实现的任何算法。然后，我们提出了一个估计，我们称之为多分辨率估计（MRE），其预期误差（当$B\ge\log mn$）满足上述下限的多对数因子，从而阶最优。我们还解决了在微小的通信预算下的学习问题，并提出了$B$是一个常数时的上下误差界。与现有算法不同，MRE的预期误差随着机器的数量（$m$）趋于无穷大而趋于零，即使当每台机器的样本数量（$n$）保持由常数限定的上限时也是如此。MRE算法的这一特性使其适用于$m$比$n$大得多的新机器学习范例。
2019-12-30 cs.DC cs.LG stat.ML
The unbearable lightness of Restricted Boltzmann Machines: Theoretical Insights and Biological Applications
Kavli Institute for Systems Neuroscience（卡弗里系统神经科学研究所）；NTNU（挪威科技大学）；Imperial College London（伦敦帝国学院）
本文综述RBM激活函数的理论优劣及其在神经、蛋白质与免疫数据分析中的应用，并指出开放问题对神经网络研究的意义。
2025-01-08 cond-mat.dis-nn cs.LG physics.data-an
Bridging Privacy and Robustness for Trustworthy Machine Learning
Huazhong University of Science and Technology（华中科技大学）
本文系统研究LDP、MBP、ABP三类隐私概念的理论关系，将其与PAC学习框架下的算法鲁棒性关联，证明隐私机制可赋予PAC鲁棒性并量化隐私泄露对输入鲁棒性的影响，为可信机器学习的隐私-鲁棒性权衡提供统一理论框架。
2025-07-30 cs.AI cs.CR cs.LG
On the Information Theoretic Distance Measures and Bidirectional Helmholtz Machines
Cylance（Cylance公司）
通过将双向亥姆霍兹机与信息论联系起来，提出了一种广义亥姆霍兹机.理论和实验结果表明，在给定\textit{shallow}结构的情况下，广义模型的性能明显优于已有模型.
2018-07-16 cs.IT cs.LG math.IT
Theoretical Models of Learning to Learn
syseng.anu.edu.au（澳大利亚国立大学系统工程（注：原文本中机构表述不完整，仅根据邮箱域名推测，实际可能需更完整信息确认））
机器只有在某种程度上有偏见时才能学习。通常，偏置是手动提供的，例如通过选择一组适当的特征。然而，如果学习机嵌入在相关任务的{ \em环境}中，则它可以通过从环境中学习足够多的任务来{ \em学习}其自身的偏差。本文介绍了偏置学习的两种模型，并给出了主要的理论结果。第一个模型是基于经验过程理论的PAC型模型，而第二个是分层贝叶斯模型。
2020-02-27 cs.LG stat.ML
Explaining Machine Learning and Memorization with Statistical Mechanics
Faculty of Science（理学院）
利用统计力学工具研究神经网络和机器学习，重点分析对抗攻击和隐式低维学习，通过密集联想记忆和受限玻尔兹曼机两类模型探讨学习与记忆化的平衡。
2026-07-01 cond-mat.stat-mech cs.LG
A Machine Learning Approach to Predicting the Smoothed Complexity of Sorting Algorithms
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学学院）；University College Cork（科克大学学院）
平滑分析是一个分析算法复杂性的框架，作为平均和最坏情况行为之间的桥梁。例如，快速排序和单纯形算法在实际应用中被广泛使用，尽管它们的最坏情况复杂度很高。平滑复杂度旨在更好地表征此类算法。现有的排序算法的平滑复杂性的理论界仍然很弱。此外，根据经验计算平滑复杂度通过其原始定义是计算上不可行的，即使是适度的输入大小。在本文中，我们专注于准确地预测排序算法的平滑复杂度，使用机器学习技术。我们提出了两个回归模型，考虑到各种属性的排序算法和一些已知的理论结果，在平滑分析，以提高预测质量。我们展示了预测快速排序，合并排序和优化的Bubberort大输入大小的平滑复杂性的实验结果，从而填补了已知的理论和经验结果之间的差距。
2015-03-23 cs.AI cs.CC cs.LG
Information-Theoretic Foundations for Machine Learning
Stanford University（斯坦福大学）
本研究提出基于贝叶斯统计与香农信息论的理论框架，统一分析机器学习现象，为理论研究者提供严谨框架，为从业者提供直观指导，可应用于多种机器学习场景以应对复杂挑战。
2026-08-04 cs.AI cs.LG stat.ML
Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss
Hainan University（海南大学）；Zhijiang College, Zhejiang University of Technology（浙江工业大学之江学院）
具有0-1软间隔损失的线性支持向量机（$L_{0/1}$ -SVM）的最新进展表明，0-1损失问题可以直接求解。然而，由于理论和算法上的要求限制了我们将线性求解框架直接扩展到非线性核形式，其中$L_{0/1}$ -SVM的拉格朗日对偶函数没有显式表达是一个很大的不足。本文应用非参数表示定理，提出了一种具有0-1软间隔损失的支持向量机的非线性模型，称为$L_{0/1}$ -KSVM。从理论上探讨了该问题的最优性条件，并引入了工作集选择交替方向乘子法（ADMM）算法，得到了该问题的数值解。此外，我们首次提出了一个封闭形式的定义支持向量（SV）的$L_{0/1}$ -KSVM。从理论上证明了$L_{0/1}$ -KSVM的所有支持向量只位于平行决策曲面上。实验部分还表明，与线性同类$L_{0/1}$ -SVM和其他六种非线性基准SVM分类器相比，$L_{0/1}$ -KSVM具有更少的支持向量机，同时具有良好的预测精度。
2022-12-01 cs.LG math.OC
Rethinking Class Imbalance in Machine Learning
National Center for Applied Mathematics（国家应用数学中心）；School of Mathematics, Tianjin University（天津大学数学学院）
本文提出更广的类别不平衡分类法，涵盖五种类型和全局/局部层次，理论分析其影响，并基于logit扰动提出新损失函数，元学习调参，实验验证有效性。
2023-05-06 cs.AI cs.LG
Singularity Formation: Synergy in Theoretical, Numerical and Machine Learning Approaches
CALIFORNIA INSTITUTE OF TECHNOLOGY（加州理工学院）
本文通过理论、数值和机器学习方法研究偏微分方程中的奇点形成问题，提出新的分析框架和数值方法，提升对复杂方程中奇点形成机制的理解与预测能力。
2026-04-18 cs.LG cs.NA math.AP
Empirical Evaluation and Theoretical Analysis for Representation Learning: A Survey
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
表示学习使我们能够从数据集中自动提取通用特征表示，以解决另一个机器学习任务。最近，通过表示学习算法和简单预测器提取的特征表示在几个机器学习任务上表现出最先进的性能。尽管其显着的进步，有各种各样的方法来评估表示学习算法取决于应用程序，因为表示学习的灵活性。为了理解当前的表示学习，我们回顾了表示学习算法的评价方法和理论分析。在此基础上，我们还讨论了表示学习的未来发展方向。请注意，本调查是野泽和佐藤（2022）的扩展版本。
2022-04-18 cs.CV cs.LG
Machine Learning of the Prime Distribution
University of Neuchâtel（内乌夏特尔大学）；Solomonoff Consulting（索洛蒙夫咨询）
本文利用最大熵方法推导概率数论定理，解释素数可学习性的实验现象，并指出当前机器学习难以发现 Erdős–Kac 定律。
2024-06-02 cs.AI cs.IT cs.LG
Potential failures of physics-informed machine learning in traffic flow modeling: theoretical and experimental analysis
University of Maryland, College Park, MD 20742, United States（马里兰大学学院公园分校）；Florida Atlantic University, Boca Raton, FL 33431, United States（佛罗里达 Atlantic 大学）
研究探讨物理信息机器学习在交通流建模中失败的原因，定义失败情形，指出有效更新条件难满足致PIML失败，通过理论分析建立物理残差MSE下界，解释基于LWR的PIML能优于ARZ的原因。
2026-07-22 cs.LG physics.comp-ph
Learning Transport Processes with Machine Intelligence
University of Oxford（牛津大学）
我们提出了一种基于机器学习的方法来解决运输过程的研究，普遍存在于连续力学中，特别注意那些由复杂的微观物理所统治的现象，理论研究不切实际，但表现出可由封闭的数学表达式描述的紧急行为。我们的机器学习模型使用简单的组件构建，并遵循一些成熟的实践，能够学习传输过程的潜在表示，比表征数据的标称误差所预期的更接近地面真实，从而获得良好的泛化特性。这是通过一个长期存在的问题，有关融合和宇宙等离子体的热通量抑制的理想化的研究证明。我们的分析表明，结果适用于超出这些情况下的特定假设，特别是，学习表示的准确性是可控的，通过知识的数据质量（错误属性）和数据集大小的适当选择。虽然学习的表示可以用作数值建模目的的插件，但它也可以与上述误差分析一起使用，以获得描述传输机制的可靠数学表达式，并且具有很大的理论价值。
2022-06-14 cs.LG physics.plasm-ph
Theoretical Foundations of Adversarially Robust Learning
The Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
该论文从理论视角研究机器学习对抗鲁棒性问题，提出新的问题表述、可证明鲁棒的学习算法，并刻画鲁棒学习复杂度与算法性能的根本局限，推动对抗鲁棒学习的理论发展。
2023-06-13 cs.CR cs.LG stat.ML
The Theory and Algorithm of Ergodic Inference
University of Cambridge（剑桥大学）
近似推理算法是机器学习的基础研究领域之一。机器学习中两个主要的理论推理框架是变分推理（VI）和马尔可夫链蒙特卡罗（MCMC）。然而，由于理论上的根本局限性，如何在计算可扩展性和统计效率上改进现有的VI和MCMC方法是非常具有挑战性的。为了克服这个障碍，我们提出了一个新的理论推理框架称为遍历推理遍历变换的基本性质的基础上。本文的主要贡献是为以后的实际算法的发展奠定了遍历推理的理论基础。
2018-11-17 cs.LG stat.ML
A Pattern Language for Machine Learning Tasks
Jump Trading；MIT（麻省理工学院）；Quantinuum；Artidis AG
本文提出一种将机器学习目标函数形式化为等式约束任务的图形数学框架，统一跨领域方法并实现模型无关的行为设计与优化，并通过可端到端最小编辑数据的“操纵器”任务验证其有效性。
2025-05-04 cs.LG math.CT
Foundations and Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions
Carnegie Mellon University（卡内基梅隆大学）
多模态机器学习是一个充满活力的多学科研究领域，旨在设计具有智能能力的计算机代理，如理解，推理和学习，通过整合多种通信方式，包括语言，声学，视觉，触觉和生理信息。随着最近的兴趣在视频理解，体现自主智能体，文本到图像的生成，和多传感器融合的应用领域，如医疗保健和机器人，多模态机器学习带来了独特的计算和理论挑战的机器学习社区之间的异构数据源和互连经常发现的方式。然而，多模态研究的进展范围之广，使得很难确定该领域的共同主题和开放问题。通过从历史和最近的角度综合广泛的应用领域和理论框架，本文旨在提供多模态机器学习的计算和理论基础的概述。我们首先定义了三个关键原则的模态异质性，连接和互动，驱动了随后的创新，并提出了一个分类的六个核心技术挑战：代表，对齐，推理，生成，转移，量化涵盖历史和最近的趋势。最近的技术成就将通过这种分类的镜头呈现，使研究人员能够了解新方法的相似性和差异。最后，我们通过激励几个开放的问题，为未来的研究确定我们的分类。
2023-02-20 cs.AI cs.CL cs.CV
How to show a probabilistic model is better
Washington University in St. Louis（圣路易斯华盛顿大学）
我们提出了一个简单的理论框架，和相应的实际程序，在传统的机器学习设置比较真实数据的概率模型。这个框架是基于适当的评分规则的理论，但只需要基本的代数和概率论来理解和验证。所提出的理论概念是经过充分研究的，主要是在统计文献中。本文的目标是倡导他们更广泛地采用经验机器学习的性能评估。
2015-02-11 cs.LG stat.ML
COVID-19 Imaging Data Privacy by Federated Learning Design: A Theoretical Framework
Charles Sturt University（查尔斯特大学）
为应对COVID-19的医疗挑战，我们需要在全球范围内频繁共享健康数据、知识和资源。然而，在这个数字时代，数据隐私是一个大问题，需要将隐私保证安全地嵌入到使用健康数据的所有技术解决方案的设计中。在本文中，我们介绍了差分隐私的设计（dPbD）框架，并讨论其嵌入到联邦机器学习系统。为了限制我们的论文的范围，我们专注于通过计算机视觉和深度学习方法进行疾病诊断的COVID-19成像数据隐私的问题场景。我们讨论了评估联邦机器学习系统的设计，并讨论了如何差分隐私设计（dPbD）框架可以提高数据隐私的联邦学习系统的可扩展性和鲁棒性。我们认为，可扩展的差异私有联邦学习设计是一个很有前途的解决方案，用于建立一个安全，私有和协作的机器学习模型，如需要打击COVID 19的挑战。
2020-10-13 cs.CR cs.CV cs.LG
Connecting Dualities and Machine Learning
Arnold Sommerfeld Center for Theoretical Physics（阿诺德·索末菲理论物理中心）；Ludwig-Maximilians-Universität（路德维希-马克西米利安大学）；Max-Planck-Institut für Physik（马克斯·普朗克物理研究所）
对偶性被广泛应用于量子场论和弦论中，以获得高精度的关联函数。在这里，我们给出了一些例子，其中双重数据表示在监督分类中很有用，将机器学习和理论物理中的典型任务联系起来。然后，我们将讨论如何在神经网络的潜在维度中实施这种有益的表示。我们发现，额外的贡献的损失的基础上的功能分离，功能匹配相对于所需的表示，和一个“简单的”关联函数的良好性能可以导致已知和未知的双重表示。这是第一个证明计算机可以找到对偶的概念。我们讨论了我们的例子，离散傅立叶变换和伊辛模型的基础上，连接到理论物理学中的其他对偶，例如塞伯格对偶。
2020-02-12 cond-mat.dis-nn cs.LG hep-ph
Future Directions in the Theory of Graph Machine Learning
RWTH Aachen University（亚琛工业大学）；Technion - Israel Institute of Technology（以色列理工学院）；NVIDIA Research（英伟达研究院）；University of Oxford（牛津大学）；MIT（麻省理工学院）；TU Munich（慕尼黑工业大学）
本文针对 GNN 理论偏重表达能力、却与随机优化训练下的泛化实践脱节的问题，呼吁建立兼顾表达能力、泛化与优化相互作用的平衡图机器学习理论。
2024-06-14 cs.AI cs.DM cs.LG
