NanoZK: Privacy-Preserving Verifiable Inference for Large Language Models via Layerwise Zero-Knowledge Proofs
USC Viterbi School of Engineering（USC维特里维学院工程学院）
NANOZK通过分层零知识证明验证大语言模型推理，采用分层证明框架实现常数大小证明，提升可扩展性与并行证明效率，同时保持形式正确性。
2026-07-21 cs.AI cs.CR cs.LG
Training on the Edge of Stability Is Caused by Layerwise Jacobian Alignment
National Geospatial-Intelligence Agency（国家地理空间情报局）
本文揭示训练损失的锐度增加源于逐层 Jacobian 矩阵的对齐，提出使用指数值Hessian求解器在稳定性边缘训练网络，并通过对齐度量缓解该问题，
2024-05-31 cs.LG stat.ML
Symmetry Reveals Layerwise Dynamics: How Transformers Perform In-Context Classification
Boston University, Departments of Computer Science
通过强制特征和标签排列等变性，从Transformer中提取出显式的深度索引递归更新规则，揭示了上下文分类的几何驱动算法。
2026-08-11 cs.AI cs.LG
Layerwise Proximal Replay: A Proximal Point Method for Online Continual Learning
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI；Mila（米拉）；Vector Institute（矢量研究所）
针对在线持续学习中经验重放导致优化轨迹不稳定、影响准确率的问题，提出分层近端重放（LPR），通过修改优化几何、限制过去数据隐藏激活的渐进变化，在多种设置下稳定提升重放方法性能。
2024-07-19 cs.LG
Asymptotic Freeness of Layerwise Jacobians Caused by Invariance of Multilayer Perceptron: The Haar Orthogonal Case
Kyoto University（京都大学）；Fujitsu Laboratories（富士通实验室）
本文证明了多层感知机（MLP）在Haar正交情形下逐层雅可比矩阵的渐近自由性，其核心利用了MLP在权重替换下的不变性，为深度神经网络中谱分布传播和动力学等距研究提供了理论基础。
2022-02-03 cs.LG math-ph math.MP
A Review of Some Techniques for Inclusion of Domain-Knowledge into Deep Neural Networks
BITS Pilani, K.K. Birla Goa Campus（印度博拉理工学院果阿分校）
我们提出了一个调查的方式，其中现有的科学知识，包括构建模型时，与神经网络。领域知识的包含不仅对构建科学助理特别感兴趣，而且对许多其他涉及使用人机协作理解数据的领域也特别感兴趣。在许多这样的实例中，基于机器的模型构造可以显著受益于被提供以足够精确的形式编码的领域的人类知识。本文通过改变深度网络的输入、损失函数和架构来研究领域知识的包含。分类是为了便于说明：在实践中，我们预计将采用这些变化的组合。在每个类别中，我们描述了已被证明可以在深度神经网络的性能上产生显著变化的技术。
2021-12-22 cs.AI cs.LG cs.NE
When Does Depth Help? Understanding Layerwise Inference in Tabular Foundation Models
China Agricultural University（中国农业大学）；Tsinghua University（清华大学）；Nankai University（南开大学）
该研究分析TabPFN-3等表格基础模型的分层推理，发现后期维度收缩与类原型分离相关，重复预训练块或打乱层序会降低性能，支持输入依赖的深度冗余评估。
2026-10-14 cs.LG
A Persistent State for Auditable Mixture-of-Experts Routing
Bahçeşehir University（巴切希尔大学）
针对MoE路由缺乏可审计记录的问题，提出SA-MoE，通过低维持久状态形成路由账本，以极低计算开销实现跨层影响的可解释追踪，并显著提升长期路由可达性。
2026-09-29 cs.AI
Greedy Layerwise Learning Can Scale to ImageNet
Mila, University of Montreal（蒙特利尔大学Mila）；University of California, Berkeley（加州大学伯克利分校）；CentraleSupelec, University of Paris-Saclay（巴黎-萨克雷大学中央理工-高等电力学院）
浅监督的1-隐层神经网络具有许多有利的特性，使其比深度对应物更容易解释，分析和优化，但缺乏其代表性。在这里，我们使用1-隐藏层学习问题逐层顺序构建深层网络，它可以继承浅层网络的属性。与以前使用浅网络的方法相反，我们专注于深度学习被认为是成功的关键的问题。因此，我们使用大规模ImageNet数据集和CIFAR-10数据集研究了图像分类任务的CNN。使用一组简单的架构和训练思想，我们发现解决顺序的1-隐藏层辅助问题会导致CNN在ImageNet上超过AlexNet的性能。将这种训练方法扩展到通过解决2-和3-隐藏层辅助问题来构建各个层，我们获得了一个11层网络，它超过了ImageNet上VGG模型家族的几个成员，并且可以训练VGG-11模型，达到与端到端学习相同的精度。据我们所知，这是第一个可以扩展到ImageNet的CNN端到端训练的竞争替代方案。我们从理论上说明了这些模型的几个有趣的属性，并进行了一系列实验来研究这种训练在中间层上引起的属性。
2019-04-23 cs.LG stat.ML
Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination
University of Michigan（密歇根大学）；Ohio State University（俄亥俄州立大学）
本文通过定义层内压缩和层间判别指标，理论证明深度线性网络在近正交输入和最小范数平衡低秩权重下，特征以几何率压缩、线性率判别，首次定量刻画深度线性网络的分层特征演化，并在非线性网络和迁移学习中验证。
2026-06-24 cs.CV cs.LG math.OC
Function-Space Learning Rates
University of Bristol（布里斯托大学）
本文提出函数空间学习率概念及高效测量方法，并引入FLeRM算法实现跨模型规模的超参数迁移，在多种架构中验证其有效性。
2025-05-22 cs.LG stat.ML
NEUROLOGIC: From Neural Representations to Interpretable Logic Rules
NEUROLOGIC提出从深度神经网络任意层神经表征直接提取可解释逻辑规则的新框架，支持丰富逻辑结构与人类先验知识，在Transformer情感分析上验证了有效性与可扩展性。
2025-10-15 cs.LG
Why is Pruning at Initialization Immune to Reinitializing and Shuffling?
ML Collective（ML 联盟）；Ford Motor Company（福特汽车公司）
最近评估修剪神经网络方法的有效性的研究发现了一个令人惊讶的发现：当对现有的初始化修剪方法（即SNIP、GraSP、SynFlow和幅度修剪）进行烧蚀研究时，这些方法的性能保持不变，有时甚至在随机重排每层内的掩模位置时有所改善（分层混洗）或采样新的初始权重值（Reinit），同时保持修剪掩码相同。我们试图通过研究随机化操作之前和之后的逐层统计，来理解这种网络对权重/掩码修改的免疫力背后的原因。我们发现，在每一个修剪初始化方法，未修剪的权重的分布变化最小的随机化操作。
2021-07-05 cs.AI cs.LG
Counterfactual Reasoning with Knowledge Graph Embeddings
Faculty of Computer Science, University of Vienna（维也纳大学计算机学院）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学UniVie计算机博士学院）；Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学语文学与文化学院）
提出CFKGR任务连接知识图谱补全与反事实推理，构建基准并开发COULDD适配KGE，实验表明其能检测符合规则的合理变化，但难识别规则外变化。
2024-03-11 cs.AI cs.CL cs.LG
Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks
University of Waterloo（滑铁卢大学）
随着用于移动处理的深度卷积神经网络（CNN）算法的激增，有限精度量化已成为提高CNN效率的重要工具。因此，各种工作已经寻求设计固定精度的量化算法和以量化为中心的优化技术，其最小化量化引起的性能劣化。然而，对于各种CNN设计决策/最佳实践如何影响量化推理行为，几乎没有具体的理解。权重初始化策略通常与解决梯度消失/爆炸等问题有关，但一个经常被忽视的方面是它们对每层最终训练分布的影响。我们对不同权重初始化对不同CNN架构的权重和激活的最终分布的影响进行了深入的细粒度消融研究。细粒度的分层分析使我们能够深入了解初始权重分布如何影响最终的准确性和量化行为。据我们所知，我们是第一个对权重初始化及其对量化行为的影响进行如此低层次、深入的定量分析的人。
2020-11-30 cs.CV cs.LG
Feature Identification via the Empirical NTK
Principles of Intelligence（智能原理）
通过分析经验神经切线核，研究发现其能揭示神经网络使用的特征并检测模型中的相变过程。
2026-02-06 cs.AI cs.LG
Personalising Digital Health Behaviour Change Interventions using Machine Learning and Domain Knowledge
Poznań University of Technology（波兹南理工大学）；University of Haifa（海法大学）
本文提出融合机器学习与领域知识的虚拟辅导系统，通过行为预测和带特征控制的反事实示例实现BCI个性化，并基于不同接受度的模拟患者数据形成评估方案。
2023-06-06 cs.AI cs.LG
BLDNet: A Semi-supervised Change Detection Building Damage Framework using Graph Convolutional Networks and Urban Domain Knowledge
American University of Beirut（贝鲁特美国大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）
在灾害信息学中，变化检测有助于定位损害和了解破坏。虽然卷积神经网络是最近变化检测解决方案的核心，但我们在这项工作中提出了BLDNet，这是一种用于建筑物损坏变化检测的新图形公式，并能够从局部模式和非平稳邻域中学习关系和表示。更具体地说，我们使用图卷积网络在半监督框架中有效地学习这些特征，几乎没有注释数据。此外，BLDNet公式允许注入额外的上下文建筑元功能。我们在xBD数据集上进行训练和基准测试，以验证我们方法的有效性。我们还在2020年贝鲁特港口爆炸的城市数据上证明，通过结合领域知识构建元特征，性能得到了提高。
2022-01-25 cs.CV cs.LG
Explainable Lane Change Prediction for Near-Crash Scenarios Using Knowledge Graph Embeddings and Retrieval Augmented Generation
Department of Computer Engineering, University of Alcalá（阿尔卡拉大学计算机工程系）
本文提出利用知识图谱嵌入与检索增强生成技术，预测危险和安全变道，提升模型可解释性并提高预判准确性。
2025-01-20 cs.AI cs.CL cs.IR
Real-World Deployment of a Lane Change Prediction Architecture Based on Knowledge Graph Embeddings and Bayesian Inference
Department of Computer Engineering, University of Alcalá（阿尔卡拉大学计算机工程系）；Department of Computer Science, German University in Cairo（开罗德国大学计算机科学系）；Department of Mechatronics, German University in Cairo（开罗德国大学机电系）
本文提出基于知识图谱嵌入和贝叶斯推断的车道变换预测系统，通过现实硬件验证，实现了算法与道路部署的结合，提前3-4秒预测目标车辆车道变换，确保安全。
2025-06-13 cs.AI cs.AR cs.CV
ORC: Network Group-based Knowledge Distillation using Online Role Change
Ajou University（亚洲大学）；Hyundai Motor Company（现代汽车公司）；Naver AI Lab（Naver人工智能实验室）
本文提出ORC方法，通过将多网络分为教师组和学生组并引入在线角色转换策略，利用学生组错误样本精炼教师知识后协作蒸馏，在多个数据集和骨干网络上验证了其高性能与通用性。
2023-08-08 cs.AI cs.LG
Relating Eye-Tracking Measures With Changes In Knowledge on Search Tasks
我们进行了一项眼动追踪研究，其中30名参与者在网络上进行搜索。我们在每次任务之前和之后测量他们的主题知识。他们的眼睛注视被标记为“阅读”或“扫描”。一行中的一系列阅读注视，称为“阅读序列”，其特征在于它们的像素长度，注视持续时间和构成序列的注视次数。我们假设，知识变化的参与者的差异反映在他们的眼动追踪措施与阅读。我们的研究结果表明，较高的知识变化的参与者显着不同的总阅读序列长度，阅读序列持续时间，和阅读固定的数量相比，较低的知识变化的参与者。
2018-05-07 cs.HC cs.IR cs.LG
Weight Initialization and Variance Dynamics in Deep Neural Networks and Large Language Models
University of Florida（佛罗里达大学）
本文通过理论分析和实证，研究了深度神经网络与GPT-2风格Transformer中的权重初始化，发现Kaiming初始化优于Xavier，并揭示了层间方差均衡规律，为稳健训练提供了实用指导。
2025-10-10 cs.LG
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University（萨尔兰大学）
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时，探测已经成为一种调查预训练模型捕获的语言知识的方法。然而，人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型：BERT、RoBERTa和AL BERT，并通过事件级探测来研究微调如何影响它们的表示。我们发现，对于一些探测任务，微调会导致准确性发生重大变化，这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而，这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明，虽然微调确实改变了预训练模型的表示，并且这些变化通常对于更高层来说更大，但只有在极少数情况下，微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果，我们认为，积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
Do graph neural networks learn traditional jet substructure?
University of California San Diego（加州大学圣地亚哥分校）
在CERN LHC，喷流标记的任务，其目标是推断给定一组最终状态粒子的喷流的起源，由机器学习方法主导。图形神经网络已被用于解决这一任务，它将射流视为点云，内部粒子之间具有潜在的、可学习的边缘连接。我们探索这样一个国家的最先进的网络，ParticleNet的决策过程中，通过寻找相关的边缘连接使用分层相关传播技术。随着模型的训练，我们观察到连接不同中间粒子簇（称为subjets）的相关边缘分布的变化。由此产生的子喷流连接的分布是不同的信号喷流起源于顶夸克，其子喷流通常对应于其三个衰变产物，和背景喷流起源于较轻的夸克和胶子。这种行为表明，该模型在识别射流时使用了传统的射流子结构观测值，例如射流内的尖头（高能粒子簇）数量。
2022-11-17 cs.LG hep-ex hep-ph
Vehicle Lane Change Prediction based on Knowledge Graph Embeddings and Bayesian Inference
University of Alcalá（阿尔卡拉大学）
针对车辆换道预测中场景上下文与风险建模不足的问题，提出融合 HighD 上 TransE 训练的 KGE 与贝叶斯推理、以 TTC 评估风险的方法，提前2秒和3秒预测分别达到97.95%和93.60%的F1分数。
2023-12-11 cs.AI cs.LG cs.NE
Learning, transferring, and recommending performance knowledge with Monte Carlo tree search and neural networks
对程序进行更改以优化其性能是一项不可扩展的任务，完全依赖于人类的直觉和经验。此外，大规模运营的公司正处于一个没有一个人理解控制其系统的代码的阶段，因此，进行更改以提高性能可能变得非常困难。在本文中，介绍了一个学习系统，提供人工智能的帮助，寻找建议的变化，一个程序。具体而言，它示出了如何评价反馈，延迟奖励性能规划域可以有效地制定通过蒙特卡罗树搜索（MCTS）框架。然后，它表明，建立的方法，从计算游戏使用学习，以加快树搜索计算可以适应，以加快计算推荐的程序更改。从MCTS树建立以前的问题的预期效用的估计用于学习一个采样策略，仍然有效的新的问题，从而证明优化知识的可转移性。该公式被应用到Apache Spark分布式计算环境中，并且观察到的初步结果是，构建用于查找推荐的搜索树所需的时间减少了10倍。
2020-05-06 cs.AI cs.LG
Process Knowledge Driven Change Point Detection for Automated Calibration of Discrete Event Simulation Models Using Machine Learning
Wayne State University（韦恩州立大学）
针对现有数据驱动变点检测方法无法利用过程知识的问题，提出结合仿真与机器学习的过程驱动多变量变点检测框架，经急诊科案例验证其检测准确率显著优于传统方法。
2020-09-21 cs.LG cs.SY eess.SY
Disentangling Language and Knowledge in Task-Oriented Dialogs
IBM Research（IBM研究院）；IIT Delhi（印度理工学院德里分校）
用于实际应用程序的知识库（KB），例如预订电影或餐厅预订，会随着时间的推移而不断变化。为这些面向任务的对话而训练的端到端神经网络预计不会受到知识库中任何变化的影响。然而，当要求处理这些变化时，现有的方法就会崩溃。我们提出了一个编码器-解码器架构（BoSsNet）与一个新的袋序列（BoSs）的内存，这有利于解开学习响应的语言模型和它的知识纳入。因此，知识库可以用新的知识进行修改，而不会降低可解释性。我们发现BoSsNet的性能优于最先进的模型，在bAbI OOV测试集和其他人类数据集上有相当大的改进（> 10%）。我们还系统地修改了现有的数据集来测量解纠缠，并显示BoSsNet对KB修改具有鲁棒性。
2019-04-05 cs.CL cs.LG stat.ML
Transferring climate change physical knowledge
University of California, Irvine（加州大学尔湾分校）；Learning the Earth with Artificial Intelligence and Physics (LEAP)（人工智能与物理学习地球中心）；CMCC Foundation — Euro-Mediterranean Center on Climate Change（CMCC基金会——欧洲-地中海气候变化中心）；Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)（德国航空航天中心）；University of Bremen（不来梅大学）；Columbia University（哥伦比亚大学）；Ecole Polytechnique（巴黎综合理工学院）；University of Salento（萨伦托大学）
本文提出用迁移学习融合地球系统模式历史模拟与观测温度图知识，将21世纪全球地表气温预估不确定性降低超过50%，并改善区域温度型态。
2025-08-20 cs.AI cs.LG physics.ao-ph
Southern Ocean Dynamics Under Climate Change: New Knowledge Through Physics-Guided Machine Learning
Harvey Mudd College（哈维穆德学院）；University of California（加利福尼亚大学）；ECMWF（欧洲中期天气预报中心）；IPSL（皮埃尔-西蒙·拉普拉斯研究所）；IRD（法国发展研究院）
本研究针对南大洋动力变化机制不清的问题，将THOR方法拓展至中尺度涡气候模型，结合神经网络集成与可解释性方法，揭示了南极绕极流与太平洋-南极海岭交汇区模态转变的风应力和地形驱动机制。
2023-12-17 cs.LG physics.ao-ph
Predicting the Co-Evolution of Event and Knowledge Graphs
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）
嵌入式学习，又名表示学习已经被证明能够对大规模语义知识图谱进行建模。一个关键概念是将知识图谱映射到张量表示，张量表示的条目由使用广义实体的潜在表示的模型预测。知识图谱通常被视为静态的：当更多的事实变得可用时，知识图谱增长更多的链接，但是与链接相关联的基础真值被认为是时不变的。在本文中，我们解决的问题，知识图谱的三重状态依赖于时间。我们假设知识图谱中的变化总是以事件的形式到达，在这个意义上，事件是通往知识图谱的网关。我们使用知识图谱背景信息和最近事件的信息来训练事件预测模型。通过预测未来事件，我们还预测了知识图谱中可能的变化，从而也获得了知识图谱的演化模型。我们的实验表明，我们的方法在临床应用，推荐引擎和传感器网络应用中表现良好。
2015-12-21 cs.LG
Solutions to preference manipulation in recommender systems require knowledge of meta-preferences
University College London（伦敦大学学院）
用于推荐系统的迭代机器学习算法经常通过尝试学习来改变人们的偏好。此外，推荐器可以通过使其用户更可预测来更好地预测用户将做什么。用户的某些偏好变化是自我诱导的，并且是期望的，无论推荐者是否引起它们。本文提出，在推荐系统中的偏好操纵的解决方案必须考虑到某些元偏好（偏好超过另一个偏好），以尊重用户的自主性，而不是操纵。
2022-09-14 cs.AI cs.CY cs.IR
Hierarchical End-to-End Taylor Bounds for Complete Neural Network Verification
Johns Hopkins University（约翰霍普金斯大学）
本文提出HiTaB框架，利用二阶光滑性及Hessian和其Lipschitz常数，通过分层方法改进神经网络可达集分析，提供更精确的安全性证明。
2026-05-11 cs.LG cs.SY eess.SY
Event-Triggered Time-Varying Bayesian Optimization
本文提出事件触发算法 ET-GP-UCB，通过检测目标函数变化并重置数据集，在无需已知变化率先验知识的情况下实现时变贝叶斯优化，并在合成与真实数据上优于现有 GP-UCB 方法。
2025-02-04 cs.LG stat.ML
