Gradient-based grand canonical optimization enabled by graph neural networks with fractional atomic existence
Center for Interstellar Catalysis, Department of Physics and Astronomy, Aarhus University, DK-8000 Aarhus C, Denmark（星际催化中心，物理系，阿arhus大学，丹麦）
本文提出了一种基于图神经网络的梯度法大正则优化方法，通过引入分数原子存在变量，实现了对吉布斯自由能的梯度计算，用于研究Cu(110)表面氧化物的性质。
2025-09-28 cond-mat.mtrl-sci cs.LG
Multi-task graph neural networks for simultaneous prediction of global and atomic properties in ferromagnetic systems
Oak Ridge National Laboratory（橡树岭国家实验室）
我们引入了一个多任务图卷积神经网络HydraGNN，可以同时预测全局和原子物理性质，并使用铁磁材料进行演示。我们在铁铂（FePt）的开源从头算密度泛函理论（DFT）数据集上训练HydraGNN，该数据集具有固定的体心四面体（BCT）晶格结构和固定的体积，以同时预测混合焓（系统的全局特征），原子电荷转移和原子磁矩跨越整个组成范围的配置。通过利用材料属性之间的潜在物理相关性，HydraGNN的多任务学习（MTL）即使在少量数据的情况下也能提供有效的训练。此外，这只需要一个架构就可以实现，而不是单任务学习（STL）所要求的三个架构。HydraGNN架构的第一个卷积层由所有学习任务共享，并提取所有材料属性的共同特征。下面的层区分不同属性的特征，其结果被馈送到最后一层的单独头部以产生预测。数值计算结果表明，HydraGNN有效地捕捉在整个组成范围内的构型熵和材料性能之间的关系。总体而言，同步MTL预测的准确性与STL预测的准确性相当。此外，为MTL训练HydraGNN的计算成本远低于原始DFT计算，也低于为每个属性训练单独的STL模型。
2022-02-04 cond-mat.mtrl-sci cs.LG physics.comp-ph
Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling
Oak Ridge National Laboratory（橡树岭国家实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文通过构建数十亿参数、太字节数据规模的基础GNN模型，系统研究图神经网络在原子尺度材料建模中的规模法则，揭示模型规模、数据量与准确性的关系，并提供优化模型与代码库。
2025-04-10 cond-mat.mtrl-sci cs.LG
Efficient, Interpretable Graph Neural Network Representation for Angle-dependent Properties and its Application to Optical Spectroscopy
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Dalhousie University（达尔豪斯大学）
图神经网络由于其直观的原子和键的图形编码而在学习原子结构的性质方面具有吸引力。然而，传统的编码不包括角度信息，这对于描述无序系统中的原子排列至关重要。在这项工作中，我们扩展了最近提出的ALIGNN编码，其中包括键角，也包括二面角（ALIGNN-D）。这个简单的扩展导致了一个内存效率高的图形表示，捕捉原子结构的完整几何形状。ALIGNN-d应用于预测动态无序Cu（II）水络合物的红外光学响应，利用内在的可解释性来阐明单个结构组分的相对贡献。键和二面角被发现是关键的贡献者的吸收响应的精细结构，与失真表示更常见的几何形状之间的过渡表现出最强的吸收强度。ALIGNN-d的进一步发展的未来方向进行了讨论。
2022-02-15 cs.LG physics.comp-ph
Plexus: Taming Billion-edge Graphs with 3D Parallel Full-graph GNN Training
Department of Computer Science\ of Maryland College Park Maryland USA；Department of Computer Science\ of Maryland
针对大规模图GNN训练的内存限制与分布式全图训练的通信、负载问题，提出带双重置换负载均衡等优化的3D并行全图训练框架Plexus，在超算多GPU上实现显著性能提升。
2025-10-29 cs.AI cs.DC cs.LG
Nazrin: An Atomic Neural Proof Automation Tactic in Lean 4
Stanford University（斯坦福大学）；Northeastern University（东北大学）
提出原子策略集、转置原子化算法、ExprGraph数据结构和基于图神经网络的Nazrin证明器，通过仅调度原子策略克服现有证明代理的挑战，并在消费级硬件上训练和评估。
2026-07-01 cs.LG cs.LO
Reducing Communication in Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
图神经网络（GNN）是一种强大而灵活的神经网络，它使用数据的自然稀疏连接信息。GNN将这种连接表示为稀疏矩阵，与密集矩阵相比，稀疏矩阵具有较低的算术强度，因此通信成本较高，这使得GNN比卷积或全连接神经网络更难扩展到高并发。我们介绍了一系列用于训练GNN的并行算法，并表明与以前的并行GNN训练方法相比，它们可以渐进地减少通信。我们实现了这些算法，这是基于1D，1.5D，2D和3D稀疏密集矩阵乘法，使用火炬。分布在配备GPU的集群。我们的算法优化了整个GNN训练管道的通信。我们在多个数据集上的100多个GPU上训练GNN，包括具有超过10亿条边的蛋白质网络。
2020-09-02 cs.DC cs.LG stat.ML
Exploring structure diversity in atomic resolution microscopy with graph neural networks
National University of Defense Technology（中国人民解放军国防科技大学）；Tongji University（同济大学）；Peking University（北京大学）；Central South University（中南大学）
提出基于EGNN的少样本图学习框架，以更少参数识别多样原子结构并揭示空位线动力学，还通过任务链发现高性能析氢掺杂构型。
2024-10-23 cond-mat.mes-hall cond-mat.mtrl-sci cs.LG
Empowering Credit Risk Detection in Weixin Pay with Billion-Scale Deep Graph Learning
Tongji University（同济大学）；Tencent Inc.（腾讯公司）
该研究针对微信支付十亿级用户信用风险检测需求，提出风险感知重叠子图学习框架，解决工业级GNN拓扑完整性损失问题，实验显示其性能优于现有策略。
2026-08-13 cs.LG
SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures
KAIST（韩国科学技术院）
图神经网络（GNN）可以通过学习每个对象的表示（即，图形节点）和不同对象之间的关系（即，连接节点的边），在各种基于图形的任务中实现最先进的性能。尽管这些算法具有优势，但在生产环境中使用这些算法面临着几个挑战，因为图节点和边的数量达到数十亿到数千亿的规模，需要大量的存储空间用于训练。不幸的是，最先进的ML框架采用内存处理模型，这大大阻碍了ML从业者的生产力，因为它要求整个工作集适应DRAM容量。在这项工作中，我们首先对最先进的大规模GNN训练算法GraphSAGE进行了详细的描述。基于表征，然后我们探索了利用容量优化的NVM SSD存储内存饥饿的GNN数据的可行性，这使得大规模GNN训练超出了主存储器大小的限制。然而，鉴于DRAM和SSD之间的巨大性能差距，盲目地利用SSD作为DRAM的直接替代品会导致显著的性能损失。因此，我们开发SmartSAGE，我们的软件/硬件协同设计的基础上存储处理（ISP）架构。我们的工作表明，基于ISP的大规模GNN训练系统可以实现高容量存储和高性能，为ML从业者提供了训练大型GNN数据集的机会，而不会受到主存大小的物理限制。
2022-05-10 cs.AI cs.AR cs.LG
SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization
Nanyang Technological University（南洋理工大学）；East China Normal University（华东师范大学）；Google Research（谷歌研究院）
针对大规模图上 GNN 消息传递开销过高的问题，本文提出 SCARA，通过面向特征的计算选择与复用实现次线性复杂度，并在 Papers100M 上实现最高 100 倍加速。
2022-07-19 cs.DB cs.LG
GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy
Ant Group（蚂蚁集团）；Fudan University（复旦大学）；Guangzhou University（广州大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
图神经网络（GNNs）已被证明是一个强大的工具，用于分析非欧几里德图数据。然而，缺乏有效的分布式图学习系统严重阻碍了GNN的应用，特别是当图很大并且GNN相对较深时。在这里，我们提出了GraphTheta，第一个分布式和可扩展的图形学习系统建立在以顶点为中心的分布式图形处理与神经网络运营商实现为用户定义的功能。该系统支持多种训练策略，并在低内存的分布式（虚拟）机器上实现高效和可扩展的大图学习。为了方便图卷积，GraphTheta提出了一种新的图学习抽象NN-TGAR，以弥合图处理和图深度学习之间的差距。提出了一种分布式图引擎来进行混合并行执行的随机梯度下降优化，并支持一种新的集群批量训练策略。我们使用几个数据集来评估GraphTheta，这些数据集的网络大小从小到大。实验结果表明，GraphTheta可以很好地扩展到1，024名员工，用于在具有14亿个节点和41亿条属性边的行业规模支付宝数据集上训练内部开发的GNN，其中每个CPU虚拟机（dockers）的内存较小（5个）。$\sim$ 12 GB）。此外，GraphTheta可以通过高达$2.02\times$的性能优于DistDGL，具有更好的可扩展性，并且GraphLearn可以高达$30.56\times$。至于模型的准确性，GraphTheta能够学习与现有框架一样好的GNN。据我们所知，这项工作提出了文献中最大的边缘属性…
2023-01-17 cs.DC cs.LG
Hierarchical Sparse Circuit Extraction from Billion-Parameter Language Models through Scalable Attribution Graph Decomposition
Department of CSE, Muffakham Jah College of Engineering and Technology (MJCET)（计算机科学与工程系，穆法卡姆·贾赫工程与技术学院（MJCET））
提出分层归因图分解（HAGD）方法，通过跨层编码器训练、谱粗化、GNN引导分层遍历和因果干预验证，将电路提取复杂度降至O(n² log n)，在多个大模型上实现高行为保留。
2026-06-23 cs.AI cs.CL cs.LG
GraphScale: A Framework to Enable Machine Learning over Billion-node Graphs
Bytedance（字节跳动）；Dartmouth College（达特茅斯学院）
GraphScale提出统一框架，通过分离存储与计算工作节点解耦图训练，异步流水线提升十亿节点图监督与无监督学习效率，端到端训练时间至少减少40%，已部署于TikTok生产环境。
2024-07-22 cs.DC cs.LG cs.SI
Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition
Lomonosov Moscow State University（莫斯科国立大学）；Cornell University（康奈尔大学）；National Research University Higher School of Economics（国立研究型高等经济大学）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
提出了一种高斯过程（GP）模型近似推理的方法（TT-GP）。我们建立在以前的可扩展GP研究，包括随机变分推理的基础上诱导输入，内核插值，和结构利用代数。我们的方法的核心思想是使用张量训练分解变参数，这使我们能够训练GP与数十亿诱导输入，并实现国家的最先进的结果在几个基准。此外，我们的方法允许基于深度神经网络训练内核，而无需对底层GP模型进行任何修改。神经网络学习数据的多维嵌入，GP使用该多维嵌入来进行最终预测。我们训练GP和神经网络参数端到端没有预训练，通过GP边际似然最大化。我们在几个回归和分类基准数据集，包括MNIST，CIFAR-10，和航空公司的效率所提出的方法。
2018-01-17 cs.LG stat.ML
DistGNN-MB: Distributed Large-Scale Graph Neural Network Training on x86 via Minibatch Sampling
Intel Corporation（英特尔公司）
在包含数十亿个顶点和边的图上，使用小批量采样大规模训练图神经网络提出了一个关键挑战：强缩放图和训练样本会导致计算量降低、通信量增加和潜在的性能损失。DistGNN-MB采用了一种新颖的历史嵌入缓存与计算通信重叠相结合，以解决这一挑战。在$3^{rd}$代英特尔至强可扩展处理器（每个插槽36个内核）的32节点（64插槽）群集上，DistGNN-MB在OGBN-Papers 100 M上训练3层GraphSAGE和GAT模型，使其在32个计算节点上分别以2秒和4.9秒的历元时间收敛。在这个规模下，DistGNN-MB训练GraphSAGE的速度比广泛使用的DistDGL快5.2倍。随着计算节点从2个扩展到32个，DistGNN-MB训练GraphSAGE和GAT的速度分别提高了10倍和17.2倍。
2022-11-11 cs.DC cs.LG
Logical Message Passing Networks with One-hop Inference on Atomic Formulas
NVIDIA（英伟达）
针对现有神经复杂查询回答方法中嵌入与集合算子作用不清晰的问题，提出将查询表示为查询图、结合现有KG嵌入单跳推理与LMPNN全局逻辑推理的框架，理论通用性更强，实验达SOTA，打通了两类研究成果。
2023-08-26 cs.LG cs.LO
NeuRoute: Logit-Guided Neural Routing for Billion-Scale Vector Search with Sub-Hour Index Construction
University of Arkansas at Little Rock（阿肯色大学小石城分校）
NeuRoute是基于Logit引导的神经路由的轻量级ANN索引框架，通过训练神经网络编码器生成二进制地址，在十亿级向量搜索中实现亚小时级索引构建，且精度-吞吐量权衡优异。
2026-08-18 cs.DB cs.IR cs.LG
Graph Convolutional Neural Networks for Web-Scale Recommender Systems
Pinterest（品趣志）；Stanford University（斯坦福大学）
最近在用于图结构数据的深度神经网络方面的进展已经导致推荐系统基准测试的最新性能。然而，使这些方法实用且可扩展到具有数十亿项目和数亿用户的网络规模推荐任务仍然是一个挑战。在这里，我们描述了我们在Pinterest开发和部署的大规模深度推荐引擎。我们开发了一种数据高效的图卷积网络（GCN）算法PinSage，它结合了高效的随机游走和图卷积来生成节点的嵌入（即，项），其合并了图结构以及节点特征信息。与现有的GCN方法相比，我们开发了一种基于高效随机游走的新方法来构造卷积，并设计了一种新的训练策略，该策略依赖于越来越难的训练样本来提高模型的鲁棒性和收敛性。我们还开发了一个高效的MapReduce模型推理算法，使用训练模型生成嵌入。我们在Pinterest上部署了PinSage，并在一个图表上的75亿个示例上对其进行了训练，该图表包含30亿个代表引脚和电路板的节点以及180亿条边。根据离线指标、用户研究和A/B测试，PinSage生成的推荐质量高于同类深度学习和基于图表的替代方案。据我们所知，这是迄今为止深度图嵌入的最大应用，为基于图卷积架构的新一代网络规模推荐系统铺平了道路。
2018-06-06 cs.IR cs.LG stat.ML
NeuralSearchX: Serving a Multi-billion-parameter Reranker for Multilingual Metasearch at a Low Cost
NeuralMind
搜索API（免费和商业）的广泛可用性为元搜索引擎带来了增加覆盖范围和搜索结果质量的希望，同时降低了爬行和索引基础设施的维护成本。然而，合并策略通常包括需要仔细调整的复杂管道，这在文献中经常被忽视。在这项工作中，我们描述了NeuralSearchX，一个元搜索引擎的基础上，一个多用途的大型重排序模型，合并结果和突出的句子。由于我们架构的同质性，我们可以将优化工作集中在单个组件上。我们将我们的系统与微软的生物医学搜索进行比较，结果表明，我们的设计选择导致了一个具有竞争力的QPS的更具成本效益的系统，同时在广泛的公共基准测试中获得了接近最先进的结果。对两个特定领域任务的人工评估表明，我们的检索系统在nDCG@10分数方面大大优于Google API。通过详细描述我们的体系结构和实现，我们希望社区将建立在我们的设计选择之上。该系统可在https://neuralsearchx.nsx.ai上获得。
2022-10-26 cs.IR cs.LG
Doing the impossible: Why neural networks can be trained at all
Pacific Northwest National Laboratory（太平洋西北国家实验室）
随着深度神经网络规模的增长，从数千到数百万到数十亿的权重，这些网络的性能受到我们准确训练它们的能力的限制。一个常见的天真问题出现了：如果我们有一个具有数十亿自由度的系统，难道我们不需要数十亿样本来训练它吗？当然，深度学习的成功表明，可靠的模型可以通过合理数量的数据来学习。类似的问题也出现在蛋白质折叠、自旋玻璃和生物神经网络中。在实际上具有无限可能的折叠/自旋/布线配置的情况下，系统如何找到导致有用和鲁棒结果的精确排列？简单地对可能的构型进行抽样，直到达到最佳构型，即使等到宇宙年龄的时候，也不是一个可行的选择。相反，在上述现象中似乎有一种机制，迫使它们实现生活在低维流形上的配置，避免维数灾难。在目前的工作中，我们使用深层神经网络的连续层之间的互信息的概念来阐明这种机制，并提出利用它来加速训练的可能方法。我们表明，在神经网络中添加结构，加强层间更高的互信息，可以加快训练速度，并获得更准确的结果。层之间的高互信息意味着自由参数的有效数量指数地小于可调权重的原始数量。
2018-05-28 cs.LG stat.ML
Multiple Inputs Neural Networks for Medicare fraud Detection
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（信号与系统实验室）
医疗保险欺诈给政府和保险公司造成了相当大的损失，并导致客户支付更高的保费。医疗保险欺诈在欧洲每年造成约130亿欧元的损失，在美国每年造成210亿至710亿美元的损失。本研究旨在利用人工神经网络为基础的分类器来预测医疗保险欺诈。在欺诈检测或更一般的异常检测中使用机器学习技术的主要困难是数据集高度不平衡。为了检测医疗保险欺诈，我们提出了一种基于多输入深度神经网络的分类器，该分类器具有长短期记忆（LSTM）自动编码器组件。这种架构可以考虑许多数据源，而不会混合它们，并使最终模型的分类任务更容易。从LSTM自动编码器中提取的潜在特征具有很强的区分能力，并将提供者分成同质集群。我们使用美国联邦政府医疗补助和医疗保险服务中心（CMS）的数据集。CMS提供公开的数据，汇集了美国医院向医疗保险公司发送的所有成本价格请求。我们的结果表明，虽然基线人工神经网络给出了良好的性能，他们优于我们的多输入神经网络。我们已经证明，使用LSTM自动编码器来嵌入提供者行为可以提供更好的结果，并使分类器对类不平衡更加鲁棒。
2022-03-11 cs.LG
BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies
Intel（英特尔）；Univ. of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
我们提出了BlackOut，一种近似算法，可以有效地训练具有百万单词词汇的大规模循环神经网络语言模型（RNNLM）。停电的动机是使用歧视性损失，我们描述了一种新的采样策略，显着减少计算，同时提高稳定性，样本效率，收敛速度。理解BlackOut的一种方法是将其视为DropOut策略到输出层的扩展，其中我们使用区分性训练损失和加权采样方案。我们还建立了BlackOut，重要性采样和噪声对比估计（NCE）之间的密切联系。我们在最近发布的10亿字语言建模基准上的实验证明了BlackOut的可扩展性和准确性;我们的表现优于最先进的技术，并在该数据集上获得了最低的困惑分数。此外，与其他通常需要GPU或CPU集群的方法不同，我们证明了精心实现的BlackOut版本只需要1-10天的时间就可以在一台机器上训练一个RNNLM，它具有100万单词的词汇量和10亿单词的数十亿参数。虽然我们在RNNLM训练的上下文中描述了BlackOut，但它可以用于任何具有大型softmax输出层的网络。
2016-03-31 cs.CL cs.LG cs.NE
Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach
University of Minnesota（明尼苏达大学）
这项工作探讨了通过稀疏（神经元计数），无限宽，单隐层神经网络泄漏整流线性单元激活的精确数据插值的问题。使用[Rasekaran et al.，2012]中，我们在对网络权值和偏置的几种不同约束下，推导出了该问题相应原子集的凸包的简单刻画，从而得到了这些问题的等价凸公式。一个适度的扩展，我们提出的框架，二进制分类问题。我们通过实验探索了由此产生的配方的有效性，并与通过梯度下降训练的网络进行了比较。
2020-07-15 cs.LG eess.SP stat.ML
Scaling Recurrent Neural Networks to a Billion Parameters with Zero-Order Optimization
Department of Computer Science Stanford University（计算机科学系 斯坦福大学）；Department of Aeronautics and Astronautics Stanford University（航空与航天系 斯坦福大学）
本文提出用零阶优化（如随机向量梯度估计）替代BPTT训练大规模RNN，在保持推理模式的同时实现十亿参数规模，收敛速度匹配或超越BPTT达19倍，内存成本大幅降低，并在多种任务中泛化性能相当或更优。
2025-05-23 cs.AI cs.LG
Billion-Scale Graph Foundation Models
Meta
本文提出GraphBFF，一种用于构建大规模异构图的十亿参数图基础模型的端到端方法，通过引入GraphBFF Transformer架构，揭示了异构图的神经缩放定律，并在多个下游任务中展示了其优越的性能。
2026-05-21 cs.AI cs.LG
Multi Part Deployment of Neural Network
IBM（国际商业机器公司）
本文提出一种将神经网络划分到多服务器的分布式架构，通过元数据驱动的远程神经元调用和NFS共享模型实现可扩展、低成本的云部署。
2025-06-02 cs.LG cs.NE
Ligand Pose Optimization with Atomic Grid-Based Convolutional Neural Networks
University of Pittsburgh（匹兹堡大学）
对接是计算药物发现中的一种重要工具，旨在通过位姿评分和优化相结合来预测配体与靶蛋白的结合位姿。相对于原子位置可微分的评分函数可以用于对接的姿态的评分和基于梯度的优化。使用可微分的基于网格的原子表示作为输入，我们证明了通过训练卷积神经网络（CNN）来识别绑定姿势的评分函数也可以应用于姿势优化。我们还表明，一个迭代训练的CNN，包括在其训练集中的第一个CNN优化的姿势，在优化随机初始化的姿势比第一个CNN评分函数或AutoDock Vina更好。
2017-10-20 cs.LG q-bio.BM stat.ML
Advancing atomic electron tomography with neural networks
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文综述了利用卷积神经网络等深度学习方法提升原子电子断层扫描重建保真度，以克服三维原子成像中的伪影挑战，从而推动纳米科学和材料研究的前沿发展。
2025-06-19 cond-mat.mtrl-sci cs.LG
Embracing Structure in Data for Billion-Scale Semantic Product Search
Amazon（亚马逊）
我们提出了原则性的方法，训练和部署二元神经嵌入模型在十亿规模，集中我们的调查语义产品搜索的应用。当训练二元模型时，人们试图嵌入两种不同类型的实体（例如，查询和文档或用户和电影），使得具有高相关性的对被定位在附近。在推断期间，给定一种类型的嵌入（例如，查询或用户），人们寻求检索另一类型的实体（例如，文件或电影）的高度相关。在这项工作中，我们表明，利用现实世界数据集的自然结构有助于有效地解决这两个挑战。具体来说，我们将二元数据建模为二分图，其中对之间具有正关联的边。然后，我们建议将该网络划分为语义一致的集群，从而减少我们的搜索空间集中在一个小的子集，这些分区为一个给定的输入。在训练过程中，这种技术使我们能够有效地挖掘困难的否定示例，而在推理过程中，我们可以快速找到给定嵌入的最近邻居。我们提供了离线实验结果，证明了我们的技术在十亿级Amazon.com产品搜索数据集上进行训练和推理的有效性。
2021-10-12 cs.IR cs.LG
Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出一种可扩展框架，通过参数化权重变换和双向优化实现十亿参数预训练Transformer的线性模式连通性与合并，显著降低插值障碍。
2026-06-23 cs.AI cs.LG
Avancee-1 Mission and SaDoD Method: LiDAR-based stimulated atomic disintegration of space debris (SaDoD) using Optical Neural Networks
Tod’Aérs - Transparent Organization for Aeronautics and Space Research（Tod'Aérs - 航空航天研究透明组织）；Space Generation Advisory Council（太空世代咨询委员会）；Moscow Aviation Institute（莫斯科航空学院）
低轨卫星表面的退化受原子氧的影响，并随航天器轨道参数的不同而变化。原子氧引发了与物质的几种化学和物理反应，并在高能量下产生碎片的侵蚀和自分解。本文讨论了Avancee-1任务，即利用光学神经网络（ONN）清除空间碎片，以优化碎片探测和任务精度。SaDoD方法是一种轨道碎片的受激原子解体方法，在这种情况下，使用激光雷达技术和光学神经网络实现。我们提出了具有高图像检测和分类能力的光学神经网络算法。结果表明，当激光束来自地球静止轨道（GEO）卫星时，在太阳活动强烈的情况下，轨道碎片有更高的解体机会。根据原子氧侵蚀随轨道参数和太阳能水平的变化，提出了一种基于激光雷达的空间碎片清除方法。所获得的结果表明，轨道碎片在低高度和较高温度下的降解最为剧烈。地球同步轨道上的卫星在发射激光束之前使用光学神经网络算法进行物体探测，以实现自解体。SaDoD方法可以用其他技术实现，但特别是对于Avancee-1任务，SaDoD是用LiDAR技术和光学神经网络算法实现的。
2021-05-27 cs.LG physics.ins-det
Magnifying Networks for Images with Billions of Pixels
University of St Andrews（圣安德鲁斯大学）
向端到端深度学习的转变在计算机视觉的许多领域带来了前所未有的进步。然而，深度神经网络是在分辨率很少超过$1,000 \times 1,000$像素的图像上训练的。因此，创建具有极高分辨率（平均可以是$100,000 \times 100,000$像素）的图像的扫描仪的日益增长的使用对该领域提出了新的挑战。大多数已发表的方法预处理高分辨率图像成一组较小的补丁，施加先验的信念上提取的补丁（放大率，视野，位置等）的最佳性能。在这里，我们引入放大网络（MagNets）作为千兆像素图像分析的替代深度学习解决方案，它不依赖于预处理阶段，也不需要处理数十亿像素。MagNets可以学习动态检索千兆像素图像的任何部分，在任何放大级别和视野下，以端到端的方式，具有最小的基础事实（单个全局，幻灯片级标签）。我们在公开的Camelyon16和Camelyon17数据集上的结果证实了MagNets的有效性和效率以及所提出的用于整个幻灯片图像分类的优化框架。重要的是，MagNet处理每张幻灯片上的补丁比任何现有方法都要少得多（$10$到$300$的时间更少）。
2022-04-18 cs.CV cs.LG
In-network Neural Networks
NEC Laboratories Europe（NEC欧洲实验室）
我们提出了N2Net，一个使用部署在网络交换机和路由器中的商品交换芯片实现二进制神经网络的系统。我们的系统表明，这些设备可以运行简单的神经网络模型，其输入被编码在网络数据包的报头中，数据包处理速度（每秒数十亿个数据包）。此外，我们的经验表明，交换芯片可以支持更复杂的模型，只要对芯片的设计进行一些微小而廉价的修改。我们相信N2Net为未来的端到端网络系统提供了一个有趣的构建模块。
2018-01-17 cs.AR cs.DC cs.LG
Who Does What in Deep Learning? Multidimensional Game-Theoretic Attribution of Function of Neural Units
Institute of Computational Neuroscience（计算神经科学研究所）；University Medical Center Eppendorf（埃本多夫大学医学中心）；International Max Planck Research School on Cognitive Neuroimaging（认知神经成像国际马克斯·普朗克研究学校）；MRC Cognition and Brain Sciences Unit（MRC认知与脑科学单位）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；Learning in Machines & Brains（机器与大脑学习）；Departments of Bioengineering and Neuroscience（生物工程与神经科学系）；Department of Health Sciences（健康科学系）
提出多扰动Shapley值分析（MSA），一种模型无关的博弈论框架，通过损伤单元组合生成与输出同维的贡献图，揭示正则化集中计算、LLM语言专家及GAN倒置层级，助力网络解释、编辑与压缩。
2025-06-24 cs.AI cs.LG
Towards Building Text-To-Speech Systems for the Next Billion Users
Microsoft（微软）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
基于深度学习的文本到语音（TTS）系统随着模型架构、训练方法以及跨说话者和语言的泛化的进步而迅速发展。然而，这些进展还没有被彻底调查的印度语言语音合成。考虑到印度语言的数量和多样性，相对较低的资源可用性，以及尚未经过测试的神经TTS的各种进步，这种调查在计算上是昂贵的。在本文中，我们评估选择的声学模型，声码器，补充损失函数，培训计划，和扬声器和语言多样性的达罗毗荼语和印度雅利安语。在此基础上，我们使用FastPitch和HiFi-GAN V1识别单语模型，这些模型在男性和女性说话者身上进行联合训练，以获得最佳表现。有了这个设置，我们训练和评估的TTS模型为13种语言，并发现我们的模型显着改善现有的模型在所有语言的平均意见分数。我们在Bhashini平台上开源所有模型。
2023-02-17 cs.CL cs.LG cs.SD
SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University of Oxford（牛津大学）；Peking University（北京大学）
本文提出首个脉冲大语言模型SpikeLLM，通过GIF神经元和最优脑脉冲框架压缩脉冲长度，在LLAMA-7B上降低困惑度并提升推理准确率，显著超越量化LLM基线。
2025-04-10 cs.CL cs.LG cs.NE
3D Deep Learning with voxelized atomic configurations for modeling atomistic potentials in complex solid-solution alloys
Iowa State University（爱荷华州立大学）；Lehigh University（里海大学）
对新材料的需求导致了复杂的多组分合金或固溶体合金的发展。这些材料显示出优异的性能，如强度，韧性，延展性，电气和电子性能。目前这种材料系统的发展受到昂贵的实验和计算要求高的第一原理模拟的阻碍。原子模拟可以提供合理的见解，在这样的材料系统的属性。然而，仍然存在设计鲁棒电位的问题。在本文中，我们探索了一种基于深度卷积神经网络的方法来开发这种复杂合金的原子势，以研究材料的控制特性。在目前的工作中，我们提出了一个细胞的原子配置的体素表示，并设计了一个3D卷积神经网络来学习原子的相互作用。我们的研究结果突出了3D卷积神经网络的性能及其在机器学习原子势方面的功效。我们还探讨了体素分辨率的作用，并提供见解的两个边界框方法体素化实现。
2018-11-23 cond-mat.mtrl-sci cs.LG physics.comp-ph
Machine learning and atomic layer deposition: predicting saturation times from reactor growth profiles using artificial neural networks
Applied Materials Division, Argonne National Laboratory（阿贡国家实验室应用材料分部）
本研究构建数据集训练不同配置的人工神经网络，基于ALD反应器不同位置的厚度与剂量时间数据预测饱和时间，无需表面动力学先验，可减少工艺优化实验量，但方法受反应器几何形状限制。
2022-05-10 cond-mat.mtrl-sci cs.LG physics.app-ph
N-body Networks: a Covariant Hierarchical Neural Network Architecture for Learning Atomic Potentials
The University of Chicago（芝加哥大学）
我们描述了N体网络，一个神经网络架构，用于学习复杂的多体物理系统的行为和属性。我们的具体应用是学习用于分子动力学模拟的原子势能面。我们的架构是新颖的，因为（a）它是基于多体系统到子系统的分层分解，（b）网络的激活对应于每个子系统的内部状态，（c）网络中的“神经元”被明确地构造，以保证每个激活都是旋转协变的，（d）神经元完全在傅立叶空间中操作，非线性通过张量积和Clebsch-Gordan分解实现。作为我们网络描述的一部分，我们给出了网络权重与激活交互的方式的特征，以确保保持协方差属性。
2018-03-05 cs.AI cs.LG
ESPNN: A novel electronic stopping power neural-network code built on the IAEA stopping power database. I. Atomic targets
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Instituto de Astronomía y Física del Espacio（空间天文与物理研究所）
国际原子能机构（原子能机构）的阻止本领数据库是一个非常有价值的公共资源，汇集了近一个世纪以来发表的大多数实验测量结果。该数据库可供全球科学界访问，并不断更新，30多年来一直广泛用于理论和实验研究。这项工作的目的是在2021年国际原子能机构数据库上采用机器学习算法，预测在广泛入射能量范围内任何离子和靶组合的准确电子阻止能截面。应用无监督机器学习方法以自动方式清理数据库。这些技术通过删除可疑的离群值和旧的孤立值来清除数据。剩余数据的大部分用于训练深度神经网络，而其余部分则被搁置，构成测试集。目前的工作考虑碰撞系统只与原子的目标。的ESPNN（电子停止功率神经网络代码）的第一个版本，公开提供给用户，所示出的预测值与测试集的实验结果非常吻合。
2022-12-14 cs.LG physics.atm-clus
New Approach to Malware Detection Using Optimized Convolutional Neural Network
Illinois Institute of Technology（伊利诺伊理工学院）
近年来，网络犯罪已成为一个价值数十亿美元的产业。大多数网络犯罪/攻击都涉及部署某种类型的恶意软件。恶意软件恶意针对每个行业，每个部门，每个企业甚至个人，已经显示出其使整个商业组织离线的能力，并每年造成数十亿美元的重大经济损失。恶意软件作者在攻击策略和复杂性方面不断发展，并且正在开发难以检测的恶意软件，并且可以在后台休眠相当长的一段时间以逃避安全控制。鉴于上述论点，传统的恶意软件检测方法不再有效。因此，深度学习模型已成为检测和分类恶意软件的新兴趋势。本文提出了一种新的卷积深度学习神经网络，以高精度准确有效地检测恶意软件。本文与文献中的大多数其他论文不同的是，它使用专家数据科学方法，从头开始开发卷积神经网络，首先建立性能模型的基线，从基线模型探索并实现改进模型，最后评估最终模型的性能。基线模型最初达到98%的准确率，但在增加CNN模型的深度后，其准确率达到99.183，优于文献中的大多数CNN模型。最后，为了进一步巩固该CNN模型的有效性，我们使用改进的模型对数据集中的新恶意软件样本进行预测。
2023-01-26 cs.CR cs.LG
Analysis of Atomic Charge State and Atomic Number for VAMOS++ Magnetic Spectrometer using Deep Neural Networks and Fractionally Labelled Events
GANIL, CEA/DRF - CNRS/IN2P3, Bd Henri Becquerel, BP 55027, F-14076 Caen Cedex 5, France（法国大加速器国家实验室（GANIL），CEA/DRF - CNRS/IN2P3）
提出基于深度神经网络的方法，仅用少量精确标记事件训练，自动分类VAMOS++谱仪数据，将原子电荷态和原子序数分析时间从数月缩短至数小时，消除人为偏差。
2026-07-01 cs.LG nucl-ex physics.atom-ph
A Random Matrix Perspective on Mixtures of Nonlinearities for Deep Learning
Google Research（谷歌研究院）
现代深度学习系统的一个显著特征是，它们通常采用神经网络架构，这些架构利用大量的参数，通常以数百万计，有时甚至以数十亿计。虽然这种范式激发了对大型网络属性的重要研究，但相对较少的工作致力于这些网络通常用于建模大型复杂数据集的事实，这些数据集本身可能包含数百万甚至数十亿个约束。在这项工作中，我们专注于这种高维制度，其中数据集的大小和功能的数量趋于无穷大。我们分析了具有特征$F=f(WX+B)$的随机特征回归对于随机权重矩阵$W$和随机偏置向量$B$的性能，获得了线性教师模型生成的数据的渐近训练和测试误差的精确公式。偏置的作用可以理解为参数化激活函数的分布，我们的分析直接推广到这样的分布，即使是那些不能用传统的加性偏置表示的分布。有趣的是，我们发现，混合的非线性可以改善最好的单一非线性的训练和测试误差，这表明混合的非线性可能是有用的近似核方法或神经网络架构设计。
2021-11-12 cs.LG stat.ML
CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）；National Institute of Health Data Science, and Institute for Artificial Intelligence, Peking University（北京大学健康医疗大数据国家研究院、人工智能研究院）
提出CausalMoE，一种十亿规模多模态格兰杰因果基础模型，通过模式路由混合异构专家解耦动态机制，结合因果自注意力与LLM/VLM先验，实现稀疏因果图恢复，在监督和少样本场景中达到最优。
2026-06-12 cs.AI cs.LG
Jigsaw: Training Multi-Billion-Parameter AI Weather Models with Optimized Model Parallelism
Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学）；Karlsruhe Institute of Technology, Helmholtz AI（卡尔斯鲁厄理工大学、海姆霍兹人工智能）
本文提出Jigsaw模型并行方案，结合域与张量并行训练WeatherMixer天气模型，在256 GPU上实现68%-72%扩展效率，峰值性能达11 PFLOPs。
2025-07-08 cs.LG
Training Large Neural Networks with Constant Memory using a New Execution Algorithm
Microsoft（微软）
广泛流行的基于transformer的NLP模型，如BERT和Turing-NLG，具有数十亿参数的巨大容量。当前的执行方法需要暴力资源，如HBM设备和高速互连性，以实现数据并行。在本文中，我们介绍了一种新的中继式执行技术，称为L2 L（层到层），在任何给定的时刻，设备内存主要只填充执行层的足迹。该模型驻留在DRAM存储器中，该存储器连接到CPU或FPGA，作为我们称之为渴望参数服务器（EPS）的实体。为了克服在EPS中来回穿梭参数的带宽问题，该模型在许多微批中一次执行一层，而不是在整个模型上执行小批的传统方法。L2 L使用16 GB V100设备实现，用于BERT-Large运行它，设备批量大小高达256。我们的研究结果表明，减少45%的内存和40%的吞吐量增加相比，国家的最先进的基线。L2 L还能够在具有单个16 GB V100和512 GB CPU内存的机器上适应多达500亿个参数的模型，而无需任何模型分区。L2 L可以扩展到任意深度，使研究人员能够在负担得起的设备上进行开发，这是实现人工智能民主化的一大步。通过在主机EPS中运行优化器，我们展示了一种新形式的混合精度，以实现更快的吞吐量和收敛。此外，EPS通过在迭代中改变层来实现动态神经架构方法。最后，我们还提出并证明了一个恒定的内存变化的L2 L，我们提出了未来的增强。这项工作首先在GPU上进行，但也针对所有高TFLOPS…
2020-06-05 cs.DC cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Scaling Recurrent Neural Network Language Models
Cantab Research（坎塔布研究公司）
研究了循环神经网络语言模型的标度特性。我们讨论如何在GPU上训练非常大的RNN，并解决RNNLM如何在模型大小，训练集大小，计算成本和内存方面扩展的问题。我们的分析表明，尽管训练的成本更高，RNNLM在标准基准测试中获得的困惑比n-gram模型低得多。我们训练了已知最大的RNN，并在ASR任务上实现了18%的相对字出错率增益。我们还在最近发布的十亿字语言建模基准上提出了新的最低困惑，机器翻译的BLEU点增益和单词预测的17%相对命中率增益。
2015-02-02 cs.CL cs.LG
From Patterson Maps to Atomic Coordinates: Training a Deep Neural Network to Solve the Phase Problem for a Simplified Case
这项工作表明，对于一个简单的情况下，10个随机定位的原子，一个神经网络可以训练推断原子坐标从帕特森地图。该网络完全基于合成数据进行训练。对于训练集，网络输出是随机定位原子的3D图。从每个输出映射中，生成Patterson映射并用作网络的输入。该网络推广到不在测试集中的情况，从Patterson映射推断原子位置。这项工作的一个关键发现是，在训练过程中呈现给网络输入的Patterson映射必须唯一地描述它们在网络输出上配对的原子坐标，否则网络将不会训练，也不会泛化。网络不能对冲突数据进行训练。避免冲突有三种方式：1. Patterson映射是平移不变的。为了消除这种自由度，输出贴图以其原子位置的平均值为中心。2. Patterson映射对中心对称反演是不变的。这种冲突通过同时呈现用于制作Patterson Map的原子和与它们的质心相关的对应物的网络输出来消除。3. Patterson映射并不唯一地描述一组坐标，因为Patterson映射中每个向量的原点是不明确的。通过在输出贴图中的原子周围添加空白空间，消除了这种模糊性。强制输出原子比输出盒边缘尺寸的一半更近意味着Patterson映射中每个峰的原点必须是它最接近的原点。
2020-03-30 cs.LG physics.atom-ph stat.ML
Using Neural Networks for Click Prediction of Sponsored Search
School of Computer and Communications Sciences（计算机与通信科学学院）；Yandex
赞助搜索是一个价值数十亿美元的产业，是搜索引擎（SE）的主要收入来源。点击率（click-through-rate，CTR）估计对于广告选择起着至关重要的作用，并且极大地影响SE收入、广告商流量和用户体验。我们提出了一种新的架构解决CTR预测问题相结合的人工神经网络（ANN）与决策树。首先，我们比较人工神经网络与其他流行的机器学习模型用于这项任务。然后，我们继续将ANN与MatrixNet（提升树的专有实现）相结合，并评估整个系统的性能。结果表明，我们的方法提供了显着的改进，现有的模型。
2015-09-19 cs.LG cs.NE
OneShot: Index-in-Ranking with Neural Scoring for Large-Scale Retrieval
Meta Platforms, Inc.（元平台公司）
本研究针对推荐系统检索阶段排序目标与索引结构不一致的问题，提出OneShot框架，将索引学习与排序目标联合，突破点积瓶颈，部署于Instagram短视频推荐系统，提升了召回率与效率。
2026-08-03 cs.IR cs.LG
Reinforced dynamics for enhanced sampling in large atomic and molecular systems
Princeton University（普林斯顿大学）；Institute of Applied Physics and Computational Mathematics（应用物理与计算数学研究所）；CAEP Software Center for High Performance Numerical Simulation（中国工程物理研究院高性能数值模拟软件中心）；Beijing Institute of Big Data Research（北京大数据研究院）
提出了一种新的方法，有效地探索配置空间和计算大的原子和分子系统的自由能，激励与强化学习的类比。这种新方法有两个主要组成部分。像元自适应，它允许一个有效的探索的配置空间，通过添加一个自适应计算的偏置电位的原始动态。与深度强化学习一样，这种偏置潜力是使用深度神经网络进行动态训练的，从探索中明智地收集数据，神经网络模型中的不确定性指标扮演着奖励函数的角色。使用神经网络的参数化使得处理具有大量集合变量的情况变得可行。这样做的潜在好处是，精确地选择正确的集合变量对于捕捉系统的结构转换来说已经变得不那么重要了。通过研究丙氨酸二肽和三肽的全原子，明确的溶剂模型，以及具有20个集体变量的聚丙氨酸-10分子的系统来说明该方法。
2018-02-19 cs.LG physics.bio-ph physics.chem-ph
Montage: A Neural Network Language Model-Guided JavaScript Engine Fuzzer
KAIST（韩国科学技术院）
JavaScript（JS）引擎漏洞构成了影响数十亿Web浏览器的重大安全威胁。虽然模糊是一种普遍的技术，发现这样的漏洞，有很少的研究，利用神经网络语言模型（NNLM）的最新进展。在本文中，我们提出了蒙太奇，第一个NNLM指导的模糊发现JS引擎漏洞。我们的技术的关键方面是将JS抽象语法树（AST）转换成一系列的AST子树，可以直接训练流行的NNLM。我们证明了蒙太奇能够生成有效的JS测试，并表明它在发现漏洞方面优于以前的研究。Montage在最新的JS引擎中发现了37个真实世界的bug，包括3个CVE，证明了它在发现JS引擎bug方面的有效性。
2020-01-14 cs.CR cs.LG
