Scalable Modeling of Conversational-role based Self-presentation Characteristics in Large Online Forums
在线讨论论坛是由重叠的子社区组成的复杂网络（宏观结构，跨线程），用户在其中扮演不同的角色，这取决于他们在特定时间点参与的子社区（微观结构，线程内）。这种子网络结构隐含在大量的线程集合中。为了揭示这种结构，我们开发了一个可扩展的算法，基于随机变分推断和利用主题模型（LDA）以及混合成员随机块（MMSB）模型。我们在三个大规模数据集上评估了我们的模型，Cancer-ThreadStarter（22 K用户和14.4K线程），Cancer-NameMention（15.1K用户和12.4K线程）和StackOverFlow（119万用户和455万线程）。定性，我们证明，我们的模型可以提供有用的解释，在不同的社区使用的主题发现的帖子的微观和宏观层面的用户呈现特征。定量地，我们表明，我们的模型比MMSB和LDA在预测线程内的用户回复结构。此外，我们通过合成数据实验表明，所提出的主动子网络发现模型是稳定的，并恢复实验设置的原始参数具有很高的概率。
2015-12-10 cs.SI stat.ML
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
A Scalable Variational Bayes Approach to Fit High-dimensional Spatial Generalized Linear Mixed Models
本文提出两种基于半参数近似和并行计算的变分贝叶斯方法，用于高效拟合高维空间广义线性混合模型，在保持与MCMC相当性能的同时实现高达3600倍加速，并能在标准笔记本上处理数百万位置的数据。
2025-01-23 stat.ME
Stochastic Divergence Minimization for Biterm Topic Model
随着社交网络的出现和蓬勃发展，大量的短文本被积累起来，需要进行处理。对所收集的短文进行潜在主题的推断，有助于理解其隐含结构，预测新的内容。与传统的主题模型，如潜在狄利克雷分配（LDA），最近提出了一个双项主题模型（BTM）的短文本，以克服稀疏的文档级词同现直接建模的词对的生成过程。基于塌陷吉布斯抽样（CGS）和塌陷变分推断的随机推理算法已被提出用于BTM。然而，它们要么需要很大的计算复杂度，要么依赖于非常粗略的估计。在这项工作中，我们开发了一个随机发散最小化推理算法BTM估计潜在的主题更准确地在一个可扩展的方式。实验结果表明，我们提出的算法相比，现有的推理算法的优越性。
2017-05-01 stat.ML
Scalable Probabilistic Entity-Topic Modeling
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
我们提出了一个LDA的实体消歧方法。每个主题都与维基百科条目相关联，主题生成内容词或实体提及。训练这样的模型是具有挑战性的，因为主题和词汇量都是数百万。我们解决这些问题，使用一种新的分布式推理和表示框架的基础上，由维基百科链接图指导的并行吉布斯采样器，和管道的MapReduce允许快速和节省内存的大型数据集的处理。我们在一个公共数据集上报告了最先进的性能。
2013-09-02 cs.IR cs.LG stat.ML
Mixed Hamiltonian Monte Carlo for Mixed Discrete and Continuous Variables
哈密顿蒙特卡罗（HMC）是一种用于复杂连续分布采样的马尔可夫链蒙特卡罗（MCMC）方法。然而，HMC的一个基本限制是它不能应用于混合离散和连续变量的分布。在本文中，我们提出了混合HMC（M-HMC）作为一个通用的框架，以解决这一限制。M-HMC是MCMC算法的一个新家族，它将离散变量和连续变量串联进化，允许更频繁地更新离散变量，同时保持HMC抑制随机游走行为的能力。我们建立M-HMC的理论属性，并提出了一个有效的实施与拉普拉斯动量，引入最小的开销相比，现有的HMC方法。通过对高斯混合模型（GARCH）、贝叶斯逻辑斯谛回归（BLR）变量选择和相关主题模型（CTM）的数值实验，证明了M-HMC优于现有方法的性能.
2021-03-15 stat.CO
WHAI: Weibull Hybrid Autoencoding Inference for Deep Topic Modeling
为了训练推理网络与深度生成主题模型，使其既可扩展到大语料库，又能快速进行样本外预测，我们开发了用于深度潜在Dirichlet分配的Weibull混合自编码推理（WHAI），该推理通过随机梯度MCMC和自编码变分贝叶斯的混合来推断后验样本。WHAI的生成网络具有Γ分布的层次结构，而WHAI的推理网络是Weibull向上-向下变分自编码器，其集成了确定性向上深度神经网络和基于韦布尔分布的层次结构的随机向下深度生成模型。韦布尔分布可以很好地逼近具有解析库尔贝克-莱布勒散度的Γ分布，并且通过均匀噪声可以简单地重新参数化，这有助于有效地计算证据下界相对于推理网络参数的梯度。通过在大语料库上的实验，验证了WHAI的有效性和效率。
2020-04-25 stat.AP stat.CO stat.ML
Scalable and Robust Construction of Topical Hierarchies
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动生成高质量的主题层次结构的文本集合是知识工程中的一个梦想问题，具有许多有价值的应用。本文提出了一个可扩展的和强大的算法，用于构建一个层次的主题从文本集合。我们使用自上而下的递归框架，张量正交分解技术的基础上，分治的问题。我们解决了一个关键的挑战，我们新设计的分层主题模型进行可扩展的推理。各种现实世界的数据集的实验表明，它能够有效地生成强大的，高质量的层次结构。我们的方法减少了几个数量级的建设时间，其强大的功能使用户能够交互式地修改层次结构。
2014-03-13 cs.CL cs.DB cs.IR
Scalable inference of topic evolution via models for latent geometric structures
IBM Research（IBM研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
我们开发了新的模型和算法，用于学习的主题多面体和相关的几何对象，出现在基于主题模型的推理的时间动态。我们的模型是非参数贝叶斯和相应的推理算法是能够发现新的主题随着时间的推移。通过利用主题多面体演化，贝塔-伯努利过程和匈牙利匹配算法的建模之间的连接，我们的方法被证明是几个数量级的速度比现有的主题建模方法，实验证明，在两个几十分钟内与数百万个文件。
2019-11-02 cs.CL cs.LG stat.ML
Stochastic Variational Inference
Adobe Research（Adobe研究院）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
我们开发了随机变分推断，一个可扩展的算法近似后验分布。我们开发了一个大类的概率模型，我们证明了它与两个概率主题模型，潜在的Dirichlet分配和层次Dirichlet过程主题模型。使用随机变分推断，我们分析了几个大的文档集合：30万篇来自《自然》的文章，180万篇来自《纽约时报》的文章，以及380万篇来自维基百科的文章。随机推理可以很容易地处理这种大小的数据集，并且优于传统的变分推断，后者只能处理较小的子集。(We也表明贝叶斯非参数主题模型优于其参数对应模型。随机变分推断使我们能够将复杂的贝叶斯模型应用于海量数据集。
2013-04-22 cs.AI stat.CO stat.ME
Dirichlet-Survival Process: Scalable Inference of Topic-Dependent Diffusion Networks
Université de Lyon（里昂大学）；ERIC UR 3083（埃里克研究单位3083）
网络上的信息传播可以通过考虑三个特征来有效地建模：文档的内容，相对于其他出版物的出版时间，以及传播者在网络中的位置。大多数以前的作品模型，其中两个联合，或依赖于严重的参数化方法。基于最近的Dirichlet点过程文献，我们引入了Houston（隐藏在线用户主题网络）模型，该模型在非参数无监督框架中共同考虑了所有这些特征。它推断动态主题相关的基础扩散网络在连续时间设置以及所述主题。它是无监督的;它将形状为\textit{(time of publication, information's content, spreading entity)}的未标记三元组流视为输入数据。在线推理使用顺序蒙特卡罗算法进行，该算法随数据集的大小线性缩放。我们的方法产生相应的改进，在现有的基线上的集群恢复和子网推理任务。
2022-12-12 cs.IR cs.LG cs.SI
A Scalable Blocked Gibbs Sampling Algorithm For Gaussian And Poisson Regression Models
马尔可夫链蒙特卡罗（MCMC）方法是贝叶斯统计建模中的一种流行技术。它们长期以来一直被用于从后验分布中获取样本，但最近的研究集中在这些技术对大型问题的可扩展性上。我们不开发新的采样方法，而是描述了一个阻塞吉布斯采样器，这是足够的可扩展性，以适应许多有趣的问题。我们所描述的采样器适用于广义线性混合效应模型（GLMM）的一个受限子集;这个子集包括泊松和高斯回归模型。分块吉布斯抽样步骤联合更新先验方差参数及其下的所有随机效应。我们还讨论了灵活的先验分布等扩展。
2016-01-30 stat.ME
Scalable Topical Phrase Mining from Text Corpora
The University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Army Research Laboratory（陆军研究实验室）
虽然大多数主题建模算法使用单字对文本语料库进行建模，但人类的解释通常依赖于将术语固有地分组为短语。因此，我们考虑发现混合长度的主题短语的问题。现有的工作要么执行后处理的推理结果的unigram为基础的主题模型，或利用复杂的n-gram发现主题模型。这些方法通常产生低质量的主题短语，或者即使在中等大小的数据集上也具有较差的可扩展性。我们提出了一种不同的方法，计算效率和有效的。我们的解决方案结合了一种新的短语挖掘框架，将文档分割成单个和多个单词的短语，以及一个新的主题模型，该模型对诱导的文档分区进行操作。我们的方法发现了高质量的主题短语，在各种数据集中，包括研究出版物的标题，摘要，评论和新闻文章的词袋主题模型的额外成本可以忽略不计。
2014-11-19 cs.CL cs.IR cs.LG
A Scalable Asynchronous Distributed Algorithm for Topic Modeling
University of Texas, Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
学习具有大量文档集合（包含数百万个文档和数十亿个令牌）的有意义的主题模型具有挑战性，因为有两个原因：首先，需要处理大量主题（通常为数千个）。其次，需要一种可扩展且高效的方法来将计算分布在多台机器上。在本文中，我们提出了一种新的算法F+游牧LDA，同时解决这两个问题。为了处理大量的主题，我们使用适当修改的芬威克树。这种数据结构允许我们在$O(\log T)$时间内对$T$项进行多项分布采样。此外，当主题计数改变时，可以在$O(\log T)$时间内更新数据结构。为了将计算分布在多个处理器上，我们提出了一种新的异步框架的启发游牧算法的\cite{YunYuHsietal13}。我们发现，F+Nomad LDA在涉及数百万文档、数十亿单词和数千个主题的大规模问题上的表现明显优于最先进的技术。
2014-12-16 cs.DC cs.IR cs.LG
Scalable Generalized Dynamic Topic Models
Humboldt-Universität zu Berlin（柏林洪堡大学）；TU Kaiserslautern（凯撒斯劳滕工业大学）；Disney Research（迪士尼研究院）
动态主题模型（Dynamic Topic Models，DTMs）是一种对文学、网络媒体和其他形式的文本中流行主题随时间的演变进行建模的方法。DTM假设词共现统计连续变化，因此在其模型参数上施加连续的随机过程先验。这些动态先验使得推理比常规主题模型更困难，并且还限制了可扩展性。在本文中，我们提出了几个新的结果围绕DTM。首先，我们将维纳过程的易处理先验类扩展到高斯过程（GP）的一般类。这使我们能够探索随着时间的推移而平稳发展的主题，这些主题具有长期记忆或暂时集中（用于事件检测）。其次，我们展示了如何在这些模型的基础上进行可扩展的近似推理随机变分推断和稀疏高斯过程的想法。通过这种方式，我们可以训练丰富的DTM家族来处理海量数据。我们在几个大规模数据集上的实验表明，我们的广义模型使我们能够找到以前的方法无法访问的有趣模式。
2018-03-21 cs.LG stat.ML
Dirichlet Process with Mixed Random Measures: A Nonparametric Topic Model for Labeled Data
KAIST（韩国科学技术院）
我们描述了一个非参数的主题模型标记的数据。该模型使用混合随机测度（MRM）作为HDP框架的狄利克雷过程（DP）的基本分布，因此我们称之为DP-MRM。为了对标记数据进行建模，我们为每个标签定义了一个DP分布的随机度量，由此产生的模型为每个标签生成了无限数量的主题。我们将DP-MRM应用于单标记和多标记的文档语料库，并将其与MedLDA，LDA-SVM和Labeled-LDA在标签预测上的性能进行比较。我们进一步增强了模型，结合ddCRP和建模多标记图像的图像分割和对象标记，比较nCuts和rddCRP的性能。
2012-06-18 cs.LG stat.ML
Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了建立一个灵活和可解释的模型，用于文档分析，我们开发了深度自动编码主题模型（DATM），该模型使用伽马分布的层次结构来构建其多随机层生成网络。为了提供可扩展的后验推理的生成网络的参数，我们开发了主题层自适应随机梯度黎曼MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。给定全局参数的后验样本，为了有效地推断DATM下文档在所有随机层上的局部潜在表示，我们提出了一种Weibull向上-向下变分编码器，该编码器通过深度神经网络确定性地向上传播信息，然后是基于Weibull分布的随机向下生成模型。为了联合建模文档及其相关标签，我们进一步提出了监督DATM，以增强其潜在表示的辨别能力。我们的模型的有效性和可扩展性都证明了无监督和监督学习任务上的大语料库。
2020-06-15 cs.LG stat.AP stat.CO
Mixed Membership Recurrent Neural Networks
Columbia University（哥伦比亚大学）；Capital One（第一资本金融公司）
用于序列数据的模型，如递归神经网络（RNN），通常隐式地将序列建模为在观察之间具有固定的时间间隔，并且当观察到多个序列时，不考虑组水平的影响。我们提出了一种基于RNN的分组序列数据模型，该模型通过学习每个序列可以恢复的组级基本参数来考虑序列中观察之间的时间间隔变化。我们的方法是出于混合成员框架，我们展示了它如何可以用于动态主题建模，其中主题（而不是主题本身）的分布是随着时间的推移而发展的。我们在206K客户的340万个在线杂货购物订单的数据集上展示了我们的方法。
2018-12-23 cs.LG stat.ML
Scalable Algorithms for Learning High-Dimensional Linear Mixed Models
Duke University（杜克大学）；University of Michigan（密歇根大学）
线性混合模型（Linear mixed models，简称LMM）广泛用于线性回归中观测值的相依性建模，在许多应用领域中得到了广泛的应用。在大数据上，LIFE的参数估计可能在计算上是禁止的。最先进的学习算法需要计算复杂度，其至少线性地依赖于协变量的维度$p$，并且通常使用不提供理论保证的算法。我们提出了可扩展的算法，学习高维线性次线性计算复杂度依赖于$p$。我们的方法的关键是新的双估计，只使用核函数的数据，和快速计算技术的基础上的子采样随机Hadamard变换。我们为我们的学习算法提供了理论保证，证明了参数估计的鲁棒性。最后，我们补充的理论与实验的大合成和真实数据。
2018-03-12 cs.LG stat.ML
Scalable Krylov Subspace Methods for Generalized Mixed-Effects Models with Crossed Random Effects
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Seminar for Statistics, ETH Zurich（苏黎世联邦理工学院统计研究所）；University of Basel（巴塞尔大学）
本文提出基于克雷洛夫子空间的方法，解决高维交叉随机效应下的计算瓶颈，理论和实验证明其在速度和稳定性上的优势。
2026-09-14 cs.LG stat.ME stat.ML
Scalable Meta-Learning via Mixed-Mode Differentiation
Google DeepMind（谷歌DeepMind）
针对基于梯度的双层元学习中高阶与混合导数计算开销大、自动微分库难以利用问题结构的问题，本文提出 MixFlow-MG 算法，通过混合模式微分构建高效可扩展计算图，实现超过10倍内存节省和最高25%加速。
2025-06-09 cs.AI cs.LG stat.ML
AgriLens: Semantic Retrieval in Agricultural Texts Using Topic Modeling and Language Models
3 Dept. of Computer Science \& Applications, Sharda University, Greater Noida, Uttar Pradesh, India；4 The Chinese University of Hong Kong, Hong Kong SAR, China
AgriLens通过主题建模和语言模型实现农业文本的可解释语义检索，提供零样本主题标注和高效检索能力。
2026-01-13 cs.IR cs.LG
FOLD-RM: A Scalable, Efficient, and Explainable Inductive Learning Algorithm for Multi-Category Classification of Mixed Data
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
FOLD-RM是一个自动化的归纳学习算法，用于学习混合（数值和分类）数据的默认规则。它为多类别分类任务生成（可解释的）答案集编程（ASP）规则集，同时保持效率和可扩展性。FOLD-RM算法在性能上与XGBoost和多层感知器（MLP）等广泛使用的最先进算法具有竞争力，然而，与这些算法不同，FOLD-RM算法产生可解释的模型。FOLD-RM在某些数据集上优于XGBoost，特别是大型数据集。FOLD-RM还为预测提供了人性化的解释。
2022-05-15 cs.LG
Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data
Aalto University（阿尔托大学）
本文提出一种针对混合域协方差函数的基函数近似方案，使高斯过程推断随观测数和基函数数线性扩展，并展示了其在纵向数据中实现准确、可扩展且可解释的模型简化能力。
2025-04-08 cs.LG stat.CO
Accurate and scalable social recommendation using mixed-membership stochastic block models
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚研究与高级研究院）；Santa Fe Institute（圣塔菲研究所）
随着在线信息量的不断增加，建模和预测个人偏好（例如书籍或文章）变得越来越重要。良好的预测使我们能够改进对用户的建议，并更好地理解决定这些偏好的社会心理过程。我们已经开发了一个协同过滤模型，与相关的可扩展的算法，使个人的偏好准确的预测。我们的方法基于明确的假设，即存在由个人和物品组成的群体，并且个人对物品的偏好仅由他们的群体成员身份决定。重要的是，我们允许每个人和每个项目同时属于不同群体的混合物，与许多流行的方法不同，如矩阵分解，我们不隐含或明确地假设每个群体中的个人更喜欢一组项目中的项目。由此产生的重叠组和预测的偏好可以用期望最大化算法来推断，该算法的运行时间线性缩放（每次迭代）。我们的方法使我们能够预测大型数据集中的个人偏好，并且比目前针对此类大型数据集的算法准确得多。
2016-04-06 cs.IR cs.LG cs.SI
ScaleBITS: Scalable Bitwidth Search for Hardware-Aligned Mixed-Precision LLMs
University of California, Los Angeles（加州大学洛杉矶分校）；Meta Superintelligence Labs, Meta Platforms, Inc.（Meta超智能实验室）；Meta Platforms, Inc.（Meta公司）
ScaleBITS通过硬件对齐的块级权重分区和约束优化方法，实现高效混合精度量化，提升低比特下的模型性能。
2026-02-06 cs.AI cs.LG
MMT: A Multilingual and Multi-Topic Indian Social Media Dataset
IIT Gandhinagar（印度加尔各答理工大学）；TCS Research（塔塔咨询公司研究）
MMT数据集旨在解决多语言和多主题社交媒体文本处理中的挑战，通过大规模多语言、多主题数据支持语言识别和主题建模任务的研究。
2026-01-19 cs.CL cs.LG cs.SI
Discriminative Neural Topic Models
Indian Institute of Science（印度科学院）
我们提出了一种基于神经网络的方法，用于从文本和图像数据集中学习主题。该模型不假设所观察到的特征的条件分布给定的潜在主题。这使我们能够使用文档的句子和图像的补丁作为观察到的特征来有效地执行主题建模，而不是将自己局限于单词。此外，所提出的方法是在线的，因此可以用于流数据。此外，由于该方法利用神经网络，它可以很容易地在GPU上实现，因此它是非常可扩展的。
2017-02-28 cs.LG
Unraveling Media Perspectives: A Comprehensive Methodology Combining Large Language Models, Topic Modeling, Sentiment Analysis, and Ontology Learning to Analyse Media Bias
Institute of IT Management and Digitization Research (IFID)（信息管理与数字化研究学院）
本文提出结合层次主题建模、情感分析和大语言模型本体学习的可扩展媒体偏见分析方法，通过三个政治新闻案例验证其在多粒度识别事件选择、标签、用词及委托遗漏偏见方面的有效性。
2025-05-03 cs.AI cs.CL cs.IR
Scalable Subset Selection in Linear Mixed Models
School of Mathematical and Physical Sciences, University of Technology Sydney（技术与物理科学学院，悉尼技术大学）
本文提出了一种新的ℓ0正则化方法，用于线性混合模型的子集选择，能够高效处理包含千级预测变量的数据集，并在统计上提供了KL散度的有限样本界。
2026-05-14 cs.LG stat.CO stat.ME
The scalable Birth-Death MCMC Algorithm for Mixed Graphical Model Learning with Application to Genomic Data Integration
Lunenfeld-Tanenbaum Research Institute（卢嫩菲尔德-坦南鲍姆研究所）；York University（约克大学）
生物学研究的最新进展已经看到了具有众多应用的高通量技术的出现，这些技术允许以前所未有的深度和规模研究生物学机制。大量的基因组数据现在通过像癌症基因组图谱（TCGA）这样的联盟分发，其中可以获得关于特定类型组织或细胞的特定类型生物信息。在癌症研究中，现在的挑战是对高维多组学数据进行综合分析，目的是更好地了解与癌症结果相关的基因组过程，例如阐明区分特定癌症亚组的基因网络（癌症亚型）或发现不同癌症类型之间重叠的基因网络（泛癌症研究）。在本文中，我们提出了一种新的混合图形模型的方法来分析多组学数据的不同类型（连续，离散和计数），并进行模型选择，通过扩展的死亡MCMC（BDMCMC）算法最初提出的\citet{stephens2000bayesian}和后来开发的\cite{mohammadi2015bayesian}。我们比较我们的方法的性能的LASSO方法和标准的BDMCMC方法使用模拟，发现我们的方法是优越的计算效率和准确性的模型选择结果。最后，TCGA乳腺癌数据的应用表明，整合不同水平的基因组信息（突变和表达数据）可以更好地对乳腺癌进行分型。
2020-05-08 cs.LG stat.AP stat.ML
Highly Scalable Deep Learning Training System with Mixed-Precision: Training ImageNet in Four Minutes
Tencent Inc.（腾讯公司）；Hong Kong Baptist University（香港浸会大学）
具有数据并行的同步随机梯度下降（SGD）优化器广泛用于训练大规模深度神经网络。虽然使用较大的小批量可以通过降低通信计算比来提高系统的可扩展性，但它可能会损害模型的泛化能力。为此，我们为密集GPU集群构建了一个高度可扩展的深度学习训练系统，主要贡献有三个：（1）我们提出了一种混合精度训练方法，可以在不损失精度的情况下显著提高单个GPU的训练吞吐量。(2)我们提出了一种针对超大型小批量（高达64k）的优化方法，可以在ImageNet数据集上训练CNN模型，而不会损失准确性。(3)我们提出了高度优化的全归约算法，在AlexNet和ResNet-50上分别实现了3倍和11倍的加速，而不是在具有1024 Tesla P40 GPU的集群上基于NCCL的训练。在训练ResNet-50的90个epoch时，具有1024个Tesla P100 GPU的最先进的基于GPU的系统花费了15分钟，达到了74.9\%的top-1测试准确率，而另一个基于KNL的系统使用了2048个Intel KNL，花费了20分钟，达到了75.4\%的准确率。我们的训练系统可以在6.6分钟内使用2048个Tesla P40 GPU实现75.8%的top-1测试准确率。当用95个epoch训练AlexNet时，我们的系统可以在4分钟内达到58.7%的top-1测试准确率，这也优于所有其他现有系统。
2018-07-30 cs.DC cs.LG stat.ML
FOLD-TR: A Scalable and Efficient Inductive Learning Algorithm for Learning To Rank
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
FOLD-R++是一种新的二进制分类任务的归纳学习算法。它为混合类型（数值和分类）数据生成一个（可解释的）正常逻辑程序。我们提出了一个定制的FOLD-R++算法的排名框架，称为FOLD-TR，其目的是在训练数据的排名模式后，排名新的项目。与FOLD-R++类似，FOLD-TR算法能够直接处理混合类型的数据，并提供本地调整来解释一对项目之间的比较。
2022-06-15 cs.LG
Cooperation for Scalable Supervision of Autonomy in Mixed Traffic
Massachusetts Institute of Technology（麻省理工学院）
本研究提出可扩展监督框架，通过远程监督者与自主车辆合作，利用排队论和可达性分析，证明合作可大幅提升监督可靠性并减少每车所需监督者，助力自主性规模化部署。
2023-05-10 cs.AI cs.LG cs.MA
FOLD-R++: A Scalable Toolset for Automated Inductive Learning of Default Theories from Mixed Data
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
FOLD-R是一个自动化的归纳学习算法，用于学习混合（数值和分类）数据的默认规则。它为分类任务生成一个（可解释的）答案集编程（ASP）规则集。我们提出了一种改进的FOLD-R算法，称为FOLD-R++，显着提高了效率和可扩展性的FOLD-R的数量级。FOLD-R++对FOLD-R进行了改进，在编码或特征选择阶段不会损害或丢失输入训练数据中的信息。FOLD-R++算法在性能上与广泛使用的XGBoost算法具有竞争力，然而，与XGBoost不同，FOLD-R++算法产生可解释的模型。FOLD-R++在性能上也与RIPPER系统具有竞争力，但在大型数据集上，FOLD-R++优于RIPPER。我们还创建了一个强大的工具集相结合的FOLD-R++与s（CASP）-目标导向的ASP执行引擎，使预测新的数据样本使用的答案集程序生成的FOLD-R++。s（CASP）系统也为预测提供了一个理由。本文提出的实验表明，我们改进的FOLD-R++算法是一个显着的改进，比原来的设计和s（CASP）系统可以在一个有效的方式，以及进行预测。
2022-02-14 cs.LG
Scalable Inference for Latent Dirichlet Allocation
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）
我们研究的问题，学习的主题模型-著名的潜在狄利克雷分配-在一个分布式的方式，使用C处理器的集群和划分的语料库学习平等的。我们提出了一个简单的近似方法，可以调整，交易速度的准确性，根据手头的任务。我们的方法是异步的，因此适用于异构机器的集群。
2009-09-25 cs.LG
Scalable Mixed-Integer Optimization with Neural Constraints via Dual Decomposition
University of Science and Technology of China（中国科学技术大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
针对深度神经网络嵌入混合整数规划时整体线性化规模爆炸的问题，本文提出对偶分解框架拆分问题，保持模块化且整数变量数不随网络深度增长，在\textsc{SurrogateLIB}基准上验证了可扩展性、模块化和适应性。
2025-11-12 cs.LG math.OC
Scalable Evaluation and Improvement of Document Set Expansion via Neural Positive-Unlabeled Learning
Bar Ilan University（巴伊兰大学）；RIKEN（理化学研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Tokyo（东京大学）
我们考虑的情况下，用户已经收集了一个小的一组文档的内聚主题，他们希望从一个大的集合中检索更多的文档。信息检索（IR）解决方案将文档集视为查询，并在集合中查找相似的文档。我们建议通过将问题视为正未标记（PU）学习的实例来扩展IR方法-即，仅从正数据和未标记数据学习二进制分类器，其中正数据对应于查询文档，并且未标记数据是由IR引擎返回的结果。利用PU学习大型神经网络的文本是一个很大程度上未开发的领域。我们讨论了将PU学习应用于设置的各种挑战，包括未知的类先验，极不平衡的数据和模型的大规模准确评估，我们提出了解决方案并进行了经验验证。我们证明了该方法的有效性，使用一系列的实验检索PubMed摘要坚持细粒度的主题。我们展示了基础IR解决方案和其他基线的改进。
2021-01-14 cs.CL cs.LG
BERTopic-Virality Prioritisation: A Scalable Framework for Thematic and Comparative Analysis of COVID-19 and Monkeypox Misinformation on Twitter
Manchester Metropolitan University（曼彻斯特城市大学）
本研究提出BERTopic-VP框架，结合BERTopic与病毒传播优先级层，搭配混合错误信息检测模块，可高效分析Twitter上COVID-19与猴痘错误信息，能识别高影响力簇，支持监测预警。
2026-08-18 cs.CL cs.LG cs.SI
Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
大型卷积神经网络（CNN）可能难以在差分私有（DP）机制中进行训练，因为优化算法需要计算上昂贵的操作，称为每样本梯度裁剪。我们提出了一种高效且可扩展的卷积层裁剪实现，称为混合重影裁剪，它在时间和空间复杂性方面大大简化了私人训练，而不会影响准确性。通过第一次复杂度分析，严格研究了混合鬼裁剪和现有DP训练算法的效率提高。使用大型ResNet，VGG和视觉Transformer对视觉分类任务进行的广泛实验表明，使用混合重影裁剪的DP训练增加了$1\sim 10\%$内存开销和$<2\times$对标准非私有训练的减速。具体而言，当在CIFAR10上训练VGG 19时，混合重影裁剪比具有$3\times$更大最大批量大小的最新Opacus库更快。为了强调卷积层上高效DP训练的重要性，我们使用BEiT在$ε=1$上在CIFAR10上实现了96.7\%的准确率，在CIFAR100上实现了83.0\%的准确率，而之前的最佳结果分别为94.8\%和67.4\%。我们开源了一个隐私引擎（\url{https://github.com/woodyx218/private_vision}），它用几行代码实现了CNN的DP训练。
2022-11-29 cs.CC cs.CV cs.LG
GRACE: LLM-Grounded Semantic Metric Spaces for Scalable Mixed-Data Clustering
Guangdong University of Technology（广东工业大学）；Tsinghua University（清华大学）；Peking University（北京大学）；Shenzhen University（深圳大学）；Xiamen University（厦门大学）
针对混合数据聚类中语义丰富度与可扩展性的矛盾，提出GRACE框架，通过多视角LLM查询实现一次性语义嵌入，兼顾可扩展性与聚类性能，优于11种对比方法。
2026-08-11 cs.AI cs.CL cs.IT
Scalable Models for Computing Hierarchies in Information Networks
University of Notre Dame（圣母大学）
信息层次结构是一种组织结构，通常用于组织和表示大型复杂信息，并提供有效的人工导航机制。幸运的是，许多统计和计算模型存在，自动生成层次结构，但是，现有的方法不考虑在现实世界的情况下越来越常见的信息{ \em网络}的联系。当前的方法也倾向于将主题呈现为抽象的可能分布在单词等上，而不是原始网络中的有形节点。此外，统计技术目前在许多以前的作品还没有能够在Web规模的数据处理。在本文中，我们提出了分层文档主题模型（HDTM），它使用分布式顶点编程过程来计算非参数贝叶斯生成模型。在三个中等规模的数据集和整个维基百科数据集上的实验表明，HDTM即使在大型信息网络上也可以推断出准确的层次结构。
2016-01-04 cs.AI cs.DL cs.LG
Self-Improving Neural-Guided Pruning: A Graph Neural Network Framework for Scalable Mixed Bundle Pricing
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
提出图神经网络引导的剪枝框架，通过将实例编码为客户-产品图并训练边输出GNN学习最优捆绑分配概率，经剪枝生成候选捆绑集，结合局部搜索和自改进过程，实现可扩展的混合捆绑定价，在小实例上恢复98%以上最优利润。
2026-07-13 cs.LG math.OC
Exploring Anti-Aging Literature via ConvexTopics and Large Language Models
本文提出基于凸优化和大语言模型的抗衰老文献主题建模方法，通过稳定且细粒度的主题发现，提升可解释性和可重复性。
2026-02-23 cs.AI cs.CL cs.LG
Online Bayesian Collaborative Topic Regression
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
协作主题回归（CTR）结合了概率矩阵分解（PMF）和主题建模（例如，LDA）的推荐系统，在许多应用中取得了越来越多的成功。现有的CTR算法虽然具有许多优点，但也存在一些严重的局限性。首先，它们通常被设计为以批量学习的方式工作，这使得它们不适合处理真实世界推荐系统中的流数据或大数据。其次，LDA的文档特定主题比例被馈送到下游PMF，但不是反向的，这是次优的，因为在发现文档的低维表示时没有利用评级信息，因此可能导致用于预测的次优表示。在本文中，我们提出了一种新的方案，在线贝叶斯协作主题回归（OBCTR），这是有效的和可扩展的学习数据流。特别地，我们{ \it联合}以在线学习的方式优化PMF和LDA的组合目标函数，其中PMF和LDA任务可以在在线学习过程中相互加强。我们令人鼓舞的实验结果对现实世界的数据验证了所提出的方法的有效性。
2016-05-28 cs.IR cs.LG
Iterative Topic Taxonomy Induction with LLMs: A Case Study of Electoral Advertising
Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
本文提出基于大语言模型的迭代主题分类方法，通过选举广告案例验证，实现了无需预定义标签的自动主题分类，并在人类评估中表现出更一致和可解释的结果。
2026-10-02 cs.AI cs.CL cs.CY
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Liverpool（利物浦大学）
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子，我们交替它与递归高斯混合，其中每个混合成分对应于一个主题句子的潜在代码，并混合由树结构的主题分布。通过解码每个高斯分量，我们生成具有树形结构的主题指导的句子，其中根句子传达通用内容，叶句子描述特定主题。实验结果表明，所生成的主题句适合作为固执己见的文本的摘要，其比最近的无监督摘要模型（Bražinskas等人，2020年）。此外，我们证明了潜在高斯的方差代表了句子的粒度，类似于高斯词嵌入（Vilnis和McCallum，2015）。
2021-06-15 cs.AI cs.CL cs.LG
A Robust Cybersecurity Topic Classification Tool
New Mexico Institute of Mining and Technology（新墨西哥矿业技术学院）；Sandia National Laboratories（桑迪亚国家实验室）
本文利用Reddit、Stackexchange和Arxiv的用户标签训练21个机器学习模型，并通过多数投票构建网络安全主题分类工具，在降低误报和漏报率的同时保持对数十万文档的可扩展性。
2024-02-27 cs.CL cs.CR cs.IR
Integrating Neural Encoders in Bayesian Generalized Linear Mixed Models for Multimodal Data
Department of Biostatistics & Bioinformatics, Duke University（杜克大学生物统计与生物信息学系）；Department of Ophthalmology, University of Miami（迈阿密大学眼科系）
针对传统广义线性混合模型无法适配高维多模态数据的问题，该研究联合训练模态专属神经编码器与GLMM目标，通过方差校正随机梯度MCMC实现推断，兼顾效应可解释性与多模态纵向数据的可扩展不确定性分析。
2026-07-07 cs.LG stat.CO stat.ML
Interpretable and Scalable Graphical Models for Complex Spatio-temporal Processes
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本论文的重点是具有复杂时空结构的数据，以及以可解释和可扩展的方式学习结构的概率图形模型。我们针对两个感兴趣的研究领域：张量变量数据的高斯图形模型和使用主题模型的复杂时变文本的摘要。这项工作在几个方向上推进了最先进的技术。首先，它通过Sylvester张量方程引入了一类新的张量变量高斯图模型。其次，它开发了一种基于快速收敛的近似交替线性化最小化方法的优化技术，该方法将张量变量高斯图形模型估计扩展到现代大数据设置。第三，它连接Kronecker结构（逆）协方差模型与时空偏微分方程（PDE），并引入了一个新的框架，集合卡尔曼滤波，能够跟踪混沌物理系统。第四，它提出了一个模块化和可解释的框架，用于时变数据的无监督和弱监督概率主题建模，将生成统计模型与计算几何方法相结合。在整个过程中，该方法的实际应用被认为是使用真实的数据集。这包括使用EEG数据进行大脑连接分析，使用太阳成像数据进行空间天气预报，使用Twitter数据进行公众意见纵向分析，以及使用TalkLife数据挖掘与心理健康相关的问题。我们在每种情况下，这里介绍的图形化建模框架，导致改进的可解释性，准确性和可扩展性。
2023-01-15 cs.LG stat.ME
Feature selection in linear SVMs via a hard cardinality constraint: a scalable SDP decomposition approach
Research Network Data Science, University of Vienna（维也纳大学数据科学研究网络）；Sapienza University of Rome（罗马大学）；VGSCO, University of Vienna（维也纳大学VGSCO机构）
本文研究线性 SVMs 中带基数约束的嵌入式特征选择问题，通过引入混合整数公式和半定松弛并利用稀疏模式进行分解，提出了可扩展的启发式与精确求解方法，在基准数据集上验证了其高效性。
2024-12-19 cs.LG math.OC
DCEmbed: Scalable Optimization over Neural Surrogates
Stanford University（斯坦福大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）
提出 DCEmbed 方法，利用神经网络的差凸表示避免二进制变量，通过迭代凸凹过程高效求解嵌入神经代理的优化问题，在多个实验中显著加速收敛并提升解质量。
2026-09-29 cs.LG math.OC
