Fast matrix computations for functional additive models
在函数数据分析中,通常会查看一组相关函数:一组学习曲线,一组大脑信号,一组空间图等。表达相关性的一种方法是通过加性模型,其中每个单独的函数$g_{i}\left(x\right)$被假设为围绕某个共享均值$f(x)$的变化。高斯过程提供了一个优雅的方式来构建这样的加性模型,但遭受的计算困难所产生的矩阵运算,需要执行。最近Heersink和Furrer证明了函数可加模型产生的协方差阵具有一种特殊的形式,称为拟Kronecker(QK),其逆矩阵相对容易处理。我们表明,在额外的假设下,两级添加剂模型导致一类矩阵,我们称之为限制准克罗内克,享有许多有趣的属性。特别是,我们制定的矩阵分解,其复杂性的规模只有线性的功能在潜在领域的数量,一个巨大的改进立方缩放的天真的方法。我们描述了如何利用rQK矩阵的属性在潜在高斯模型中进行推理。
2014-02-20 stat.CO
A Latent Variable Framework for Scaling Laws in Large Language Models
Department of Statistics, University of Michigan(密歇根大学统计系);IBM Research and CSAIL, MIT(IBM研究与麻省理工学院计算机科学与人工智能实验室);Institute of Foundation Models, MBZUAI(MBZUAI基础模型研究所)
提出基于潜变量建模的统计框架,通过引入潜变量捕获不同模型家族和基准的异构性,以更准确地建模大型语言模型的缩放定律。
2026-06-02 cs.LG stat.AP
Identifying Weight-Variant Latent Causal Models
Responsible AI Research Centre(负责任人工智能研究中心);Australian Institute for Machine Learning(澳大利亚机器学习研究所);School of Computer Science and Engineering(计算机科学与工程学院);School of Mathematics and Statistics(数学与统计学学院);Halicioğlu Data Science Institute(Halicioğlu数据科学研究所);Department of Philosophy(哲学系)
本文提出SuaVE方法,通过引入线性高斯模型解决潜在因果变量的可识别性问题,实现因果表示学习。
2026-02-18 cs.LG stat.ML
Kronecker Factorization Improves Efficiency and Interpretability of Sparse Autoencoders
T-Tech
KronSAE通过克罗内克分解减少计算开销,同时引入mAND提升稀疏自编码器的可解释性与性能。
2026-09-09 cs.CL cs.LG
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而,灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法,噪声自然梯度,是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例,其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而,矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中,我们扩展噪声K-FAC,以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲,我们的方法始终优于现有的算法(例如,噪声K-FAC)的回归和分类任务。
2018-11-30 cs.LG stat.ML
Bigger is not Always Better: Scaling Properties of Latent Diffusion Models
Johns Hopkins University(约翰斯·霍普金斯大学);Texas A&M University(德克萨斯农工大学);Google(谷歌公司)
本文实证研究文本到图像 LDM 的模型规模与采样效率关系,发现固定推理预算下小模型常优于大模型,并在多种采样器、下游任务、蒸馏模型及训练算力比较中验证其普适性。
2024-12-10 cs.CV cs.LG
Scaling Up Probabilistic Circuits by Latent Variable Distillation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对概率电路(PCs)参数增多后性能易达平台期、现有优化器难以发挥其表达能力的问题,提出潜变量蒸馏方法,从Transformer生成模型提取信息指导PCs优化,在多个基准上提升了大型PCs性能,甚至媲美主流深度生成模型。
2024-12-11 cs.AI cs.LG
Sample, computation vs storage tradeoffs for classification using tensor subspace models
Tufts University(塔夫茨大学)
在本文中,我们表现出(训练)样本,计算和存储复杂性的问题,使用信号子空间估计的监督分类之间的权衡。我们的主要工具是使用张量子空间,即具有Kronecker结构的子空间,用于将数据嵌入到较低的维度中。在具有克罗内克结构的子空间中,我们证明了使用具有层次结构的子空间来表示数据会导致改进的权衡。改进的主要原因之一是将数据嵌入到这些分层的Kronecker结构子空间中可以防止在更高的潜在维度上过拟合。
2017-06-27 cs.LG stat.ML
Latent Thought Models with Variational Bayes Inference-Time Computation
UCLA(加州大学洛杉矶分校);Lambda, Inc.(Lambda公司);Salesforce Research(Salesforce研究院)
提出 Latent Thought Models(LTM),通过显式潜在思维向量、变分贝叶斯双速率训练和推理时计算,提升语言模型的样本与参数效率及推理能力。
2025-06-06 cs.CL cs.LG stat.ML
Exponential capacity scaling of classical GANs compared to hybrid latent style-based quantum GANs
Center for Quantum Computing(量子计算中心);Quantum Coherence (QC2), University of Basel(量子相干性(QC2),巴塞尔大学)
本文研究了混合潜在风格量子GAN在图像生成中的指数容量优势,发现经典GAN与量子GAN在参数规模上呈指数级增长关系。
2026-01-08 cs.AI cs.LG quant-ph
Improved Training Technique for Latent Consistency Models
Rutgers University(罗格斯大学);Movian AI(莫维安人工智能公司);Monash University(莫纳什大学)
针对潜变量空间中离群值导致一致性训练性能下降的问题,提出Cauchy损失、扩散损失、最优传输耦合及自适应缩放调度器等改进,成功训练出单步或两步高质量采样的潜变量一致性模型,缩小了与扩散模型的性能差距。
2025-03-25 cs.CV cs.LG
Frequency-Forcing: From Scaling-as-Time to Soft Frequency Guidance
DAMO Academy(达摩院)
本文提出频率强制方法,通过结合K-Flow和Latent Forcing,实现基于频率的生成顺序优化,无需重写核心流坐标,提升图像生成质量。
2026-04-21 cs.AI cs.LG
Scaling Nonparametric Bayesian Inference via Subsample-Annealing
我们描述了一个适应的模拟退火算法的非参数聚类和相关的概率模型。这种新算法在不断增长和不断搅动的训练数据子样本上学习非参数潜在结构,其中子采样的数据部分可以被解释为退火时间表中的逆温度beta(t)。高温下的吉布斯抽样(即,具有非常小的子样本)可以通过(a)在潜在空间周围进行更长的跳跃(如在块吉布斯中)和(b)降低能量势垒(如在模拟退火中)来更快地探索最终潜在状态的草图。我们证明了子样本退火在一个简单的聚类模型中加快了混合时间N^2 -> N,在另一类模型中加快了exp(N)-> N,其中N是数据大小。根据经验,子样本退火在每挂钟时间的准确性方面优于朴素吉布斯抽样,并且可以扩展到更大的数据集和更深层次的模型。我们展示了改进的推断百万行子样本的美国人口普查数据和网络日志数据和307行医院评级数据集,使用Pitman-Yor概括的交叉分类模型。
2014-02-22 stat.CO stat.ML
Bayesian Mixed Multidimensional Scaling for Auditory Processing
University of Torino(都灵大学);Collegio Carlo Alberto(卡洛阿尔贝托学院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Northwestern University(西北大学)
针对听觉处理中个体和群体异质性问题,提出贝叶斯混合多维尺度分析方法,恢复可识别潜在特征并自动确定维度,揭示语言背景差异。
2026-06-01 stat.AP stat.ME
Unconditional flow-based time series generation with equivariance-regularised latent spaces
Imperial College London(伦敦帝国学院)
本文提出了一种基于流的无条件时间序列生成方法,通过等变性正则化潜在空间提升生成质量,同时在计算效率上优于现有扩散基线方法。
2026-01-30 cs.LG
STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis
Apple(苹果公司)
本文提出可扩展归一化流模型 STARFlow,以 TARFlow 为核心,结合深浅架构、潜空间建模与新型引导算法,在高分辨率类别和文本条件图像生成中接近扩散模型。
2025-06-06 cs.AI cs.CV cs.LG
A Bayesian hierarchical model for disease mapping that accounts for scaling and heavy-tailed latent effects
提出一种扩展BYM2的贝叶斯层次模型,通过尺度混合结构处理重尾潜在效应并识别离群值,在模拟和里约寨卡数据分析中优于现有方法。
2024-03-20 stat.ME
Latent-to-Latent Flow for Volumetric Stochastic Segmentation
Imperial College London(帝国理工学院);The Royal Marsden Hospital(皇家马斯登医院);Imperial College Healthcare NHS Trust(帝国理工医疗国民保健信托基金)
提出潜空间到潜空间的流匹配方法,利用图像和标签的编码表示进行医学体积随机分割,在放疗计划勾画和多器官分割中效率提升达14倍且保持临床性能。
2026-09-09 cs.AI cs.CV cs.LG
On the Intrinsic Limited Robustness of Latent-Based Watermarking
本文首次从理论上揭示基于潜变量的扩散模型水印方法对几何扰动缺乏不变性,推导最大扰动界限并给出检测机制解析公式,实验证实其固有鲁棒性有限,并提出未来设计指南。
2026-10-07 cs.CR cs.LG
Scaling It Up: Stochastic Search Structure Learning in Graphical Models
高斯集中图模型和协方差图模型是两类用于揭示多变量之间潜在依赖结构的图形模型。在贝叶斯文献中,图通常是通过使用固定零点的正定矩阵空间上的先验来确定的,但是这些方法在大问题中存在令人生畏的计算负担。由于连续收缩先验在回归分析中具有优越的计算效率,我们提出了一种基于连续尖峰和平板先验的结构学习新框架,并使用潜变量来识别图形。我们讨论了模型规格,计算和推断的浓度和协方差图模型。新的方法产生可靠的估计图,并有效地处理数百个变量的问题。
2015-05-07 math.ST stat.ME stat.TH
Heterogeneous Clinical Trial Outcomes via Multi-Output Gaussian Processes
本研究利用 Kronecker 结构扩展多输出高斯过程模型,以处理大规模异质临床数据,通过重复测量加速非线性贝叶斯非参数推断,并在模拟与真实数据集上验证其优于参数模型的性能。
2024-08-28 stat.AP stat.ME
Beyond Local Independence: High-Dimensional Latent Class Graphical Models with Shared Block Structure
Department of Statistics, Columbia University(哥伦比亚大学统计学系)
针对高维序数响应数据,提出一种具有块结构局部依赖的高维潜在类别图模型,通过三步估计器同时恢复潜在类别、共享块划分和类内稀疏精度矩阵,并建立端到端一致性理论。
2026-06-28 stat.ME
Generalized vec trick for fast learning of pairwise kernel models
University of Turku(图尔库大学)
本文综述了多种成对核,并证明它们均可表示为Kronecker积之和,从而利用广义向量化技巧将训练复杂度从O(n^2)降至O(nm+nq),使成对核能扩展到更大生物数据集。
2022-02-04 cs.LG stat.ML
Scaling the Indian Buffet Process via Submodular Maximization
Engineering Department, Cambridge University(剑桥大学工程系)
潜在特征模型的推理本质上是困难的,因为推理空间随着输入数据的大小和潜在特征的数量呈指数增长。在这项工作中,我们使用Kurihara & Welling(2008)的最大化期望框架来执行近似MAP推理的线性高斯潜在特征模型与印度巴菲特过程(IBP)之前。该公式产生对应于模型证据上的下限的特征的子模块函数。通过给这个函数增加一个常数,我们得到一个非负的子模函数,可以通过贪婪算法最大化,该算法至少获得最优解的三分之一近似。我们的推理方法与输入数据的大小呈线性关系,我们显示了我们的方法在目前使用IBP模型分析的最大数据集上的有效性。
2013-07-24 cs.LG stat.ML
SLPO: Scaling Latent Reasoning via a Surrogate Policy
The Hong Kong Polytechnic University(香港理工大学);Sichuan University(四川大学)
研究如何让潜在推理器实现测试时扩展,引入代理潜在策略优化(SLPO),通过经验代理策略密度和正确性监督停止头,将结果奖励强化学习引入自回归潜在推理器,在连续和软思维设置中提升了性能。
2026-10-06 cs.AI cs.CL cs.LG
GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler
Department of Data Science & AI, Monash University(墨尔本大学数据科学与人工智能系);Faculty of Medicine Dentistry and Health Sciences, University of Melbourne(墨尔本大学医学牙科与健康科学学院);Department of Computer Science, University College London(伦敦大学学院计算机科学系)
本文提出GTS,通过学习条件分布实现更可控的推理时缩放,改进了传统启发式扰动方法,提升了推理质量与稳定性。
2026-03-18 cs.CL cs.LG
Understanding sparse autoencoder scaling in the presence of feature manifolds
Goodfire;Massachusetts Institute of Technology(麻省理工学院)
本研究调整Brill 2024年提出的容量分配模型,分析特征流形对稀疏自编码器(SAEs)缩放行为的影响,发现存在特征流形导致SAE学习特征数远少于隐变量数的病态机制,并探讨了实际场景中该情况的可能性。
2025-09-04 cs.LG
Parallel Test-Time Scaling for Latent Reasoning Models
Hong Kong Polytechnic University(香港理工大学);Shandong Jianzhu University(山东建筑大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出通过改进采样和聚合方法,使潜在推理模型能有效利用并行测试时缩放,提升连续空间中的推理能力。
2026-04-19 cs.AI cs.CL cs.LG
SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling
Meta AI
本文提出SOLARIS框架,通过预测未来请求中的用户-项目交互嵌入,将昂贵的基础模型推理与关键服务路径解耦,从而在大规模应用中实现实时知识转移,提升服务效率和收益。
2026-06-03 cs.LG
Spectral Scaling Laws in Language Models: How Effectively Do Feed-Forward Networks Use Their Latent Space?
New York University(纽约大学)
该研究将前馈网络宽度选择转化为谱利用问题,通过轻量诊断工具发现LLM中FFN存在非对称谱缩放定律,为推理高效的大语言模型设计提供指导。
2025-10-01 cs.IT cs.LG math.IT
Encode, Think, Decode: Scaling test-time reasoning with recursive latent thoughts
FAIR at Meta(Meta的FAIR);University College London(伦敦大学学院)
本文提出编码-思考-解码(ETD)方法,通过在中期训练阶段迭代推理相关层来增强LLM推理能力,在17个基准上显著提升准确率,如GSM8K提升28.4%,MATH提升36%,并探索了自适应深度策略。
2025-10-08 cs.AI cs.CL cs.LG
LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
SJTU(上海交通大学);Shanghai AI Lab(上海人工智能实验室);USTC(中国科学技术大学);CUHK(香港中文大学);NTU(南洋理工大学)
循环混合专家(MoE)模型结合了参数重用和稀疏计算,以提高匹配预算下的性能。以前的工作表明,不同的循环访问可以发挥不同的作用,即使他们共享参数。为了探索不同循环访问的贡献,我们在一个模型中学习单独的残差系数,该模型应用共享块两次,在第一次访问中观察到较小的规模。固定系数的实验表明,减少第一次访问的规模保持或提高性能,而同样的减少到第二伤害它。这种不对称性促使我们探索不对称的计算分配。我们提出了\textbf{LatentLoop},它压缩了第一次访问的序列,在第二次保留完整的分辨率,并重新分配节省的计算,以增加隐藏的大小。我们进一步了解如何强烈的第一次访问更新完整的序列,并共享MoE权重访问,同时使用单独的注意参数,以适应其不同的序列分辨率。在1.3B-7 B参数的15种配置中,最大预算超过$10^{21}$ FLOP,LatentLoop始终降低验证NLL。在拟合的NLL为1.988时,相对于普通MoE和循环基线,预测的计算节省分别为19.0%和7.9%。它还提高了在0杆和5杆设置的所有大小的九个基准的平均得分。这些结果表明,非对称计算分配是一个有前途的方向循环MoE模型。
2026-10-14 cs.LG
go-$m$HC: Direct Parameterization of Manifold-Constrained Hyper-Connections via Generalized Orthostochastic Matrices
go-$m$HC通过广义正交随机矩阵直接参数化流形约束超连接,实现高效且精确的双重随机矩阵参数化,提升模型表达能力和效率。
2026-04-02 cs.CL cs.LG
Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心);University of Maryland, College Park(马里兰大学帕克分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出一种通过迭代循环块在隐空间进行推理的语言模型架构,可在测试时扩展至任意深度;35 亿参数模型无需思维链数据即可在推理基准上获得显著提升。
2025-02-17 cs.CL cs.LG
Reasoning to Learn from Latent Thoughts
Stanford University(斯坦福大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对预训练数据瓶颈,本文提出显式推断文本背后的潜在思维以增强数学预训练,并用 EM 让 1B LM 无强教师自举迭代,显著提升数据效率。
2025-09-29 cs.AI cs.CL cs.LG
Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);NLCo Lab, Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院NLCo实验室);Department of Automation, Tsinghua University(清华大学自动化系);Shanghai Jiao Tong University(上海交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of California, Los Angeles(加州大学洛杉矶分校)
LatentSeek通过测试时实例级策略梯度在潜在空间中提升LLM推理能力,展现高效且可扩展的性能。
2026-01-19 cs.AI cs.CL cs.LG
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
Microsoft(微软公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
提出潜在循环Transformer(LRT),通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆,在不增加暂停token或额外深度循环的情况下,以约2倍基线计算实现并行训练,在匹配有效计算下提升语言建模损失和上下文学习能力,仅增加0.3%参数。
2026-09-02 cs.CL cs.LG
Scaling Text with the Class Affinity Model
New York University(纽约大学);London School of Economics and Political Science(伦敦政治经济学院)
文本分类的概率方法在机器学习和自然语言处理中形成了丰富的传统。然而,对于许多重要的问题,类别预测是无趣的,因为类别是已知的,而不是重点转移到估计与文本相关的潜在量,如影响或意识形态。我们专注于这样一个问题的利益,估计的意识形态立场的55个爱尔兰立法者在1991年众议院的信任投票。为了解决Dáil缩放问题和其他类似问题,我们开发了一个文本建模框架,允许演员在“黑色”和“白色”两极对立之间的“灰色”光谱上采取潜在的位置。我们能够通过测量单个单词所表现出的影响来验证该模型的结果,并且我们能够通过使用一个重复级别的块自举来量化缩放估计中的不确定性。将我们的方法应用于众议院辩论,我们能够在极端亲政府和亲反对派之间缩放立法者,以揭示他们的演讲中的细微差别,而不是通过他们的选票或党派关系来捕获。
2017-10-24 cs.CL cs.LG stat.ML
Understanding Latent-Dimension Scaling in Dynamical-System Learning through Spectral Reliability
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Graduate School of Information Science and Technology, The University of Osaka(大阪大学信息科学与技术研究生院)
该研究通过分析Koopman算子的谱可靠性,对比两种损失训练的Koopman自编码器在六个混沌系统上的滚动误差等指标,发现谱残差模型性能更优,验证了谱可靠性对潜维缩放的解释作用。
2026-10-09 cs.LG math.DS nlin.CD
Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning
CMU(卡内基梅隆大学)
本文提出平衡推理器(EqR),通过学习任务条件的吸引子来实现可扩展推理,该方法在测试时无需外部验证器或任务特定先验,通过增加深度和广度实现推理能力的提升,从而在Sudoku-Extreme上将准确率从2.6%提升至超过99%。
2026-05-20 cs.LG
Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits
Eindhoven University of Technology(埃因霍温理工大学);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文针对概率积分电路仅支持树形结构且数值求积训练内存开销大的问题,提出基于任意变量分解的DAG构建流程、张量化训练方法及神经功能共享技术,实验证明QPC优于传统概率电路。
2025-02-05 cs.AI cs.LG
Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models
State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing, China(新型软件技术国家重点实验室,南京大学,南京,中国);School of Artificial Intelligence, Nanjing University, Nanjing, China(人工智能学院,南京大学,南京,中国);School of Intelligence Science and Technology, Nanjing University, Nanjing, China(智能科学与技术学院,南京大学,南京,中国)
提出STARS训练框架,通过雅可比谱半径正则化约束潜在状态趋近渐近稳定不动点,解决循环语言模型深度递归时性能崩溃问题,实现可靠的测试时扩展并提升峰值性能。
2026-05-26 cs.AI cs.LG
Scaling Model-Generated Distillation Data Can Make Latent Teacher Traits More Recoverable
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学)
该研究发现扩展模型生成的蒸馏数据可使学生模型中教师的潜在特征更易被检测,且该效应跨多种场景存在,建议扩展数据时结合感知特征的整理与评估。
2026-08-28 cs.CL cs.LG
Clause-Factored Bilateral State Grounding and Scoped Passivity for Counterfactual Open-World Deductive Reasoning
Tianjin Medical University(天津医科大学);Tianjin University(天津大学)
针对测试时计算扩展中潜在深思的漂移悬崖问题,提出端口-哈密顿潜在深思(PH-LD)与DG-HHD分解,在保持高表达性的同时抑制漂移,实现峰值准确率58.67%并提升计算效率。
2026-11-20 cs.AI cs.CL cs.LG
Mixture-of-World Models: Scaling Multi-Task Reinforcement Learning with Modular Latent Dynamics
School of Automation, Beijing Institute of Technology(自动化学院,北京理工大学);Jiangxing Intelligence Inc.(江行智能有限公司)
混合世界模型通过模块化架构和任务聚类策略,在多任务强化学习中实现了高效的参数利用和样本效率,展示了在Atari和Meta-World基准上的卓越性能。
2026-02-01 cs.LG
Latent Semantic Manifolds in Large Language Models
Qatar University(卡塔尔大学)
研究大型语言模型中隐藏状态作为流形点的几何解释,定义表达性差距并验证其在不同架构中的表现。
2026-03-17 cs.AI cs.LG
Spatial Functa: Scaling Functa to ImageNet Classification and Generation
DeepMind(深度思维);University of Haifa(海法大学)
神经场,也称为隐式神经表征,已经成为表征各种模态的复杂信号的有力手段。在此基础上,Dupont等人(2022)引入了一个将神经场视为数据的框架,称为 *functa*,并提出直接在神经场的这个数据集上进行深度学习。在这项工作中,我们表明,所提出的框架面临的限制时,扩大到甚至适度复杂的数据集,如CIFAR-10。然后,我们提出了 *spatial functa*,它通过使用神经场的空间排列的潜在表示来克服这些限制,从而使我们能够以256 x256的分辨率将该方法扩展到ImageNet-1 k。我们证明了与视觉Transformer(Steiner等人,2022)分类和潜在扩散(Rombach等人,2022)分别在图像生成上。
2023-02-09 cs.CV cs.LG
Scaling and evaluating sparse autoencoders
OpenAI
本文提出用k-稀疏自编码器直接控制稀疏性并改进死亡潜变量问题,发现了清晰的扩展规律,并在GPT-4激活上训练了1600万潜变量的大规模自编码器,同时引入多个特征质量评估指标。
2024-06-06 cs.AI cs.LG
Learning the Dependence Graph of Time Series with Latent Factors
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文考虑了当某些变量是潜变量时,从样本中学习线性随机微分方程组的依赖结构的问题。特别地,我们观察一些变量的时间演化,而从不观察其他变量;由此,我们希望找到所观察变量之间的依赖结构-分离出由潜在变量的时间序列(边缘化)引起的虚假相互作用。我们开发了一种新的方法,凸优化的基础上,这样做的情况下,当潜变量的数量小于观察到的。对于观测变量之间的依赖结构稀疏的情况,我们从理论上建立了一个高维尺度结构恢复的结果。我们验证了我们的理论结果与合成和实际数据(从股票市场)。
2012-05-01 cs.LG
Quantifying construct validity in large language model evaluations
University of Oxford(牛津大学);St Catherine’s College(圣凯瑟琳学院);Oxford Internet Institute(牛津互联网研究所)
本文提出结构能力模型,通过结合缩放定律和潜在因子模型,提升LLM评估中构念效度的量化能力。
2026-02-17 cs.AI cs.LG
LoopUS: Recasting Pretrained LLMs into Looped Latent Refinement Models
Department of Data Science(数据科学系);Department of Industrial Engineering(工业工程系);Pusan National University(釜山国立大学);Changwon National University(昌原国立大学)
LoopUS通过循环架构提升LLM推理性能,无需重新训练,采用四个核心组件稳定模型并提高效率。
2026-05-10 cs.AI cs.LG
Scaling sparse feature circuit finding for in-context learning
University of Oxford, UK(牛津大学);ETH Zurich, Switzerland(苏黎世联邦理工学院);Georgia Institute of Technology, US(佐治亚理工学院)
本研究通过稀疏自编码器(SAEs)识别出编码任务知识且可因果诱导零样本任务的特征,调整稀疏特征电路方法适配更大模型,揭示了上下文学习(ICL)的关键机制。
2025-04-18 cs.AI cs.CL cs.LG
Learning Latent Protein Languages for Autoregressive Generation
University of Missouri(密苏里大学);University of Southern California(南加州大学)
本文提出两种潜在蛋白质语言(PLL和SLL),通过自回归Transformer预训练,在序列生成、结构预测和骨架生成上显著优于氨基酸模型,并支持快速采样。
2026-10-06 cs.LG q-bio.BM
Thoughtbubbles: an Unsupervised Method for Parallel Thinking in Latent Space
Department of Computer Science, Stanford University, Stanford, CA, United States(计算机科学系,斯坦福大学,斯坦福,CA,美国)
Thoughtbubbles是一种通过预训练学习并行自适应计算的转换器变体,能够在潜在空间中实现更高效的计算,提升模型的推理性能和零样本评估表现。
2026-01-30 cs.AI cs.CL cs.LG