Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation
Mila - Québec AI Institute & Université de Montréal（米拉-魁北克人工智能研究所与蒙特利尔大学）；Santa Clara University（圣克拉拉大学）；Cold Spring Harbor Laboratory（冷泉港实验室）
本文指出线性探测和稀疏自编码器在组合泛化中失效是由于字典学习问题而非压缩学习问题，揭示了稀疏推理在叠加下的挑战。
2026-10-09 cs.LG
Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks
North Carolina State University（北卡罗来纳州立大学）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）
由于其在推理任务和去噪应用中的许多成功，字典学习（DL）及其相关的稀疏优化问题已经引起了很多研究兴趣。虽然大多数解决方案都集中在单层字典上，但最近提出的改进的Deep DL（深度学习）方法在许多问题上也存在不足。我们在此提出了一种新的递归方法，其中每个DL层可以被公式化为一个线性层和递归神经网络（RNN）的组合。RNN灵活地考虑了层关联和学习的度量。我们提出的工作揭示了对神经网络和神经网络的新见解，并提供了一种新的，有效的和有竞争力的方法来联合学习深度变换和推理应用的度量。进行了大量的实验，以证明所提出的方法不仅可以优于现有的卷积神经网络，而且最先进的通用CNN。
2020-10-21 cs.LG stat.ML
Sparse Bayesian Dictionary Learning with a Gaussian Hierarchical Model
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）
我们考虑一个字典学习问题，其目标是设计一个字典，使得信号在学习过的字典上具有稀疏或近似稀疏表示。这样的问题发现了各种各样的应用，如图像去噪，特征提取等，在本文中，我们提出了一种新的分层贝叶斯模型的字典学习，其中高斯逆伽玛分层先验是用来促进稀疏的表示。合适的先验也被放置在字典和噪声方差上，使得它们可以从数据中合理地推断出来。基于层次模型，提出了贝叶斯推理的变分贝叶斯方法和吉布斯抽样方法。所提出的方法的优点是，它们不需要噪声方差\emph{a priori}的知识。数值结果表明，所提出的方法是能够学习字典的准确性比现有的方法，特别是对于有一个有限数量的训练信号的情况下。
2015-03-07 cs.IT cs.LG math.IT
LLM Inference in a Flash!
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）
针对LLM推理中内存带宽和写入耐久性挑战，提出纯整数量化与字典式KV缓存压缩算法，在Flash存内计算设备上实现高效推理，减少15倍动态KV缓存流量。
2026-09-16 cs.LG
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
Weakly-supervised Dictionary Learning
Oregon State University（俄勒冈州立大学）
我们提出了一个概率建模和推理框架的判别分析字典学习下的弱监督设置。字典学习方法已被广泛用于低级别信号去噪和恢复以及高级分类任务等任务，这些任务可应用于音频和图像分析。综合字典学习旨在联合学习字典和相应的稀疏系数，以提供准确的数据表示。这种方法对于去噪和信号恢复是有用的，但可能导致次优分类性能。相比之下，分析字典学习提供了一种将数据映射到适合分类的稀疏判别表示的变换。我们考虑了弱监督设置下的时间序列数据的分析字典学习问题，其中信号被分配有全局标签而不是瞬时标签信号。我们提出了一个歧视性的概率模型，采用基数控制的潜在瞬时标签信号的标签信息和稀疏性约束。我们提出了期望最大化（EM）的最大似然估计（MLE）的建议模型的过程。为了便于计算效率的E-步骤，我们提出了一个链和一个新的树图的图形模型的重新制定。所提出的模型的性能证明在合成和真实世界的数据。
2018-02-05 cs.LG eess.SP stat.ML
Discrete Dictionary-based Decomposition Layer for Structured Representation Learning
Kyungpook National University（庆北国立大学）；ALI Co., Ltd.（ALI有限公司）
针对基于张量积表示（TPR）的神经网络难以分解未见数据的问题，提出基于离散可学习键值字典的D3即插即用层，利用训练先验生成结构化TPR表示，在更少额外参数下提升多种TPR模型的系统泛化能力，合成任务表现优于基线。
2024-11-01 cs.AI cs.LG
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University（哥伦比亚大学）
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗（MCMC）或组合序贯蒙特卡罗（CSMC）等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而，当MCMC用于进化参数学习时，收敛需要长时间运行，状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗（VCSMC），一个强大的框架，建立变分顺序搜索学习分布在复杂的组合结构。然后，我们开发嵌套CSMC，一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似（棘手的）局部最优建议。我们使用嵌套的CSMC定义第二个目标，VNCSMC产生更严格的下限比VCSMC。我们表明，VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
Adaptive Combinatorial Experimental Design: Pareto Optimality for Decision-Making and Inference
University of Science and Technology of China（中国科学技术大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Arizona State University（亚利桑那州立大学）
本文提出 MixCombKL 和 MixCombUCB 算法，通过帕累托最优性在组合多臂老虎机中实现 regret 最小化与统计功效的平衡。
2026-02-27 cs.LG
AgileNet: Lightweight Dictionary-based Few-shot Learning
UC San Diego（加州大学圣地亚哥分校）；SDSU（圣地亚哥州立大学）
深度学习模型的成功与使用大量标记数据和过长的训练时间密切相关。随着使用这些模型的智能边缘应用的出现，关键的挑战是在资源受限的设备上获得相同的推理能力，同时提供适应性以应对数据的动态变化。我们提出了AgileNet，这是一种新的轻量级基于字典的少样本学习方法，它提供了降低复杂性的深度神经网络，用于在边缘高效执行，同时实现低成本更新以捕获新数据的动态。对最先进的少样本学习基准的评估表明，与现有技术相比，AgileNet具有更高的准确性。此外，AgileNet是第一个少样本学习方法，通过消除从主要训练中获得的知识来防止模型更新。通过我们新颖的端到端结构化分解学习的字典来确保此属性，这也降低了内存占用和计算复杂性，以匹配边缘设备约束。
2018-05-21 cs.AI cs.CV cs.LG
Boosting Cross-problem Generalization in Diffusion-Based Neural Combinatorial Solver via Inference Time Adaptation
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出DIFU-Ada框架，通过推理时间适应提升基于扩散的神经组合求解器在跨问题和跨尺度上的泛化能力。
2026-03-11 cs.AI cs.LG
Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Airtificial Intelligence Research Institute（人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理与技术学院）；HSE University（高等经济学院）；Skoltech（斯科尔科沃科学技术学院）；AIRI（人工智能研究所）；Sber AI Lab；MIPT（莫斯科物理与技术学院）
结构化潜变量允许将有意义的先验知识合并到深度学习模型中。然而，学习这些变量仍然具有挑战性，因为它们的离散性。如今，标准的学习方法是将潜在变量定义为扰动算法输出，并使用可微代理进行训练。一般来说，代理对模型施加了额外的约束，不可避免地导致有偏梯度。为了减轻这些缺点，我们扩展了Gumbel-Max技巧来定义结构域上的分布。我们通过利用得分函数估计器进行优化来避免可微代理。特别是，我们强调一个家庭的递归算法的一个共同的特点，我们称之为随机不变。该功能使我们能够构建可靠的梯度估计和控制变量，而无需对模型进行额外的约束。在我们的实验中，我们考虑了各种结构化的潜变量模型，并取得了与基于松弛的同行竞争的结果。
2021-10-28 cs.LG
Accelerating Diffusion-based Combinatorial Optimization Solvers by Progressive Distillation
Carnegie Mellon University（卡内基梅隆大学）
针对基于图的扩散模型求解组合优化问题时推理效率低的问题，提出用渐进式蒸馏减少去噪步数加速推理，在TSP-50数据集上实现16倍提速且性能仅降0.019%。
2023-08-22 cs.AI cs.LG
Variational Combinatorial Sequential Monte Carlo for Bayesian Phylogenetics in Hyperbolic Space
Spelman College（斯巴灵学院）；University of Amsterdam（阿姆斯特丹大学）；Columbia University（哥伦比亚大学）
针对系统发育树超指数缩放限制欧几里得推理效率的问题，提出双曲空间下序贯蒙特卡洛算法的扩展及变分推理方法，显著提升了高维贝叶斯系统发育推理的速度与性能。
2025-07-15 cs.LG stat.ML
LSALSA: Accelerated Source Separation via Learned Sparse Coding
New York University Tandon School of Engineering（纽约大学坦登工程学院）
针对广义稀疏编码（SC）推理问题，提出了一种有效的算法.所提出的框架适用于单字典设置，其中每个数据点表示为一个字典矩阵的列的稀疏组合，以及多字典设置中给出的形态成分分析（MCA），其中的目标是将信号分离成添加剂部分，使得每个部分在相应的字典内具有不同的稀疏表示。SC任务及其通过MCA的推广都被转换为$\ell_1$ -正则化最小二乘优化问题。为了加速稀疏码的传统获取，我们提出了一种深度学习架构，该架构构成了分裂增广拉格朗日收缩算法（SALSA）的可训练时间展开版本，SALSA是乘法器交替方向法（ADMM）的一种特殊情况。我们经验验证的算法的两个变种，我们称为LSALSA（学习SALSA），图像视觉任务，并证明在推理我们的网络实现了巨大的改进，在运行时间，估计稀疏代码的质量，和视觉清晰度的经典SC和MCA问题。最后，我们提出了一个分析LSALSA网络的理论框架：我们表明，所提出的方法完全实现了截断ADMM适用于一个新的，学习的成本函数与曲率修改的学习参数化矩阵之一。我们扩展了一个非常新的随机交替优化分析框架，表明沿着这个学习损失景观的梯度下降步骤相当于沿着原始损失景观的修改后的梯度下降步骤。在这个框架中，LSALSA实现的加速可以通过网络学习对陡峭下降的梯度方向的校正的能力来解释。
2019-06-07 cs.LG stat.ML
Inference-Time Decomposition of Activations (ITDA): A Scalable Approach to Interpreting Large Language Models
Department of Computer Science, Durham University（杜伦大学计算机科学系）
针对稀疏自编码器（SAE）训练成本高、无法跨模型迁移的问题，提出推理时激活分解（ITDA）方法，以极低训练成本实现可解释激活分解，且支持跨模型比较。
2025-06-12 cs.LG
Compressive MRI quantification using convex spatiotemporal priors and deep auto-encoders
University of Bath（巴斯大学）；Imago7 foundation（Imago7基金会）；University of Edinburgh（爱丁堡大学）；GE Healthcare（GE医疗）；Technical University of Munich（慕尼黑工业大学）
我们提出了一个字典匹配的多参数定量MRI图像计算的自由管道。我们的方法有两个阶段，基于压缩感知重构和深度学习的定量推理。重建阶段是凸的，并在加速迭代收缩算法中包含有效的时空调节。这最大限度地减少了来自极短扫描时间的欠采样（混叠）伪影。学习的定量推理阶段纯粹是在物理模拟（Bloch方程）上训练的，这些模拟可以灵活地产生丰富的训练样本。我们提出了一个深度和紧凑的自动编码器网络与残留块，以嵌入布洛赫流形投影通过多尺度分段仿射近似，并取代不可扩展的字典匹配基线。在一些数据集上进行测试，我们证明了所提出的方案的有效性，用于从新颖的和积极的二次采样的2D/3D定量MRI采集协议中恢复准确和一致的定量信息。
2020-04-21 cs.CV cs.LG physics.med-ph
Deep Reinforcement Learning for Exact Combinatorial Optimization: Learning to Branch
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
分支定界法是求解组合优化的一种系统枚举方法，其性能高度依赖于变量选择策略。最先进的手工制作的启发式策略遭受每个选择的相对较慢的推理时间，而当前的机器学习方法需要大量的标记数据。提出了一种基于强化学习（RL）范式的组合优化中数据标记和推理延迟问题的解决方法。我们使用模仿学习来引导RL代理，然后使用近端策略优化（PPO）来进一步探索全局最优动作。然后，使用价值网络运行蒙特卡罗树搜索（MCTS）来增强策略网络。我们评估了我们的方法在四个不同类别的组合优化问题的性能，并表明我们的方法相比，最先进的机器学习和基于数学的方法表现强劲。
2022-06-14 cs.AI cs.LG cs.RO
An Efficient Combinatorial Optimization Model Using Learning-to-Rank Distillation
Sungkyunkwan University（成均馆大学）
最近，深度强化学习（RL）已经证明了其在解决组合优化问题（COP）中的可行性。学习排序技术是信息检索领域的研究热点。虽然几个COP可以被公式化为输入项的优先级排序，这在信息检索中是常见的，但还没有充分探索如何将学习排序技术结合到COP的深度RL中。在本文中，我们提出了基于学习排序蒸馏的COP框架，其中通过RL获得的COP的高性能排名策略可以被蒸馏成非迭代的简单模型，从而实现低延迟的COP求解器。具体来说，我们采用近似的排名蒸馏，使基于分数的排名模型通过梯度下降学习。此外，我们使用有效的序列采样，以提高推理性能与有限的延迟。通过该框架，我们证明了一个蒸馏模型不仅可以实现与其各自的高性能RL相当的性能，而且还可以提供几倍的推理速度。我们评估的框架与几个COP，如基于优先级的任务调度和多维背包，展示了推理延迟和性能方面的框架的好处。
2021-12-24 cs.AI cs.IR cs.LG
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
Parallel Tempering for Diffusion-Based Combinatorial Optimization
ETAS Research（ETAS研究院）；University of Stuttgart（斯图加特大学）；Max Planck Research School for Intelligent Systems (IMPRS-IS)（马克斯·普朗克智能系统研究学院）；School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学人工智能与先进计算学院）；NEC Laboratories Europe（NEC欧洲实验室）
本文提出PT-Denoise，一种通过并行回火使去噪轨迹交互的推理时方法，在不重新训练的情况下动态重分配温度，提升图组合优化问题求解质量，且计算开销极小。
2026-09-30 cs.LG
NCO4CVRP: Neural Combinatorial Optimization for the Capacitated Vehicle Routing Problem
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出改进NCO模型的推理技术，通过引入模拟退火和束搜索提升CVRP求解质量与泛化能力，实验表明改进方法显著缩小了优化差距。
2026-04-17 cs.AI cs.LG
Compute Time Scaling with Recursive Models for Combinatorial Optimization
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
我们提出微型递归模型（Tiny Recursive Models）用于组合优化，通过扩展递归深度和并行采样宽度，在TSP和MIS问题上实现更优的质量-速度平衡，并探索自我重新标记实现自监督训练。
2026-09-29 cs.LG
Moco: A Learnable Meta Optimizer for Combinatorial Optimization
Institute of Computer Science, University of Hildesheim（计算机科学研究所，希尔德斯海姆大学）
针对组合优化问题推理时难以基于已构造解优化的局限，提出完全可学习的元优化器Moco，通过热图引导的轻量构造流程与状态特征驱动的参数更新实现优化，在TSP和MIS上性能优于同类热图方法。
2025-09-04 cs.LG
Combinatorial Inference on the Optimal Assortment in Multinomial Logit Models
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Leonard N. Stern School of Business, New York University（纽约大学伦纳德·N·斯特恩商学院）；Duke University（杜克大学）
本文针对多项式Logit模型中的最优产品组合，提出一种基于边际收益缺口符号变化点检测的组合推断框架，用于检验最优集合的属性，并利用乘子自助法构建有效检验程序。
2026-09-22 cs.LG stat.ML
Winner Takes It All: Training Performant RL Populations for Combinatorial Optimization
InstaDeep；Imperial College London（伦敦帝国理工学院）
本文提出Poppy，一种无需预定义多样性、通过无监督专门化训练互补策略种群的方法，在推理时同时展开以提升性能，并在四个NP困难问题上取得最先进RL结果。
2023-11-13 cs.AI cs.LG
GeoPAR: Large-Scale Multi-Agent Combinatorial Optimization with Geometry-Guided Parallel Autoregressive Learning
Soochow University（苏州大学）；School of Future Science and Engineering（未来科学与工程学院）
该研究针对多智能体组合优化的性能局限，提出GeoPAR框架，通过三个关键组件优化几何建模与冲突处理，在两类问题上实现了更好的大规模泛化与高效推理。
2026-09-02 cs.AI cs.LG cs.NE
Latent Guided Sampling for Combinatorial Optimization
Sorbonne Université and Université Paris Cité, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, F-75005 Paris, France（索邦大学和巴黎Cité大学，法国国家科学研究中心，概率、统计与建模实验室，法国巴黎F-75005）；LOPF, Califrais' Machine Learning Lab, Paris, France（LOPF，Califrais机器学习实验室，法国巴黎）
提出LGS-Net潜在空间模型，结合马尔可夫链蒙特卡洛与随机逼近的潜在引导采样方法，在路由任务上达到最先进性能。
2026-06-09 cs.LG math.OC stat.ML
Solving relaxations of MAP-MRF problems: Combinatorial in-face Frank-Wolfe directions
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））
本文针对 MAP-MRF 的 LP 松弛，利用面内 Frank-Wolfe 方向高效实现组合多面体上的 FW 子程序，并通过抽象数据结构特化到树结构子问题，实验表明其在部分问题类别上达到当前最优 LP 求解性能。
2023-04-25 cs.CV cs.LG math.OC
PhyloGFN: Phylogenetic inference with generative flow networks
McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
本文提出PhyloGFN，将生成流网络（GFlowNets）框架用于系统发育推断，在真实基准数据集上产生多样高质量进化假设，边际似然估计具竞争力，贴合目标分布优于变分推断方法。
2026-09-01 cs.LG q-bio.PE stat.ML
EDISCO: Equivariant DIScrete Diffusion for Euclidean Combinatorial Optimization
University of Alberta（阿尔伯塔大学）
EDISCO是首个具有精确E(2)不变生成分布的离散扩散模型，通过等变边得分网络和连续时间马尔可夫链，在TSP和CVRP上以更少数据超越现有方法，并具鲁棒性。
2026-10-21 cs.AI cs.LG
OSSCAR: One-Shot Structured Pruning in Vision and Language Models with Combinatorial Optimization
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
本文提出OSSCAR，一种基于组合优化的高效一次性结构化剪枝框架，通过逐层重建与低秩更新实现高效局部搜索，在视觉与语言模型上显著降低困惑度并提升推理速度，支持数百亿参数规模。
2024-03-02 cs.CV cs.LG
Predicting Future Utility: Global Combinatorial Optimization for Task-Agnostic KV Cache Eviction
Fudan University（复旦大学）；Baige AI Team, Baidu inc（百度AI团队）；Work done during an internship at Baidu（百度实习）
提出LU-KV框架，通过全局组合优化分配注意力头预算以最大化长期边际贡献，实现80%的KV缓存压缩且性能损失极小。
2026-06-01 cs.AI cs.LG
Explainable AI via Learning to Optimize
Typal Academy（泰帕尔学院）；Colorado School of Mines（科罗拉多矿业学院）
针对机器学习黑箱的可解释性需求，本研究采用学习优化（L2O）方法构建可编码先验知识、具备理论保证的XAI工具，还提出可解释证书验证推理可信度，并在多个场景验证了有效性。
2023-06-11 cs.LG math.OC
Combinatorial Auctions and Graph Neural Networks for Local Energy Flexibility Markets
University of Oslo（奥斯陆大学）
本文提出一种组合拍卖框架，利用异质三部分图表示和图神经网络解决本地能源灵活性市场中的NP完全胜者确定问题，实现接近最优的分配且推理时间线性。.
2023-07-25 cs.GT cs.LG
Self-Supervised Combinatorial Optimization with Constraints via Frank-Wolfe
NYU（纽约大学）；MIT（麻省理工学院）
提出一种基于Frank-Wolfe的通用框架，允许神经网络预测可行域外的连续向量，通过几何分解近似为可行解的稀疏凸组合，实现自监督训练和自动舍入，在多个组合优化问题上表现优异。
2026-09-23 cs.AI cs.LG
Graph learning under sparsity priors
EPFL（洛桑联邦理工学院）
图形信号为网络或不规则结构上的数据提供了非常通用和自然的表示。然而，实际的数据结构通常是先验未知的，但是有时可以根据应用领域的知识来估计。如果这是不可能的，则数据结构必须仅从信号观测推断。这正是我们在本文中解决的问题，假设图信号可以表示为结构化图字典的几个原子的稀疏线性组合。该字典构造在图拉普拉斯算子的多项式上，它可以稀疏地表示由图上的局部模式组成的一般类图信号。我们制定了一个图学习问题，其解决方案提供了一个理想的信号观测和稀疏图信号模型之间的配合。由于问题是非凸的，我们建议通过信号稀疏编码和图形更新步骤之间的交替来解决它。我们提供的实验结果，概述了良好的图形恢复性能，我们的方法，一般比较有利的其他最近的网络推理算法。
2017-07-18 cs.LG cs.SI stat.ML
Learning Evolved Combinatorial Symbols with a Neuro-symbolic Generative Model
Massachusetts Institute of Technology（麻省理工学院）
人类有能力从有限的数据中快速理解丰富的组合概念。在这里，我们调查这种能力的背景下，听觉信号，这已经演变成一个文化传播实验，研究语言中组合结构的出现。我们提出了一个神经符号生成模型，它结合了以前概念学习方法的优点。我们的模型在神经网络方法上进行快速推理，同时仍然保留了结构化生成方法中有限数据的可解释性和泛化性。该模型在分类上优于纯粹基于神经网络的方法，如针对地面实况和人类实验分类偏好两者评估的，并且还产生观察到的信号的优异再现。我们的研究结果表明，灵活的组合神经符号架构的能力，在原始感知领域的人类一样的泛化，并提供了一个步骤，发展精确的计算模型的归纳偏见在语言进化。
2021-04-16 cs.AI cs.CL cs.LG
Learning spatially adaptive sparsity level maps for arbitrary convolutional dictionaries
Physikalisch-Technische Bundesanstalt (PTB), Braunschweig and Berlin, Germany（物理技术联邦机构（PTB），柏林和不莱梅，德国）；School of Mathematical Sciences, Queen Mary University of London, UK（伦敦女王学院数学科学学院，英国）
本文提出了一种学习方法，通过改进的网络设计和专门的训练策略，扩展了基于神经网络推断的时空自适应稀疏性水平图的图像重建方法，实现了滤波器排列不变性，并在低场MRI中展示了使用不同字典的优势。
2026-05-18 cs.CV cs.LG eess.IV
ProSper -- A Python Library for Probabilistic Sparse Coding with Non-Standard Priors and Superpositions
Sorbonne Université（索邦大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Institut de la Vision（视觉研究所）；FIAS（法兰克福高等研究院）；Goethe-Universität Frankfurt am Main（法兰克福大学）；Zalando Research（Zalando研究院）；University of Sheffield（谢菲尔德大学）；d-fine GmbH（d-fine有限公司）；C. v. Ossietzky Universität Oldenburg（奥尔登堡大学）
ProSper是一个Python库，包含用于学习字典的概率算法。给定一组数据点，实现的算法试图学习生成数据的基本组件。该库扩大了字典学习方法的范围，超越了ICA，NMF或标准L1稀疏编码等标准方法的实现。实现的算法是特别适合的情况下，当数据组成的组件，结合非线性和/或数据需要灵活的先验分布。此外，所实现的算法超越了标准的方法，通过推断数据的先验和噪声参数，它们提供了丰富的后验近似推理。该库被设计为可扩展的，目前包括：二进制稀疏编码（BSC），三进制稀疏编码（TSC），离散稀疏编码（DSC），最大原因分析（MCA），最大幅度原因分析（MMCA）和高斯稀疏编码（GSC，最近的尖峰和板条稀疏编码方法）。该算法是可扩展的，由于变分近似和并行化的组合。所有算法的实现都允许在多个CPU和多台机器上并行执行，适用于中型到大型应用程序。典型的大规模算法运行可以使用数百个CPU从具有数千万个浮点数的数据中学习数百个字典元素，从而可以优化具有数十万个参数的模型。该库被设计为具有最小的依赖性并且易于使用。它针对字典学习算法的用户和机器学习研究人员。
2019-08-01 cs.LG eess.SP stat.ML
Synthetic Combinations: A Causal Inference Framework for Combinatorial Interventions
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Amazon, Core AI（亚马逊核心人工智能部门）
本文提出 Synthetic Combinations 框架，通过潜在因子模型同时利用单元间低秩结构和组合间稀疏结构，在未观测混杂下以 poly(r)×(N+s²p) 的样本复杂度一致估计全部 N×2^p 个组合干预因果参数，并支持数据高效实验设计。
2024-01-15 cs.LG econ.EM stat.ME
