Set-based Neural Network Encoding Without Weight Tying
KAIST(韩国科学技术院);University of Oxford(牛津大学)
该研究提出基于集合的神经网络编码器SNE,利用集合函数、Logit不变性及填充-分块-编码流水线实现跨架构、跨规模的网络权重编码,还提出两项新属性预测任务,性能优于现有基线。
2025-01-14 cs.AI cs.LG cs.NE
Nonparametric Inference for Auto-Encoding Variational Bayes
University of Bristol(布里斯托大学);University of Bath(巴斯大学)
我们想学习低维和高度可解释的潜在表征。具有这些特征的模型是高斯过程潜变量模型。GP-LVM的优点和缺点与变分自动编码器是互补的,前者提供了可解释的低维潜在表示,而后者能够处理大量数据并可以使用非高斯似然。我们对这篇论文的灵感是将这两种方法结合起来,并从中获益。为了做到这一点,我们将介绍一种新的近似推理方案的启发GP-LVM和VAE。我们的实验表明,近似允许VAE的生成瓶颈(Z)的容量是任意大的,而不会失去高度可解释的表示,允许重建质量不受Z的限制,同时作为一个低维空间可以用来执行祖先采样,以及一种手段来推理嵌入的数据。
2017-12-18 cs.AI cs.LG stat.ML
Simultaneous Policy Learning and Latent State Inference for Imitating Driver Behavior
在这项工作中,我们提出了一种学习驱动程序模型的方法,该模型考虑了无法直接观察到的变量。当在合成数据集上训练时,我们的模型能够学习车辆轨迹的编码,以区分四种不同类别的驾驶员行为。这样的编码是在不知道驱动程序类的数量或直接要求模型学习每个类的编码的任何目标的情况下学习的。我们表明,在模仿驾驶员的行为,他们被训练复制的潜变量的知识训练的驾驶政策比基线方法更有效。此外,我们证明了我们的政策所选择的行动是严重影响的潜变量设置提供给他们。
2017-04-19 cs.AI cs.LG stat.ML
Weight Pair Encoding: Inducing a Smaller Grammar in Neural Network Weights
Area Science Park Trieste(的里雅斯特科技园);Sapienza University of Rome(罗马大学);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Paradigma
本文提出权重对编码(WeightPE),通过直通估计器内嵌有损Re-Pair压缩器,将文法大小作为显式训练目标,在ViT模型上显著缩小文法规模,仅损失少量准确率。
2026-09-28 cs.LG
Robust Membership Encoding: Inference Attacks and Copyright Protection for Deep Learning
Cornell University(康奈尔大学);National University of Singapore(新加坡国立大学)
机器学习即服务(MLaaS)和算法市场正在崛起。数据持有者可以使用第三方提供的学习代码轻松地在其数据上训练复杂模型。训练准确的机器学习模型需要大量的标记数据和先进的学习算法。由此产生的模型被视为模型所有者的知识产权,其版权应受到保护。此外,MLaaS需要被信任不会将关于训练数据的秘密信息嵌入到模型中,以便稍后在部署模型时可以检索该信息。在本文中,我们提出了\emph{membership encoding},用于训练深度神经网络,并对训练数据的子集的成员信息进行编码,即数据点是否用于训练。隶属度编码在不同的应用场景中有多种应用,包括用于模型版权保护的鲁棒水印,以及用于隐藏数据嵌入隐私攻击的风险分析。我们的编码算法可以确定显着编辑的数据点的成员,也是强大的模型压缩和微调。它还可以对训练集的很大一部分进行编码,而模型的预测准确性下降可以忽略不计。
2020-03-22 cs.CR cs.LG stat.ML
Transformers with Physics-Informed Encodings and Simulation-Based Inference for Robust Detection of Eccentric Binary Black Holes in Pulsar Timing Array Data
Department of Physics, National University of Singapore(新加坡国立大学物理系);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
研究利用含物理信息编码框架的Transformer从脉冲星计时阵列数据高效推断相对论轨道上偏心双黑洞,用生成模型在模拟推理框架中推断后验分布,相比无物理基线有改进。
2026-09-29 astro-ph.IM cs.LG gr-qc
Bridging Graph Position Encodings for Transformers with Weighted Graph-Walking Automata
University of Notre Dame(圣母大学)
本文提出基于加权图行走自动机的新图位置编码GAPE,在机器翻译和图结构任务上验证其性能并证明其能泛化多种现有PE方案,同时对图Transformer中多种PE进行了独立于边特征的理论与实验比较。
2023-04-09 cs.LG
Auto-Encoding Variational Bayes
Universiteit van Amsterdam(阿姆斯特丹大学)
我们如何在有向概率模型中进行有效的推理和学习,在存在具有难以处理的后验分布的连续潜变量和大型数据集的情况下?我们引入了一个随机变分推断和学习算法,可扩展到大数据集,在一些温和的可微条件下,甚至在棘手的情况下。我们的贡献是双重的。首先,我们表明,变分下界的重新参数化产生的下界估计,可以直接优化使用标准的随机梯度方法。其次,我们表明,对于i.i.d.对于每个数据点具有连续潜变量的数据集,通过使用所提出的下限估计量将近似推理模型(也称为识别模型)拟合到难以处理的后验,可以使后验推理特别有效。理论上的优势体现在实验结果中。
2022-12-10 cs.LG stat.ML
Encoding Weights of Irregular Sparsity for Fixed-to-Fixed Model Compression
NAVER CLOVA;Samsung Research(三星研究院)
即使细粒度修剪技术实现了高压缩比,与不规则稀疏性相关的传统稀疏表示(如CSR)显着降低并行性。因此,实际的修剪方法通常会降低修剪率(通过结构化修剪)以提高并行性。在本文中,我们研究固定到固定(无损)编码架构/算法,以支持细粒度的修剪方法,稀疏神经网络可以存储在一个高度规则的结构。我们首先使用熵估计基于编码的压缩的最大压缩比。然后,作为一种努力,以推动压缩比的理论最大值(熵),我们提出了一个顺序固定到固定的编码方案。我们证明,我们提出的压缩方案几乎达到了最大压缩比的Transformer和ResNet-50修剪各种细粒度的修剪方法。
2022-01-31 cs.IT cs.LG math.IT
Encoding Context into LLM Weights: What Makes It Context?
The University of Melbourne(墨尔本大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学);Hong Kong Baptist University(香港浸会大学)
本研究针对LLM上下文编码的推理成本问题,提出关联标识符与提示框架的方法,使编码信息能被正确用作上下文,在多任务及基准测试中优于仅用现成LLM的基线。
2026-10-14 cs.CL cs.LG
Self-adaptive node-based PCA encodings
Innopolis University(因诺波利斯大学)
在本文中,我们提出了一种算法,简单的Hebbian PCA,并证明它是能够计算的主成分分析(PCA)在一个分布式的方式跨越节点。它通过删除层内权重简化了现有的网络结构,基本上将需要训练的权重数量减少了一半。
2017-06-16 cs.LG cs.NE cs.SE
GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity
William & Mary(威廉与玛丽学院);Northeastern University(东北大学);University of Southern California(南加州大学)
在移动设备上实现实时的【形】深度神经网络(DNN)推理是有吸引力但具有挑战性的,因为即使是功能强大的现代移动设备在执行大规模DNN时也被认为是“资源受限的”。它需要通过权重修剪进行稀疏模型推理,即,DNN权重稀疏性,并且期望设计一种新的DNN权重稀疏性方案,其可以促进移动设备上的实时的【形】推理,同时保持高稀疏模型精度。本文设计了一种新的移动推理加速框架GRIM,该框架通用于卷积神经网络(CNN)和递归神经网络(RNN),并实现了实时的【形】执行和高精度,利用细粒度结构化稀疏模型推理和编译器优化。首先,我们提出了一个新的细粒度结构稀疏方案,通过基于块的列行(BCR)修剪。基于这种新的细粒度结构稀疏性,GRIM框架由两部分组成:(a)用于实时的【形】移动推理的编译器优化和代码生成;(b)用于确定剪枝超参数和执行权重剪枝的BCR剪枝优化。我们将GRIM与Alibaba MNN,TVM,TensorFlow-Lite,基于CSR,PatDNN和ESE(RNN的代表性FPGA推理加速框架)的稀疏实现进行了比较,并实现了高达14.08倍的加速比。
2021-08-25 cs.AI cs.LG
GAD-PVI: A General Accelerated Dynamic-Weight Particle-Based Variational Inference Framework
Zhejiang University(浙江大学)
提出首个同时具备加速位置更新与动态权重调整的粒子变分推断框架GAD-PVI,在Information-Fisher-Rao空间模拟半哈密顿梯度流,兼容多种度量,实验证明收敛更快且误差更低。
2023-12-27 cs.AI cs.LG
Observable- and Positional-Encoding-Dependent Symmetry Readout from Neural Network Weights
D3 Center, The Unversity of Osaka(大阪大学D3中心)
研究训练神经网络权重的事后分析,核心方法是通过精确可观性层次来阐述权重对称性与训练参数、位置编码及读出可观性的关系,主要贡献是揭示位置编码设计对事后权重层读出结构的影响。
2026-07-07 cs.CV cs.LG
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University(南洋理工大学)
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势,主要是通过最近的方法,如Gumbel LSTM和有序神经元(ON-LSTM)推广。本文提出了FASTTREES,一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同,我们的工作探索了并行树归纳的概念,即,以一种可并行的、非自回归的方式,将我们的模型与分层归纳偏差相结合。为此,我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能,即,语言建模、逻辑推理、情感分析和自然语言推理。此外,我们表明,FASTTREES模块可以应用于增强Transformer模型,实现三个序列转导任务(机器翻译,主谓一致性和数学语言理解)的性能增益,铺平了道路,模块化树归纳模块。总体而言,我们在逻辑推理任务上的表现优于现有的最先进模型+4%,在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
CausalEGM: a general causal inference framework by encoding generative modeling
Stanford University(斯坦福大学)
虽然理解和表征因果效应在观察性研究中变得至关重要,但当混杂因素是高维时,这是具有挑战性的。在这篇文章中,我们开发了一个通用的框架$\textit{CausalEGM}$编码生成模型,可以应用于二进制和连续治疗设置估计因果关系的影响。在不混淆的潜在结果框架下,我们在高维混淆因素空间和密度已知的低维潜在空间(例如,多元正态分布)。通过这一点,CauseEGM同时消除了混杂因素对治疗和结果的依赖性,并将混杂因素映射到低维潜在空间。通过对低维潜在特征的调节,CauseEGM可以估计每个个体的因果效应或群体内的平均因果效应。理论分析表明,通过经验过程理论,可以对CauseEGM的超额风险进行限制。在编码器-解码器网络的假设下,可以保证估计的一致性。在一系列的实验中,CauseEGM表现出优于现有的方法,二进制和连续的治疗。具体而言,我们发现CauseEGM在大样本量和高维混杂因素的存在下比竞争方法更强大。CauseEGM软件可在https://github.com/SUwonglab/CausalEGM上免费获得。
2023-03-16 cs.LG stat.ML
Weighted Encoding Based Image Interpolation With Nonlocal Linear Regression Model
Central South University(中南大学)
图像插值是图像超分辨率的一种特殊情况,其中低分辨率图像直接从其高分辨率对应图像进行下采样,而没有模糊和噪声。因此,超分辨率模型中采用的假设对于图像插值是无效的。为了解决这个问题,我们提出了一种新的图像插值模型的基础上稀疏表示。利用稀疏性和非局部自相似性作为正则化项,提高了插值模型的稳定性。同时,我们将非局部线性回归引入到该模型中,因为非局部相似补丁可以提供对给定补丁的更好近似。此外,我们提出了一种新的方法来学习自适应子字典在线,而不是聚类。对于每个补丁,相似的补丁被分组以学习自适应子字典,生成更稀疏和准确的表示。最后,引入加权编码以抑制拟合残差的拖尾,从而提高数据的保真度。大量的实验结果表明,我们提出的方法优于几个国家的最先进的方法在定量措施和视觉质量。
2020-03-04 cs.CV cs.LG eess.IV
Grammatical Inference as a Satisfiability Modulo Theories Problem
Institute for Computing;Information Sciences Radboud University Nijmegen, The Netherlands Email
从可满足性模理论的角度研究了从一组标记符号序列中学习最小一致模型的问题。我们提出了两种编码确定性有限自动机和扩展这些Moore和Mealy机之一。我们的实验结果表明,这些编码提高了国家的最先进的,是有用的,在实践中学习小模型。
2017-05-30 cs.FL cs.LG cs.LO
Compute Optimal Inference and Provable Amortisation Gap in Sparse Autoencoders
Australian National University(澳大利亚国立大学);Nazarbayev University(纳扎尔巴耶夫大学);Cold Spring Harbor Laboratory(冷泉港实验室)
本研究证明SAE编码器在精确稀疏推理上存在固有不足,通过解耦编码与解码过程并引入更复杂的稀疏推理方法,在极小计算增加下显著提升了稀疏码推断性能与大语言模型的可解释性。
2025-01-30 cs.LG
TOFU: Towards Obfuscated Federated Updates by Encoding Weight Updates into Gradients from Proxy Data
Purdue University(普渡大学)
本文提出 TOFU 算法,将客户端权重更新编码为类噪声代理数据的梯度进行传输,以降低联邦学习通信量并增强隐私,实验显示准确率损失小且效率显著提升。
2022-01-21 cs.LG
NeuJeans: Private Neural Network Inference with Joint Optimization of Convolution and FHE Bootstrapping
Seoul National University(首尔大学);CryptoLab Inc.(CryptoLab公司)
本研究提出基于FHE的NeuJeans方案,通过CinS编码省去编码转换、优化卷积执行流程,大幅提升深度CNN私有推理的速度,可在数秒内完成ImageNet规模模型的推理。
2025-01-12 cs.CR cs.LG
The Signal Horizon: Local Blindness and the Contraction of Pauli-Weight Spectra in Noisy Quantum Encodings
Independent Researcher(独立研究者)
本研究探讨了噪声环境下局部测量对量子分类性能的影响,提出k局部泡利可及振幅作为预测分类优势的下界,并揭示了k局部分类器在特定噪声水平下的操作性崩溃阈值。
2026-08-05 cs.LG quant-ph
Cross-attention encoding models reveal dynamic spatiotemporal routing across human higher visual cortex
Carnegie Mellon University(卡内基梅隆大学)
本研究提出基于交叉注意力的视频编码模型,通过逐脑区动态路由V-JEPA-2特征,提升fMRI预测并揭示高级视觉皮层中刺激依赖的时空注意力机制。
2026-09-30 cs.AI cs.LG q-bio.NC
Algorithm-Hardware Co-Design of Distribution-Aware Logarithmic-Posit Encodings for Efficient DNN Inference
Georgia Institute of Technology(佐治亚理工学院);Arizona State University(亚利桑那州立大学)
本文提出算法-硬件协同设计方法,引入对数Posit(LP)数据类型动态适应DNN参数分布,开发基于遗传算法的LPQ框架优化逐层参数,并设计统一混合精度LPA加速器,在保持<1%准确率下降的同时实现约2倍性能和2.2倍能效提升。
2024-03-26 cs.AI cs.AR cs.LG
Memory Organization for Energy-Efficient Learning and Inference in Digital Neuromorphic Accelerators
University of Notre Dame(圣母大学);UC Irvine(加州大学欧文分校)
神经形态硬件的能量效率受存储、访问和更新突触参数的能量的影响很大。过去已经研究了针对节能数字加速器的存储器组织的各种方法,但是,它们没有完全封装系统级的能量成本。为了解决这个缺点并考虑到各种管理费用,我们合成了不同编码方案的控制器和存储器,并从这些合成块中提取能源成本。此外,我们还介绍了结构化连接的函数编码,例如卷积层中的连接。与现有的基于索引的解决方案相比,函数编码在这些层中实现反向传递和权重更新的能量减少了58%。我们表明,对于一个2层脉冲神经网络训练,以保持一个时空模式,位图(PB-BMP)为基础的组织可以更有效地编码稀疏网络。这种形式的编码将能源效率提高了1.37倍,但代价是网络保留精度降低了4%,这是通过van Rossum距离测量的。
2020-03-05 cs.LG cs.NE stat.ML
How Weight Encoding Affects Language Model Placement and Performance on the Apple Neural Engine
本研究通过三项测量探究语言模型在Apple神经引擎的部署与解码速度,发现部署由计算表达而非内容决定,权重编码影响加速器使用,提出先选编码再分配参数的设计流程。
2026-09-25 cs.AR cs.LG cs.PF
FEnc$^2$: Unifying Data Packing for Efficient Private Inference via Convolution and Architecture-Aware Fragment Encoding
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出FEnc$^2$框架,通过卷积感知编码和架构感知密文压缩优化CKKS加密推理中的密文打包,减少旋转和密文数量,实现端到端加速高达228倍。
2026-06-16 cs.CR cs.LG
An alternative for one-hot encoding in neural network models
本文提出一种二进制编码替代独热编码的算法,通过修改前向与反向传播,使权重更新仅影响同类别实例,保持独热编码的特性。
2023-11-10 cs.LG
Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation
Monash University(莫纳什大学);Google Research(谷歌研究院)
本文介绍了一种新的分词算法--动态规划编码(DPE)。我们认为输出句子的子词切分是一个潜在的变量,应该被边缘化的学习和推理。提出了一种特征-子字混合变换器Transformer,它能实现精确的对数边缘似然估计和精确的MAP推理,以最大后验概率找到目标分割。DPE使用轻量级的混合字符-子字转换器Transformer作为预处理并行数据的方法,以便使用动态规划对输出语句进行分段。机器翻译的实验结果表明,DPE是有效的分割输出的句子,可以结合BPE辍学源句子的随机分割。DPE实现了比BPE平均提高0.9 BLEU(Sennrich等人,2016),BLEU比BPE脱落平均改善0.55(Provilkov等人,2019)在几个WMT数据集上,包括英语<=>(德语,罗马尼亚语,爱沙尼亚语,芬兰语,匈牙利语)。
2020-08-01 cs.CL cs.LG
Immunization of Pruning Attack in DNN Watermarking Using Constant Weight Code
Okayama University(冈山大学)
为了确保DNN模型的知识产权的保护,已经研究了水印技术,以将边信息插入到模型中,而不会严重降低原始任务的性能。DNN水印的威胁之一是修剪攻击,这样模型中不太重要的神经元被修剪,以使其更快,更紧凑,以及去除水印。在这项研究中,我们研究了一种信道编码的方法来抵抗修剪攻击。由于DNN的信道模型与传统的数字图像模型完全不同,因此什么样的编码方法适合DNN水印一直是一个悬而未决的问题。提出了一种利用等重码来抵抗剪枝攻击的编码方法。据我们所知,这是第一项研究,介绍了DNN水印的编码技术,使其对修剪攻击鲁棒。
2021-07-07 cs.CR cs.LG
Predictive Encoding of Contextual Relationships for Perceptual Inference, Interpolation and Prediction
Peking University(北京大学);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个新的神经启发模型,可以学习编码的全球关系上下文的视觉事件跨越时间和空间,并使用上下文信息调制的分析,通过合成过程中的预测编码框架。该模型通过自上而下和自下而上的过程,基于局部和全局上下文信息,最大限度地提高视觉事件的可预测性,从而学习潜在的上下文表示。与标准预测编码模型相比,该模型中的预测误差用于更新上下文表示,但不改变下一层的前馈输入,因此与神经生理学观察结果更一致。我们建立了计算的可行性,该模型证明了它的能力,在几个方面。我们表明,我们的模型可以优于门控玻尔兹曼机(GBM)的上下文信息估计的最先进的性能。我们的模型还可以插值丢失的事件或预测图像序列中的未来事件,同时估计上下文信息。我们表明,它在各种任务的预测精度方面达到了最先进的性能,并具有插值丢失帧的能力,这是GBM中缺乏的功能。
2015-04-16 cs.CV cs.LG cs.NE
Cnvlutin2: Ineffectual-Activation-and-Weight-Free Deep Neural Network Computing
University of Toronto(多伦多大学)
我们讨论了对先前提出的用于深度学习网络的卷积层和全连接层的Cnvlutin(CNV)加速器的几个修改和扩展。我们首先描述被认为无效的激活的不同编码。编码具有不同的存储器开销和能量特性。我们建议在从内存中访问激活时使用一定程度的间接性,以通过仅存储有效的激活来减少其内存占用。我们还提出了一个修改后的组织,检测被认为是无效的,而从内存中获取它们的激活。这与原始设计不同,原始设计在前一层的输出处检测它们。最后,我们提出了一个扩展的CNV,也可以跳过无效的权重。
2017-04-29 cs.LG
On the universality of neural encodings in CNNs
New York University(纽约大学);Flatiron Institute(弗拉蒂隆研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出通过分解空间与通道维度并比较权重协方差相似性的方法,发现VGG网络在自然图像上学习到的特征向量具有跨数据集的普适性,为迁移学习提供了更基础的解释,并倡导以最大化编码普适性来构建基础模型。
2024-09-28 cs.CV cs.LG
From Maxout to Channel-Out: Encoding Information on Sparse Pathways
University of Maryland(马里兰大学)
从神经科学的一个重要见解的动机,我们提出了一个新的框架来理解最近提出的“maxout”网络的成功。该框架是基于稀疏路径上的编码信息,并在推理时识别正确的路径。为了进一步阐述这一观点,我们提出了一种新的深度网络架构,称为“通道输出”网络,它更好地利用了稀疏路径编码。在通道输出网络中,路径不仅是后验形成的,而且它们也是根据来自较低层的推理输出主动选择的。从数学的角度来看,channel-out网络可以表示更广泛的分段连续函数,从而赋予网络比maxout网络更强的表达能力。我们在几个著名的图像分类基准上测试了我们的通道输出网络,在CIFAR-100和STL-10上设置了新的最先进的性能,这代表了一些“更难”的图像分类基准。
2013-11-18 cs.CV cs.LG cs.NE
Learning Privacy Preserving Encodings through Adversarial Training
University of Florida(佛罗里达大学);Washington University in St. Louis(圣路易斯华盛顿大学)
我们提出了一个框架来学习隐私保护编码的图像,抑制推理选择的私人属性,同时允许恢复其他所需的信息。我们的目标不是简单地抑制给定的固定预训练估计器,而是即使知道编码函数,估计器也无法学习准确预测私有属性。我们使用一种基于自然对抗优化的公式来实现这一点--针对私有属性的分类器训练编码函数,两者都建模为深度神经网络。我们工作的关键贡献是一种稳定和收敛的优化方法,该方法成功地学习了具有我们所需属性的编码器-保持实用性,同时抑制私有属性的推断,不仅在对抗优化中,而且在编码器固定后训练的分类器。我们采用了严格的实验协议进行验证,其中分类器进行了详尽的训练,直到饱和的固定编码器。我们评估了我们的方法在现实世界的复杂性任务--学习高维编码,抑制检测不同的场景类别-并发现它产生的编码器,在维护隐私的弹性。
2018-12-04 cs.CR cs.CV cs.LG
NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure
Indian Institute of Technology Bombay(印度理工学院孟买分校);IIM Udaipur(印度管理学院乌代浦尔分校)
NativeTernary 提出了一种自限二进制编码,用于三进制神经网络权重和结构化数据,相比 GGUF 在存储效率和性能上有显著提升。
2026-04-08 cs.LG eess.SP
Learning a Size-Weight Frontier for Synthetic-Augmented Inference
该研究针对真实数据稀缺时合成数据引入偏差的问题,提出合成增强推理框架,通过大小-权重边界保证覆盖率,实验中用大语言模型响应增强调查数据,达到目标覆盖率并缩小置信区间。
2026-08-31 cs.AI cs.LG stat.ME
PriorVAE: Encoding spatial priors with VAEs for small-area estimation
University of Oxford(牛津大学);University of Michigan(密歇根大学);Imperial College London(帝国理工学院);University of Copenhagen(哥本哈根大学)
针对高斯过程在小区域空间统计建模中的计算与可扩展性挑战,提出深度生成方法PriorVAE,利用变分自编码器近似GP先验,通过低维潜在空间实现高效贝叶斯推理。
2022-05-16 cs.LG stat.ML
Analog Optical Inference on Million-Record Mortgage Data
Department of Mathematics, University of York(约克大学数学系);ai1Technologies(ai1技术公司)
该研究评估了类比光学计算机在抵押审批分类中的性能,发现其在19个特征上达到94.6%的平衡准确率,但扩展通道数对性能提升有限,揭示了架构而非硬件的限制。
2026-04-14 cs.ET cs.LG cs.NE
Encoding prior knowledge in the structure of the likelihood
Max-Planck-Institut für Astrophysik(马克斯·普朗克天体物理研究所);Ludwig-Maximilians-Universität München(慕尼黑大学)
由于层次结构之间的强依赖性,深层次模型的推理是有问题的。我们研究了基于多元分布变换的模型参数的具体变换。这种变换是重新参数化技巧的一种特殊形式,它简化了层次结构,并导致所有结果参数的标准高斯先验。该变换还将所有先验信息转移到似然的结构中,从而先验地将变换后的参数彼此解耦。在这个标准化空间中的变分高斯近似在相对无信息数据的情况下将是极好的。此外,对数后验的曲率在受数据弱约束的方向上是良好的,允许在这种情况下进行快速推断。在一个例子中,我们显式地对具有先验未知相关结构的高斯过程回归进行变换。深度模型在高度信息化的情况下推断迅速,在信息不充分的情况下推断缓慢。平面模型显示出完全相反的性能模式。深度透视和平面透视的综合提供了它们的综合优势,克服了个体的局限性,从而导致更快的推理。
2018-12-11 cs.LG stat.CO stat.ML
LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院);Google(谷歌);Amazon(亚马逊)
针对检索增强生成中KV缓存位置编码复用性差的问题,提出LazyAttention机制,通过核化延迟位置编码实现零拷贝、位置无关的KV重用,显著降低首令牌延迟并提升推理吞吐量。
2026-06-03 cs.CL cs.LG
DPVI: A Dynamic-Weight Particle-Based Variational Inference Framework
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院)
最近发展的基于粒子的变分推理(ParVI)方法通过迭代更新粒子的位置来驱动一组\emph{fixed-weight}粒子的经验分布朝向给定的目标分布$π$。然而,固定权重的限制极大地限制了经验分布的逼近能力,特别是当粒子数有限时。在本文中,我们提出了动态调整粒子的权重,根据Fisher-Rao反应流。我们开发了一个通用的动态权重基于粒子的变分推理(DPVI)框架,根据一种新的连续复合流,它同时进化粒子的位置和权重。我们发现,我们的复合流的平均场极限实际上是一个Wasserstein-Fisher-Rao梯度流的某些相异功能$\mathcal{F}$,这导致更快地减少$\mathcal{F}$比Wasserstein梯度流现有的固定重量ParVI。通过在我们的一般框架中使用不同的有限粒子近似,我们得到了几个有效的DPVI算法。实验结果表明,我们推导出的DPVI算法优于其固定权重的同行。
2021-12-02 cs.LG
Overcoming the Weight Transport Problem via Spike-Timing-Dependent Weight Inference
Donders Institute for Brain, Cognition and Behaviour, Radboud University(拉德堡德大学唐德斯脑、认知与行为研究所)
我们提出了一个解决方案的重量运输问题,这问题的反向传播算法的生物相容性。我们推导出我们的方法的基础上泄漏的积分和消防神经元的(近似)动力学的理论分析。我们表明,单独使用尖峰时间胜过现有的生物学上合理的方法,在尖峰神经网络模型的突触权重推断。此外,我们提出的方法更灵活,适用于任何尖峰神经元模型,在实现所需的参数数量方面是保守的,并且可以以最小的计算开销以在线方式部署。这些特点,加上它的生物相容性,使其成为一个有吸引力的机制,在单突触的重量推断。
2021-08-11 cs.LG q-bio.NC
ASMR: Activation-sharing Multi-resolution Coordinate Networks For Efficient Inference
University of Hong Kong(香港大学);University of Toronto(多伦多大学)
针对隐式神经表示推理效率受硬件约束的问题,提出激活共享多分辨率坐标网络ASMR,通过网格间激活共享实现推理成本与网络深度解耦,在大幅降低乘加运算量的同时提升了重建质量。
2024-05-20 cs.LG
An Encoding Framework for Binarized Images using HyperDimensional Computing
University of Antwerp(安特卫普大学);imec;IDLab
本文提出一种仅用原生HD向量运算的二值化图像轻量编码框架,通过兴趣点选择和局部线性映射保留邻近模式相似性,在MNIST与Fashion-MNIST上取得高准确率并增强抗噪性。
2023-12-01 cs.CV cs.LG
EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets
Politecnico di Torino(都灵理工大学)
在具有有限非易失性存储器空间的微小端节点上实现深度卷积神经网络(ConvNets)需要能够缩小占用空间但保持预测准确性的智能压缩策略。存在用于此目的的许多策略,从那些利用模型的拓扑或算术精度的策略(例如,修剪和量化)到那些操作模型不可知压缩的策略(例如,权重编码)。内存约束越严格,这些技术单独无法满足要求的可能性就越高,因此必须在不同优化之间进行更多的感知和合作。这项工作通过引入EAST(编码感知稀疏训练)来解决这个问题,EAST是一种新型的内存约束训练过程,可以引导量化的ConvNets进行深度内存压缩。EAST实现了一种自适应组修剪,旨在最大限度地提高权重编码方案(本工作中的LZ 4算法)的压缩率。如果与现有的方法相比,EAST满足较低的稀疏性的内存约束,从而确保更高的精度。在部署在低功耗微控制器(ARM Cortex-M4)上的最先进的ConvNet(ResNet-9)上进行的结果验证了该提议。
2019-12-20 cs.CV cs.LG stat.ML
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI(Alterra人工智能公司);Queen’s University(女王大学);Workday Inc.(Workday公司)
提出上下文感知提示压缩方法CPC,通过对比学习训练句子编码器进行句子级提示压缩,在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Positional Encoding in the Context of Memristor-Based Analog Computation for Automatic Speech Recognition
Machine Learning and Human Language Technology Group, Faculty of Computer Science, RWTH Aachen University(亚琛工业大学计算机科学学院机器学习和人类语言技术组);Apptek GmbH(Apptek 有限公司)
针对忆阻器模拟计算中位置编码导致模数转换精度下降的问题,通过调整ADC权重和精度位比例或移除编码相关线性变换,分别降低约50%和30%的性能损失。
2026-06-12 cs.AR cs.ET cs.LG
Recency-weighted Markovian inference
MRC Cognition and Brain Sciences Unit, University of Cambridge(剑桥大学医学研究理事会认知与脑科学研究所)
我们描述了一个马尔可夫潜在状态空间(MLSS)模型,其中的潜在状态分布是一个衰减的混合在多个过去的状态。我们提出了一个简单的采样算法,允许近似这样的高阶MLSS与固定的时间和内存成本。
2017-11-08 cs.LG stat.ML
Dropout Inference with Non-Uniform Weight Scaling
GE Research(通用电气研究院)
作为正则化的Dropout已被广泛用于防止训练神经网络的过拟合。在训练过程中,单元及其连接被随机丢弃,这可以被认为是从原始模型中采样许多不同的子模型。在测试时,权重缩放和蒙特卡罗近似是两种广泛应用的方法来近似输出。当所有子模型都是低偏差复杂学习器时,这两种方法都能很好地工作。然而,在这项工作中,我们展示了一些子模型的行为更接近高偏差模型的场景,并且非均匀权重缩放是一种更好的近似推理。
2022-04-27 cs.CV cs.LG
Verifying LLM Inference to Detect Model Weight Exfiltration
Harvard University(哈佛大学);ML Alignment & Theory Scholars (MATS)(对齐与理论学者(MATS));Stevens Institute of Technology(史蒂文斯理工学院);Anthropic
本文提出通过验证LLM推理来检测模型权重外泄,通过安全游戏形式化外泄问题,提出可证明缓解隐写外泄的验证框架,并评估了不同参数规模的模型。
2026-03-12 cs.CR cs.LG
Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data
Janelia Research Campus(珍妮亚研究园区);HHMI(霍华德·休斯医学研究所)
重要性加权自动编码器(IWAE)目标已被证明可以改善标准变分自动编码器(VAE)目标的生成模型的训练。在这里,我们得到的重要性加权扩展AVB和AAE。这些潜变量模型使用隐式定义的推理网络,其近似后验密度q_∞(z| x)不能直接评估,这是重要性加权的基本要素。我们使用对抗训练的重要性加权方法改进了潜变量模型的训练和推理,并推导出对抗生成模型训练标准和基于边际似然的方法之间的新理论联系。我们将这些方法应用于从钙成像数据推断尖峰神经活动的重要问题,这是神经科学中一个具有挑战性的后验推理问题,并表明对抗方法的后验样本优于VAE中使用的因子化后验。
2019-10-23 cs.LG eess.IV stat.ML
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
提出了一种新的残差卷积神经网络(CNN)结构,用于单幅图像的深度估计。与现有的基于深度CNN的方法相比,我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积,跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明,我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Learning Associative Inference Using Fast Weight Memory
The Swiss AI Lab IDSIA / USI / SUPSI(瑞士人工智能实验室IDSIA / 瑞士意大利语区大学 / 瑞士南部应用科学大学);Microsoft Research(微软研究院)
人类可以快速地将刺激联系起来,以解决新环境中的问题。我们的新型神经网络模型学习可以组成以执行这种关联推理的事实的状态表示。为此,我们使用关联记忆来增强LSTM模型,称为快速权重记忆(FWM)。通过在给定输入序列的每一步进行可微操作,LSTM更新并维护存储在快速变化的FWM权重中的组合关联。我们的模型通过梯度下降进行端到端的训练,并在组合语言推理问题、POMDP的元强化学习和小规模单词级语言建模方面表现出色。
2021-02-23 cs.LG cs.NE