Generative Prompt Tuning for Relation Classification
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
使用提示来探索包含在用于下游任务的预训练语言模型中的知识现在已经成为一个活跃的话题。目前的提示微调方法大多通过添加完形填空式短语并将所有标签映射为固定长度的动词化来将下游任务转换为掩蔽语言建模问题,这对于具有简单标签空间的任务是有效的。然而,当应用于呈现复杂标签空间的关系分类时,香草提示微调方法可能会由于严格的提示限制而难以处理具有任意长度的标签动词化。受预训练生成模型的文本填充任务的启发,可以灵活地预测缺失的跨度,我们提出了一种新的生成提示微调方法,将关系分类重新定义为填充问题,这使我们的方法摆脱了当前基于提示的方法的局限性,从而充分利用了实体和关系类型的丰富语义。此外,我们设计了实体引导的解码和判别关系评分,以在推理过程中有效和高效地生成和对齐关系。在完全监督设置和低资源设置下的广泛实验证明了我们的方法的有效性。
2022-10-22 cs.CL
Improving Distantly Supervised Relation Extraction by Natural Language Inference
Iowa State University(爱荷华州立大学)
为了减少关系抽取(RE)任务的人工注释,已经提出了远程监督方法,同时与低性能作斗争。在这项工作中,我们提出了一种新的DSRE-NLI框架,它既考虑了来自现有知识库的远程监督,也考虑了来自其他任务的预训练语言模型的间接监督。DSRE-NLI通过半自动关系动词化(SARV)机制激活现成的自然语言推理(NLI)引擎,以提供间接监督,并进一步整合远程注释,使多分类RE模型受益。基于NLI的间接监督只从人类获取一个关系动词化模板作为每个关系的语义通用模板,然后通过从远距离标注语料库中自动挖掘的高质量文本模式来丰富模板集。通过两种简单有效的数据整合策略,训练数据的质量得到了显著提高。大量实验表明,该框架显着提高了远程监督RE基准数据集上的SOTA性能(高达F1的7.73%)。
2022-07-31 cs.CL cs.LG
PromptIntern: Saving Inference Costs by Internalizing Recurrent Prompt during Large Language Model Fine-tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司);Shanghai Jiao Tong University(上海交通大学)
本文提出 PromptIntern 方法,通过在微调阶段将循环提示内化到模型参数中,结合指令模板压缩与渐进式内化策略,在 NL2Code 任务上减少超 90% 输入 token 并大幅降低推理成本。
2024-10-15 cs.AI cs.CL cs.LG
Syntax as a Rosetta Stone: Universal Dependencies for In-Context Coptic Translation
Corpling Lab(科林实验室);Georgetown University(乔治城大学)
提出一种结合通用依存句法分析和双语词典的上下文学习方法,用于低资源科普特语到英语的机器翻译,取得了新的最佳结果。
2026-05-26 cs.CL
Memory Injections: Correcting Multi-Hop Reasoning Failures during Inference in Transformer-Based Language Models
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
针对 LLM 多跳推理不稳定问题,本文分析 GPT-2 逐层激活并在关键注意力头注入提示相关“记忆”,使目标 token 概率最高提升 424%。
2024-02-28 cs.AI cs.CL cs.LG
Not All Layers of LLMs Are Necessary During Inference
University of Electronic Science and Technology of China(电子科技大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对大语言模型推理资源消耗高的问题,提出基于统计特征与经典分类器的AdaInfer算法,可自适应提前终止推理,在几乎不损失性能的前提下有效降低推理成本,且不影响模型跨任务泛化性。
2024-07-09 cs.AI cs.CL cs.LG
iCLP: Large Language Model Reasoning with Implicit Cognition Latent Planning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Alberta(阿尔伯塔大学)
iCLP通过隐式认知潜在规划提升大语言模型的推理准确性和效率,实现跨领域泛化与可解释性。
2025-12-30 cs.AI cs.CL
One Jump Is All You Need: Short-Cutting Transformers for Early Exit Prediction with One Jump to Fit All Exit Levels
Sudarshantech Software(苏达尔山科技软件)
提出单一低秩捷径OJFA,将早期退出预测的捷径参数成本降低超30倍,同时保持与多捷径相当的推理性能,并在多个Transformer模型上实现稳定精度。
2025-04-18 cs.AI cs.CL cs.LG
PQCache: Product Quantization-based KVCache for Long Context LLM Inference
Peking University(北京大学);Purdue University(普渡大学);Baichuan Inc.(百川智能)
PQCache利用乘积量化管理KVCache,将存储检索视为嵌入检索问题,在保持模型质量的同时降低服务延迟,实验显示在InfiniteBench上提升4.60%且延迟低。
2025-03-30 cs.AI cs.CL cs.LG
Implicit Reasoning for Large Language Model-based Generative Recommendation
University of Virginia(弗吉尼亚大学);Snap Inc.(Snap公司)
针对大语言模型用于生成式推荐时显式推理的三大局限(世界知识表达弱化、语义ID与自然语言嵌入空间不对齐、推理质量敏感),提出轻量级隐式推理范式PauseRec,在性能、训练成本和推理速度上均优于显式方法。
2026-08-03 cs.AI cs.CL
MPC-Minimized Secure LLM Inference
UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校)
Marill框架通过调整LLM微调架构,将昂贵操作移出MPC以最小化安全推理开销,在保持90%以上下游任务性能的同时实现3.6-11.3倍运行时间提升和2.4-6.9倍通信改善。
2024-08-07 cs.AI cs.CR cs.LG
Enhancing reasoning accuracy in large language models during inference time
Firstsource
本文研究了提升大语言模型推理准确性的推理时技术,通过自一致性、双模型推理一致性和自反思三种策略,发现自一致性在核采样和受控温度下能显著提高准确性,适用于低风险领域。
2026-03-22 cs.AI cs.CL
Training-Inference Consistent Segmented Execution for Long-Context LLMs
College of Computer Science, Inner Mongolia University, Hohhot 010021, China;National \& Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian, Hohhot 010021, China;Inner Mongolia Key Laboratory of Multilingual Artificial Intelligence Technology, Hohhot 010021, China;Thrust of Artificial Intelligence, The Hong Kong University of Science
本文提出训练-推理一致的分段生成框架,通过统一训练和推理的分段前向执行语义,实现长上下文生成的高效与可扩展性。
2026-05-12 cs.CL cs.LG
From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);Wayne State University(韦恩州立大学)
本研究提出名为algname的VLM测试时适应方法,通过Wasserstein最优传输统一VLM的推理与适应目标,实验显示其性能较最优方法提升7%且效率先进。
2026-08-20 cs.AI cs.CL cs.CV
Accelerating LLM Inference Throughput via Asynchronous KV Cache Prefetching
AAAI(美国人工智能协会);AAAI Press Staff(AAAI出版社员工);AAAI Publications Committee(AAAI出版委员会)
本文提出面向L2缓存的异步KV缓存预取方法,通过计算与加载重叠突破LLM推理的内存带宽瓶颈,在NVIDIA H20上实现注意力内核效率2.15倍提升和端到端吞吐量最高1.97倍提升,超越FlashAttention-3。
2025-11-08 cs.AI cs.LG
Inference time LLM alignment in single and multidomain preference spectrum
University of Houston(休斯顿大学);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出推理时 Alignment Vectors,通过模型差值线性调控 LLM 的医疗、法律、金融偏好层级,可跨微调阶段迁移,并显著降低推理成本与对齐时间。
2024-10-24 cs.CL cs.LG
Say More with Less: Understanding Prompt Learning Behaviors through Gist Compression
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
本文提出 Gist-COCO 模型,通过插件编码器将冗长提示压缩为 gist token 并泛化到不同大语言模型,在段落与指令压缩任务中优于现有方法。
2024-02-25 cs.CL
Large Language Models Can Take False First Steps at Inference-time Planning
Department of Psychology, The University of Warwick(沃里克大学心理学系);Department of Psychology, The University of Hong Kong(香港大学心理学系)
研究揭示了大语言模型在推理过程中因自我生成上下文积累导致的规划行为偏差,并通过实验验证了规划能力随上下文变化而变化的机制。
2026-02-03 cs.AI
Finding the Sweet Spot: Trading Quality, Cost, and Speed During Inference-Time LLM Reflection
Amazon Web Services(亚马逊网络服务);Zalando
本文系统比较了自我反思与预算调整在数学推理和翻译任务中的表现,发现反思有效性因领域而异,数学推理性能提升最高达220%,并在真实营销内容本地化系统中验证了领域特定评估的重要性。
2025-10-23 cs.AI cs.LG stat.ML
MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海智能信息处理重点实验室)
针对现有LLM对齐方法偏好固定、难以适应多样化需求的问题,本文提出MetaAlign方法,使模型能在推理时动态对齐显式或隐式偏好,并通过构建MetaAlign数据集验证了其有效性。
2024-10-18 cs.CL
Image Tokens Matter: Mitigating Hallucination in Discrete Tokenizer-based Large Vision-Language Models via Latent Editing
Hasso Plattner Institute(霍普夫纳研究所);University of Potsdam(波茨坦大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学);German University of Digital Science(德国数字科学大学)
针对离散图像tokenizer的大型视觉语言模型因视觉先验导致的幻觉问题,提出通过GNN和对比学习聚类识别视觉缺失token,并在生成时修改隐空间图像嵌入以抑制其影响,有效缓解幻觉且保留表达能力。
2025-05-24 cs.AI cs.CV
RefreshKV: Updating Small KV Cache During Long-form Generation
New York University(纽约大学);Cornell University(康奈尔大学)
针对长文本生成中 KV 缓存压缩过早移除 token 导致性能下降的问题,提出 RefreshKV 方法,在生成时交替使用全上下文注意力与子集注意力以动态更新小型 KV 缓存,在实现与驱逐方法相当加速效果的同时提升性能,且持续预训练可进一步增益。
2025-03-03 cs.CL
EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients
CISPA;Harvard University(哈佛大学);Intel Corporation(英特尔公司)
EDIT通过利用训练梯度动态,在保持准确性的同时减少dLLM推理步骤,提升效率。
2025-11-29 cs.AI
Not All Answers Are Contextually Persuadable: Inference Dynamics in Large Language Models under Contextual Influence
Arizona State University(亚利桑那州立大学);University of Maryland(马里兰大学);Morgan Stanley(摩根士丹利)
本研究提出理论框架分析大语言模型在上下文影响下的推理动态,发现重复断言不累积证据,预测表示收敛至稳定机制,从而揭示上下文说服力的内在极限。
2026-10-06 cs.AI
Efficient Large Language Models with Zero-Shot Adjustable Acceleration
本文提出零样本可调加速方法,无需额外微调即可在推理时动态调整硬件利用率,在分类和文本生成任务上实现高达11倍加速。
2025-09-06 cs.CL
UniAttn: Reducing Inference Costs via Softmax Unification for Post-Training LLMs
School of Software, Tsinghua University(清华大学软件学院);School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院);Beihang University(北航);Department of Automation, Tsinghua University(清华大学自动化系)
UniAttn通过统一Softmax操作降低训练后LLM的推理成本,同时保持性能。
2026-01-22 cs.CL
S$^{3}$: Increasing GPU Utilization during Generative Inference for Higher Throughput
Harvard University(哈佛大学)
针对大语言模型生成推理中KV缓存预留内存过大导致GPU利用率低、吞吐量不足的问题,提出S³系统,通过预测输出序列长度调度查询并处理误预测,实现了6.49倍于最坏情况假设系统的吞吐量。
2023-06-09 cs.AI cs.AR
LLMscope: Extracting LLM Assets from Edge AI Chips via Optical Probing
Worcester Polytechnic Institute(伍斯特理工学院)
本研究提出LLMscope方法,通过激光电压成像攻击基于FPGA的LLM加速器,可从边缘AI芯片提取LLM资产,建立了资产恢复方法及成像工作量与资产维度的下界
2026-08-27 cs.AI cs.CR
TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model
Rutgers University(罗格斯大学);Rice University(莱斯大学);The University of Utah(犹他大学);California State University, Fullerton(加州州立大学富勒顿分校)
TopV提出一种无需训练的令牌剪枝优化方法,在预填充阶段一次性剪枝,兼容FlashAttention并减小KV缓存,实验证明其优于现有剪枝方法。
2025-03-29 cs.AI cs.CV
MOM: Memory-Efficient Offloaded Mini-Sequence Inference for Long Context Language Models
California Institute of Technology(加州理工学院)
针对长上下文语言模型推理时GPU内存需求高的问题,提出MOM方法,通过划分关键层为微序列并结合KV缓存卸载,平均降低峰值内存超50%,扩展最大上下文长度,消除预填充内存瓶颈。
2025-04-16 cs.AI cs.CL cs.LG
Improving Joint Training of Inference Networks and Structured Prediction Energy Networks
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);New York University(纽约大学)
基于深度能量的模型很强大,但对学习和推理构成了挑战(Belanger和McCallum,2016)。Tu和Gimpel(2018)通过训练“推理网络”来近似结构化推理,而不是使用梯度下降,为基于能量的模型开发了一个有效的框架。然而,他们的交替优化方法在训练过程中存在不稳定性,需要额外的损失项和仔细的超参数调整。在本文中,我们提供了几种策略来稳定和改进这种用于结构化预测的能量函数和推理网络的联合训练。我们设计了一个复合目标,共同训练成本增加和测试时间推理网络以及能量函数。我们提出了联合参数化的推理网络,鼓励他们在学习过程中捕捉互补的功能。我们经验验证我们的策略在两个序列标签任务,显示更容易的路径比以前的工作,以及进一步改善与全球能源方面的强劲表现。
2020-10-10 cs.CL cs.LG
Carbon Intensity-Aware Adaptive Inference of DNNs
Singapore American School(新加坡美国学校)
针对DNN推理高能耗与碳足迹问题,提出随日间碳强度变化自适应调整模型大小与精度的启发式算法,并引入碳排放效率指标,在提升视觉识别精度时实现高达80%的碳排放效率提升。
2024-03-23 cs.AI cs.LG
Volatility in Certainty (VC): A Metric for Detecting Adversarial Perturbations During Inference in Neural Network Classifiers
Electrical and Computer Engineering(电气与计算机工程);North Carolina A\&T State University(北卡罗来纳A&T州立大学)
针对神经网络分类器推理阶段无标签场景下的对抗扰动检测问题,提出无标签指标VC,通过softmax输出离散度捕捉置信度波动,实验证明其与分类准确率强负相关,可作为实时性能预警指标。
2025-11-14 cs.AI cs.LG
Mixture of Lookup Experts
Peking University(北京大学)
提出查找专家混合(MoLE)架构,通过将训练好的专家重新参数化为查找表并卸载,推理时直接检索结果,在保持性能的同时实现低通信开销和快速推理。
2025-05-25 cs.CL cs.LG
Stochastic Downsampling for Cost-Adjustable Inference and Improved Regularization in Convolutional Networks
Nanyang Technological University(南洋理工大学);Adobe Research(Adobe研究);Alibaba AI Labs(阿里巴巴人工智能实验室);NVIDIA(英伟达)
期望训练卷积网络(CNN)以在推理期间更有效地运行。然而,在许多情况下,系统用于推断的计算预算在训练期间无法预先知道,或者推断预算取决于不断变化的实时资源可用性。因此,仅训练推理高效的CNN是不够的,其推理成本是不可调的,并且不能适应不同的推理预算。我们提出了一种用于CNN中成本可调推理的新方法-随机下采样点(SDPoint)。在训练过程中,SDPoint将特征图降采样应用于层层次结构中的随机点,并具有随机降采样率。不同的随机下采样配置被称为SDPoint实例(同一模型),其计算成本彼此不同,同时被训练以最小化相同的预测损失。在不同实例之间共享网络参数提供了显著的正则化提升。在推断期间,可以手工挑选最适合推断预算的SDPoint实例。SDPoint作为代价可调的推理方法和正则化器的有效性通过大量的图像分类实验得到了验证。
2018-01-29 cs.CV cs.LG cs.NE
Training Recurrent Neural Networks against Noisy Computations during Inference
Western Digital Research(西部数据研究院)
我们探讨了当网络中的计算是有噪声的时候,循环神经网络的鲁棒性。研究这个问题的动机之一是通过使用模拟神经形态电路来降低神经网络操作的传统计算的高功率成本。传统的以GPU/CPU为中心的深度学习架构在功耗受限的应用中表现出瓶颈,例如嵌入式系统中的语音识别。使用专门的神经形态电路,其中通过存储器单元阵列的模拟信号被感测以完成矩阵向量乘法,承诺大的功率节省和速度增益,但带来了有限的计算精度和不可避免的模拟噪声的问题。在本文中,我们提出了一种称为{ \em Deep Noise Injection training}的方法,用于训练RNN以获得一组权重/偏差,这些权重/偏差在推理过程中对噪声计算更具鲁棒性。我们探索了几种RNN架构,如香草RNN和长短期记忆(LSTM),并表明在深度噪声注入训练收敛后,训练的权重/偏差集在推理过程中进入网络的各种噪声功率范围内具有更一致的性能。令人惊讶的是,我们发现深度噪声注入训练提高了某些网络的整体性能,即使是在数字精确的推理方面。
2018-07-17 cs.LG stat.ML
HyperVLA: Efficient Inference in Vision-Language-Action Models via Hypernetworks
University of Oxford(牛津大学)
针对VLA模型推理成本高的问题,提出基于超网络的HyperVLA架构,推理时仅激活小策略,保持性能的同时将激活参数减少90倍、推理加速120倍。
2025-10-06 cs.AI cs.LG cs.RO
Mitigating multiple single-event upsets during deep neural network inference using fault-aware training
Magics Technologies(马吉克斯科技公司)
针对深度神经网络在高辐射环境中的多单事件翻转问题,提出故障感知训练(FAT)方法,通过模型层面故障注入分析影响,无需硬件修改即可将故障容忍度提升至多3倍,增强其在安全关键应用中的可靠性。
2025-02-13 cs.LG
Scaling Embedding Layers in Language Models
Google(谷歌)
本文提出SCONE方法,通过扩展n-gram嵌入层并卸载至加速器外,在保持推理效率的同时提升语言模型性能,使10亿参数模型超越19亿参数基线。
2025-10-23 cs.CL cs.LG
Privacy Partitioning: Protecting User Data During the Deep Learning Inference Phase
University of Virginia(弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
我们提出了一种基于二分拓扑威胁建模和交互式对抗深度网络构建的深度学习推理阶段的数据保护实用方法。我们将这种方法称为\emph{Privacy Partitioning}。在提出的框架中,我们拆分了机器学习模型,并将几层部署到用户的本地设备中,其余层部署到远程服务器中。我们提出了一种方法来保护用户的数据在推理阶段,同时仍然实现良好的分类精度。我们对三个计算机视觉任务的基准数据集进行了实验评估。实验结果表明,这种方法可以用来显着削弱攻击者访问最先进的深度网络的中间状态来学习网络的隐私敏感输入的能力。例如,我们证明了我们的方法可以防止攻击者从人脸图像数据集中推断出性别等私有属性,而不会牺牲原始机器学习任务(如人脸识别)的分类准确性。
2018-12-07 cs.CR cs.CV cs.LG
Dissociating model architectures from inference computations
Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(凯普纳自然与人工智能研究 institute,哈佛大学);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物 cybernetics 研究院);Integrative Computational Neuroscience Center, MIT(整合计算神经科学中心,麻省理工学院);Department of Biological Engineering, MIT(生物工程系,麻省理工学院);Functional Imaging Laboratory, Queen Square Institute of Neurology, UCL(功能成像实验室,女王广场神经病学研究所,伦敦大学学院)
本文提出将模型架构与推理计算解耦,证明自回归Transformer可通过迭代推理中的分层时序分解模拟深度时序计算,在保持预测能力的同时减少计算量。
2025-07-21 cs.CL cs.LG q-bio.NC
From TLinFormer to TConstFormer: The Leap to Constant-Time Transformer Attention: Achieving O(1) Computation and O(1) KV Cache during Autoregressive Inference
针对Transformer自回归推理中KV缓存增长、计算复杂度高的问题,本文提出TConstFormer架构,通过周期性状态更新机制实现摊销O(1)的计算与KV缓存,在长文本推理任务上性能、速度与内存效率均优于基线,助力流式语言模型发展。
2025-08-29 cs.LG
Noisy Computations during Inference: Harmful or Helpful?
我们研究了两个方面的噪声计算过程中的推理。第一个方面是如何减轻它们对自然训练的深度学习系统的副作用。研究这个问题的动机之一是通过使用模拟神经形态电路来降低神经网络的传统计算的高功率成本。传统的以GPU/CPU为中心的深度学习架构在功率受限的应用中表现出瓶颈(例如,嵌入式系统)。使用专门的神经形态电路,其中通过存储器单元阵列的模拟信号被感测以完成矩阵向量乘法,承诺大的功率节省和速度增益,但带来了有限的计算精度和不可避免的模拟噪声的问题。我们设法提高推理准确率从21.1%到99.5%的MNIST图像,从29.9%到89.1%的CIFAR 10,从15.5%到89.6%的MNIST中风序列与强噪声的存在下(信噪比为0 dB)通过噪声注入训练和投票方法。这一观察结果表明,神经网络对推理噪声不敏感,这降低了对神经形态电路的质量要求,对它们的实际使用至关重要。第二个方面是如何利用噪声推理作为一种防御体系结构,以抵御黑盒对抗攻击。在推理过程中,通过向神经网络中的信号注入适当的噪声,对抗性训练的神经网络对黑盒攻击的鲁棒性进一步提高了0.5%和1.13%,分别为MNIST和CIFAR 10的两个对抗性训练模型。
2018-11-26 cs.CR cs.CV cs.LG
Detecting Backdoors During the Inference Stage Based on Corruption Robustness Consistency
Huazhong University of Science and Technology(华中科技大学);National Engineering Research Center for Big Data Technology and System(大数据技术与系统国家工程研究中心);Wuhan University(武汉大学)
提出测试时破坏鲁棒性一致性评估方法 TeCo,仅依赖受害模型硬标签输出即可检测后门触发样本,无需额外信息,在多攻击、数据集和架构上优于现有方法,AUROC 高 10% 且稳定性提升 5 倍。
2023-03-27 cs.AI cs.CR cs.LG
Picket: Guarding Against Corrupted Data in Tabular Data during Learning and Inference
UW-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University in Australia(澳大利亚卡内基梅隆大学)
数据损坏是现代机器学习部署的一个障碍。损坏的数据可能会严重影响学习模型,也可能导致无效的推断。我们提出了Picket,一个简单的框架,以防止在表格数据上训练和部署机器学习模型期间发生数据损坏。对于训练阶段,Picket从训练数据中识别并移除损坏的数据点,以避免获得有偏差的模型。对于部署阶段,Picket以在线方式标记损坏的查询指向一个经过训练的机器学习模型,该模型由于噪声将导致不正确的预测。为了检测损坏的数据,Picket使用了一种用于混合类型表格数据的自监督深度学习模型,我们称之为PicketNet。为了最大限度地减少部署负担,学习PicketNet模型不需要任何人工标记的数据。Picket被设计为一个插件,可以增加任何机器学习管道的鲁棒性。我们在各种现实数据上评估Picket,考虑不同的腐败模型,包括训练和测试期间的系统性和对抗性噪声。我们表明,Picket在从SVM到神经网络的各种模型的训练和部署过程中始终可以防止数据损坏,击败了从数据质量验证模型到强大的离群检测模型的各种竞争方法。
2021-07-26 cs.LG stat.ML
Similarity-based Label Inference Attack against Training and Inference of Split Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Pengcheng Laboratory(鹏城实验室)
本文揭示了分割学习交换的中间结果会泄漏私有标签,基于梯度与特征相似性设计三种标签推断攻击,在训练和推理阶段实现接近100%攻击准确率,并能有效抵抗多种最先进防御机制。
2024-03-22 cs.AI cs.CR cs.LG
Knowledge boosting during low-latency inference
University of Washington(华盛顿大学);Microsoft(微软公司);AssemblyAI(AssemblyAI公司)
针对边缘设备资源受限难以运行大模型的问题,提出 knowledge boosting 技术,允许大模型处理时间延迟输入以提升小模型性能,在语音任务中验证了低延迟大-小模型协作的有效性。
2024-07-25 cs.LG cs.SD eess.AS
Lifted Relational Variational Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
混合连续-离散模型自然代表了机器人、金融和环境工程中的许多实际应用。大规模模型的推理是具有挑战性的,因为关系结构在观察推理过程中迅速恶化。本文的主要贡献是一个有效的关系变分推理算法的因素大规模的概率模型到更简单的变分模型,由iid(伯努利)随机变量的混合物。该算法采用大规模混杂系统的概率关系模型,并将其转换为一个接近最优的变分模型。然后,它有效地计算边际概率的变分模型,通过使用潜在的(或提升)变量消除或提升随机抽样。这种推理是独特的,因为它在个体观察和推理步骤期间保持关系结构。
2012-10-16 cs.LG stat.ML
Parsimonious Inference on Convolutional Neural Networks: Learning and applying on-line kernel activation rules
Irida Labs S.A(Irida Labs 股份有限公司)
本文提出了一种新的,激进的CNN设计方法,考虑减少总的计算负荷在推理过程中。这是通过对CNN架构和训练过程进行新的整体干预来实现的,该训练过程通过学习利用或去除CNN架构的冗余容量来针对简约推理。这是通过引入一种新的结构元素来实现的,该结构元素可以作为附加元件插入到任何当代CNN架构中,同时保持甚至提高其识别精度。我们的方法制定了一种系统的和数据驱动的方法,用于开发CNN,这些CNN经过训练,最终在推理过程中实时改变大小和形式,目标是尽可能小的计算足迹。结果提供了一些现代化的,高端的移动计算平台上的最佳实施,表明一个显着的速度提高到x3倍。
2017-01-31 cs.AI cs.CV cs.LG
A data-driven approach to inferring travel trajectory during peak hours in urban rail transit systems
Beijing Jiaotong University(北京交通大学);China Railway Signaling and Communication Research and Design Institute(中国铁路通信信号研究设计院);Beijing Urban Construction Design & Development Group Co.(北京城建设计发展集团有限公司)
本文提出一种基于数据驱动的方法,用于高精度推断城市轨道交通高峰时段的个体旅行轨迹,准确率超过90%。
2025-12-10 cs.LG
Prediction-sharing During Training and Inference
Weizmann Institute(魏茨曼研究所);Ariel University(阿里尔大学);Technion - Israel Institute of Technology(以色列理工学院)
研究竞争性预测任务中两家公司间的数据共享合同,通过贝叶斯框架分析仅共享模型、仅共享推理时预测及两者均共享三种合同的差异,并在两种设定下求解最优合同,验证其适用性。
2024-03-26 cs.AI cs.GT cs.LG
Collage Inference: Achieving low tail latency during distributed image classification using coded redundancy models
University Of Southern California(南加州大学);Microsoft Research(微软研究院)
减少机器学习推理中的延迟方差是许多应用中的关键要求。在存在掉队者的云部署中,差异更难控制。尽管存在这一挑战,但由于经济实惠的机器学习即服务(MLaaS)平台的出现,推理越来越多地在云中完成。现有的减少差异的方法依赖于复制,这是昂贵的,部分否定了MLaaS的可负担性。在这项工作中,我们认为MLaaS平台也提供了独特的机会来降低冗余成本。在MLaaS平台中,负载均衡器同时接收多个推理请求,然后可以在更大的图像集合中创建更具成本效益的冗余编码。我们提出了一种新的卷积神经网络模型Collage-CNN,以提供一个低成本的冗余框架。Collage-CNN模型采用通过组合多个图像形成的拼贴,并在一次拍摄中执行多图像分类,尽管精度略低。然后,我们使用单个Collage-CNN分类器来增强传统单个图像分类器的集合,该分类器作为低成本的冗余备份。然后,如果单个图像分类分散,Collage-CNN会提供备份分类结果。在云中部署Collage-CNN模型,我们证明与基于复制的方法相比,推断的第99百分位数尾部延迟可以减少1.47倍,同时提供高准确性。此外,推理延迟的变化可以减少9倍,平均推理延迟略有增加。
2019-06-05 cs.DC cs.LG stat.ML
Security for Machine Learning-based Systems: Attacks and Challenges during Training and Inference
Vienna University of Technology (TU Wien)(维也纳工业大学)
网络和物理世界之间的依赖性呈指数级增长,导致必须有效处理和存储大量数据。因此,计算范式正在向基于机器学习(ML)的系统发展,因为它们能够高效、准确地处理大量数据。虽然基于ML的解决方案解决了大数据的高效计算需求,但它们在系统中引入了(新的)安全漏洞,这是传统的基于监控的安全措施无法解决的。因此,本文首先简要概述了机器学习中的各种安全威胁,它们各自的威胁模型以及相关的研究挑战,以开发强大的安全措施。为了说明ML在训练,推理和硬件实现过程中的安全漏洞,我们分别使用MNIST和德国交通标志识别基准(GTSRB)的LeNet和VGGNet来展示ML上的一些关键安全威胁。此外,基于ML训练的安全性分析,我们还提出了一种对推理准确性影响很小的攻击。最后,我们强调了在开发安全措施方面的相关研究挑战,并简要概述了用于减轻此类安全威胁的技术。
2018-11-05 cs.CR cs.LG stat.ML
Inference Privacy: Properties and Mechanisms
University of Arizona(亚利桑那大学)
针对推理阶段用户数据隐私缺乏系统保障的问题,提出推理隐私(IP)概念,确立其性质并与本地差分隐私对比,设计可自定义的输入/输出扰动机制,实验验证其效用与隐私权衡的实用性。
2024-11-27 cs.CR cs.IT cs.LG