Adversarial Intent is a Latent Variable: Stateful Trust Inference for Securing Multimodal Agentic RAG
Fujitsu Research of Europe, UK(富士通欧洲研究机构,英国);Fujitsu Limited, Japan(富士通株式会社,日本)
本文提出MMA-RAG^T框架,通过状态化信任推断提升多模态代理RAG的安全性,实验显示攻击成功率显著降低。
2026-02-24 cs.AI cs.CL cs.CR
Relay, Don't Route: Adaptive Population Handoff for Cost-Efficient LLM-Driven Evolution
针对LLM驱动演化全程用强模型成本高的问题,提出无需训练的自适应种群交接框架,通过廉价模型探索、中继增益触发交接,在12个测试设置中11个获最高平均分数,性能优于基线。
2026-08-07 cs.AI cs.CL cs.NE
Stateful Inference for Low-Latency Multi-Agent Tool Calling
LayerScale, Inc.(LayerScale公司)
提出一种有状态推理架构,通过持久化KV缓存和增量处理,将多智能体工具调用的每轮成本从O(n_t)降至O(Δ_t),在6轮和35轮工作流中分别实现2.1倍和4.2倍的加速。
2026-05-25 cs.LG
Attention Once Is All You Need: Efficient Streaming Inference with Stateful Transformers
LayerScale, Inc.(LayerScale公司)
本文提出基于状态化会话的数据驱动计算模型,通过增量式KV缓存降低预填充成本,实现查询延迟与上下文长度无关。Flash Queries利用空闲GPU周期预处理问题,提升流式推断效率,实测在市场数据基准上达到5.9倍速度提升。
2026-05-13 cs.LG
Beyond Fresh Starts: Stateful Inference for Streaming ASR in Conversational Voice Agents
University of Washington(华盛顿大学);SRI International(国际 SRI 研究所)
针对会话语音智能体流式ASR因每轮重置状态导致的话语起始性能下降问题,提出两种保留跨轮次话语上下文的状态管理策略,在实验中实现15-21%的相对WER降低。
2026-08-25 cs.LG
Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents
Apple(苹果公司)
本文提出在推理时引入反馈机制,通过分离执行与审查任务,提升工具调用代理的实时纠错能力,并通过帮助性与危害性指标评估审查模型效果。
2026-04-29 cs.AI cs.LG cs.MA
Beam Search, Self-Consistency, and the Limits of Inference-Time Scaling for Grammar-Constrained Text-to-SQL in Small Language Models
Deep Network Understanding Lab(深度网络理解实验室);Dickinson College(狄金森学院)
本文针对语法约束下的小语言模型文本到SQL任务,研究了模型规模与推理计算的权衡,发现受约束权衡表现不同,束搜索优于采样+投票,且增大模型规模比增加推理计算更有利。
2026-08-27 cs.AI cs.CL
When LLM Meets Tree Search: A Systematic View of Inference as Search in Large Language Models
Zhejiang University(浙江大学);Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);University of British Columbia(不列颠哥伦比亚大学);Stony Brook University(石溪大学);The Chinese University of Hong Kong(香港中文大学)
本综述将大语言模型的推理视为搜索,系统化基于树搜索的推理进展,引入统一设计空间并倡导标准化计算报告,以优化推理权衡。
2026-09-01 cs.CL
Inference Time Alignment with Reward-Guided Tree Search
Singapore University of Technology and Design(新加坡科技设计大学)
提出推理时对齐方法DARWIN,通过奖励模型引导的树搜索实现对齐,在AlpacaEval 2和MT-Bench基准上优于Best-of-N等方法,性能可比偏好调优模型。
2024-11-26 cs.CL
Adaptive Blockwise Search: Inference-Time Alignment for Large Language Models
Purdue University(普渡大学);Arizona State University(亚利桑那州立大学);Amazon(亚马逊)
针对LLM对齐中均匀计算投入导致次优的问题,提出自适应分块搜索AdaSearch及其树搜索变体AdaBeam,通过聚焦初始关键标记分配预算,在八种LLM上超越Best-of-N和微调基线,胜率提升超10%。
2025-10-27 cs.CL
Slang Context-based Inference Enhancement via Greedy Search-Guided Chain-of-Thought Prompting
本文提出一种基于贪心搜索的链式推理框架,通过改进小语言模型的推理能力,提升俚语解释的准确性。
2026-01-15 cs.CL
W2S-AlignTree: Weak-to-Strong Inference-Time Alignment for Large Language Models via Monte Carlo Tree Search
W2S-AlignTree通过结合MCTS与弱到强泛化范式,实现大语言模型在推理时的高效对齐,提升摘要任务性能15.9%。
2026-01-01 cs.CL
Perseus: Interactive Time Series Segmentation with Sparse Supervision via Stateful Memory
Computer Science National Yang Ming Chiao Tung University(计算机科学 国立阳明交通大学);Control Engineering National Yang Ming Chiao Tung University(控制工程 国立阳明交通大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对现有交互式时间序列分割方法无法保留用户交互历史的问题,提出 Perseus 框架,通过写-读架构实现异步状态管理,在多粒度设置中准确率提升最高达 85%。
2026-08-24 cs.AI cs.LG
ContinuityBench: A Benchmark and Systems Study of Stateful Failover in Multi-Provider LLM Routing
Metriqual(梅特里夸尔)
研究多提供商LLM路由中状态故障转移问题,提出有状态代理架构及历史转发策略,引入新指标,通过continuity - bench评估,实证表明该架构CPR达99.20%,刻画延迟分布,为构建多模型推理系统提供基础。
2026-07-20 cs.LG
DeepContext: Stateful Real-Time Detection of Multi-Turn Adversarial Intent Drift in LLMs
HighFlame
DeepContext通过递归神经网络实时检测LLM中的多轮对抗意图漂移,实现更高效的安全防护。
2026-02-18 cs.AI cs.ET cs.LG
EnterpriseOps-Gym: Environments and Evaluations for Stateful Agentic Planning and Tool Use in Enterprise Settings
ServiceNow Research(ServiceNow研究院)
本文提出EnterpriseOps-Gym基准,用于评估企业环境中代理的规划能力。通过164个数据库表和512个功能工具模拟真实工作摩擦,评估14种前沿模型,发现状态-of-the-art模型在战略推理上存在显著不足,且代理常无法拒绝不可行任务。
2026-03-13 cs.AI cs.LG
ANIRA: An Architecture for Neural Network Inference in Real-Time Audio Applications
针对现有神经网络推理工具难以满足实时音频需求的问题,提出跨平台库anira,通过解耦推理与音频回调缓解实时性违规,经基准测试验证不同模型适配的最优推理引擎。
2025-06-14 cs.AI cs.LG cs.SD
Approximate Inference in Discrete Distributions with Monte Carlo Tree Search and Value Functions
DeepMind(深度思维)
人工智能、工程和科学中的大量问题都自然地形式化为离散概率模型中的推理。精确的推断通常是昂贵的,因为它可能需要评估其整个域上的(未归一化的)目标密度。在这里,我们考虑的设置,只有一个有限的预算调用非规范化的密度预言是可用的,提高了挑战,在域中分配这些函数调用,以构建一个良好的近似解决方案。我们制定这个问题作为一个例子,顺序决策下的不确定性和杠杆方法,从强化学习的概率推理与预算约束。特别是,我们提出了TreeSample算法,适应蒙特卡罗树搜索近似推理。该算法将所有以前的查询缓存到显式搜索树中的密度预言机中,并使用现有的置信上限方法,基于“最佳优先”启发式探索动态分配新的查询。我们的非参数推理方法可以有效地结合神经网络,编译目标的近似条件,然后用于指导推理搜索,并实现跨多个目标分布的泛化。我们的经验表明,TreeSample优于标准的近似推理方法的合成因子图。
2019-10-15 cs.AI cs.LG
Adaptive Inference-Time Scaling via Cyclic Diffusion Search
KAIST(韩国科学技术院);Mila – Quebec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);SAP(SAP公司)
针对固定去噪调度限制自适应计算分配的问题,提出基于双向循环扩散搜索的推理框架ABCD,通过动态控制探索深度与终止条件,在保持效率的同时提升多任务性能。
2025-10-24 cs.AI cs.LG
Thermodynamic Focusing for Inference-Time Search: Practical Methods for Target-Conditioned Sampling and Prompted Inference
Zhan Zhang(张湛)
本文提出ICFA算法,通过目标条件重新加权提升推理时间搜索效率,结合结构化提示与混合架构实现更高效的样本利用。
2025-12-16 cs.AI cs.LG
Efficient search of active inference policy spaces using k-means
VERSES Research Labs(VERSES研究实验室);Monash University(莫纳什大学);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
我们开发了一种主动推理中的策略选择方法,该方法使我们能够通过将每个策略映射到其在向量空间中的嵌入来有效地搜索大的策略空间。我们对空间中代表点的预期自由能进行采样,然后围绕这个初始样本中最有希望的点进行更彻底的策略搜索。我们考虑各种方法来创建的政策嵌入空间,并建议使用k-均值聚类选择代表点。我们将我们的技术应用到一个面向目标的图遍历问题,其中天真的政策选择是棘手的,即使是中等规模的图形。
2022-10-06 cs.AI cs.LG
What am I Searching for: Zero-shot Target Identity Inference in Visual Search
我们能从一个人的行为中推断出他的意图吗?作为一个示例问题,这里我们考虑如何通过解码他们的眼球运动行为来破译一个人正在搜索的内容。我们进行了两个心理物理学实验,我们监测眼球运动,而受试者寻找一个目标对象。我们将落在\textit{non-target}对象上的注视点定义为“错误注视点”。利用这些错误固定,我们开发了一个模型(InferNet)来推断目标是什么。InferNet使用预先训练的卷积神经网络从错误固定中提取特征,并计算错误固定与搜索图像中所有位置之间的相似性图。该模型整合了跨层的相似性图,并将这些图集成到所有错误固定中。InferNet成功地识别了受试者的目标,并优于竞争性空模型,即使在推理任务上没有任何特定于对象的训练。
2020-05-28 cs.AI cs.CV cs.LG
Learning to Guide Local Search for MPE Inference in Probabilistic Graphical Models
Department of Computer Science(计算机科学系);The University of Texas at Dallas(德克萨斯大学达拉斯分校);New Jersey Institute of Technology(新泽西理工学院)
本文提出神经元消融框架,通过学习引导局部搜索以提升概率图模型中MPE推断的效率与性能。
2026-02-01 cs.AI cs.LG
LatentTrack: Sequential Weight Generation via Latent Filtering
Independent Researcher, Baltimore, MD, USA(独立研究者)
LatentTrack通过潜在过滤实现序列权重生成,利用轻量级超网络在低维潜在空间中进行因果贝叶斯过滤,有效应对非平稳动态下的分布偏移问题。
2026-01-31 cs.AI cs.LG cs.RO
Tiered Pruning for Efficient Differentialble Inference-Aware Neural Architecture Search
NVIDIA(英伟达)
我们提出了三种新的修剪技术,以提高成本和结果的推理感知可区分神经架构搜索(DNAS)。首先,我们介绍了Prunode,一个随机的双路径构建块的DNAS,它可以搜索内部隐藏的维度与O(1)的内存和计算复杂度。其次,我们提出了一种算法,在搜索过程中修剪块的随机层的超网。第三,我们描述了一种新的技术,修剪不必要的随机层在搜索过程中。通过搜索得到的优化模型称为PruNet,它为NVIDIA V100在ImageNet Top-1图像分类准确度的推理延迟方面建立了一个新的最先进的Pareto边界。PruNet作为主干,在COCO目标检测任务中,相对于平均精度(mAP)的推理延迟也优于GPUNet和EfficientNet。
2023-01-05 cs.LG
Dynamic Search for Inference-Time Alignment in Diffusion Models
Texas A&M University(德克萨斯A&M大学);Genentech(基因泰克);UC Berkeley(加州大学伯克利分校)
本文提出动态搜索方法 DSearch,将扩散模型推理时对齐建模为搜索问题,通过子采样去噪过程、动态调整束宽与树扩展及前瞻启发式函数,在生物序列设计、分子优化和图像生成等任务中实现更优的奖励优化。
2025-06-02 cs.AI cs.LG
U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search
EPFL(洛桑联邦理工学院)
优化目标平台中的资源利用率是在DNN推理期间实现高性能的关键。虽然已经提出了针对推理延迟、内存占用和能耗的优化,但现有的硬件感知神经架构搜索(NAS)方法忽略了资源利用,从而阻止了DNN充分利用目标推理平台。有效和准确地建模资源利用率是一项挑战,特别是对于广泛使用的基于数组的推理加速器,如Google TPU。在这项工作中,我们提出了一种新的硬件感知的NAS框架,不仅优化任务的准确性和推理延迟,而且资源利用率。我们还提出并验证了一个新的计算模型的推理加速器的资源利用率。通过使用所提出的NAS框架和所提出的资源利用模型,与先前的硬件感知NAS方法相比,我们实现了DNN推理的2.8 - 4倍加速,同时在CIFAR-10和Imagenet-100数据集上实现了图像分类的相似或改进的准确性。
2022-03-23 cs.AI cs.CV cs.LG
Replacing thinking with tool usage enables reasoning in small language models
Qualcomm AI Research(高通人工智能研究)
本文提出用有状态工具的多轮交互轨迹替代自然语言思考,在 Python 代码修复任务上实现更快的经验采样和更密集的奖励信号,使 3B 以下的小型语言模型也能学会通过额外计算进行推理。
2025-07-07 cs.AI cs.LG
Neurally-Guided Structure Inference
Shanghai Jiao Tong University(上海交通大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);IIIS, Tsinghua University(清华大学智能产业研究院);Department of Brain and Cognitive Sciences, MIT(麻省理工学院脑与认知科学系);Center for Brains, Minds and Machines (CBMM), MIT(麻省理工学院脑、心智与机器中心)
大多数结构推理方法要么依赖于穷举搜索,要么纯粹是数据驱动的。穷举搜索可以稳健地推断任意复杂数据的结构,但速度较慢。数据驱动的方法允许有效的推理,但当测试数据具有比训练数据更复杂的结构时,不能推广。在本文中,我们提出了一种混合推理算法,神经元引导结构推理(NG-SI),保持基于搜索和数据驱动的方法的优点。NG-SI的关键思想是使用神经网络来指导在结构的组成空间上的分层、逐层搜索。我们评估我们的算法上的两个代表性的结构推理任务:概率矩阵分解和符号程序解析。它在这两项任务上都优于数据驱动和基于搜索的替代方案。
2019-08-15 cs.AI cs.LG cs.SC
Bayesian Inference in Monte-Carlo Tree Search
IBM TJ Watson Research Center(IBM TJ沃森研究中心)
蒙特卡罗树搜索(MCTS)方法在计算机围棋中取得突破性成果后,引起了人们极大的兴趣。本文提出了一种MCTS的贝叶斯方法,该方法受到UCT [13]等无分布方法的启发,但在重要方面有显着不同。贝叶斯框架允许潜在的更准确的(贝叶斯最优)估计节点值和节点的不确定性,从有限数量的模拟试验。我们进一步提出通过快速分析高斯近似方法在树中传播推理:这可以使贝叶斯推理的开销在Go等领域中易于管理,同时保持期望值估计的高准确性。我们发现UCT在理想化的Bandit-Tree测试环境中表现出色,通过与已知的地面实况进行比较,我们可以获得有价值的见解。此外,我们严格证明了政策和政策的收敛性所提出的方法。
2012-03-15 cs.AI cs.LG stat.ML
Inference-time Scaling of Diffusion Models through Classical Search
Helixon US Inc.(Helixon US公司);Stanford University(斯坦福大学);Harvard University(哈佛大学)
本研究利用经典搜索原理解决扩散模型推理时控制难题,提出协调局部退火Langevin MCMC搜索与全局树搜索的通用框架,在多领域任务中实现性能与效率的显著提升,为扩散模型推理时扩展提供理论与实践基础。
2025-10-05 cs.LG stat.ML
S2DNAS:Transforming Static CNN Model for Dynamic Inference via Neural Architecture Search
Peking University(北京大学);IBM Research(IBM研究院)
最近,动态推理已经成为降低深度卷积神经网络(CNN)计算成本的一种有前途的方法。与静态方法(例如权重修剪)相比,动态推理根据每个输入样本自适应地调整推理过程,这可以大大降低“简单”样本的计算成本,同时保持整体模型性能。在本文中,我们介绍了一个通用的框架,S2DNAS,它可以转换各种静态CNN模型,以支持动态推理,通过神经结构搜索。为此,基于给定的CNN模型,我们首先生成一个CNN架构空间,其中每个架构都是使用一些预定义的变换从给定模型生成的多级CNN。然后,我们提出了一种基于强化学习的方法来自动搜索生成的空间中的最佳CNN架构。最后,利用搜索到的多级网络,对每个样本自适应地选择一个评估阶段进行动态推理。与之前在推理中引入不规则计算或复杂控制器或从头开始重新设计CNN模型的工作不同,我们的方法可以推广到大多数流行的CNN架构,并且可以在各种硬件设备中使用现有的深度学习框架直接部署搜索到的动态网络。
2019-12-17 cs.CV cs.LG
Fast Amortized Inference and Learning in Log-linear Models with Randomly Perturbed Nearest Neighbor Search
Stanford University(斯坦福大学)
在最坏的情况下,对数线性模型中的推断在输出空间的大小上线性缩放。当输出空间可行但非常大时,这通常是自然语言处理和计算机视觉任务中的瓶颈。本文提出了一种方法来推断具有次线性摊余成本的对数线性模型。我们的想法取决于使用Gumbel随机变量扰动和预先计算的最大内积搜索数据结构,以访问最可能的元素在次线性摊销时间。我们的方法产生可证明的运行时间和精度保证。此外,我们在ImageNet和词嵌入上进行了实证实验,显示出对数线性模型中的采样,推理和学习的显着加速。
2017-07-11 cs.LG stat.ML
FINGER: Fast Inference for Graph-based Approximate Nearest Neighbor Search
UCLA(加州大学洛杉矶分校);Amazon(亚马逊);UT Austin(德克萨斯大学奥斯汀分校)
近似K最近邻搜索(AKNNS)现在已经在现代应用中变得无处不在,例如,作为具有双塔深度学习模型的快速搜索过程。基于图的AKNNS方法由于其优越的性能而受到极大的关注。这些方法依赖于贪婪图搜索来遍历数据点作为数据库中的嵌入向量。在这种贪婪搜索方案下,我们进行了一个关键的观察:许多距离计算不会影响搜索更新,因此这些计算可以近似而不会损害性能。因此,我们提出了手指,一个快速的推理方法,以实现高效的图搜索。FINGER通过估计具有低秩基和分布匹配的相邻残差向量之间的角度来近似距离函数。近似的距离可以用来绕过不必要的计算,这导致更快的搜索。从经验上讲,加速一个流行的基于图的方法命名为HNSW的手指被证明优于现有的基于图的方法在不同的基准数据集的20%-60%。
2022-06-22 cs.LG
Accelerating RNN Transducer Inference via One-Step Constrained Beam Search
Kakao Enterprise Corporation(Kakao Enterprise公司)
我们提出了一个一步约束(OSC)束搜索,以加速递归神经网络(RNN)传感器(RNN-T)的推理。原始RNN-T束搜索具有while循环,导致解码过程的速度下降。OSC束搜索通过向量化多个假设来消除该while循环。这种向量化是不平凡的,因为原始RNN-T束搜索内的假设的扩展可以彼此不同。然而,我们发现在大多数情况下,假设在每个解码步骤中仅扩展一次;因此,我们将最大扩展数限制为1,从而允许假设的矢量化。为了进一步加速,我们将约束分配给假设的前缀以修剪冗余的搜索空间。此外,OSC束搜索在解码过程期间具有假设之间的重复检查,因为重复可能不期望地缩小搜索空间。与其他RNN-T束搜索方法相比,我们实现了显着的加速,具有较低的音素和单词出错率。
2020-02-10 cs.LG eess.AS eess.SP
Sample, Scrutinize and Scale: Effective Inference-Time Search by Scaling Verification
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
本文研究基于采样的推理时搜索的扩展规律,证明随机采样加直接自验证的极简方案可显著提升推理性能,并总结隐式扩展与两项验证改进原则,同时提出评测前沿模型自验证能力的基准。
2025-02-20 cs.AI cs.LG
Scaling Inference-Time Search with Vision Value Model for Improved Visual Comprehension
University of Maryland, College Park(马里兰大学学院公园分校);Microsoft(微软公司)
本文提出视觉价值模型VisVM,通过评估当前及未来句子质量的长期价值来引导VLM推理时搜索,减少幻觉并提升视觉描述质量,自训练后还可提升多模态基准性能。
2025-06-30 cs.CL cs.CV cs.LG
Chronax: A Jax Library for Forecasting and Conformal Inference
Simulacrum New York City, NY, USA(Simulacrum 纽约市纽约州)
Chronax利用JAX的函数式纯度和可组合转换,实现可扩展的多系列预测和模型无关的符合不确定性量化,提升预测系统的效率和可整合性。
2026-10-06 cs.LG
Bayesian Policy Search for Stochastic Domains
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of Oxford(牛津大学);KAIST(韩国科学技术院)
人工智能规划可以转换为概率模型中的推理,并且概率编程被证明能够在部分可观察域中进行策略搜索。先前的工作通过马尔可夫链蒙特卡洛在确定性域中引入策略搜索,以及将黑盒变分推理适应于随机域,但不是严格的贝叶斯意义上的。在这项工作中,我们投在随机域的贝叶斯推理问题的政策搜索,并提供了一个方案,编码这样的问题,嵌套的概率程序。我们认为,在随机域中的策略搜索的概率程序应涉及嵌套条件,并提供了一个适应轻量级大都市黑斯廷斯(LMH)在这样的程序中的强大的推理。我们将该计划应用于随机域,并表明学习到类似质量的政策,尽管更简单,更一般的推理算法。我们相信,所提出的LMH的变体是新颖的,适用于更广泛的一类概率程序与嵌套条件。
2020-10-01 cs.LG stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的,这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化,允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差,其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法:逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
RepNAS: Searching for Efficient Re-parameterizing Blocks
Zhejiang University of Technology(浙江工业大学)
在过去的几年中,在神经结构搜索(NAS)领域已经取得了显着的进步。然而,它仍然是具有挑战性的搜索有效的网络,由于搜索的约束和真实的推理时间之间的差距存在。为了搜索具有低推理时间的高性能网络,先前的一些工作为搜索算法设置了计算复杂性约束。然而,许多因素影响推理的速度(例如,FLOPs、MAC)。单个指标与潜伏期的相关性不强。目前,一些重新参数化(Rep)技术被提出来将多分支结构转换为推理友好的单路径结构。然而,多分支架构仍然是人为定义的,效率低下。在这项工作中,我们提出了一个新的搜索空间,这是适合于结构重新参数化技术。RepNAS是一种单阶段的NAS方法,在分支数约束下有效地搜索每一层的最优多样分支块(ODBB)。我们的实验结果表明,通过高效的训练,搜索到的ODBB可以轻松超越手动多样分支块(DBB)。
2022-06-15 cs.LG cs.NE
Controllable Graph Generation with Diffusion Models via Inference-Time Tree Search Guidance
University of Notre Dame(内布拉斯加大学);Independent Researcher(独立研究者);University of Connecticut(康涅狄格大学)
本文提出TreeDiff框架,通过MCTS引导双空间扩散模型实现可控图生成,解决传统方法控制不足的问题,实验显示其在分子生成中表现优异。
2026-03-17 cs.AI cs.CE cs.LG
A Theory of Inference Compute Scaling: Reasoning through Directed Stochastic Skill Search
University of Illinois Urbana-Champaign, Urbana, IL, USA(伊利诺伊大学厄巴纳-香槟分校)
本文提出有向随机技能搜索(DS3)框架,将推理建模为技能图上的随机遍历,推导闭式表达式以统一解释推理计算规模规律,并支持算法设计与资源分配。
2025-07-10 cs.AI cs.CY cs.LG
Inference-Time Search Using Side Information for Diffusion-Based Image Reconstruction
Department of Electrical and Computer Engineering, Texas A&M University(电气与计算机工程系,德克萨斯A&M大学)
提出一种即插即用、无需训练的推理时搜索框架,将侧信息融入现有扩散模型逆问题求解器,显著提升重建质量。
2026-05-26 cs.AI cs.CV cs.LG
LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音)
文语转换(TTS)技术已经被广泛应用于在不同场景下合成自然、清晰的语音。在各种终端设备(如移动电话或嵌入式设备)中部署TTS需要极小的内存使用和推理延迟。虽然诸如FastSpeech的非自回归TTS模型已经实现了比自回归模型显著更快的推理速度,但是它们的模型大小和推理延迟对于在资源受限设备中的部署来说仍然很大。在本文中,我们提出了LightSpeech,它利用神经架构搜索(NAS)自动设计基于FastSpeech的更轻量级和更高效的模型。我们首先分析了当前FastSpeech模型的组成部分,并仔细设计了一个包含各种轻量级和潜在有效架构的新颖搜索空间。然后利用NAS在搜索空间内自动发现性能良好的体系结构。实验结果表明,在保证语音质量的前提下,该方法在CPU上获得了15倍的模型压缩比和6.5倍的推理加速比。音频演示在https://speechresearch.github.io/lightspeech上提供。
2021-02-08 cs.AI cs.LG cs.SD
Enterprise-Scale Search: Accelerating Inference for Sparse Extreme Multi-Label Ranking Trees
Stanford University(斯坦福大学);Amazon Search(亚马逊搜索)
基于树的模型由于其次线性推理时间而支撑许多现代语义搜索引擎和推荐系统。在工业应用中,这些模型在极端规模下运行,其中每一点性能都至关重要。在极端尺度下的内存限制也要求模型是稀疏的,因此基于树的模型通常由稀疏矩阵代数例程后端处理。然而,目前还没有专门为稀疏结构设计的稀疏矩阵技术,在基于树的模型中遇到极端的多标签排名/分类(XMR/XMC)问题。为了解决这个问题,我们提出了屏蔽稀疏块乘法(MSCM)技术,一个稀疏矩阵技术专门为XMR树。MSCM易于实现,可并行化,并免费为任何现有的树推理流水线提供显着的性能提升。我们进行了一个全面的研究MSCM应用到几个不同的稀疏推理方案和基准我们的方法上的通用极端多标签排名框架。我们观察到MSCM在在线和批量推理设置、单线程和多线程设置以及许多不同的树模型和数据集上都提供了一致的显著加速。为了证明其在工业应用中的实用性,我们将MSCM应用于具有1亿种产品的企业级语义产品搜索问题,并在单个线程上实现了每次查询0.88 ms的亚毫秒延迟-延迟比香草推理技术减少了8倍。MSCM技术绝对不需要牺牲模型精度,因为它给出了与标准稀疏矩阵技术完全相同的结果。因此,我们相信MSCM将使XMR树的用户能够以非常小的成本在其推理管道中节省大量的计算资源。
2022-02-23 cs.LG
Monte Carlo Inference via Greedy Importance Sampling
University of Waterloo(滑铁卢大学)
本文提出了一种新的图模型蒙特卡罗推理方法,它结合了显式搜索和广义重要性采样。其思想是通过搜索目标分布中的显著点来减小重要性采样的方差。我们证明,它是可以引入搜索,仍然保持无偏性。然后,我们展示了我们的程序在一些简单的推理任务,并表明它可以提高标准MCMC方法,包括吉布斯抽样,大都会抽样,混合蒙特卡罗的推理质量。本文扩展了以往的工作,表明如何贪婪重要性采样可以正确地实现在一维的情况下。
2013-01-16 cs.LG stat.CO stat.ML
VINNAS: Variational Inference-based Neural Network Architecture Search
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
近年来,神经结构搜索(NAS)由于其能够为诸如图像分类或目标检测的各种人工智能任务找到具有高精度的神经结构而受到了强烈的科学和工业兴趣。特别是,基于梯度的NAS方法由于其在搜索过程中的计算效率而成为最受欢迎的方法之一。然而,这些方法经常经历模式坍塌,其中由于算法诉诸于为整个网络选择单个操作类型,或者对于各种数据集或搜索空间停滞在局部最小值,所找到的架构的质量很差。针对这些缺陷,我们提出了一种基于可微变分推理的NAS方法来搜索稀疏卷积神经网络。我们的方法通过使用具有自动相关性确定先验的变分丢弃来丢弃过参数化超图中的候选操作,从而找到最优神经架构,这使得算法逐渐去除不必要的操作和连接,而不会冒模式坍塌的风险。通过搜索两种类型的卷积单元来进行评估,所述两种类型的卷积单元形成用于对不同图像数据集进行分类的神经网络。我们的方法找到了不同的网络单元,同时显示出最先进的精度,非零参数减少了近2倍。
2021-01-14 cs.CV cs.LG stat.ML
NASS: Optimizing Secure Inference via Neural Architecture Search
Kyoto University(京都大学);University of Notre Dame(圣母大学)
由于隐私问题的日益严重,基于神经网络(NN)的同时隐藏客户端输入和服务器模型的安全推理(SI)方案吸引了主要的研究兴趣。虽然现有的工作集中在开发基于NN的SI的安全协议,在这项工作中,我们采取了不同的方法。我们提出了NASS,一个综合的框架来搜索专门为SI设计的定制NN架构。特别是,我们建议模型加密协议的设计元素与相关的奖励功能。然后,在与预测超参数的联合优化中采用特征化模型,以确定平衡预测准确性和执行效率的最佳NN架构。在实验中,它被证明,我们可以实现两全其美通过使用NASS,其中预测精度可以从81.6%提高到84.6%,而推理运行时间减少了2倍,通信带宽减少了1.9倍CIFAR-10数据集。
2020-02-16 cs.CR cs.LG
Vector Search As Nearest Neighbor Matching: RAG-based Policy Learning in Causal Inference
np-hard.co.jp(np-hard公司)
研究提出基于检索增强生成(RAG)的策略学习一步法和两步法,两步法通过向量搜索等进行行动选择,还将两步法遗憾分解并界定,直接评估一步法为策略,把特定行动向量搜索与因果推断最近邻匹配相联系。
2026-07-21 cs.LG econ.EM math.ST
Spectral Evolution Search: Efficient Inference-Time Scaling for Reward-Aligned Image Generation
School of Data Science and Engineering, East China Normal University, Shanghai, China(数据科学与工程学院,东华大学,上海,中国);Alibaba Group, Hangzhou, China(阿里巴巴集团,杭州,中国)
本文提出谱演化搜索(SES),通过在低频子空间内执行梯度自由演化搜索,提升奖励对齐图像生成的效率和质量。
2026-02-03 cs.CV cs.LG
A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters
TotalEnergies SE(道达尔能源公司);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心)
带有集成的自动机器学习(或带有集成的AutoML)旨在自动构建深度神经网络(DNN)的集成,以实现定性预测。DNN的包围是众所周知的,以避免过度拟合,但他们是内存和时间消耗的方法。因此,理想的AutoML将在一个单一的运行时间中产生关于准确性和推理速度的不同集合。虽然以前的AutoML工作专注于搜索最佳模型以最大限度地提高其泛化能力,但我们提出了一种新的AutoML来构建更大的准确和多样化的个体模型库,然后构建集成。首先,我们广泛的基准测试表明,异步Hyperband是构建大量不同模型以组合它们的有效且健壮的方法。在此基础上,提出了一种基于多目标贪心算法的集成选择方法,通过控制计算代价来生成准确的集成。最后,我们提出了一种新的算法来优化的DNN集成在GPU集群的基础上分配优化的推理。所产生的AutoML与集成方法在训练阶段和推理阶段都使用高效的GPU集群在两个数据集上显示出稳健的结果。
2022-08-30 cs.DC cs.LG
Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution
Northeastern University(东北大学);College of William and Mary(威廉与玛丽学院);ETH Zürich(苏黎世联邦理工学院)
基于深度学习的超分辨率(SR)由于其高的图像质量性能和广泛的应用场景,近年来获得了巨大的普及。然而,现有的方法通常遭受大量的计算和巨大的功耗,导致实时的【形】推理困难,特别是在诸如移动设备的资源有限的平台上。为了缓解这一问题,我们提出了一个编译器感知的SR神经架构搜索(NAS)框架,该框架使用自适应SR块进行深度搜索和每层宽度搜索。该方法直接将推理速度和SR损失考虑在内,在满足实时的【形】推理要求的同时,得到高图像质量的SR模型。代替在搜索过程期间的每次迭代测量移动设备上的速度,利用与编译器优化结合的速度模型来预测具有各种宽度配置的SR块的推理延迟,以实现更快的收敛。在此框架下,我们实现了实时的【形】SR推理,并在移动平台(Samsung Galaxy S21)的GPU/DSP上实现了720 p分辨率的SR推理,具有竞争力的SR性能(PSNR和SSIM)。
2022-07-25 cs.AR cs.CV cs.LG
TIP-Search: Time-Predictable Inference Scheduling for Market Prediction under Uncertain Load
Xibai Wang(王希拜)
提出TIP-Search框架,通过保形延迟分位数过滤、有限工作者调度和带约束在线专家选择,在不确定负载下实现市场预测的时间可预测推理,显著提升及时准确率和截止时间满足率。
2026-06-24 cs.AI cs.LG cs.SY