Knowledge Compilation in Multi-Agent Epistemic Logics
Jinan University(暨南大学);Griffith University(格里菲斯大学);Guangdong Institute of Public Administration(广东行政学院)
认知逻辑是多智能体系统的主要形式,但在这样的认知逻辑的主要推理任务是棘手的,这阻碍了多智能体认知逻辑在自动规划中的应用。知识编译提供了一个很有前途的方式来解决棘手的识别表达片段的认知逻辑是易处理的重要推理任务,如可满足性和遗忘。逻辑可分性的属性允许将公式分解成其子公式,从而可以开发用于各种推理任务的模块化算法。本文利用逻辑可分性,通过定义一个范式SDNF,提出了一种对逻辑Kn进行知识编译的方法。在几个新的结果,我们表明,每一个认知公式可以等价地编译成一个公式在SDNF,主要的推理任务在SDNF是易处理的,和公式在SDNF享有逻辑可分性。我们的研究结果揭示了一些模块化的知识编译方法。此外,我们将我们的结果应用于多智能体认知规划。最后,我们将上述结果推广到K45n,即Kn由内省公理4和5推广的逻辑。
2018-06-28 cs.AI
Efficient Explanations for Knowledge Compilation Languages
Université de Toulouse(图卢兹大学);Monash University(莫纳什大学);Université Paul Sabatier(保罗·萨巴蒂埃大学);IRIT(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心)
知识编译(KC)语言的实际用途越来越多,包括约束编程(CP)和机器学习(ML)。在大多数应用程序中,一个自然的问题是如何解释由KC语言表示的模型做出的决策。本文表明,许多最有名的KC语言,众所周知的类的解释可以计算在多项式时间。这些类包括确定性可分解否定范式(d-DNNF),以及任何严格不如d-DNNF简洁的KC语言。此外,本文还研究了解释的多项式时间计算可以推广到比d-DNNF更简洁的KC语言的条件。
2021-07-08 cs.AI
Tractable Bounding of Counterfactual Queries by Knowledge Compilation
IDSIA(瑞士人工智能研究所);UCLA(加州大学洛杉矶分校)
针对Pearl结构因果模型中反事实等部分可识别查询的边界计算问题,提出基于单次符号知识编译为带符号参数算术电路的方法,结合并行化技术,实现最高达一个数量级的推理加速。
2023-10-05 cs.AI
Fusing First-order Knowledge Compilation and the Lifted Junction Tree Algorithm
University of Lübeck(吕贝克大学)
一阶结构的概率形式化推理的标准方法包括单次查询的提升变量消除(LVE)以及基于加权模型计数的一阶知识编译(FOKC)。为了有效地处理多个查询,提升连接树算法(LJT)使用模型的一阶聚类表示和LVE作为其计算中的子例程。对于某些输入,LVE的实现,以及因此LJT接地模型的FOKC具有提升运行的部分。本文的目的是准备LJT作为提升推理的骨干,并使用任何精确的推理算法作为子程序。在LJT中使用FOKC可以让我们在某些输入下比LJT、LVE和FOKC更快地计算答案。
2018-07-02 cs.AI
New Limits for Knowledge Compilation and Applications to Exact Model Counting
University of Washington(华盛顿大学)
我们展示了新的限制使用现有技术的效率,使大类的自然问题的精确概率推理。特别是,我们展示了新的知识编译SDD和DNNF形式的下限。我们给出了强有力的下限SDD表示的复杂性SDD的大小,最佳分区通信复杂性。我们使用这种关系来证明指数下界的SDD的大小代表了一个大类的问题,自然发生的概率数据库查询。结果是,对于表示联合查询的联合,SDD在质量上并不比OBDD更简洁。我们还推导出简单的例子,SDDs必须是指数比FBDD简洁。最后,我们推导出指数下界的DNNF表示使用一个新的拟多项式模拟DNNF的非确定性FBDD的大小。
2015-08-19 cs.AI
Knowledge compilation languages as proof systems
在本文中,我们研究证明系统的Cook-Reckhow意义上的问题,是更高的多项式层次比coNP,特别是,#SAT和maxSAT。我们首先解释如何的概念Cook-Reckhow证明系统可以应用到这些问题,并显示如何可以扭曲现有的语言在知识编译,如决策DNNF,使他们可以被视为证明系统的问题,如#SAT和maxSAT。
2019-03-10 cs.AI cs.CC
Boolean Nearest Neighbor Language in the Knowledge Compilation Map
Charles University(查尔斯大学)
该研究针对布尔最近邻(BNN)表示法,通过比较其与知识编译图谱(KCM)中标准语言的简洁性、确定相关查询与变换的复杂度,明确了BNN语言在KCM中的定位。
2024-10-28 cs.AI
Approximate Model Counting by Partial Knowledge Compilation
College of Computer Science and Technology(计算机科学与技术学院);Jilin University(吉林大学)
模型计数是计算给定命题公式的满足赋值的数量的问题。尽管大多数知识编译方法都能自然地提供精确的模型计数器,但在实际应用中,由于模型数量的爆炸性增长,它们无法为某些公式生成精确的模型计数结果。Decision-DNNF是一种重要的KC语言,它捕获了大多数实用编译器。通过引入一类新的叶顶点(称为未知顶点),提出了一种广义的Decision-DNNF(称为部分Decision-DNNF),并提出了一种算法PartialKC,从给定的公式中随机生成部分Decision-DNNF公式。模型数的无偏估计可以通过随机部分决策DNNF公式计算。PartialKC的每次调用由MicroKC的多次调用组成,而后者的每次调用是配备有KC技术的重要性采样的过程。实验结果表明,PartialKC比SampleSearch和SearchTreeSampler更准确,比SearchTreeSampler更好地扩展,KC技术可以明显加速采样。
2018-05-18 cs.AI
Phase Transition Behavior in Knowledge Compilation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);School of Computing, National University of Singapore(新加坡国立大学计算学院)
对SAT中相变行为的研究导致了对现代SAT求解器的更深入理解和算法改进。出于这些先前的研究SAT中的相变,我们试图研究的行为的大小和编译时的行为随机k-CNF公式的知识编译的背景下。我们对不同知识编译形式(及其相应的编译算法)的大小和运行时行为进行了严格的实证研究和分析:d-DNNF,SDD和OBDD跨多种工具和编译算法。我们采用从随机k-CNF模型与不同的生成参数生成的实例,以经验为理由的预期和中位数的行为的大小和编译时间为这些语言。我们的工作在精神上类似于CSP社区中关于SAT/CSP中相变行为的早期工作。在类似的精神,我们确定有趣的行为相对于不同的参数:子句密度和解决方案密度,一个新的控制参数,我们确定的相变行为的研究背景下的知识汇编。此外,我们总结了我们的实证研究在两个具体的结构方面,这些结构的严格研究可能需要新的理论工具。
2020-07-20 cs.AI cs.LO
The Compilation of Decision Models
Stanford(斯坦福大学);Rockwell International Science Center(罗克韦尔国际科学中心)
我们从决策理论的角度介绍和分析了决策模型的编制问题。所描述的技术使我们能够评估各种配置的编译知识的性质,在一个域中的证据关系,与替代行动,运行时延迟的成本,和内存的成本相关联的实用程序。我们描述的程序,选择一个子集的总观测可纳入一个编译的情况下,行动映射,在一个二元决策的背景下,有条件的独立证据。这些方法允许我们逐步选择最好的证据来添加到工程设置中的编译知识集。在介绍了几种编译方法后,我们使用其中一种方法来深入了解证据权重的分布与编译的首选程度之间的关系。
2013-03-27 cs.AI
An extended Knowledge Compilation Map for Conditional Preference Statements-based and Generalized Additive Utilities-based Languages
IRIT(图卢兹计算机研究所);CNRS(法国国家科学研究中心);Centre de Recherche en Informatique de Lens (CRIL)(朗斯计算机研究中心)
本文扩展条件偏好语句语言的知识编译图,分析优化、支配之外的等价性、条件化和变量消去等查询与转换的复杂性,并研究广义加性效用的表达能力及相关复杂度。
2024-01-23 cs.AI cs.CC
Knowledge Compilation with Continuous Random Variables and its Application in Hybrid Probabilistic Logic Programming
KU Leuven(鲁汶大学)
在概率推理中,传统的离散域已被提升到包含额外连续随机变量的混合域。然而,在混合域中的推理通常需要对离散或连续随机变量的推理进行权衡。我们介绍了一种新的方法,加权模型集成和代数模型计数的基础上,规避这些权衡。然后,我们展示了它如何支持知识编译和精确的概率推理。此外,我们引入了混合概率逻辑程序设计语言HAL-ProbLog,ProbLog的扩展,我们适用于我们的推理方法。
2018-07-12 cs.AI cs.LO cs.PL
WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems
Zinnia Tech Solutions(Zinnia科技解决方案)
本文提出WiCER算法,通过迭代编译、评估和细化维基内存,解决LLM维基系统中知识编译的差距问题,显著提升知识检索质量并减少灾难性失败。
2026-05-08 cs.AI cs.CL
Compilation-based Solvers for Multi-Agent Path Finding: a Survey, Discussion, and Future Opportunities
Faculty of Information Technology(信息技术学院);Czech Technical University in Prague(捷克理工大学)
多智能体路径寻找(MAPF)在人工智能领域以及机器人领域和仓储物流等领域都受到了广泛的关注。标准MAPF中的任务是找到路径,通过该路径,智能体可以从其起始位置导航到指定的各个目标位置。两个额外要求的组合使得问题在计算上具有挑战性:(i)代理必须不相互碰撞,以及(ii)路径必须相对于某些目标是最优的。最佳MAPF求解的两种主要方法包括(1)直接求解MAPF的专用基于搜索的方法,以及(2)将MAPF实例简化为不同的良好建立的形式主义中的实例的基于编译的方法,对于该方法存在有效的求解器。基于编译的MAPF求解可以受益于目标求解器开发过程中积累的进步,通常长达数十年。我们总结和比较当代基于编译的求解器MAPF使用ASP,MIP和SAT等形式主义。我们展示了从过去的发展和当前的趋势中吸取的教训,并讨论了其更广泛的影响。
2021-04-23 cs.AI cs.MA
Explainability of Intelligent Transportation Systems using Knowledge Compilation: a Traffic Light Controller Case
Boston University(波士顿大学);Queen’s University(女王大学);IBM Research AI(IBM研究院)
对环境做出决定的自动控制器的使用是广泛的,并且通常基于黑盒模型。我们使用知识编译理论,使可解释性的控制器的决定,给定的系统的状态。为此,我们使用模拟的历史状态-动作数据作为输入,并构建一个紧凑的结构化表示,将状态与动作联系起来。我们实现这种方法在交通灯控制的情况下,控制器选择光周期通过观察车辆的存在(或不存在)在不同区域的传入道路。
2020-07-09 cs.AI cs.HC cs.LO
Efficient Computation of Shap Explanation Scores for Neural Network Classifiers via Knowledge Compilation
Millennium Institute for Foundational Research on Data(千年基础数据研究所);SKEMA Business School(SKEMA商学院);Universidad Adolfo Ibáñez(阿道夫·伊瓦涅斯大学)
针对神经网络这类黑盒分类器的Shap解释得分计算难解问题,提出基于逻辑知识编译将二值神经网络转换为可高效计算Shap的布尔电路的方法,实验显示性能提升显著。
2023-07-23 cs.AI cs.DB cs.LG
Scaling up Probabilistic Inference in Linear and Non-Linear Hybrid Domains by Leveraging Knowledge Compilation
University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
加权模型集成(WMC)扩展了加权模型计数(WMC),为混合离散-连续域中的概率推理提供了计算抽象。WMC已经成为一种汇编语言,用于贝叶斯网络、因子图、概率程序和概率数据库中的最先进推理。在这方面,XML显示出更广泛应用的巨大前景,特别是当许多现实世界的应用程序涉及连续和混合的属性和特征空间时。尽管如此,最先进的工具,用于验证是有限的,不成熟的比他们的命题同行。在这项工作中,我们提出了一个新的实现机制,利用命题知识编译扩展推理。特别是,我们使用的决策图,一个易于处理的表示布尔函数,作为底层的模型计数和模型枚举计划。我们的政权执行竞争力的国家的最先进的pronunciation系统,但也被证明可以处理一个特定的类的非线性约束的非线性潜力。
2020-01-13 cs.AI cs.LO
Ontology-to-tools compilation for executable semantic constraint enforcement in LLM agents
University of Cambridge(剑桥大学);CMCL;CMPG
本体到工具的编译用于LLM代理中的可执行语义约束强制,通过生成知识图谱实例来强制执行语义约束,减少手动工程。
2026-02-03 cs.AI cs.IR
From Question-First to Analyst-First: Domain-Expert Skills and Verified Knowledge Compilation for Proactive Enterprise Analytics
该研究提出了一种从问题优先转为分析师优先的主动企业分析系统,通过领域专家技能抽象与离线知识编译循环实现,无需查询日志,可生成验证过的报告与建议问题。
2026-09-01 cs.AI
Beyond the Grounding Bottleneck: Datalog Techniques for Inference in Probabilistic Logic Programs (Technical Report)
Cardiff University(卡迪夫大学);Samsung AI Research(三星人工智能研究院)
概率逻辑编程中的最先进的推理方法通常通过相对于感兴趣的查询计算相关的基础程序开始,然后使用该程序进行使用知识编译和加权模型计数的概率推理。我们提出了一种替代方法,使用高效的数据库技术集成知识编译与正向推理与非地面程序。这有效地消除了接地瓶颈,到目前为止,已经禁止概率逻辑编程的查询应答场景中的应用程序在知识图谱,同时还提供了快速近似的经典基准在该领域。
2019-11-18 cs.AI
Efficient Knowledge Compilation Beyond Weighted Model Counting
TU Vienna(维也纳工业大学);KU Leuven(鲁汶大学)
逻辑编程的定量扩展通常需要解决所谓的第二级推理任务,即,在加法和乘法之上涉及第三操作(诸如最大化或归一化)的问题,并且因此超出了分布语义下的概率逻辑编程的公知的加权或代数模型计数设置。我们引入二级代数模型计数(2AMC)作为这些问题的通用框架。由于2AMC是(代数)模型计数的forall-exists-SAT是命题可满足性,这是出了名的难以解决。基于知识编译(KC)的第一级技术已被改编为特定的2AMC实例施加可变的顺序约束所产生的电路。然而,这些约束会严重增加电路尺寸,从而降低这种方法的效率。我们表明,我们可以利用2AMC问题的逻辑结构,省略这些约束的一部分,从而限制了负面影响。此外,我们引入并实现了一个策略,以产生一个足够的约束静态,与先验保证KC的性能。我们对几个基准和任务的实证评估证实了我们的理论结果可以转化为更有效的解决在实践中。正在考虑接受TPLP。
2022-05-16 cs.AI cs.LO
Variance Computation for Weighted Model Counting with Knowledge Compilation Approach
Communication Science Laboratories, NTT, Inc.(NTT通信科学实验室)
本文研究了加权模型计数方差的计算问题,提出了一种多项式时间算法,并证明了在不同知识编译格式下的计算复杂性,同时展示了其在贝叶斯网络不确定性分析中的应用。
2026-04-15 cs.AI cs.DS
LLMs Interpret, Embeddings Organize, Graphs Emerge: Agent-Driven Compilation of Scientific Knowledge
Capital Normal University(首都师范大学);Putian University(莆田大学)
本研究在ASKS系统中实现智能体驱动的科学知识编译,通过LLM生成维基视图与语义、嵌入及图规则整合变更,编译56篇论文得到可追溯研究画像,图内容关联原始来源记录。
2026-09-01 cs.AI cs.DL cs.IR
Cognitive Agent Compilation for Explicit Problem Solver Modeling
Carnegie Mellon University(卡内基梅隆大学)
本文提出Cognitive Agent Compilation框架,利用强教师LLM将问题解决知识编译为显式目标代理,旨在提高教育场景中问题解决的可检查性和可编辑性。
2026-05-07 cs.AI cs.CL cs.CY
Understanding the complexity of #SAT using knowledge compilation
Birkbeck College, University of London(伦敦大学伯贝克学院)
到目前为止,已经使用了两种主要技术来解决#P-hard问题#SAT。第一个,在实践中使用,是基于扩展的DPLL的模型计数称为穷举DPLL。第二种方法,更多的理论,利用输入的结构来计算满意的分配的数量,通常使用一个动态规划计划的公式的分解。在本文中,我们对这两种技术的分离,展示了一个家庭的公式,可以解决在多项式时间的第一种技术,但需要一个指数的时间与第二个。我们通过观察这两种技术隐式地构建一个非常具体的布尔电路等效于输入公式。然后,我们表明,每一个β-非循环公式可以表示为一个多项式大小的电路对应的第一种方法,并表现出一个家庭的β-非循环公式,不能表示为多项式大小的电路对应的第二种方法。这一结果揭示了一个新的光的复杂性#SAT和相关问题的β-无环公式。作为一个副产品,我们提供了新的方便的工具来设计算法的β-无圈超图。
2017-01-05 cs.AI cs.CC
KGCompiler: Deep Learning Compilation Optimization for Knowledge Graph Complex Logical Query Answering
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
针对知识图谱复杂逻辑查询回答中推理时间和内存随算子数量显著增加的问题,提出首个专为CLQA任务设计的深度学习编译器KGCompiler,通过KG特定优化在无需人工修改代码的前提下提升推理性能并降低内存,实现平均3.71倍加速。
2025-03-04 cs.AI cs.SE
Visual Graph Reasoning via Knowledge Compilation
University of Electronic Science and Technology of China(电子科技大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
提出VGCompiler,通过表示编译器和操作编译器从图图像中恢复显式图表示并编译查询意图,利用强化学习训练,在多个基准上显著超越现有方法,并泛化至真实世界领域。
2026-09-22 cs.AI cs.CV cs.MM
On the Complexity of SHAP-Score-Based Explanations: Tractability via Knowledge Compilation and Non-Approximability Results
Universidad Católica de Chile(智利天主教大学);IMFD Chile(智利数学与计算工程研究所);National Center for Artificial Intelligence, CENIA Chile(智利国家人工智能中心(CENIA));SKEMA Business School(SKEMA商学院);Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
在机器学习中,$\mathsf{SHAP}$ -score是Shapley值的一个版本,用于通过为每个特征分配分数来解释特定实体上学习模型的结果。虽然在一般计算Shapley值是一个棘手的问题,我们证明了一个强有力的积极的结果,说明$\mathsf{SHAP}$分数可以计算在多项式时间确定性和可分解的布尔电路。这种电路在知识编译领域中被研究,并且推广了广泛的布尔电路和二元决策图类,包括二元决策树和有序二元决策图(OBDD)。我们还建立了SHAP分数的计算限制,通过观察,计算它在一类布尔模型总是多项式一样难的模型计数问题,该类。这意味着决定性和可分解性都是我们考虑的电路的基本属性。这也意味着,计算$\mathsf{SHAP}$ -分数是棘手的,以及在类的命题公式在DNF。基于这个否定的结果,我们寻找存在的全多项式随机近似计划(FPRAS)计算$\mathsf{SHAP}$ -分数在这样的类。相反,DNF公式的模型计数问题,它承认一个FPRAS,我们证明了没有这样的FPRAS存在的计算$\mathsf{SHAP}$ -分数。令人惊讶的是,这个负结果甚至对DNF中的单调公式类也成立。这些技术可以进一步扩展以证明另一个强否定结果:在广泛相信的复杂性假设下,没有多项式时间算法来检查给定单调DNF公式$φ$和特征$x,y$,$φ$中的$x$的$\mathsf{SHAP}$分数是否小于$φ$中的…
2023-03-30 cs.AI cs.CC
Ordered {AND, OR}-Decomposition and Binary-Decision Diagram
在知识编译(KC)的背景下,我们研究了增加两种分解节点的有序二元决策图(OBDD)的效果,即,与-顶点和或-顶点,分别表示命题知识库的合取和析取分解。由此产生的知识编译语言被称为有序{AND,OR}-分解和二进制决策图(OAODD)。粗略地说,以前的几种语言可以被看作是特殊类型的OAODD,包括OBDD,与/或二元决策图(AOBDD),带有隐含文字的OBDD(OBDD-L),多级分解图(MLDD)。一方面,我们提出了一些家庭的算法,可以将一些片段的OAODD到其他人;另一方面,我们提出了一套丰富的多项式时间算法,执行逻辑运算。根据这些算法,以及理论分析,我们描述的空间效率和易处理的OAODD和它的一些片段相对于评价标准的KC地图。最后,给出了一个将负范式公式转换为OAODD的编译算法。
2014-10-27 cs.AI cs.LO
Neuro-symbolic learning over OWL 2 DL via consequence-based compilation to differentiable circuits
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
该研究提出Baobab,将$\text{SROIQ}$本体编译为可微句子决策图,结合神经感知与本体推理,在MNIST任务上缓解非Horn描述逻辑中的推理捷径,实现贝叶斯最优后验。
2026-08-19 cs.AI
Binary Decision Diagrams for Affine Approximation
The University of Melbourne(墨尔本大学)
Selman和Kautz关于“知识编译”的工作建立了如何近似(加强和/或削弱)命题知识库可以用来加速查询处理,以牺牲完整性为代价。在这种经典的方法中,查询使用给定知识库的Horn过近似和欠近似,该知识库表示为合取范式(CNF)中的命题公式。除了Horn函数类之外,人们还可以想象其他布尔函数类,它们可能具有相同的目的,因为它们具有与Horn函数类似的有吸引力的演绎计算性质。事实上,Zanuttini已经提出仿射布尔函数类在知识编译中可能是有用的,并提出了仿射近似算法。由于CNF是笨拙的仿射函数,Zanuttini认为这两个集的模型表示和使用模2同余方程。在本文中,我们提出了一种基于约简有序二叉决策图(ROBDDs)的算法。这导致了一个表示,这是更紧凑的模型集,一旦我们建立了一些有用的性质仿射布尔函数,一个更有效的算法。
2008-04-01 cs.AI cs.LO
CCDD: A Tractable Representation for Model Counting and Uniform Sampling
Jilin University(吉林大学);National University of Singapore(新加坡国立大学)
知识编译涉及将表示语言编译为目标语言,以支持来自计算机科学的不同领域的各种易于处理的操作。易处理的目标编译语言通常通过对NNF内部节点的限制来实现。在本文中,我们提出了一个新的表示语言CCDD,它引入了新的限制合取节点捕捉等价的文字。我们表明,CCDD支持两个关键的查询,模型计数和统一采样,在多时间。我们提出的算法和编译器编译CNF到CCDD表示的命题公式。在大量基准测试中的实验表明,我们的编译时间比最先进的Decision-DNNF,SDD和OBDD[AND]编译器更好。我们将这些技术应用于模型计数和均匀采样,并在CNF上开发了模型计数器和均匀采样器。我们的经验评估证明了以下显著的改进:我们的模型计数器可以解决885个实例,而现有技术仅解决了843个实例,代表43个实例的改进;并且我们的均匀采样器可以解决780个实例,而现有技术仅解决了648个实例,代表132个实例的改进。
2022-02-21 cs.AI cs.LO
TensorLog: A Differentiable Deductive Database
Carnegie Mellon University(卡内基梅隆大学)
大型知识库(KBs)在许多任务中都很有用,但目前还不清楚如何将这种知识集成到“深度”基于梯度的学习系统中。为了解决这个问题,我们描述了一个概率演绎数据库,称为TensorLog,其中推理使用可微过程。在TensorLog中,逻辑理论中的每个子句首先被转换为某种类型的因子图。然后,对于因子图的每种类型的查询,执行置信传播(BP)所需的消息传递步骤被“展开”为一个函数,该函数是可微的。我们表明,这些功能可以组成递归进行推理,在非平凡的逻辑理论包含多个相互关联的条款和谓词。TensorLog中的编译和推理都是高效的:编译在理论大小和证明深度方面是线性的,推理在数据库大小和BP中使用的消息传递步骤数量方面是线性的。我们还展示了TensorLog的实验结果,并讨论了它与其他一阶概率逻辑的关系。
2016-07-19 cs.AI cs.DB cs.LG
FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs
Tsinghua University(清华大学);Infinigence-AI(无问芯穹);Shanghai Jiao Tong University(上海交通大学)
本文提出FlightLLM,一种在FPGA上实现高效大语言模型推理的完整映射流程,通过可配置稀疏DSP链、片上解码方案和长度自适应编译方法,在能效、成本效益和吞吐量上显著优于商用GPU。
2024-01-09 cs.AI cs.AR