XGrammar-2: Dynamic and Efficient Structured Generation Engine for Agentic LLMs
XGrammar-2: 面向智能体LLM的高效动态结构化生成引擎
机构 * Shanghai Jiao Tong University(上海交通大学) ; Carnegie Mellon University(卡内基梅隆大学) ; Carnegie Mellon University, NVIDIA(卡内基梅隆大学,NVIDIA)
专题命中 工具调用 :agentic(title,abstract);分类 cs.AI
AI总结 针对智能体LLM中动态结构化生成(如工具调用和响应协议)的挑战,提出XGrammar-2引擎,通过标签触发结构切换和跨语法子结构缓存实现高效编译与近零开销。
Comments 9 pages, ACM CAIS 26