Scalable Inference Architectures for Compound AI Systems: A Production Deployment Study
可扩展的推理架构用于复合AI系统:一种生产部署研究
机构 * Agentforce AI Platform, Salesforce India Pvt Ltd(Agentforce AI平台,Salesforce印度私人有限公司)
AI总结 本文研究了一种模块化、平台无关的推理架构,用于支持复合AI应用,如Agentforce和ApexGuru,展示了其在降低延迟、提升吞吐量和节省成本方面的成效。
Comments Accepted to the ACM Conference on AI and Agentic Systems (ACM CAIS 2026)