Disambiguation-Centric Finetuning Makes Enterprise Tool-Calling LLMs More Realistic and Less Risky
SAP Labs(SAP实验室)
本文提出DiaFORGE框架,通过三阶段流程提升企业工具调用LLM的准确性和安全性,实验显示其在工具调用成功率上优于GPT-4o和Claude-3.5-Sonnet。
2026-04-11 cs.AI cs.CL cs.LG
Protect: Towards Robust Guardrailing Stack for Trustworthy Enterprise LLM Systems
FutureAGI Inc.(未来人工智能公司)
Protect是原生多模态护栏模型,通过LoRA适配器和教师辅助标注,在文本、图像、音频上实现毒性、性别歧视、数据隐私和提示注入检测,性能超越现有模型。
2025-10-15 cs.AI cs.CL
The Instruction Gap: LLMs get lost in Following Instruction
Vishesh Tripathi;Uday Allu;Biddwan Ahmed
本研究揭示了LLMs在企业部署中遵循指令的不足,通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳,指出指令遵循能力的鸿沟及改进方向。
2025-12-19 cs.AI cs.CL
Higress-RAG: A Holistic Optimization Framework for Enterprise Retrieval-Augmented Generation via Dual Hybrid Retrieval, Adaptive Routing, and CRAG
School of Computer Science, Northwestern Polytechnical University(计算机学院,西北工业大学)
Higress-RAG通过双混合检索、自适应路由和CRAG实现企业检索增强生成的综合优化,提升检索精度与生成可靠性。
2025-12-30 cs.AI cs.CL cs.IR
Enterprise-Grade Security for the Model Context Protocol (MCP): Frameworks and Mitigation Strategies
Amazon Web Services(亚马逊网络服务);Adversarial AI Security reSearch (A2RS)(对抗性AI安全研究)
本文针对MCP协议引入的新型安全威胁,通过系统威胁建模提出企业级缓解框架与可操作安全模式,为AI系统的安全企业采用提供治理指导。
2025-05-02 cs.AI cs.CR
Graph-Guided Selective Unlearning for Language Models: Controlling Support Routes Beyond Forget Seeds
提出GRAPHSU图引导控制器,扩展语言模型选择性遗忘的删除范围,在TOFU和PISTOL基准上,相较仅种子基准降低最多49.5个百分点的软泄漏,验证控制支持路径的重要性。
2026-08-28 cs.AI
TingIS: Real-time Risk Event Discovery from Noisy Customer Incidents at Enterprise Scale
Ant Group(蚂蚁集团);Shanghai Jiao Tong University(上海交通大学)
提出TingIS系统,通过多阶段事件链接引擎结合高效索引与大型语言模型,从嘈杂客户事件中稳定提取可操作事件,实现企业级实时风险发现。
2026-05-22 cs.AI cs.CL cs.LG
Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning
TCS Research(塔塔咨询服务公司研究院);IIT Dharwad(达尔瓦德印度理工学院);IIIT Pune(浦那印度信息技术学院)
针对时空预测难以处理大型复杂数据集的问题,提出结合开源大/小型语言模型与传统预测方法的混合框架,利用动态提示、多头注意力机制及LoRA-AMR技术实现跨模态集成,在真实数据集上显著提升了预测准确性。
2024-08-26 cs.AI cs.LG
Falcon: A Comprehensive Chinese Text-to-SQL Benchmark for Enterprise-Grade Evaluation
Ant Group(蚂蚁集团)
该研究推出面向企业场景的中文Text-to-SQL基准Falcon,基于真实企业数据与MaxCompute/Hive方言,配套自动化评估工具,揭示当前大模型在企业级中文Text-to-SQL任务上的不足与核心难点。
2025-10-23 cs.AI cs.CL
RovoDev Code Reviewer: A Large-Scale Online Evaluation of LLM-based Code Review Automation at Atlassian
Monash University \& Atlassian Australia.;Monash University \& Atlassian
RovoDev Code Reviewer通过大规模评估展示了基于LLM的代码审查自动化在提升效率和质量方面的效果
2026-01-20 cs.AI cs.CL cs.LG
GRID: Grammar-Railed Decoding for Enterprise SQL Generation
evolutionID GmbH(进化ID有限公司)
研究针对企业SQL生成需求,提出GRID语法约束解码引擎,通过特定方式确定令牌掩码,编译角色访问控制,有四个保证。经实验,Rust内核降低掩码时间,在Spider上约束解码提升模型可执行率,还具备审计跟踪和篡改检测功能。
2026-07-15 cs.AI cs.CL cs.FL
ENCO: Life-Cycle Management of Enterprise-Grade Copilots
Microsoft(微软公司);Carnegie Mellon University(卡内基梅隆大学)
ENCO 通过 DECO 框架提升企业级协作者的生命周期管理,实现高效检索增强生成和自动化资源访问,提高工程效率。
2026-01-11 cs.AI cs.SE
UI-CUBE: Enterprise-Grade Computer Use Agent Benchmarking Beyond Task Accuracy to Operational Reliability
UiPath Romania(UiPath罗马尼亚);UiPath UK(UiPath英国);UiPath France(UiPath法国)
UI-CUBE通过系统性测试揭示CUA在复杂流程中的性能断崖,表明内存管理等架构限制而非训练优化可解决
2025-11-21 cs.AI cs.SE
Beyond Prototyping: Autonomous, Enterprise-Grade Frontend Development from Pixel to Production via a Specialized Multi-Agent Framework
EdgeVerve Systems Limited(EdgeVerve系统有限公司);Infosys Limited(Infosys有限公司);Microsoft Corporation(微软公司);BCT Digital(BCT数字)
AI4UI通过专用多智能体框架实现自主企业级前端开发,提升从像素到生产的效率与质量。
2025-12-05 cs.AI cs.SE
THOR: Transformer Heuristics for On-Demand Retrieval
eSapiens
本文提出 THOR 模块,通过解耦编排架构、模式感知、自校正循环和只读护栏,将自然语言转换为安全的企业级 SQL 查询,使非技术用户无需 SQL 即可进行可靠的即席数据分析。
2025-07-17 cs.AI cs.DB
Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents
AWS Forward Deployed Engineering(AWS 前端部署工程部门);HSBC Holdings Plc.(汇丰控股有限公司)
该研究将可检查的缺陷检测器构成的协同演化验证器作为核心,在MBPP+等任务中优于裸LLM评判器,可替代真实值或评分规则,且下游任务得分无法证明其有效性。
2026-10-09 cs.AI cs.CL cs.LG
Z-Space: A Multi-Agent Tool Orchestration Framework for Enterprise-Grade LLM Automation
Rajax Network Technology (ele.me)(Rajax网络技术(ele.me))
Z-Space通过多智能体协作框架提升企业级LLM自动化工具调用效率与准确性
2025-11-23 cs.AI cs.SE
MathMixup: Boosting LLM Mathematical Reasoning with Difficulty-Controllable Data Synthesis and Curriculum Learning
CASIA(中国科学院自动化研究所);ZGCA(浙江大学);UCAS(中国科学技术大学);PKU(北京大学);ByteDance(字节跳动)
MathMixup通过难度可控的数据合成与课程学习策略,提升LLM的数学推理能力,实验显示其在多个基准测试中表现优于现有方法。
2026-01-14 cs.AI cs.LG
From Benchmarks to Business Impact: Deploying IBM Generalist Agent in Enterprise Production
IBM
IBM开发并试点了CUGA,展示了通用代理在企业生产环境中的应用,通过分层规划-执行架构实现先进性能,并在人才招聘领域验证其可扩展性和安全性。
2025-12-09 cs.AI
PolyWorkBench: Benchmarking LLM Agents for Cross-Lingual Long-Horizon Workflows
Beijing Jiaotong University(北京交通大学);Weixin AI, Tencent Inc(腾讯微云人工智能实验室)
研究多语言长视野工作流程中LLM智能体的表现,提出PolyWorkBench基准测试及结合多种评估方式的混合框架,发现最先进LLM智能体在多语言设置中性能降,强调联合建模语言变化和程序决策对智能体评估的重要性。
2026-08-18 cs.AI cs.CL
BADGER: Bridging Agentic and Deterministic Evaluation for Generative Enterprise Reasoning
Merkle Analytics
提出BADGER框架,统一文本到SQL评估与自主行为评估,通过混合执行准确率指标(Hybrid-EX)和自主评估套件,在工业查询上超越现有方法。
2026-06-01 cs.AI
Scaling Down the Scaling Laws: Parameter Efficiency and Compute-Optimal Training in Resource-Constrained Large Language Models
ECPI University(ECPI大学)
本文综述了LLM缩放定律向计算最优训练的演变,聚焦参数与数据效率,提出在资源受限环境下应综合性能、参数、计算成本等多维度评估效率。
2026-10-08 cs.AI cs.LG
State-of-the-art Small Language Coder Model: Mify-Coder
Infosys AI Research(英矽斯人工智能研究院);Mify Team(Mify团队)
Mify-Coder通过高效训练策略和数据优化,在保持高准确性和安全性的同时,实现了比更大模型更优的代码生成性能。
2025-12-26 cs.AI cs.CL cs.SE
ERPBench: A State-Grounded Evaluation Paradigm for Computer-Use Agents in Enterprise Software
Accenture(埃森哲)
针对ERP系统对计算机使用智能体的独特挑战,提出ERPBench基准,在实时ERP系统上按数据库真实值评分,发现强通用GUI性能不转化为企业可靠性,并刻画特有失败模式。
2026-09-24 cs.AI cs.CV cs.MA
Introducing Axlerod: An LLM-based Chatbot for Assisting Independent Insurance Agents
The Beacom College of Computer and Cyber Sciences, Dakota State University(计算机与网络安全学院,达科他州立大学)
Axlerod是一种基于大语言模型的聊天机器人,旨在通过自然语言处理、检索增强生成和领域知识整合,提高独立保险代理的工作效率。
2025-12-24 cs.AI cs.CL cs.HC
A Multimodal GUI Architecture for Interfacing with LLM-Based Conversational Assistants
本文提出一种通过MCP暴露导航图和语义的多模态GUI架构,使基于LLM的语音助手能控制界面,并评估了本地开放权重模型的可行性。
2025-10-09 cs.AI cs.HC
Graph Query Generation with Constraint-guided Large Language Agents
Case Western Reserve University(凯斯西储大学);Amazon(亚马逊);Meta
本文提出UniQGen框架,利用大语言模型动态提取和优化图查询子句,提升查询准确性和效率,在多个基准测试中表现优异,适用于企业级知识图谱问答。
2026-04-09 cs.AI cs.CL cs.DB
Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes
本文提出A.DOT规划框架,通过编译自然语言查询为DAG执行计划,实现多模态多跳问答,提升准确性和效率,并生成可追溯的证据链。
2026-03-15 cs.AI cs.SE
Domain-Adaptive ASR for Telephony AI Agents: Fine-tuning Canary Flash Models for Enterprise Contact Center Applications
Botnoi Group(博特诺伊集团)
本研究基于NVIDIA NeMo框架微调Canary Flash模型,构建电话导向数据集,经四项实验验证其可提升电话环境下ASR的识别性能,同时保持实时响应性。
2026-08-27 cs.AI cs.SD
Toward Epistemic Stability: Engineering Consistent Procedures for Industrial LLM Hallucination Reduction
Trane Technologies(特纳技术公司)
本文提出并比较了五种提示工程策略,旨在减少模型输出的方差,实现可重复、基于事实的结果。通过LLM-as-Judge框架评估,M4在100次试验中均表现最佳,M2在v2版本中提升显著。
2026-04-05 cs.AI cs.HC cs.SE
What Could the Agent See at 19:05? Generating Temporal Enterprise Scenarios from Real Research and Replaying Them to Evaluate Agents
Microsoft(微软公司)
本研究提出从真实研究生成时间化企业场景并回放的系统,用于解决现有离线评估智能体仅基于最终静态快照的问题,可在任意时刻评估可插拔智能体。
2026-08-04 cs.AI cs.HC cs.LG
FinRobot: Generative Business Process AI Agents for Enterprise Resource Planning in Finance
AI4Finance Foundation(AI4Finance基金会);Columbia University(哥伦比亚大学);New York University Shanghai(纽约大学上海分校)
本文提出面向ERP系统的生成式业务流程AI智能体框架GBPAs,通过生成式AI与多智能体编排实现财务工作流端到端自动化,实验显示处理时间最多降低40%、错误率降低94%。
2025-06-02 cs.AI cs.SE q-fin.GN
Architecting Agentic Communities using Design Patterns
School of Computer Science and Engineering, University of New South Wales, Sydney, Australia(新南威尔士大学计算机科学与工程学院,悉尼,澳大利亚);Deontik, Australia(澳大利亚德诺提克)
本文提出基于企业分布式系统设计模式的三层分类架构(LLM智能体、智能体AI、智能体社区),并通过临床试验匹配案例验证其形式化框架,为多智能体生态系统的工程化部署提供实践指导与形式化验证能力。
2026-05-25 cs.AI
Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
Finch通过真实企业工作流评估AI代理,包含数据录入、结构化、格式化等任务,涵盖预算、交易等多领域,展示了AI在复杂企业工作流中的挑战。
2026-04-15 cs.AI cs.CE cs.IR
A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems
Worcester Polytechnic Institute(伍斯特理工学院)
本文通过生命周期与应用栈视角系统化梳理大语言模型系统的漏洞,涵盖数据收集、预训练、对齐、供应链、检索、推理、工具执行和部署等阶段,分析攻击、风险与防御,并提出安全研究议程。
2026-07-01 cs.AI cs.CR cs.GT
Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
TextQL
Argo-Bench是一个评估框架,通过模拟纽约市外卖平台并构建企业级数据仓库,测试数据智能体在复杂工作流中的推理与行动能力,超越传统文本到SQL基准。
2026-10-02 cs.AI cs.CL cs.DB
OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
Databricks AI Research(Databricks人工智能研究)
OfficeQA Pro 是一个企业级基准测试,评估 AI 代理在大规模文档语料库上进行端到端 grounded 推理的能力,发现结构化文档表示可显著提升性能。
2026-03-09 cs.AI cs.CL cs.IR
PACT: Can Enterprise AI Assistants Be Trusted Under Pressure?
PACT基准通过模拟压力场景测试企业LLM代理的规则遵循能力,发现即使最强模型也有6-10%的违规率,且用户压力使违规率平均增加65%,凸显合规风险并指导模型选择。
2026-09-17 cs.AI cs.CL cs.CY
POLARIS: Typed Planning and Governed Execution for Agentic AI in Back-Office Automation
University of California, Irvine(加州大学尔湾分校);Center for Advanced AI, Accenture(Accenture高级人工智能中心);University of California, San Diego(加州大学圣地亚哥分校)
POLARIS通过类型化规划和受控执行框架,提升后台自动化中代理AI的政策一致性与可预测性,实现高精度任务处理与审计追踪。
2026-01-16 cs.AI
DataClawEval: A Benchmark for Data Engineering Agents in Real Industrial Harness
Tencent(腾讯);Xidian University(西安电子科技大学);South China Normal University(华南师范大学)
DataClawEval是首个针对真实工业数据工程场景的智能体基准,含100项跨5种引擎的任务,用确定性脚本评分,评估16个前沿智能体发现最强模型仅得74.9分,自主数据工程仍是挑战。
2026-07-31 cs.AI
Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills
NVIDIA(英伟达)
该研究提出ACES框架,通过配对实际 trials等方式评估技能附加价值,实验表明其能发现扫描式审核无法观测的信号,开源实现已在NVIDIA SkillEvaluator中提供。
2026-08-24 cs.AI
Mi:dm K 2.5 Pro
针对企业场景尤其是韩语领域大模型推理等能力不足的问题,推出32B参数的Mi:dm K 2.5 Pro,通过质量优先的数据构建、深度扩展预训练及多阶段后训练优化,在韩语基准达SOTA,兼具安全性与响应性。
2026-03-24 cs.AI cs.CL
WorkflowPerturb: Calibrated Stress Tests for Evaluating Multi-Agent Workflow Metrics
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司)
提出WorkflowPerturb基准,通过对黄金工作流施加分级扰动来评估多智能体工作流度量,揭示度量分数校准不良问题,支持变更管理中的严重性感知解释。
2026-10-16 cs.AI
From Skills to Talent: Organising Heterogeneous Agents as a Real-World Company
HUAWEI Noah’s Ark Lab(华为诺亚实验室);University College London(伦敦大学学院);University Liverpool(利物浦大学)
本文提出OneManCompany框架,通过引入Talent市场和E²R树搜索,将多智能体系统提升至组织层面,实现动态招聘和自适应改进,提升任务完成效率。
2026-04-24 cs.AI