EmailBench: A Benchmark for Evaluating LLM Agents on Enterprise Email and Productivity Tasks
EmailBench是一个包含206个场景、16个任务类别的基准,用于评估LLM智能体在企业电子邮件任务中的表现,发现工具调用成功不等于任务完成,最佳配置仅通过33.5%的场景。
2026-09-29 cs.AI
Evaluating Chunking Strategies For Retrieval-Augmented Generation in Oil and Gas Enterprise Documents
Digital and Innovation Department, Nigeria LNG Limited(尼日利亚LNG公司数字与创新部门)
本文研究了四种分块策略在石油和天然气企业文档中的效果,发现结构感知分块在检索效果和计算成本上表现最佳,但对图表类文档仍有限。
2026-03-25 cs.AI cs.IR
WixQA: A Multi-Dataset Benchmark for Enterprise Retrieval-Augmented Generation
Wix.com AI Research(Wix.com人工智能研究)
本文提出 WixQA 企业 RAG 基准,包含三类基于 Wix 帮助中心知识库快照的问答数据集并开放基线结果,以支持检索与生成组件的端到端评估。
2025-05-13 cs.AI cs.LG
EnterpriseBench: Benchmarking LLM Agents on Enterprise-Level Strategic Reasoning and Decision-Making
Shandong University(山东大学);Zhongguancun Academy(中关村学院);Beijing Institute of Technology(北京理工大学);Tsinghua University(清华大学)
EnterpriseBench提出一个企业级基准,涵盖静态问答到动态决策,含咨询、啤酒游戏和企业数字孪生三个交互场景,实验显示现有LLM智能体在企业任务中尚缺乏稳定可靠性。
2026-10-06 cs.AI
WONDERBREAD: A Benchmark for Evaluating Multimodal Foundation Models on Business Process Management Tasks
Stanford University(斯坦福大学)
提出首个超越自动化的业务流程管理(BPM)多模态基础模型评估基准WONDERBREAD,包含2928个工作流演示和6个真实任务,发现现有模型虽能生成文档但难以完成细粒度验证。
2024-10-11 cs.AI cs.LG cs.SE
Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations
HCLTech
针对企业用专有领域知识微调LLM的需求,本研究以开源LLaMA为对象,提出文档和代码数据集的预处理方案,给出GPU选型等入门指导,经定性验证后输出LLM微调的实用指南。
2024-03-23 cs.LG cs.SE
Automated Creation and Enrichment Framework for Improved Invocation of Enterprise APIs as Tools
提出ACE框架,通过生成增强工具规范和动态入围机制,将企业API转换为LLM兼容工具,解决文档匮乏和操作繁多问题,提升工具选择与调用准确性。
2025-09-15 cs.AI cs.SE
Beyond the All-in-One Agent: Benchmarking Role-Specialized Multi-Agent Collaboration in Enterprise Workflows
BAAI(北京人工智能研究院);CASIA(中国科学院自动化研究所);UCAS(中国科学技术大学);Peking University(北京大学);Tsinghua University(清华大学)
本文提出EntCollabBench,用于评估企业多代理协作,模拟权限隔离组织,包含工作流和审批两个子集,通过执行轨迹、数据库验证和确定性政策裁决评估代理系统,实验表明当前模型在企业协作中仍存在缺陷。
2026-05-09 cs.LG cs.MA
Scaling Enterprise Agent Routing: Degradation, Diagnosis, and Recovery
Superhuman, Inc.(Superhuman公司)
研究企业助手工具库扩展时路由准确率下降问题,通过嵌入预选恢复F1分数10-17个百分点。
2026-06-17 cs.AI cs.CL
The Era by Eon Benchmark: A Generated Enterprise Estate with Exact Ground Truth for Benchmarking LLM Agents
Eon
该基准通过虚构企业资产和精确答案键,为评估企业工具LLM智能体提供真实标签,显著提升真实感得分。
2026-09-10 cs.AI
BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
Yandex Applied AI Institute(Yandex应用人工智能研究院)
本文针对多模态大语言模型在文本密集专业文档推理能力评估的不足,推出英俄双语的BEAR-Bench基准,评估16个多模态大语言模型并对比幻觉检测方法,发现最强模型仍有明显性能提升空间。
2026-10-19 cs.AI cs.CL
Benchmarking Deep Search over Heterogeneous Enterprise Data
Salesforce AI Research(Salesforce人工智能研究)
提出了一个评估深度搜索的新基准,利用合成数据管道模拟业务工作流生成多跳问题,发现现有智能体RAG方法因检索瓶颈导致性能显著下降。
2025-06-29 cs.AI cs.CL
An efficient approach to represent enterprise web application structure using Large Language Model in the service of Intelligent Quality Engineering
Atalgo Computing Pty Ltd(阿塔尔戈计算私人有限公司)
本研究提出一种基于大语言模型的企业Web应用分层表示方法,含五个核心阶段,经两个真实应用验证可提升测试用例生成质量与测试效率,助力规模化智能质量工程。
2025-01-12 cs.AI cs.SE
ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages
IBM
针对大语言模型在代码约束理解上缺乏评估的问题,提出首个覆盖五种表示、含两项新任务的ConCodeEval基准,发现LLMs处理代码约束能力不足,常规代码表现好的语言在细粒度约束任务中表现不佳。
2025-03-24 cs.AI cs.CL cs.SE
Hybrid OCR-LLM Framework for Enterprise-Scale Document Information Extraction Under Copy-heavy Task
Ningbo Institute of Digital Twin(宁波数字孪生研究所);Eastern Institute of Technology(东部技术研究所)
针对企业级复制繁重文档抽取的准确率与效率权衡挑战,提出结合OCR与LLM的混合框架,利用格式感知路由与基于表格的抽取策略,在身份文档上实现近满分F1及亚秒级延迟,性能提升54倍。
2025-10-11 cs.AI cs.CL
Comparison of Support Vector Machine and Back Propagation Neural Network in Evaluating the Enterprise Financial Distress
Fooyin University(辅英大学);Shu-Te University(树德科技大学)
近年来,将数据采掘这一新兴技术应用于企业财务困境的评估得到了广泛的研究。支持向量机(Support Vector Machine,SVM)和反向传播神经网络(Back Propagation Neural Network,BPN)在规则提取、分类和评价等领域有着良好的推广效果。本文提出了一种基于高斯径向基核支持向量机的企业财务困境评价模型。BPN网络被认为是用于多层神经网络有监督训练的最简单和最通用的方法之一。比较结果表明,通过性能指标之间的差异是边际的,支持向量机给出了更高的精度和更低的出错率。
2010-07-29 cs.LG
AutoNLU: An On-demand Cloud-based Natural Language Understanding System for Enterprises
University of Waterloo(滑铁卢大学);Adobe Research(奥多比研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
随着深度学习的复兴,神经网络在许多自然语言理解(NLU)任务上取得了可喜的成果。即使许多神经网络模型的源代码是公开的,但从开源模型到解决企业中的现实问题仍然存在很大差距。因此,为了填补这一空白,我们引入了AutoNLU,这是一个基于云的按需系统,具有易于使用的界面,涵盖了开发NLU模型的所有常见用例和步骤。AutoNLU为Adobe内部的许多产品团队提供了不同的用例和数据集,并快速为他们提供了工作模型。为了证明AutoNLU的有效性,我们提出了两个案例研究。i)我们建立了一个实用的NLU模型,用于处理Photoshop中的各种图像编辑请求。ii)我们构建了强大的关键词提取模型,在两个公共基准上实现了最先进的结果。在这两种情况下,最终用户只需要编写少量代码就可以将数据集转换为AutoNLU使用的通用格式。
2020-11-26 cs.CL cs.LG
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
SAP Labs(思爱普实验室)
研究针对企业语言模型中参数化工具检索问题,提出TRACE两阶段课程。第一阶段用多格式记忆SFT播种工具知识,第二阶段利用特定数据源训练模型生成思维痕迹,实现知识保留与单束贪婪解码,提升工具理解和检索召回率。
2026-11-11 cs.AI
CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems
Megagon Labs(美嘉岗实验室)
本文提出CMDBench基准,用于评估复合AI系统中多模态数据检索器在真实企业数据平台上的数据发现性能,实验表明检索器设计对任务准确率影响达46%,强调了优化智能体与检索器策略的必要性。
2024-06-02 cs.AI cs.DB
Evaluating VisualRAG: Quantifying Cross-Modal Performance in Enterprise Document Understanding
Amazon(亚马逊)
本文提出系统定量基准框架评估企业VisualRAG系统跨模态输入可信度,发现最优模态权重使性能较纯文本基线提升57.3%,并揭示基础模型对说明生成与OCR提取可信度的差异化影响。
2025-06-19 cs.AI cs.CV cs.HC
Advancing Retrieval-Augmented Generation for Structured Enterprise and Internal Data
IIT Roorkee(罗尔基大学)
针对LLM处理企业结构化数据的局限,提出结合稠密嵌入与BM25混合检索、语义分块及交叉编码器重排序的先进RAG框架,显著提升了企业数据检索的准确率与响应质量。
2025-07-16 cs.AI cs.CE cs.CL
Diff-XYZ: A Benchmark for Evaluating Diff Understanding
JetBrains Research(JetBrains研究)
为评估智能体处理代码差异的能力,本文提出Diff-XYZ基准(含应用、反向应用、差异生成三任务),基于真实提交数据,实证研究发现差异格式选择需结合任务和模型大小,为LLM代码编辑能力优化提供基础。
2025-11-17 cs.LG cs.SE
IHBench: Evaluating Post-Interruption Recovery in Voice Agents with Structured Workflows
Boson AI
提出IHBench基准,评估语音代理在结构化工作流中处理中断后的恢复能力,涵盖任务完成和恢复质量两个维度,实验表明闭源模型比开源模型更鲁棒。
2026-06-19 cs.AI cs.LG
RCI: A Score for Evaluating Global and Local Reasoning in Multimodal Benchmarks
Oracle AI
本文提出RCI分数,通过比较模型在图像块与完整图像上的表现,量化多模态基准对全局或局部视觉信息的依赖,并发现13个常用基准多偏向局部推理且存在空间偏差。
2025-09-28 cs.AI cs.CL cs.CV
QuantSightBench: Evaluating LLM Quantitative Forecasting with Prediction Intervals
ELLIS Institute Tübingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心)
本文提出QuantSightBench基准,评估LLM在连续量数值预测中的表现,发现现有模型在90%覆盖率目标上普遍不足,且置信度校准随极端值恶化。
2026-04-17 cs.AI cs.LG
UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
本研究提出UserProxyBench评估层和用户保真度评分,用于衡量智能体基准测试中模拟用户对指令的遵循程度,并发现过早披露是主要失败模式,同时识别出成本-保真度前沿以指导模拟器选择。
2026-09-30 cs.AI
Evaluating SAP RPT-1 for Enterprise Business Process Prediction: In-Context Learning vs. Traditional Machine Learning on Structured SAP Data
Microsoft Corporation(微软公司)
本文评估了SAP RPT-1在企业业务流程预测中的性能,发现其在有限数据下表现优于传统机器学习模型,提出混合工作流程提升实用性。
2026-02-22 cs.AI cs.LG
MBABench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance
Decision, Risk, and Operations Division, Columbia Business School(哥伦比亚商学院决策、风险与运营部门);ESB Business School, Reutlingen University(图宾根大学ESB商学院)
本文提出WorkstreamBench,用于评估LLM代理在金融领域复杂端到端电子表格任务中的能力,重点在于财务建模和情景分析等关键流程,通过三个维度(准确性、公式、格式)的细粒度标准来衡量解决方案质量。
2026-08-20 cs.AI
GitChameleon 2.0: Evaluating AI Code Generation Against Python Library Version Incompatibilities
ELLIS Institute Tübingen(图宾根ELLIS研究所);MPI-IS Tübingen(图宾根MPI研究所);Mila Quebec AI Institute(魁北克AI研究所);Google(谷歌);Polytechnique Montréal(蒙特利尔高等理工学院);McGill University(麦吉尔大学);Moderne(Moderne公司);Gologic(Gologic公司);Tübingen AI Center(图宾根人工智能中心);Université de Montréal(蒙特利尔大学);ServiceNow Research(ServiceNow研究)
本文提出GitChameleon 2.0,用328个带版本条件和可执行单元测试的Python补全问题评估LLM及智能体,发现先进系统成功率仅48%–51%。
2025-07-21 cs.AI cs.PL cs.SE
MIDAS: Multi-LLM Iterative Data-Adaptive Summarization
Volkswagen Group Innovation(大众集团创新公司)
针对现有自动提示词优化方法无法适配多样摘要需求的问题,提出多大语言模型迭代数据自适应摘要生成框架MIDAS,在企业客户工单摘要任务中优于CriSPO等方法,还具备跨模型与跨领域泛化能力。
2026-08-06 cs.AI cs.CL cs.MA
Evaluating Node-tree Interfaces for AI Explainability
本研究通过对比节点树与聊天机器人界面,发现节点树界面在提升任务表现、决策支持和用户信任方面更优,建议自适应界面根据任务切换格式以增强透明度。
2025-10-07 cs.AI cs.HC
The economic trade-offs of large language models: A case study
LivePerson Inc.(LivePerson公司)
本研究针对企业客服场景,提出评估NLP模型效用的成本框架,对比三种LLM专业化策略的成本与效果,发现回复可用性可弥补推理成本差异,并将结论推广至企业领域。
2023-06-08 cs.AI cs.CL
ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models
Amazon AGI(亚马逊AGI)
该研究推出ListQA基准,评估大语言模型的列表格式事实知识检索能力,发现模型组织事实易但仅从参数检索难,提供维基百科源可大幅提升性能。
2026-10-15 cs.AI cs.CL
AI-driven formative assessment and adaptive learning in data-science education: Evaluating an LLM-powered virtual teaching assistant
本文提出VITA平台,集成LLM聊天机器人BotCaptain,通过对话式辅导、xAPI数据管道和自适应路径引擎,实现数据科学教育中的形成性评价与个性化学习,并提供了架构基准和部署蓝图。
2025-09-17 cs.AI cs.CY cs.HC
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中,基于聚类的语义分块是否优于固定大小和递归分块,通过RAGAs框架在长结构化学术论文上评估检索和答案质量,发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
Evaluating Inference Compute for Generative AI: A Framework for Enterprise Workloads
Citigroup Inc.(花旗集团);Ernst & Young LLP(安永会计师事务所);NVIDIA Corporation(英伟达公司)
针对智能体轨迹推理,提出四层评估框架,以有效吞吐量和每次成功回合成本为核心指标,并论证确定性、尾延迟及每步可靠性对长时域任务性能的关键影响。
2026-10-07 cs.AR cs.DC cs.LG
LatentRiskBench: Measuring State-Dependent Risks in Enterprise Agents
RMIT University(RMIT大学);YepAI;Monash University(莫纳什大学)
本研究推出LatentRiskBench基准,针对企业智能体的依赖状态安全风险,通过配对轨迹、引入残余风险指标,发现状态层面评估检测违规的准确率远高于动作层面,为企业智能体提供更实际的安全度量。
2026-10-14 cs.AI cs.CL cs.LG
EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents
ServiceNow
提出EVA-Bench框架,通过机器人间音频对话模拟和复合指标(EVA-A和EVA-X)全面评估语音代理的准确性和体验质量。
2026-09-10 cs.AI cs.CL cs.LG
Eureka: Intelligent Feature Engineering for Enterprise AI Cloud Resource Demand Prediction
Alibaba Cloud Computing Co. Ltd, Hangzhou, China(阿里云计算有限公司,杭州,中国);School of Computer Science, Fudan University, Shanghai, China(复旦大学计算机学院,上海,中国);School of Computer Science and Technology, Tongji University, Shanghai, China(同济大学计算机科学与技术学院,上海,中国);Independent Researcher, United States(独立研究员,美国)
提出Eureka框架,将特征工程视为智能体代码生成问题,通过专家代理、LLM特征工厂和自演化对齐引擎三阶段,自动生成可执行特征代码,在医疗、金融、社交等7个公开基准及阿里云GPU资源需求预测中显著提升性能。
2026-05-27 cs.AI cs.CL cs.LG
Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks
Data Science Institute(数据科学研究所)
针对领域伪装注入攻击,评估五种基于提示的防御方法(如释义、重点标记等)在三个模型家族和三个部署领域中的有效性,发现释义法最有效,可将伪装攻击成功率降低55-84%。
2026-06-18 cs.CL cs.CR cs.LG