PosterHarness: Turning Scientific Poster Generation into an Auditable Instruction-Following Benchmark
School of Physics, Peking University(北京大学物理学院)
研究针对文本丰富图像模型,缺乏衡量其是否遵循科学传播规范的方法这一问题,提出PosterHarness,将海报生成变为可审计任务,介绍核心方法,展示了相关实验发现及与其他方法的对比结果。
2026-10-23 cs.AI cs.CV cs.SE
AI Agents-as-Judge: Automated Assessment of Accuracy, Consistency, Completeness and Clarity for Enterprise Documents
Accenture(埃森哲)
本研究提出一种模块化多智能体系统,利用LangChain等工具对企业结构化文档进行准确性、一致性等维度的自动化审查,实验表明其效率与质量均接近或超越人类水平。
2025-06-23 cs.AI cs.CL
Toward Self-Evolution-Ready Workflow Harnesses: A Reversible Migration Path and Convertibility Taxonomy for Expert LLM Pipelines
Yunyong Century (Beijing) Artificial Intelligence Technology Co., Ltd.(云涌世纪(北京)人工智能科技有限公司);Tsinghua University(清华大学)
针对专家验证的“LLM+脚本”工作流静态、无法自适应的问题,提出一种基于绞杀者模式的可逆迁移路径,将遗留工作流重构为可组合、类型化、可审计的阶段,并引入三级可转换性分类法(A/B/C)作为路由阶段诊断工作流就绪状态。
2026-06-24 cs.AI cs.LG cs.SE
Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents
Institute of Industrial Science, The University of Tokyo(东京大学产业科学研究所)
研究旨在让大语言模型智能体在科学发现中发挥核心作用。提出假设演化协议(HEP),使假设生成等操作可审计。在材料科学任务中,该协议能让智能体运行关键循环,跨问题概括并随模型能力提升更充分利用协议,迈向可审计的人工智能科学家。
2026-07-13 cond-mat.mtrl-sci cs.AI
eSapiens: A Platform for Secure and Auditable Retrieval-Augmented Generation
eSapiens Team(eSapiens团队)
eSapiens是一个面向企业的安全可审计AIaaS平台,通过集成结构化文档摄取、混合向量检索、无代码编排及THOR Agent,支持主流LLM,实验证明其在法律语料检索精度和生成事实一致性上表现优异。
2025-07-13 cs.AI
Safe, Persistent, and Evolving Agent Harness for Understanding Partially Observable Worlds
The Hong Kong University of Science and Technology(香港科技大学);LIGHTSPEED(光速公司)
针对大型语言模型智能体在企业工作流中面临的策略合规、部分可观测性及长周期状态跟踪问题,提出E-Ledger管控框架,结合WorldAbduct实现规则演进,在多基准测试中提升安全任务完成率。
2026-10-09 cs.AI
Policy-Aware Generative AI for Safe, Auditable Data Access Governance
Center for Advanced Research in Entity Resolution and Information Quality (ERIQ)(实体解析与信息质量高级研究中心)
本研究提出一种基于LLM的策略感知控制器,通过六阶段推理和硬性门控实现安全、合规、可审计的数据访问决策,实验显示决策准确率提升至92.9%。
2025-10-27 cs.AI
ClawVM: Harness-Managed Virtual Memory for Stateful Tool-Using LLM Agents
Independent Researcher(独立研究员);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
ClawVM通过管理状态为类型化的页面,实现状态的可靠存储与回写,解决了状态丢失和回写失败的问题,提升了LLM代理的稳定性和可审计性。
2026-04-11 cs.AI cs.OS cs.SE
Constraint-Guided Enterprise Data Mapping with Large Language Models
Bosch Center for Artificial Intelligence(博世人工智能中心);Robert Bosch GmbH(罗伯特·博世有限公司)
针对企业数据映射的问题,提出约束引导式映射(CGM)神经符号方法,通过三阶段流程提升匹配性能,该方法成本低、可迁移且能降低专家工作量,在基准测试中表现优异。
2026-08-26 cs.AI cs.CL
Agentic ERP: Multi-Agent Large Language Model Architecture for Autonomous Enterprise Resource Planning
KTH Royal Institute of Technology(瑞典皇家理工学院);Department of Production Engineering(生产工程系)
研究针对ERP系统过度依赖人类决策的问题,提出Agentic ERP架构,结合角色对齐的LLM智能体、人工参与框架和图编排器。通过特定决策问题表述、编排解耦及多层面评估,证明该方法优于基线,能让ERP主动执行决策,提供了参考架构与评估协议。
2026-07-21 cs.AI cs.MA
Harnessing Generalist Agents for Contextualized Time Series
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出TimeClaw框架,通过集成可执行时间工具、经验驱动能力进化和情景多模态记忆,使通用大语言模型智能体具备情境化时间推理能力,在能源、金融等多领域基准上取得性能提升。
2026-06-03 cs.AI cs.CL cs.LG
VideoHarness-RSI: Recursive Harness Self-Improvement for Long-Video Understanding with Frozen Vision-Language Models
Tencent(腾讯)
该研究提出 VIDEOHARNESS-RSI,通过递归搜索可执行上下文构建程序,在冻结 VLM 上实现长视频理解的改进,且所选 harness 可迁移至其他长视频基准。
2026-09-04 cs.AI
StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments
ServiceNow(ServiceNow公司);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
StarHarness是一种固定模型权重的harness进化框架,经分层搜索优化后,在ITBench等3个企业任务基准上性能提升20-35个百分点,且可跨GPT、Qwen模型迁移,缓解模型-环境不匹配问题。
2026-08-26 cs.AI cs.SE
Applying Anthropic Primitives at Large Enterprises: Harness Paradigm for Knowledge Work
G.S. s.r.o(G.S.有限责任公司);PwC Austria(普华永道奥地利公司)
本文针对大型企业知识工作的代码维护痛点,提出基于 harness 范式的架构,通过统一核心、优化机制缩小研究发现与企业采用的治理差距。
2026-08-24 cs.AI cs.SE
A Study on the Implementation of Generative AI Services Using an Enterprise Data-Based LLM Application Architecture
SAMSUNG SDS(三星SDS)
本研究提出基于企业数据的LLM应用架构实现生成式AI服务,通过开发RAG模型并结合微调与文档集成技术,有效缓解数据不足问题,提升信息存储检索与内容生成能力,促进LLM在企业中的实际应用。
2023-09-18 cs.AI cs.CL
Code as Agent Harness
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta;Stanford University(斯坦福大学)
本文探讨了代码在代理系统中的作用,提出了一种统一的视角,将代码视为代理基础设施的基础,并讨论了代理工具接口、机制以及扩展到多代理系统的挑战。
2026-05-18 cs.AI cs.CL
Corporate Language Model (CLM): Transforming Tacit and Fragmented Enterprise Knowledge into a Sovereign, Auditable, and Executable Corporate Intelligence Layer
Unisinos University(Unisinos大学);Care Intelligence(Care Intelligence公司)
本文提出企业语言模型(CLM)框架,将企业多模态与隐性知识转化为本体化企业基础,通过四大支柱实现可执行智能,含四项核心贡献,并获巴西JCI认证医院的实证支持。
2026-09-07 cs.AI
Building Resilient SMEs: Harnessing Large Language Models for Cyber Security in Australia
本文通过文献综述、案例定性分析与性能定量评估,考察LLMs对澳大利亚中小企业网络安全政策的作用、优势与不足,并提出融合人类专业知识的采用框架。
2023-06-05 cs.CL cs.CR
Bayesian-Agent: Posterior-Guided Skill Evolution Across LLM Agent Harnesses
IDEA Research(IDEA研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));DataArcTech Ltd.(DataArcTech有限公司)
提出Bayesian-Agent框架,将可复用技能视为假设,通过后验分布指导技能演化(如修补、拆分、压缩等),在多个基准上显著提升性能,表明Agent技能演化应视为后验引导的框架优化。
2026-08-12 cs.CL
CORTEX: Collaborative LLM Agents for High-Stakes Alert Triage
George Mason University(乔治·马歇尔大学);Fluency Security(流畅安全)
针对安全运营中心告警过载的问题,提出多智能体协作架构CORTEX,通过行为分析、证据收集、推理三类专用智能体协同完成高风险告警分诊,还发布了生产环境细粒度SOC调查数据集,实验显示其相较单智能体LLM显著降低误报、提升调查质量。
2025-09-30 cs.CL
Parthenon Law: A Self-Evolving Legal-Agent Framework
tapntell.ai
本文提出Parthenon框架,通过分解模型、工具、知识等组件并引入反泄漏学习循环,使法律领域的大语言模型智能体能够从经验中自我进化,显著提升法律事务处理性能。
2026-06-12 cs.AI
DRL: A Deterministic Relational Middleware Layer for Transaction-Safe Enterprise NL2SQL Under Schema-Graph Scaling
College of Medicine and Public Health, Flinders University(弗林德斯大学医学与公共卫生学院)
研究针对企业级NL2SQL在模式图扩展下的失效问题,提出DRL中间件层,通过动态剪枝等技术限制上下文并验证安全性,在数据库上评估后发现基准代码缺陷的影响,将NL2SQL重新定义为系统工程而非排行榜任务。
2026-08-28 cs.AI cs.DB
Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents
研究聚焦大语言模型智能体,以往控制工具选择等,本文将上下文组装视为受控变量,通过上下文博弈或强化学习策略在线学习,进行形式分解、稳定性论证及不确定性校准分析,给出控制理论视角的相关证据。
2026-07-29 cs.AI
Harness Tokenomics: A Router for the Enterprise Agentic Control Plane
Accenture Responsible AI(埃森哲负责任人工智能);Accenture Americas Advanced AI Practice(埃森哲美洲高级人工智能实践);Harvard Extension School, Harvard University(哈佛大学继续教育学院)
针对企业AI编码代理成本失控问题,提出基于校准分类器Jev的可定制路由方法,在会话边界智能切换模型,可回收14%-21%模型支出,并给出治理风险的控制平面方案。
2026-09-29 cs.AI cs.CR
eSapiens's DEREK Module: Deep Extraction & Reasoning Engine for Knowledge with LLMs
eSapiens Team(eSapiens 团队)
本文提出 eSapiens 的 DEREK 模块,通过混合检索、重排序、LLM 生成与 LangGraph 验证器构建企业级安全文档问答流水线,在 LegalBench 上显著提升召回率、精确率与引用可靠性。
2025-07-13 cs.AI cs.CL
EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation
SAP
提出EdgeGen框架,从智能体规范提取合规规则生成边界任务,结合微调与工具优化,实现无人工标注的闭环改进,在tau2bench上平均进度提升2%-42%。
2026-09-22 cs.AI
Mint-Agent: Introducing Finance-Native Agentic Foundation Models
本研究提出金融原生智能体模型Mint-Agent,通过三大支柱开发出Mint-Cu(9B)和Mint-Ag(27B),在多个金融基准测试中展现出优异的可靠性与可执行性,为可信金融智能提供了新路径。
2026-08-24 cs.CL cs.LG
Harnessing the Wisdom of LLM Crowds through Complementarity-Driven Iterative Collaboration
该研究针对现有LLM组合方法忽略动态互补性的问题,提出WILC框架,通过迭代反思优化与双门互补模型选择机制,在四个基准上性能优于现有方法,成本仅为GPT-5.2的约1/7,扩展了群体智慧理论并提供多AI协调设计原则。
2026-08-03 cs.AI
MedClaw: Heuristic Agent Harness for Long-Horizon Surgical Video Reasoning
School of Automation and Intelligence, Beijing Jiaotong University(北京交通大学自动化与智能学院);University of Maryland(马里兰大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院);University of British Columbia(不列颠哥伦比亚大学);Beijing Tiantan Hospital, Capital Medical University(首都医科大学附属北京天坛医院)
本研究提出MedClaw智能体框架,通过分离推理与感知、启发式技能蒸馏循环,在仅需约100个标注示例的情况下,于自建及公开手术视频基准MedClawBench上,显著优于现有一次性VLM和通用视频智能体。
2026-08-17 cs.AI cs.CV
Beyond the Harness: End-to-End Optimization of Context Artifacts for Enterprise Text-to-SQL
Amazon(亚马逊公司)
针对企业文本转SQL任务的上下文瓶颈,本文提出从历史查询生成可复用SQL参考卡片的端到端优化方法,在生产查询基准上取得显著优于优化检索框架的提升,在BEAVER基准上也实现了有效改进。
2026-08-25 cs.AI cs.LG
Beyond Text: Implementing Multimodal Large Language Model-Powered Multi-Agent Systems Using a No-Code Platform
SAMSUNG SDS(三星SDS)
本研究针对企业AI采用的技术复杂度和准入壁垒问题,提出并实现了基于无代码平台的多模态LLM驱动多智能体系统,支持无编程知识用户构建AI系统,通过多个业务用例验证其适用性,推动企业AI民主化与广泛应用。
2025-01-29 cs.AI
The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI
Writer, Inc.(作家公司)
研究智能体人工智能开发中代币最大化问题及应对方法,核心方法是通过控制交换实验凸显驾驭层作用,主要贡献为证明驾驭层可降低成本、提升效率和质量,且效率提升适用于所有模型,质量提升与模型强度相关。
2026-10-06 cs.AI
AgenticRAG: Agentic Retrieval for Enterprise Knowledge Bases
Microsoft Corporation(微软公司)
AgenticRAG通过在现有企业检索基础设施上叠加轻量级代理框架,使语言模型能够自主迭代检索信息、导航文档并分析证据,提升了检索准确率和事实性。
2026-05-07 cs.AI cs.IR
FORCE-Bench: A Benchmark, Dataset, and Evaluation Harness for Agentic AI in Enterprise Finance
Microsoft Corporation(微软公司)
研究针对智能代理在企业金融领域应用,提出FORCE-Bench基准测试,含251个专家注释查询,从八个维度评估三种任务类型,在特定设置下评估通用和专用代理,结果显示专用代理更可靠,相关资源开源助力企业金融环境应用。
2026-07-23 cs.AI
Enactive Artificial Intelligence: A Decision-Centric Architecture for Complex Systems
本研究提出能动人工智能框架,通过组织世界、站点世界等四个角色构建以决策为中心的架构,拓展AI前沿,为企业与工业复杂系统的可靠AI部署提供新方向。
2026-08-05 cs.AI cs.ET
LAVA: Logic-Aware Validation and Augmentation Framework for Large-Scale Financial Document Auditing
BMO Financial Group(蒙特利尔银行金融集团)
针对财务文档验证的异构性与业务规则处理难题,提出基于多模态大语言模型的LAVA框架,通过四阶段设计提升幻觉控制与边缘案例处理能力,适用于高风险财务审计场景。
2026-08-18 cs.AI
HELIX: Model-Harness Co-evolution for Recursive Self-Improvement
HELIX是支持模型-控制器协同进化的可溯源框架,在代码修复任务中,其65个候选组合提升了4.0%任务覆盖率,生成438条学习记录,形成模型、控制器与数据的反馈系统。
2026-08-17 cs.AI
Natural-Language Policies to Executable Decisions: An Interpretable Large Language Model Framework
Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工大学宁波数字孪生研究院)
针对旅游业定价自动化的挑战,提出一种可解释的LLM驱动定价系统,通过结构化提取、确定性数值计算等实现可靠可审计的定价,部署后大幅缩减团队规模并缩短订单处理时间。
2026-08-28 cs.CL
DeXposure-Claw: An Agentic System for DeFi Risk Supervision
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学);University of Cambridge(剑桥大学)
针对DeFi监管中LLM智能体易误报的问题,提出DeXposure-Claw系统,通过图时间序列基础模型预测风险网络,结合确定性监控和置信度门控生成可审计监管票据,并构建六轴评估基准DeXposure-Bench,实验验证有效性。
2026-07-01 cs.AI cs.CL cs.LG
Natural Language Interface for Firewall Configuration
Tandon School of Engineering(塔恩顿工程学院);Department of Electrical and Computer Engineering(电气与计算机工程系);New York University(纽约大学)
本文提出了一种基于自然语言的防火墙配置接口,通过中间表示和验证层实现策略翻译与安全检查,旨在提升防火墙管理的可审计性和人机交互性。
2025-12-11 cs.AI cs.NI
Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills
IBM;Georgia Institute of Technology(佐治亚理工学院)
针对企业AI智能体技能演进中的过程级行为漂移,提出结合结果级与过程级检查的持续评估框架,通过模板测试和LLM评判器检测偏差,实验显示多数通过最终检查的运行仍存在过程偏差,依赖归因可有效减少根因。
2026-10-02 cs.AI cs.SE
MemLineage: Lineage-Guided Enforcement for LLM Agent Memory
State Key Laboratory of Cyberspace Security Defense(网络空间安全防御国家重点实验室);Institute of Information Engineering, CAS(信息工程研究所,中国科学院);Beijing, China(北京,中国)
MemLineage通过结合加密溯源和LLM中介推导链,解决LLM代理内存中不可信内容的持久化问题,通过链式 custody 机制防止敏感操作,实验显示其能有效降低攻击成功率。
2026-05-14 cs.AI cs.CR
Chimera: Harnessing Multi-Agent LLMs for Automatic Insider Threat Simulation
Singapore Management University(新加坡管理大学);Tianjin University(天津大学);Zhejiang University(浙江大学)
Chimera通过多智能体大语言模型生成真实企业环境中的内部威胁数据集,提升内部威胁检测的挑战性和实用性。
2026-01-03 cs.AI cs.CR cs.SE
Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails
Salesforce AI(Salesforce人工智能部门)
本研究提出在策略专家校正流水线,解决工具包进化与模型微调冲突,使较弱模型在七个企业任务上性能提升。
2026-09-09 cs.AI
SkillAdaptor: Self-Adapting Skills for LLM Agents from Trajectories
Zhejiang University(浙江大学);Ant Digital Technologies, Ant Group(蚂蚁集团数字技术部);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室)
提出SkillAdaptor,一种无训练的步骤级技能自适应框架,通过显式故障归因和针对性更新,提升LLM智能体在长程交互任务中的表现。
2026-05-31 cs.AI cs.CL cs.LG
The Orchestration of Multi-Agent Systems: Architectures, Protocols, and Enterprise Adoption
本文提出了一种统一架构框架和两种互补通信协议,旨在提升多智能体系统在企业级AI生态系统中的可扩展性和合规性。
2026-01-20 cs.AI cs.MA
IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier
针对企业AI系统按标识符评分导致的测量误差,提出IBIB协议,通过预检、可靠性评分和盲裁决度量路由能力,实验表明其可区分系统并改变结论。
2026-09-10 cs.AI cs.CL cs.LG
FORALL-LEAN-AGENT for Auditable Reasoning in Formal Mathematics and Software Verification
Astrio Labs(阿斯特里奥实验室)
提出 FORALL-LEAN-AGENT 框架,通过隔离工作区、公理审计和独立检查实现可审计的 Lean 证明验证,在 VeriSoftBench 和 PutnamBench 上提升成功率并降低成本。
2026-10-02 cs.AI cs.LO cs.SE
An Empirical Evaluation of Cost-Efficient Large Language Models on Algorithmic Programming Tasks
University of Wollongong(伍伦贡大学);Western Sydney University(西悉尼大学)
本研究实证评估成本高效LLM生成企业代码的可靠性,发现结构符合性高但计算正确性低,且可靠性与正确性呈反比关系。
2026-09-17 cs.AI cs.SE
Benchmarking the Explanatory Quality of Open-Weight Vision-Language Models in Face Recognition
Idiap Research Institute(伊迪亚普研究所);Université de Lausanne(洛桑大学)
本文提出一个基准测试框架,将解释质量作为核心评估轴,通过相关性和忠实性两个标准量化开放权重视觉语言模型在人脸识别中的解释,并联合评估验证准确性与解释质量,揭示现有不足。
2026-09-21 cs.AI cs.CV
Domain Adaptable Prescriptive AI Agent for Enterprise
MIT(麻省理工学院);IBM Research(IBM研究院)
本文提出了领域可适配的对话智能体PrecAIse,通过自然语言交互和因果推断工具,帮助企业用户克服技术复杂性,在无需密集计算资源的情况下做出更好的商业决策。
2024-07-29 cs.AI
L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling
University of Birmingham(伯明翰大学)
本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型,使用约13B tokens,通过数据筛选、去重、SFT和RLVR等方法,在零样本任务上达到SmolLM-135M 87.1%的性能,但仅使用其2.17%的tokens。
2026-06-23 cs.AI cs.LG
Kepler: Auditable World Models for ARC-AGI-3
Kepler通过可执行世界模型和验证检查,在ARC-AGI-3上取得100.00 RHAE,并揭示了公开分数区分度有限的问题。
2026-10-02 cs.AI cs.MA
Enhancing Table Representations with LLM-powered Synthetic Data Generation
University of Delaware(特拉华大学);Capital One(第一资本金融公司)
针对表格表示学习中数据质量不足的问题,提出利用LLM代码生成与数据操作能力构建合成数据流水线,生成大规模数据集以增强表格表示,并在表格推荐任务上验证了其有效性。
2024-11-04 cs.AI cs.LG