Evaluating LLM Metrics Through Real-World Capabilities
School of Physics University of Sydney(悉尼大学物理系);School of Art, Communication and English University of Sydney(悉尼大学艺术、传播与英语系)
该研究基于真实使用数据归纳LLM六项核心能力,审视现有基准差距,并选取契合任务的基准比较主流模型,发现Google Gemini在效用指标上表现最佳。
2025-05-13 cs.AI
RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments
Ant Group(蚂蚁集团);City University of Hong Kong(香港城市大学)
提出RetailBench基准,用于评估LLM代理在千天级超市运营模拟中的长周期决策能力,发现当前最强模型仍远落后于最优策略。
2026-07-10 cs.AI
Evaluating GPT-4 with Vision on Detection of Radiological Findings on Chest Radiographs
Weill Cornell Medicine(威尔康奈尔医学院);University of Texas MD Anderson Cancer Center(德克萨斯大学 MD 安德森癌症中心);Thomas Jefferson University Hospital(托马斯杰斐逊大学医院)
本研究测试多模态大模型GPT-4V对100张胸片的放射征象检测能力,发现其目前尚不能用于实际临床胸片诊断场景。
2024-05-13 cs.AI cs.CV eess.IV
Evaluating Vision-Language Models for Zero-Shot Detection, Classification, and Association of Motorcycles, Passengers, and Helmets
Archbishop Mitty(大主教米蒂高中);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文扩展 CVPR AI City Challenge 数据集,采用 OWLv2 与 CNN 级联的零样本方法检测摩托车、乘员位置及头盔佩戴状态,头盔检测平均精度达 0.5324。
2024-08-05 cs.AI cs.CV
The Behavior Gap: Evaluating Zero-shot LLM Agents in Complex Task-Oriented Dialogs
Intuit AI Research(Intuit AI研究院)
该研究针对零样本LLM智能体在复杂任务导向对话中的性能问题,提出综合评估框架量化其与人类的行为差距,发现该差距随任务复杂度扩大,缩小差距可显著提升性能,为优化TODS提供方向。
2025-06-13 cs.AI cs.CL cs.HC
Towards Green AI: Evaluating Energy Efficiency for Quantized LLM Inference
University of Waterloo(滑铁卢大学)
本文针对LLM量化的能耗影响研究不足问题,评估多模型、多GPU、多数据集的10种PTQ策略,发现长输入短输出时量化能效最优,融合内核实现能效提升最高,延迟优化可替代降低环境足迹。
2026-10-14 cs.AI cs.CY cs.LG
Evaluating LLMs as Interpretable Controllers for Dynamical Systems
NTNU(挪威科技大学);Department of Engineering Cybernetics(工程控制论系)
研究探讨大语言模型能否成为动态热环境的可解释控制器,评估五个不同规模模型在多场景下的表现。结果显示控制性能与模型复杂度有关,高复杂度模型表现更佳,整合物理模型可提升性能,还揭示了不同规模模型推理的进展,为混合控制策略提供机会。
2026-07-28 cs.AI
Evaluating LLM Usage for Efficient and Explainable Numerical and Classified Implicit Sentiment Analysis of Product Desirability
Creighton University(克雷顿大学);The Beacom College of Computer & Cyber Sciences, Dakota State University(达科他州立大学比肯计算机与网络科学学院)
提出基于LLM的可扩展框架,从定性反馈中量化产品期望,零样本数值评分和分类情感分析分别达到0.97皮尔逊相关和94%准确率,GPT-4o-mini以94%更低成本实现可比性能,并集成置信度与可解释性。
2026-06-24 cs.AI cs.CL cs.HC
SIR-Bench: Evaluating Investigation Depth in Security Incident Response Agents
Amazon Web Services(亚马逊网络服务)
本文提出SIR-Bench基准,通过794个测试用例评估自主安全事件响应代理的调查能力,包含三类指标:分诊准确率、新证据发现率和工具使用恰当性。
2026-04-13 cs.AI cs.CR cs.SE
FB-Bench: A Fine-Grained Multi-Task Benchmark for Evaluating LLMs' Responsiveness to Human Feedback
Peking University(北京大学);Baichuan Inc.(百川公司)
本文提出FB-Bench,一个包含591个样本、覆盖多类任务、反馈与回复缺陷的中文细粒度多任务基准,用于评估LLM对真实多轮交互中人类反馈的响应能力。
2025-02-17 cs.AI cs.CL
An LLM-based Quantitative Framework for Evaluating High-Stealthy Backdoor Risks in OSS Supply Chains
Zihe Yan 1(燕子和1);Kai Luo 2(罗凯2);Haoyu Yang 3(杨浩远3);Yang Yu 3(于洋3);Zhuosheng Zhang 1(张卓生1);Guancheng Li 3(李冠成3)
针对开源软件供应链高隐蔽性后门攻击风险,本文提出基于大语言模型的细粒度量化评估框架,从攻击者视角分阶段设计指标,通过LLM语义评估弥补静态分析不足,在Debian高优先级包上验证了其风险识别能力。
2025-11-17 cs.AI cs.SE
Synthetic Data Generation for Screen Time and App Usage
Universidade Lusófona(里斯本大学);Universitat de Barcelona(巴塞罗那大学);Université Paris Cité(巴黎城市大学);Cornell Tech(康奈尔科技)
本研究探讨了利用 ChatGPT 等大型语言模型生成智能手机使用合成数据,通过比较不同提示策略发现详细提示能生成结构化且行为合理的数据,但在捕捉行为多样性和平衡数据保真度方面仍存挑战。
2025-09-17 cs.AI cs.HC
Library-Attack: Reverse Engineering Approach for Evaluating Hardware IP Protection
针对现有硬件IP保护忽视特权攻击者风险的问题,提出Library-Attack反向工程技术,利用特权信息与结构比较恢复IP,并在ISCAS89上验证漏洞,更新威胁模型。
2025-01-21 cs.CR
Holistically Evaluating the Environmental Impact of Creating Language Models
Allen Institute for AI(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学)
本文首次全面评估了从2000万到130亿参数的语言模型开发全流程环境影响,发现模型开发阶段碳排放约占训练阶段一半,并揭示了训练功耗波动对电网规划的挑战。
2025-03-03 cs.AI cs.CY cs.LG
ReCUBE: Evaluating Repository-Level Context Utilization in Code Generation
Carnegie Mellon University(卡内基梅隆大学);Emory University(埃默里大学)
ReCUBE基准测试评估LLM在代码生成中利用仓库级上下文的有效性,通过重建掩码文件并使用依赖关系和文档作为上下文,发现即使先进模型在完整上下文设置下也仅达到37.57%的通过率,而引入Caller-Centric Exploration工具包可显著提升性能。
2026-03-26 cs.AI cs.SE
Continuous Context Management
University of Miami(迈阿密大学);Harvard University(哈佛大学)
本文提出连续上下文管理(CCM),在每轮压缩交互历史以减少活动提示,并通过特权完整历史蒸馏的强化学习提升性能,验证了其作为低上下文智能体推理范式的可行性。
2026-09-29 cs.AI
Towards Least Privilege Containers with Cimplifier
应用程序容器,例如Docker容器,最近作为敏捷和无缝部署应用程序的解决方案而受到欢迎。这些轻量级虚拟化环境运行的应用程序与其资源和配置信息打包在一起,因此可以跨各种软件平台部署。然而,这些软件生态系统不利于真正的和经过考验的特权分离(PS)和最小特权原则(PLP)的安全原则。我们提出了算法和工具Cimplifier,它解决了这些问题的上下文中的容器。具体来说,给定一个容器,我们的工具将它们划分为更简单的容器,这些容器只提供足够的资源来执行其功能。作为我们解决方案的一部分,我们开发了一些技术来分析资源使用情况,执行分区,并将容器粘合在一起以保留功能。我们对真实世界容器的评估表明,Cimplifier可以保留原始功能,减少58- 95%的图像大小,并在30秒内处理大型容器。
2016-02-26 cs.CR
InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis
Kahlert School of Computing(卡勒特计算学院)
本文提出InfiniteScienceGym,通过程序生成科学仓库和可验证问答任务,评估证据推理、回避和工具分析能力,发现现有模型在回答不可答问题上存在显著缺陷。
2026-08-12 cs.AI cs.CL
ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages
IBM
针对大语言模型在代码约束理解上缺乏评估的问题,提出首个覆盖五种表示、含两项新任务的ConCodeEval基准,发现LLMs处理代码约束能力不足,常规代码表现好的语言在细粒度约束任务中表现不佳。
2025-03-24 cs.AI cs.CL cs.SE
Evaluating LLMs for Combinatorial Optimization: One-Phase and Two-Phase Heuristics for 2D Bin-Packing
Department of Computer Science, School of Science and Technology(计算机科学系,科学与技术学院);University of London(伦敦大学);BRAC University(BRAC大学)
本研究针对二维装箱组合优化问题,提出结合大语言模型与进化算法的迭代启发式方案生成框架,经实验验证GPT-4o等模型的方案效率与资源消耗均优于传统方法,还建立了相关任务的LLM性能评估基准。
2025-10-02 cs.AI
SAUSAGE: Security Analysis of Unix domain Socket Usage in Android
Android操作系统是目前世界上最流行的移动操作系统。Android基于Linux,因此继承了其功能,包括进程间通信(IPC)机制。这些机制被进程用来相互通信,并在Android中广泛使用。虽然Android特定的IPC机制已经被广泛研究,但Unix域套接字尚未被全面研究,尽管它在高特权系统守护进程的IPC中起着至关重要的作用。在本文中,我们提出了SAUSAGE,一个有效的新的静态分析框架来研究这些套接字的安全属性。SAUSAGE考虑了Android安全模型中实现的访问控制策略,以及守护程序二进制文件实现的身份验证检查。它是一个完全的静态分析框架,专门用于分析Android系统守护进程中Unix域套接字的使用情况。我们使用这个框架来分析200个Android图像在8个流行的智能手机供应商跨越Android版本7-9。因此,我们发现多个访问控制错误配置和不安全的身份验证检查。我们的显著发现包括高特权Qualcomm系统守护程序中的权限绕过和不受保护的套接字,该套接字允许不受信任的应用程序设置系统上运行的其他进程的调度优先级,尽管实施了强制性SELinux策略。最终,我们的分析结果令人担忧;除了Android开源项目(AOSP)之外,所有供应商都存在访问控制问题,允许不受信任的应用程序通过硬件制造商或供应商自定义引入的Unix域套接字与高特权守护程序进行通信。
2022-04-04 cs.CR cs.SE
SEAL: Suite for Evaluating API-use of LLMs
Cornell University(康奈尔大学);Emergence AI
针对现有 LLM API 使用评估基准泛化性弱、多步推理覆盖有限及实时 API 不稳定的问题,提出端到端测试平台 SEAL,通过标准化基准、集成智能体系统并引入带缓存的 GPT-4 API 模拟器实现确定性评估,提供覆盖检索、调用与响应的综合可靠评测框架。
2024-09-23 cs.AI
From Words to Proverbs: Evaluating LLMs Linguistic and Cultural Competence in Saudi Dialects with Absher
Department of Computer Science, King Khalid University(国王 Khalid 大学计算机科学系);Department of Computer Science and Artificial Intelligence, Umm Al-Qura University(乌姆·阿勒·库拉大学计算机科学与人工智能系);Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·法伊萨尔大学)
本文提出Absher基准,用于评估LLMs在沙特方言中的语言和文化能力,揭示了模型在文化推断和语境理解上的性能差距。
2025-12-21 cs.AI cs.CL
Can LLMs replace Neil deGrasse Tyson? Evaluating the Reliability of LLMs as Science Communicators
Indian Institute of Technology, Delhi(印度理工学院德里分校)
本文评估LLMs作为科学传播者的可靠性,引入包含742个是/否查询的SCiPS-QA数据集和基准套件,发现Llama-3-70B可媲美GPT-4 Turbo,并揭示GPT模型在验证响应及人类评估易受欺骗的问题。
2024-09-21 cs.AI cs.CL
CAPMAS: Capability-Based Delegation of Privileges in Multi-Agent Systems
EPFL(洛桑联邦理工学院);Swisscom(瑞士电信)
CAPMAS提出结合对比学习语义范围界定与Macaroon令牌的架构,实现多智能体系统安全高效特权委派,较OAuth 2.0快30倍并大幅降低延迟和带宽。
2026-09-09 cs.CR cs.MA
ChiEngMixBench: Evaluating Large Language Models on Expert-Style Chinese-English Terminology Mixing
School of Future Technology(未来技术学院)
ChiEngMixBench通过评估中英混合生成的自发性和自然性,揭示多语言模型与人类交流的结构化认知对齐
2026-08-05 cs.AI cs.CL
CodeClinic: Evaluating Automation of Coding Skills for Clinical Reasoning Agents
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
CodeClinic通过MIMIC-IV构建基准,评估LLM代理是否能合成和组合可重用的临床技能,而非依赖固定工具库,包含纵向ICU监控和组合信息检索任务,提升多步推理效率。
2026-05-10 cs.AI cs.MA
Automating Privilege Escalation with Deep Reinforcement Learning
Aalto University(阿尔托大学);F-Secure(F-Secure公司)
基于人工智能的防御解决方案对于保护网络和信息资产免受智能自动化攻击是必要的。收集足够的真实数据来训练基于机器学习的防御是一个重大的实际挑战。一个能够执行真实攻击的智能红队测试代理可以缓解这个问题。然而,几乎没有科学证据证明使用机器学习进行全自动攻击的可行性。在这项工作中,我们使用深度强化学习来训练自动化代理来消除恶意行为者的潜在威胁。我们提出了一个代理,使用最先进的强化学习算法来执行本地权限升级。我们的研究结果表明,自主智能体可以升级特权在Windows 7环境中使用各种不同的技术,这取决于它遇到的环境配置。因此,我们的代理是可用于生成现实的攻击传感器数据的训练和评估入侵检测系统。
2021-10-04 cs.CR cs.LG
TypyBench: Evaluating LLM Type Inference for Untyped Python Repositories
University of Toronto(多伦多大学);Vector Institute(向量研究所);CIFAR AI Chair(CIFAR人工智能主席)
本研究推出评估大语言模型Python仓库类型推断能力的基准TypyBench,含TypeSim、TypeCheck两项新指标,实验发现LLM类型相似度尚可但嵌套类型处理与仓库级一致性不足,为相关研究指明新方向。
2025-07-28 cs.AI cs.PL cs.SE
PrivEscalate: Measuring and Augmenting the Threat of LLM-Automated Linux Privilege Escalation
Nanyang Technological University(南洋理工大学);Xi’an Jiaotong University(西安交通大学)
提出PrivEscalate基准(531个Docker化场景)测量LLM智能体在Linux权限提升中的能力,发现模型能力异质性、环境敏感性和架构影响,并开发PrivEscAgent增强智能体以提升成功率。
2026-09-09 cs.CR
IMPRESS: Evaluating the Resilience of Imperceptible Perturbations Against Unauthorized Data Usage in Diffusion-Based Generative AI
The Pennsylvania State University(宾夕法尼亚州立大学);Stony Brook University(石溪大学);University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出IMPRESS平台,通过利用不可感知扰动导致的原始图像与扩散重建图像之间的不一致来净化图像,从而系统评估并削弱现有扩散模型图像保护方法对未授权数据使用的防御效果。
2023-10-30 cs.AI cs.CR cs.CV
Evaluating Membership Inference Through Adversarial Robustness
Southwest University(西南大学);Deakin University(迪肯大学);Huazhong University of Science and Technology(华中科技大学)
深度学习的使用正在许多应用中升级。由于其出色的性能,除了传统应用外,它还被用于各种安全和隐私敏感领域。深度学习功效的关键方面之一是拥有丰富的数据。这种特性导致使用高度敏感和私密的数据,这反过来又导致公众对深度学习持谨慎态度。成员推断攻击被认为是致命的,因为它们可以用来判断一段数据是否属于训练数据集。这在训练数据信息及其特性的泄漏方面可能是有问题的。为了突出这些类型的攻击的重要性,我们提出了一种增强的方法,成员推断攻击的基础上对抗性的鲁棒性,通过调整方向的对抗性扰动通过标签平滑下的白盒设置。我们在三个数据集上评估了我们提出的方法:Fashion-MNIST,CIFAR-10和CIFAR-100。我们的实验结果表明,我们的方法的性能超过现有的对抗鲁棒性为基础的方法时,攻击正常训练的模型。此外,通过将我们的技术与最先进的基于度量的成员推理方法进行比较,我们提出的方法在攻击对抗训练模型时也表现出更好的性能。用于再现这项工作的结果的代码可在\url{https://github.com/plll4zzx/Evaluating-Membership-Inference-Through-Adversarial-Robustness}上获得。
2022-05-14 cs.AI cs.CR
A Threat Modeling Framework for Evaluating Computing Platforms Against Architectural Attacks
软件组件滥用与硬件的特权关系,以绕过系统保护、监视器或取证工具。这些关系通常不是非法的,并且通过设计存在于系统组件之间。因此,即使是具有安全硬件和软件组件的系统,在架构上也可能是脆弱的。不幸的是,现有的威胁建模方案不适用于对计算平台的架构攻击建模。这主要是因为现有技术依赖于软件的抽象表示(例如,数据流图)作为一个主要要求,不适用于作为一个整体的平台(考虑硬件和软件元素)。在本文中,我们讨论了一个硬件-软件体系结构视图的必要性,系统的威胁建模。然后,我们提出了LambertTM,一个框架适应威胁建模方法,适用于不可信的平台,通过整体的方法。Lambertology涉及用于平台抽象建模的系统安全体系结构。使用设计结构矩阵分析,LambertTM帮助最终用户识别针对平台的可能攻击向量。该框架是来自系统工程和软件安全领域的概念的连接点。我们已经应用该框架上的多用途计算机与x86 - 64架构作为一个案例研究,以显示我们的框架的有效性。
2018-09-05 cs.CR
Agent Security Needs Redefinition through a Holistic Framework
研究指出智能体安全是上下文问题,当前基于内容的框架有误。通过源授权、任务对齐、行动对齐和数据隔离四个属性实施上下文安全,改变了防御连贯性、评估有效性及可识别的攻击模式。
2026-07-27 cs.AI cs.CR
MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出MobileCybench基准,用可执行探针评估AI智能体在Android应用中的漏洞发现能力,实验表明顶级智能体在恶意应用场景下触发率53.8%,并发现23个新漏洞。
2026-09-22 cs.AI cs.CR cs.LG
"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);NetApp(NetApp公司)
本文通过JailbreakHub框架分析千余条真实越狱提示词的特征与攻击策略,构建万级样本问题集测试6款主流LLM,发现现有防护存在不足并定位高效越狱提示,为LLM安全合规研究提供支撑。
2024-05-15 cs.CR cs.LG
Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning
Sola Security
针对多云和SaaS平台中跨厂商身份安全配置错误与权限提升路径的评估缺失,提出包含50个数据驱动任务的跨厂商Sola ISPM基准测试,并构建评估框架,实验表明结构化关系上下文将答案正确性相对提升约34%,探索查询减少约70%。
2026-06-01 cs.CR
Developing and Evaluating Lightweight Cryptographic Algorithms for Secure Embedded Systems in IoT Devices
University of Chadli Bendjedid, Faculty of Sciences & Technology(查德利本杰迪德大学,科学与技术学院)
本文提出基于Feistel网络架构的新型轻量级加密算法,通过FPGA验证其在物联网等资源受限环境中的安全性和性能。
2026-01-06 cs.CR
One Click to Leak: Characterizing the Real-World Usage and Threat Impact of MNO-based Single Sign-On Websites
Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);Fudan University(复旦大学);Baidu Inc.(百度公司);Quancheng Laboratory(泉城实验室)
本研究分析基于移动网络运营商的单点登录(MSSO)网站,揭示其流程中的信任缺陷,提出一键泄露(OCL)攻击,并通过大规模纵向研究证实广泛存在的安全风险,旨在加强移动认证安全。
2026-09-14 cs.CR