针对金融服务业LLM自动红队测试的风险调整危害评分
Risk-Adjusted Harm Scoring for Automated Red Teaming for LLMs in Financial Services
AI总结：
本文提出了一种针对金融服务业LLM安全风险的评估框架，通过风险敏感的RAHS度量标准，评估LLM在长期对抗压力下的安全性能。
摘要：
大型语言模型（LLMs）在金融服务中的快速应用引入了新的运营、监管和安全风险。然而，大多数红队测试基准仍然缺乏领域针对性，未能捕捉到受监管的金融服务（BFSI）环境中特定的失败模式，其中有害行为可以通过法律或专业上合理的框架来诱发。我们提出了一种针对银行、金融服务和保险（BFSI）领域LLM安全故障的风险意识评估框架，结合了特定领域的金融危害分类、自动化多轮红队测试流水线和基于集成的判断协议。我们引入了风险调整危害评分（RAHS），一种风险敏感的度量标准，它超越了成功率，通过量化披露的操作严重性、考虑缓解信号，并利用法官间的一致性来评估。在多样化的模型中，我们发现更高的解码随机性和持续的适应性互动不仅增加了 jailbreak 成功率，还驱动了系统性升级向更严重和可操作的金融披露发展。这些结果揭示了单轮、领域无关的安全评估的局限性，并促使在长期对抗压力下进行风险敏感的评估，以适应现实中的BFSI部署。
英文摘要：
Existing LLM safety evaluations rely on binary attack-success rates and domain-agnostic taxonomies, leaving regulated Banking, Financial Services, and Insurance (BFSI) deployments exposed to failures elicited through legally or professionally plausible framing. We introduce RAHS (Risk-Adjusted Harm Score), a risk-sensitive metric jointly capturing disclosure severity, disclaimer mitigation, and inter-judge agreement, and FinRedTeamBench, a 989-prompt benchmark spanning seven BFSI risk areas and 34 sub-categories mapped to regulatory frameworks. Evaluation uses an ensemble of three heterogeneous LLM judges, validated against human experts, and an adaptive multi-turn red-teaming pipeline. On nine open-weight models, RAHS preserves separation under near-ceiling ASR, ranking is stable under hyperparameter sweeps, and multi-turn pressure drives not only more jailbreaks but more operationally severe disclosures, exposing failure modes that single-turn, domain-agnostic evaluations cannot reveal.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
