arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2604.03533cs.AI
收藏

全球人工智能安全举措的自动化分析:基于分类学的LLM方法

Automated Analysis of Global AI Safety Initiatives: A Taxonomy-Driven LLM Approach

Japan AI Safety Institute(日本人工智能安全研究所)

Takayuki Semitsu, Naoto Kiribuchi, Kengo Zenitani

AI总结:

本文提出一种自动化框架,通过共享活动分类法比较AI安全政策文件,利用活动地图上的活动类别提取并映射相关活动,生成摘要、比较和相似度评分,评估LLM在政策文档中的稳定性与有效性。

摘要:

我们提出了一种自动化交叉对照框架,该框架在共享的活动分类法下比较一对AI安全政策文件。使用活动地图上的活动类别作为固定方面,系统提取并映射相关活动,然后为每个方面生成每份文件的简要摘要、简要比较和相似度评分。我们评估了基于LLM的交叉对照分析在公共政策文件中的稳定性和有效性。使用五种大型语言模型,我们对十份公开文档进行了交叉对照,并用热图可视化平均相似度评分。结果表明,模型选择显著影响交叉对照结果,某些文档对在不同模型下产生高度分歧。三位专家对两份文档对进行人工评估,显示出高的一致性,而模型评分仍与人类判断不同。这些发现支持政策文件的比较检查。

英文摘要:

We present an automated crosswalk framework that compares an AI safety policy document pair under a shared taxonomy of activities. Using the activity categories defined in Activity Map on AI Safety as fixed aspects, the system extracts and maps relevant activities, then produces for each aspect a short summary for each document, a brief comparison, and a similarity score. We assess the stability and validity of LLM-based crosswalk analysis across public policy documents. Using five large language models, we perform crosswalks on ten publicly available documents and visualize mean similarity scores with a heatmap. The results show that model choice substantially affects the crosswalk outcomes, and that some document pairs yield high disagreements across models. A human evaluation by three experts on two document pairs shows high inter-annotator agreement, while model scores still differ from human judgments. These findings support comparative inspection of policy documents.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑