Cybersecurity AI: Hacking the AI Hackers via Prompt Injection
专题命中 提示注入 :prompt injection(title,abstract)
AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
专题命中 提示注入 :prompt injection(title,abstract)
专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL、cs.AI、cs.CY
Comments Accepted to AAAI 2026
专题命中 幻觉与事实性 :alignment(title,abstract);分类 cs.CL、cs.AI
Comments The manuscript is being withdrawn to incorporate additional revisions and improvements
机构 * Shanghai Jiao Tong University(上海交通大学) ; The University of Sydney(悉尼大学) ; Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区) ; Nanyang Technological University(南洋理工大学)
专题命中 幻觉与事实性 :alignment(abstract);trustworthy(abstract);分类 cs.CL
专题命中 幻觉与事实性 :trustworthy(abstract);分类 cs.CL、cs.AI、cs.LG
专题命中 幻觉与事实性 :safety(abstract);分类 cs.CY、cs.LG
专题命中 幻觉与事实性 :alignment(abstract);分类 cs.AI
机构 * Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系) ; Quan Cheng Laboratory(泉城实验室)
专题命中 幻觉与事实性 :alignment(abstract);分类 cs.CL
机构 * New York University(纽约大学) ; Cornell Tech(康奈尔科技) ; Vanderbilt University(范德比大学) ; Carnegie Mellon University(卡内基梅隆大学) ; University of Regensburg(莱茵河畔大学) ; Weill Cornell Medicine(韦尔·科恩医学中心) ; Northwell Health(北well健康)
专题命中 幻觉与事实性 :alignment(abstract)
专题命中 隐私与版权 :alignment(abstract);safety(abstract);分类 cs.AI、cs.CY
机构 * Deakin Cyber Research(德肯网络研究) ; Innovation Centre Deakin University / Universal Higher Education Melbourne, Australia(德肯大学创新中心/通用高等教育墨尔本,澳大利亚) ; School of IT(信息科技学院) ; Engineering Melbourne Institute of Technology Melbourne, Australia(工程墨尔本技术学院墨尔本,澳大利亚) ; Innovation Centre Deakin University Geelong, Australia(德肯大学创新中心吉朗,澳大利亚)
专题命中 隐私与版权 :alignment(abstract);分类 cs.AI、cs.LG
专题命中 隐私与版权 :alignment(abstract);分类 cs.CL、cs.AI
Comments 50 pages, 19 figures, 9 tables
专题命中 隐私与版权 :alignment(abstract);分类 cs.LG
Comments Accepted by AAAI 2026 (extended version with supplementary materials)
机构 * UC Santa Cruz(加州大学圣克ruz分校) ; UC Santa Barbara(加州大学圣芭芭拉分校) ; UC Berkeley(加州大学伯克利分校) ; Cisco Research(思科研究)
专题命中 安全评测 :safety(title,abstract);prompt injection(abstract);分类 cs.AI、cs.CY
机构 * Beijing Caizhi Tech(北京彩智科技)
专题命中 安全评测 :safety(title,abstract);trustworthy(abstract);分类 cs.AI
专题命中 安全评测 :alignment(title,abstract);safety(abstract);分类 cs.LG
Comments AAAI'26
机构 * Johns Hopkins University Applied Physics Laboratory (APL)(约翰霍普金斯大学应用物理实验室)
专题命中 安全评测 :alignment(abstract);safety(abstract);trustworthy(abstract);分类 cs.AI、cs.LG
Comments 13 pages, 4 figures, 6 tables
机构 * Department of Electronic Engineering, City University of Hong Kong(DongGuan)(香港城市大学(东莞)电子工程系) ; Department of Electronic Engineering, City University of Hong Kong(香港城市大学电子工程系)
专题命中 安全评测 :trustworthy(title);分类 cs.AI
专题命中 安全评测 :alignment(title);分类 cs.CL
Comments 7 pages, 5 figures
专题命中 安全评测 :safety(abstract);AI safety(abstract);分类 cs.AI、cs.CY
机构 * BreathingCORE
专题命中 安全评测 :alignment(abstract);trustworthy(abstract);分类 cs.AI、cs.CY
机构 * Department of Management Systems and Organizational Development, Faculty of Management, Wrocław University of Science and Technology(管理系统与组织发展系,管理学院,沃林大学科学与技术学院) ; Department of Mathematics, Faculty of Mathematics, Wrocław University of Science and Technology(数学系,数学学院,沃林大学科学与技术学院) ; AMOTHO Research Institute, Vallsjön 20, 780 00 Rörbäcksnäs, Sweden(AMOTHO研究所)
专题命中 安全评测 :alignment(abstract);trustworthy(abstract);分类 cs.AI
Comments 30 pages, 2 figures
机构 * Shanghai Children’s Hospital, School of Medicine,Shanghai Jiao Tong University(上海儿童医学中心,上海交通大学医学院) ; Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; Shanghai University of Traditional Chinese Medicine(上海中医药大学) ; University of Washington(华盛顿大学)
专题命中 安全评测 :safety(abstract);trustworthy(abstract);分类 cs.CL
专题命中 安全评测 :alignment(abstract);trustworthy(abstract)
机构 * Carnegie Mellon University(卡内基梅隆大学) ; King’s College London(伦敦国王学院) ; University of Birmingham(伯明翰大学)
专题命中 安全评测 :safety(abstract);分类 cs.CL、cs.AI、cs.CY
Comments Published in International Journal of Social Robotics (2025). 49 pages (65 with references and appendix), 27 Figures, 8 Tables. Andrew Hundt and Rumaisa Azeem are equal contribution co-first authors. The positions of the two co-first authors were swapped from arxiv version 1 with the written consent of all four authors. The Version of Record is available via DOI: 10.1007/s12369-025-01301-x
机构 * Department of Cybersecurity University at Albany, SUNY Albany, NY, USA ; Dept. of Atmospheric \& Environmental Sciences University at Albany, SUNY Albany, NY, USA ; Lally School of Management Rensselaer Polytechnic Institute Albany, NY, USA ; Goddard Space Flight Center NASA Greenbelt, MD, USA
专题命中 安全评测 :trustworthy(abstract);分类 cs.AI、cs.LG
机构 * Amazon(亚马逊公司) ; Texas A&M University(德克萨斯A&M大学)
专题命中 安全评测 :alignment(abstract);分类 cs.CL、cs.LG
Comments Accepted to IJCNLP-AACL 2025 Findings
机构 * Center for Cognitive Interaction Technology (CITEC), Bielefeld University, Germany(认知交互技术中心(CITEC),比勒菲尔德大学,德国) ; Cognitive Systems Lab, University of Bremen, Germany(认知系统实验室,不莱梅大学,德国)
专题命中 安全评测 :trustworthy(abstract);分类 cs.AI、cs.LG
Comments 5 pages, 2 figures
机构 * University of Miami(迈阿密大学) ; University of Zurich(苏黎世大学) ; Stripe(Stripe公司) ; ETH Zurich(苏黎世联邦理工学院) ; Imperial College London(伦敦帝国理工学院)
专题命中 安全评测 :trustworthy(abstract);分类 cs.CL、cs.AI
Comments Questions, system prompt and model judge prompts available here: https://www.kaggle.com/datasets/deepmind/clinb-questions
机构 * Rensselaer Polytechnic Institute(伦斯勒理工学院)
专题命中 安全评测 :alignment(abstract);分类 cs.AI、cs.LG
Comments 10 pages, 3 figures, RAGE-KG 2025