大模型对齐与安全

Formalization Driven LLM Prompt Jailbreaking via Reinforcement Learning

Zhaoqi Wang, Daqing He, Zijian Zhang, Xin Li, Liehuang Zhu, Meng Li, Jiamou Liu

机构 * Beijing Institute of Technology（北京理工大学） ； Hefei University of Technology（合肥工业大学） ； The University of Auckland（奥克兰大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；jailbreak(abstract)；分类 cs.AI

Preventing Robotic Jailbreaking via Multimodal Domain Adaptation

Francesco Marchiori, Rohan Sinha, Christopher Agia, Alexander Robey, George J. Pappas, Mauro Conti, Marco Pavone

机构 * University of Padova（帕多瓦大学） ； Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Örebro University（奥雷布罗大学） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

Comments Project page: https://j-dapt.github.io/. 9 pages, 6 figures

GRAF: Multi-turn Jailbreaking via Global Refinement and Active Fabrication

Hua Tang, Lingyong Yan, Yukun Zhao, Shuaiqiang Wang, Jizhou Huang, Dawei Yin

机构 * The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳）） ； Baidu Inc.（百度公司） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

Causes and Consequences of Representational Similarity in Machine Learning Models

Zeyu Michael Li, Hung Anh Vu, Damilola Awofisayo, Emily Wenger

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.LG

StolenLoRA: Exploring LoRA Extraction Attacks via Synthetic Data

Yixu Wang, Yan Teng, Yingchun Wang, Xingjun Ma

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 越狱攻击 ：safety(abstract)

Comments ICCV 2025

Red Teaming Quantum-Resistant Cryptographic Standards: A Penetration Testing Framework Integrating AI and Quantum Security

Petar Radanliev

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.AI

Journal ref The Journal of Defense Modeling and Simulation. 2025;0(0)

Creative Adversarial Testing (CAT): A Novel Framework for Evaluating Goal-Oriented Agentic AI Systems

Hassen Dhrif

机构 * Amazon（亚马逊） 纠错

专题命中 红队测试 ：alignment(abstract)；分类 cs.AI

Evil Vizier: Vulnerabilities of LLM-Integrated XR Systems

Yicheng Zhang, Zijian Huang, Sophie Chen, Erfan Shayegani, Jiasi Chen, Nael Abu-Ghazaleh

专题命中 红队测试 ：safety(abstract)

AttAnchor: Guiding Cross-Modal Token Alignment in VLMs with Attention Anchors

Junyang Zhang, Tianyi Zhu, Thierry Tambe

机构 * California Institute of Technology（加州理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI

Comments 31 pages, 17 figures

Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty

Lingyou Pang, Lei Huang, Jianyu Lin, Tianyu Wang, Akira Horiguchi, Alexander Aue, Carey E. Priebe

机构 * Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系） ； Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰霍普金斯大学应用数学与统计学系） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.LG

Comments 26 pages including appendix; 3 figures and 5 tables. Under review for ICLR 2026

Calibration Meets Reality: Making Machine Learning Predictions Trustworthy

Kristina P. Sinaga, Arjun S. Nair

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与事实性 ：trustworthy(title)；分类 cs.AI、cs.LG

Comments 30 pages, 7 figures, 5 tables

How to Protect Yourself from 5G Radiation? Investigating LLM Responses to Implicit Misinformation

Ruohao Guo, Wei Xu, Alan Ritter

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments Accepted to EMNLP 2025 main conference

Dynamic Trust Calibration Using Contextual Bandits

Bruno M. Henrique, Eugene Santos

机构 * Thayer School of Engineering（泰勒工程学院） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI、cs.LG

Tree Reward-Aligned Search for TReASURe in Masked Diffusion Language Models

Zichao Yu, Ming Li, Wenyi Zhang, Weiguo Gao

机构 * University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.LG

Comments 21 pages, 6 figures

The Geometry of Creative Variability: How Credal Sets Expose Calibration Gaps in Language Models

Esteban Garces Arias, Julian Rodemann, Christian Heumann

机构 * Department of Statistics, LMU Munich（统计系，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹研究中心） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

Comments Accepted at the 2nd UncertaiNLP Workshop @ EMNLP 2025

KAQG: A Knowledge-Graph-Enhanced RAG for Difficulty-Controlled Question Generation

Ching Han Chen, Ming Fang Shiu

专题命中 幻觉与事实性 ：alignment(abstract)

Comments 10 pages, 4 figures and 6 tables

No Concept Left Behind: Test-Time Optimization for Compositional Text-to-Image Generation

Mohammad Hossein Sameti, Amir M. Mansourian, Arash Marioriyad, Soheil Fadaee Oshyani, Mohammad Hossein Rohban, Mahdieh Soleymani Baghshah

机构 * Sharif University of Technology（沙里夫技术大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)

Comments 8 pages, 8 figures, 1 table

Situational Awareness for Safe and Robust Multi-Agent Interactions Under Uncertainty

Benjamin Alcorn, Eman Hammad

专题命中 幻觉与事实性 ：safety(abstract)

SUV: Scalable Large Language Model Copyright Compliance with Regularized Selective Unlearning

Tianyang Xu, Xiaoze Liu, Feijie Wu, Xiaoqian Wang, Jing Gao

机构 * Purdue University（普渡大学） 纠错

专题命中 隐私与版权 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments COLM 2025

Sanitize Your Responses: Mitigating Privacy Leakage in Large Language Models

Wenjie Fu, Huandong Wang, Junyao Gao, Guoan Wan, Tao Jiang

专题命中 隐私与版权 ：safety(abstract)；分类 cs.CL、cs.LG

Beyond Jailbreaking: Auditing Contextual Privacy in LLM Agents

Saswat Das, Jameson Sandler, Ferdinando Fioretto

专题命中 隐私与版权 ：safety(abstract)；分类 cs.CL、cs.AI

Unveiling Over-Memorization in Finetuning LLMs for Reasoning Tasks

Zhiwen Ruan, Yun Chen, Yutao Hou, Peng Li, Yang Liu, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Tsinghua University（清华大学） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.CL

An Ensemble Framework for Unbiased Language Model Watermarking

Yihan Wu, Ruibo Chen, Georgios Milis, Heng Huang

专题命中 隐私与版权 ：safety(abstract)

Towards Trustworthy Lexical Simplification: Exploring Safety and Efficiency with Small LLMs

Akio Hayakawa, Stefan Bott, Horacio Saggion

机构 * Department of Engineering, Universitat Pompeu Fabra（工程系，庞培法布拉大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(title)；分类 cs.CL

Tiered Agentic Oversight: A Hierarchical Multi-Agent System for Healthcare Safety

Yubin Kim, Hyewon Jeong, Chanwoo Park, Eugene Park, Haipeng Zhang, Xin Liu, Hyeonhoon Lee, Daniel McDuff, Marzyeh Ghassemi, Cynthia Breazeal, Samir Tulebaev, Hae Won Park

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Google Research（谷歌研究） ； Harvard Medical School（哈佛医学院） ； Seoul National University Hospital（首尔国立大学医院） 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)；分类 cs.AI

Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu

机构 * Laboratory of Intelligent Collaborative Computing University of Electronic Science and Technology of China（智能协同计算实验室 电子科技大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception

Xinyang Song, Libin Wang, Weining Wang, Shaozhen Liu, Dandan Zheng, Jingdong Chen, Qi Li, Zhenan Sun

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 安全评测 ：alignment(title,abstract)

Outlier Detection in Plantar Pressure: Human-Centered Comparison of Statistical Parametric Mapping and Explainable Machine Learning

Carlo Dindorf, Jonas Dully, Steven Simon, Dennis Perchthaler, Stephan Becker, Hannah Ehmann, Kjell Heitmann, Bernd Stetter, Christian Diers, Michael Fröhlich

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

Accuracy is Not Agreement: Expert-Aligned Evaluation of Crash Narrative Classification Models

Sudesh Ramesh Bhagat, Ibne Farabi Shihab, Anuj Sharma

机构 * Institute for Transportation（交通研究所） ； Iowa State University（爱荷华州立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

Journal ref 2025 IEEE 28th International Conference on Intelligent Transportation

Rare-to-Frequent: Unlocking Compositional Generation Power of Diffusion Models on Rare Concepts with LLM Guidance

Dongmin Park, Sebin Kim, Taehong Moon, Minkyu Kim, Kangwook Lee, Jaewoong Cho

机构 * KRAFTON ； Seoul National University（首尔国立大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ICLR 2025 (spotlight)