大模型对齐与安全

Person-AI Bidirectional Fit - A Proof-Of-Concept Case Study Of Augmented Human-Ai Symbiosis In Management Decision-Making Process

Agnieszka Bieńkowska, Jacek Małecki, Alexander Mathiesen-Ohman, Katarzyna Tworek

机构 * Department of Management Systems and Organizational Development, Faculty of Management, Wrocław University of Science and Technology（管理系统与组织发展系，管理学院，沃林大学科学与技术学院） ； Department of Mathematics, Faculty of Mathematics, Wrocław University of Science and Technology（数学系，数学学院，沃林大学科学与技术学院） ； AMOTHO Research Institute, Vallsjön 20, 780 00 Rörbäcksnäs, Sweden（AMOTHO研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

Comments 30 pages, 2 figures

Can Large Language Models Function as Qualified Pediatricians? A Systematic Evaluation in Real-World Clinical Contexts

Siyu Zhu, Mouxiao Bian, Yue Xie, Yongyu Tang, Zhikang Yu, Tianbin Li, Pengcheng Chen, Bing Han, Jie Xu, Xiaoyan Dong

机构 * Shanghai Children’s Hospital, School of Medicine,Shanghai Jiao Tong University（上海儿童医学中心，上海交通大学医学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai University of Traditional Chinese Medicine（上海中医药大学） ； University of Washington（华盛顿大学） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.CL

VMDT: Decoding the Trustworthiness of Video Foundation Models

Yujin Potter, Zhun Wang, Nicholas Crispino, Kyle Montgomery, Alexander Xiong, Ethan Y. Chang, Francesco Pinto, Yuqi Chen, Rahul Gupta, Morteza Ziyadi, Christos Christodoulopoulos, Bo Li, Chenguang Wang, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Chicago（芝加哥大学） ； Amazon（亚马逊） ； Information Commissioner’s Office（信息专员办公室） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

Comments NeurIPS 2025 Datasets & Benchmarks

Evaluation Awareness Scales Predictably in Open-Weights Large Language Models

Maheep Chaudhary, Ian Su, Nikhil Hooda, Nishith Shankar, Julia Tan, Kevin Zhu, Ryan Lagasse, Vasu Sharma, Ashwinee Panda

机构 * Independent（独立研究者） ； UC Irvine（加州大学尔湾分校） ； University of Waterloo（滑铁卢大学） ； UW Madison（威斯康星大学麦迪逊分校） ； University of Toronto（多伦多大学） ； Algoverse（Algoverse公司） ； META ； University of Maryland（马里兰大学） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

Beta Distribution Learning for Reliable Roadway Crash Risk Assessment

Ahmad Elallaf, Nathan Jacobs, Xinyue Ye, Mei Chen, Gongbo Liang

机构 * Texas A&M University-San Antonio（德克萨斯A&M大学-圣安东尼奥分校） ； Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of Alabama（阿拉巴马大学） ； University of Kentucky（肯塔基大学） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

Comments Accepted to AAAI 2026

AdversariaLLM: A Unified and Modular Toolbox for LLM Robustness Research

Tim Beyer, Jonas Dornbusch, Jakob Steimle, Moritz Ladenburger, Leo Schwinn, Stephan Günnemann

机构 * Department of Computer Science, Technical University of Munich, Germany（慕尼黑技术大学计算机科学系） ； Munich Data Science Institute, Germany（慕尼黑数据科学研究所） 纠错

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

Can MLLMs Read the Room? A Multimodal Benchmark for Verifying Truthfulness in Multi-Party Social Interactions

Caixin Kang, Yifei Huang, Liangyang Ouyang, Mingfang Zhang, Yoichi Sato

机构 * The University of Tokyo（东京大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL

Comments ICCV2025 Workshop

SciTrust 2.0: A Comprehensive Framework for Evaluating Trustworthiness of Large Language Models in Scientific Applications

Emily Herron, Junqi Yin, Feiyi Wang

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

Comments Preprint Submitted to ACM Transactions on AI for Science (TAIS)

OpenGuardrails: A Configurable, Unified, and Scalable Guardrails Platform for Large Language Models

Thomas Wang, Haowen Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)；分类 cs.CL

A Pragmatic Way to Measure Chain-of-Thought Monitorability

Scott Emmons, Roland S. Zimmermann, David K. Elson, Rohin Shah

机构 * Google（谷歌） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

Comments The first two authors contributed equally

Can Large Language Models Unlock Novel Scientific Research Ideas?

Sandeep Kumar, Tirthankar Ghosal, Vinayak Goyal, Asif Ekbal

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna（计算机科学与工程系，印度理工学院帕纳布分校） ； National Center for Computational Sciences, Oak Ridge National Laboratory（计算科学国家中心，橡树岭国家实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments EMNLP 2025 (Main)

S-Chain: Structured Visual Chain-of-Thought For Medicine

Khai Le-Duc, Duy M. H. Nguyen, Phuong T. H. Trinh, Tien-Phat Nguyen, Nghiem T. Diep, An Ngo, Tung Vu, Trinh Vuong, Anh-Tien Nguyen, Mau Nguyen, Van Trung Hoang, Khai-Nguyen Nguyen, Hy Nguyen, Chris Ngo, Anji Liu, Nhat Ho, Anne-Christin Hauschild, Khanh Xuan Nguyen, Thanh Nguyen-Tang, Pengtao Xie, Daniel Sonntag, James Zou, Mathias Niepert, Anh Totti Nguyen

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.LG

Comments First version

EU-Agent-Bench: Measuring Illegal Behavior of LLM Agents Under EU Law

Ilija Lichkovski, Alexander Müller, Mariam Ibrahim, Tiwai Mhundwa

机构 * AI Safety Initiative Groningen（格罗宁根人工智能安全倡议） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

Comments Accepted at the Workshop on Regulatable ML at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Quantifying CBRN Risk in Frontier Models

Divyanshu Kumar, Nitin Aravind Birur, Tanay Baswa, Sahil Agarwal, Prashanth Harshangi

机构 * Enkrypt AI 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

TRUST: A Decentralized Framework for Auditing Large Language Model Reasoning

Morris Yu-Chao Huang, Zhen Tan, Mohan Zhang, Pingzhi Li, Zhuo Zhang, Tianlong Chen

专题命中 安全评测 ：harmlessness(abstract)；trustworthy(abstract)；分类 cs.AI

Subliminal Corruption: Mechanisms, Thresholds, and Interpretability

Reya Vir, Sarvesh Bhatnagar

机构 * Department of Computer Science, Columbia University, New York, NY, USA（哥伦比亚大学计算机科学系） ； Department of Computer Science（计算机科学系） ； Engineering, University of Michigan, MI, USA（密歇根大学工程学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.LG

A Vision for Access Control in LLM-based Agent Systems

Xinfeng Li, Dong Huang, Jie Li, Hongyi Cai, Zhenhong Zhou, Wei Dong, XiaoFeng Wang, Yang Liu

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； National University of Singapore, Singapore（国立新加坡大学，新加坡） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

Comments 11 pages, 1 figure

Taming a Retrieval Framework to Read Images in Humanlike Manner for Augmenting Generation of MLLMs

Suyang Xi, Chenxi Yang, Hong Ding, Yiqing Ni, Catherine C. Liu, Yunhao Liu, Chengqi Zhang

机构 * Emory University（埃默里大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

Comments 12 pages, 5 figures

Optimizing Ethical Risk Reduction for Medical Intelligent Systems with Constraint Programming

Clotilde Brayé, Aurélien Bricout, Arnaud Gotlieb, Nadjib Lazaar, Quentin Vallet

机构 * Enovacom ； Simula Research Laboratory ； LISN, Université Paris-Saclay（LISN，巴黎萨克雷大学） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

Sherkala-Chat: Building a State-of-the-Art LLM for Kazakh in a Moderately Resourced Setting

Fajri Koto, Rituraj Joshi, Nurdaulet Mukhituly, Yuxia Wang, Zhuohan Xie, Rahul Pal, Daniil Orel, Parvez Mullah, Diana Turmakhan, Maiya Goloburda, Mohammed Kamran, Samujjwal Ghosh, Bokang Jia, Jonibek Mansurov, Mukhammed Togmanov, Debopriyo Banerjee, Nurkhan Laiyk, Akhmed Sakip, Xudong Han, Ekaterina Kochmar, Alham Fikri Aji, Aaryamonvikram Singh, Alok Anil Jadhav, Satheesh Katipomu, Samta Kamboj, Monojit Choudhury, Gurpreet Gosal, Gokulakrishnan Ramakrishnan, Biswajit Mishra, Sarath Chandran, Avraham Sheinin, Natalia Vassilieva, Neha Sengupta, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Inception ； Cerebras Systems（Cerebras系统） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

Comments Accepted at COLM 2025

Autonomous Data Agents: A New Opportunity for Smart Data

Yanjie Fu, Dongjie Wang, Wangyang Ying, Xinyuan Wang, Xiangliang Zhang, Huan Liu, Jian Pei

机构 * Arizona State University（亚利桑那州立大学） ； University of Kansas（堪萨斯大学） ； University of Notre Dame（圣母大学） ； Duke University（杜克大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

Say One Thing, Do Another? Diagnosing Reasoning-Execution Gaps in VLM-Powered Mobile-Use Agents

Lingzhong Dong, Ziqi Zhou, Shuaibo Yang, Haiyue Sheng, Pengzhou Cheng, Zongru Wu, Zheng Wu, Gongshen Liu, Zhuosheng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL

Human-AI Teaming Co-Learning in Military Operations

Clara Maathuis, Kasper Cools

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

Comments Submitted to Sensors + Imaging; presented on 18th of September (Artificial Intelligence for Security and Defence Applications III)

Just Do It!? Computer-Use Agents Exhibit Blind Goal-Directedness

Erfan Shayegani, Keegan Hines, Yue Dong, Nael Abu-Ghazaleh, Roman Lutz, Spencer Whitehead, Vidhisha Balachandran, Besmira Nushi, Vibhav Vineet

机构 * Microsoft Research AI Frontiers（微软研究院人工智能前沿） ； Microsoft AI Red Team（微软AI红色团队） ； University of California, Riverside（加州大学河滨分校） ； NVIDIA（英伟达） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

Is Model Editing Built on Sand? Revealing Its Illusory Success and Fragile Foundation

Wei Liu, Haomei Xu, Bingqing Liu, Zhiying Deng, Haozhao Wang, Jun Wang, Ruixuan Li, Yee Whye Teh, Wee Sun Lee

机构 * National University of Singapore（新加坡国立大学） ； Huazhong University of Science and Technology（华中科技大学） ； Central China Normal University（中国地质大学） ； iWudao Tech（iWudao科技） ； Oxford（牛津大学） ； Google Deepmind（谷歌DeepMind） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

Comments This is a work in progress. Comments and suggestions are welcome

CORE: Full-Path Evaluation of LLM Agents Beyond Final State

Panagiotis Michelakis, Yiannis Hadjiyiannis, Dimitrios Stamoulis

机构 * Synkrasis Labs（Synkrasis实验室） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

Comments Accepted: LAW 2025 Workshop NeurIPS 2025

EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models

Botai Yuan, Yutian Zhou, Yingjie Wang, Fushuo Huo, Yongcheng Jing, Li Shen, Ying Wei, Zhiqi Shen, Ziwei Liu, Tianwei Zhang, Jie Yang, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

Comments 29 pages, 6 figures

How Much of Your Data Can Suck? Thresholds for Domain Performance and Emergent Misalignment in LLMs

Jian Ouyang, Arman T, Ge Jin

机构 * Invisible Technologies（隐形技术） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

LLMZ+: Contextual Prompt Whitelist Principles for Agentic LLMs

Tom Pawelek, Raj Patel, Charlotte Crowell, Noorbakhsh Amiri, Sudip Mittal, Shahram Rahimi, Andy Perkins

机构 * Department of Computer Science Mississippi State University（计算机科学系密苏里州立大学） ； Department of Computer Science The University of Alabama（计算机科学系阿拉巴马大学） ； Mississippi State University, Mississippi State, MS, USA（密苏里州立大学） ； The University of Alabama, Tuscaloosa, AL, USA（阿拉巴马大学） 纠错

专题命中 安全评测 ：jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

Comments 7 pages, 5 figures, to be published and presented at ICMLA 2025

Medical AI Consensus: A Multi-Agent Framework for Radiology Report Generation and Evaluation

Ahmed T. Elboardy, Ghada Khoriba, Essam A. Rashed

机构 * Graduate School of Information Science, University of Hyogo（京都大学垣田学园信息科学研究生院） ； Center for Informatics Science, School of Information Technology and Computer Science, Nile University（尼罗大学信息科学中心） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

Comments NeurIPS2025 Workshop: Evaluating the Evolving LLM Lifecycle: Benchmarks, Emergent Abilities, and Scaling