大模型对齐与安全

Hybrid Reinforcement Learning and Model Predictive Control for Adaptive Control of Hydrogen-Diesel Dual-Fuel Combustion

Julian Bedei, Murray McBain, Alexander Winkler, Charles Robert Koch, Jakob Andert, David Gordon

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Clean & Clear: Feasibility of Safe LLM Clinical Guidance

Julia Ive, Felix Jozsa, Nick Jackson, Paulina Bondaronek, Ciaran Scott Hill, Richard Dobson

机构 * University College London（伦敦大学学院） ； Wolfson Institute of Biomedical Research（生物医学研究沃尔夫森研究所） ； King’s College Hospital（国王学院医院） ； National Hospital for Neurology and Neurosurgery（神经病学与神经外科国家医院） ； King’s College London（伦敦国王学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

Emotions in the Loop: A Survey of Affective Computing for Emotional Support

Karishma Hegde, Hemadri Jayalath

机构 * School of Computing University of Georgia（计算学院 佐治亚大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Comments 20 pages, 7 tables, 96 references. Survey paper on affective computing applications using large language models, multimodal AI, and therapeutic chatbots

A Data-Centric Approach for Safe and Secure Large Language Models against Threatening and Toxic Content

Chaima Njeh, Haïfa Nakouri, Fehmi Jaafar

机构 * Quebec University at Chicoutimi（魁北克大学夏斯库蒂米分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Comments This paper is under revision in the International Journal of Information Security

Can Large Language Models Become Policy Refinement Partners? Evidence from China's Social Security Studies

Jinghan Ke, Zheng Zhou, Yuxuan Zhao

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

Comments 18 pages, 4 tables, 1 figure

On-Device Watermarking: A Socio-Technical Imperative For Authenticity In The Age of Generative AI

Houssam Kherraz

机构 * Kensho Technologies 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI

Comments 10 pages, 3 figures, ICLR 2025, https://openreview.net/forum?id=ygE0U21vxM

Reward Distance Comparisons Under Transition Sparsity

Clement Nyanhongo, Bruno Miranda Henrique, Eugene Santos

机构 * Thayer School of Engineering（塞耶工程学院） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments Published in the TMLR, https://openreview.net/forum?id=haP586YomL

Journal ref Transactions on Machine Learning Research, 2025

Can Vision-Language Models Understand and Interpret Dynamic Gestures from Pedestrians? Pilot Datasets and Exploration Towards Instructive Nonverbal Commands for Cooperative Autonomous Vehicles

Tonko E. W. Bossen, Andreas Møgelmose, Ross Greer

机构 * University of California Merced（加州大学默塞德分校） ； Aalborg University（奥尔堡大学） 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI

Belief-State Query Policies for User-Aligned POMDPs

Daniel Bramblett, Siddharth Srivastava

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

X-Guard: Multilingual Guard Agent for Content Moderation

Bibek Upadhayay, Vahid Behzadan, Ph. D

机构 * University of New Haven（纽黑文大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Comments 34 pages, 15 figures

ShieldGemma 2: Robust and Tractable Image Content Moderation

Wenjun Zeng, Dana Kurniawan, Ryan Mullins, Yuchi Liu, Tamoghna Saha, Dirichi Ike-Njoku, Jindong Gu, Yiwen Song, Cai Xu, Jingjing Zhou, Aparna Joshi, Shravan Dheep, Mani Malek, Hamid Palangi, Joon Baek, Rick Pereira, Karthik Narasimhan

机构 * Google LLC（谷歌公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

No Free Lunch with Guardrails

Divyanshu Kumar, Nitin Aravind Birur, Tanay Baswa, Sahil Agarwal, Prashanth Harshangi

机构 * Enkrypt AI（恩克莱普特人工智能公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

On Simulation-Guided LLM-based Code Generation for Safe Autonomous Driving Software

Ali Nouri, Johan Andersson, Kailash De Jesus Hornig, Zhennan Fei, Emil Knabe, Hakan Sivencrona, Beatriz Cabrero-Daniel, Christian Berger

机构 * Volvo Cars（沃尔沃汽车） ； Chalmers University of Technology（查尔姆斯理工大学） ； University of Gothenburg（哥德堡大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Comments Accepted in the 29th International Conference on Evaluation and Assessment in Software Engineering (EASE)

Beyond Non-Expert Demonstrations: Outcome-Driven Action Constraint for Offline Reinforcement Learning

Ke Jiang, Wen Jiang, Yao Li, Xiaoyang Tan

机构 * College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； School of Computer and Information Technology, Shanxi University（山西大学计算机与信息技术学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Disentangling Safe and Unsafe Corruptions via Anisotropy and Locality

Ramchandran Muthukumar, Ambar Pal, Jeremias Sulam, Rene Vidal

机构 * Johns Hopkins University（约翰斯·霍普金斯大学） ； Amazon Web Services（亚马逊云科技） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

Comments Published at IEEE/CVF Conference on Computer Vision and Pattern Recognition 2025. Updated Acknowledgements

Scalable Safe Multi-Agent Reinforcement Learning for Multi-Agent System

Haikuo Du, Fandi Gou, Yunze Cai

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Conformal Off-Policy Prediction for Multi-Agent Systems

Tom Kuipers, Renukanandan Tumu, Shuo Yang, Milad Kazemi, Rahul Mangharam, Nicola Paoletti

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments Accepted for publication in the 63rd IEEE Conference on Decision and Control (CDC) 2024

Safe Human Robot Navigation in Warehouse Scenario

Seth Farrell, Chenghao Li, Hongzhan Yu, Ryo Yoshimitsu, Sicun Gao, Henrik I. Christensen

机构 * UCSD（加利福尼亚大学圣迭戈分校） ； IHI Japan（IHI日本公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Reward Design for Reinforcement Learning Agents

Rati Devidze

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

Comments Doctoral thesis

GAPO: Learning Preferential Prompt through Generative Adversarial Policy Optimization

Zhouhong Gu, Xingzhou Chen, Xiaoran Shi, Tao Wang, Suhang Zheng, Tianyu Li, Hongwei Feng, Yanghua Xiao

机构 * Fudan University（复旦大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全训练 ：DPO(abstract)；分类 cs.CL

Multi-Agent Deep Reinforcement Learning for Safe Autonomous Driving with RICS-Assisted MEC

Xueyao Zhang, Bo Yang, Xuelin Cao, Zhiwen Yu, George C. Alexandropoulos, Yan Zhang, Merouane Debbah, Chau Yuen

机构 * Northwestern Polytechnical University（西北工业大学） ； Harbin Engineering University（哈尔滨工程大学） ； Xidian University（西安电子科技大学） ； National and Kapodistrian University of Athens（雅典国立与卡波迪斯特里亚大学） ； University of Oslo（奥斯陆大学） ； Khalifa University（哈利法大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Curriculum RL meets Monte Carlo Planning: Optimization of a Real World Container Management Problem

Abhijeet Pendyala, Tobias Glasmachers

机构 * Ruhr-University Bochum（波鸿鲁尔大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Workflow for Safe-AI

Suzana Veljanovska, Hans Dermot Doran

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Comments Embedded World Conference, Nuremberg, 2025

IGGA: A Dataset of Industrial Guidelines and Policy Statements for Generative AIs

Junfeng Jiao, Saleh Afroogh, Kevin Chen, David Atkinson, Amit Dhurandhar

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.CY

Discrete GCBF Proximal Policy Optimization for Multi-agent Safe Optimal Control

Songyuan Zhang, Oswin So, Mitchell Black, Chuchu Fan

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments 31 pages, 15 figures; Accepted by the thirteenth International Conference on Learning Representations (ICLR 2025)

BingoGuard: LLM Content Moderation Tools with Risk Levels

Fan Yin, Philippe Laban, Xiangyu Peng, Yilun Zhou, Yixin Mao, Vaibhav Vats, Linnea Ross, Divyansh Agarwal, Caiming Xiong, Chien-Sheng Wu

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

Comments 10 pages, 4 figures, 4 tables. ICLR 2025 poster

Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis

Ahmad Hafez, Alireza Naderi Akhormeh, Amr Hegazy, Amr Alanwar

机构 * Technical University of Munich（慕尼黑工业大学） ； German University in Cairo（开罗德国大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

A Backbone for Long-Horizon Robot Task Understanding

Xiaoshuai Chen, Wei Chen, Dongmyoung Lee, Yukun Ge, Nicolas Rojas, Petar Kormushev

机构 * Dyson School of Design Engineering, Imperial College London（帝国理工学院戴森设计工程学院） ； The AI Institute（人工智能研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

Comments 8 pages, 8 figures. This work has been published by IEEE Robotics and Automation Letters (RA-L)

Journal ref IEEE Robotics and Automation Letters, Volume: 10, 2025, 2048 - 2055

Generative Modeling of Microweather Wind Velocities for Urban Air Mobility

Tristan A. Shah, Michael C. Stanley, James E. Warner

机构 * NASA Langley Research Center（美国国家航空航天局兰利研究中心） ； Analytical Mechanics Associates（分析力学协会） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments 17 pages, 13 figures, published in 2025 IEEE Aerospace Conference proceedings

Surgical, Cheap, and Flexible: Mitigating False Refusal in Language Models via Single Vector Ablation

Xinpeng Wang, Chengzhi Hu, Paul Röttger, Barbara Plank

机构 * LMU Munich（慕尼黑大学） ； Bocconi University（博科尼大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

Comments ICLR 2025