大模型对齐与安全

A Survey of Controllable Learning: Methods and Applications in Information Retrieval

Chenglei Shen, Xiao Zhang, Teng Shi, Changshuo Zhang, Guofu Xie, Jun Xu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing 100872, China（中国人民大学人工智能学院） ； AI Lab at Lenovo Research, Beijing 100085, China（联想研究院人工智能实验室） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

Set-Based Training for Neural Network Verification

Lukas Koller, Tobias Ladner, Matthias Althoff

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

Comments published at Transactions on Machine Learning Research (TMLR)

AeroSafe: Mobile Indoor Air Purification using Aerosol Residence Time Analysis and Robotic Cough Emulator Testbed

M Tanjid Hasan Tonmoy, Rahath Malladi, Kaustubh Singh, Forsad Al Hossain, Rajesh Gupta, Andrés E. Tejada-Martínez, Tauhidur Rahman

机构 * University of California San Diego（加州大学圣地亚哥分校） ； Plaksha University（Plaksha大学） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments Accepted at IEEE International Conference on Robotics and Automation (ICRA) 2025. Author Accepted Manuscript

Automated Validation of LLM-based Evaluators for Software Engineering Artifacts

Ora Nova Fandina, Eitan Farchi, Shmulik Froimovich, Rami Katan, Alice Podolsky, Orna Raz, Avi Ziv

机构 * IBM Research（IBM研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Large language models provide unsafe answers to patient-posed medical questions

Rachel L. Draelos, Samina Afreen, Barbara Blasko, Tiffany L. Brazile, Natasha Chase, Dimple Patel Desai, Jessica Evert, Heather L. Gardner, Lauren Herrmann, Aswathy Vaikom House, Stephanie Kass, Marianne Kavan, Kirshma Khemani, Amanda Koire, Lauren M. McDonald, Zahraa Rabeeah, Amy Shah

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

Comments 20 pages

GEMA-Score: Granular Explainable Multi-Agent Scoring Framework for Radiology Report Evaluation

Zhenxuan Zhang, Kinhei Lee, Peiyuan Jing, Weihang Deng, Huichi Zhou, Zihao Jin, Jiahao Huang, Zhifan Gao, Dominic C Marshall, Yingying Fang, Guang Yang

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

Who Should Run Advanced AI Evaluations -- AISIs?

Merlin Stein, Milan Gandhi, Theresa Kriecherbauer, Amin Oueslati, Robert Trager

专题命中 安全评测 ：safety(abstract)；分类 cs.CY

Comments Accepted to AIES 2024 proceedings

Accurate and Interpretable Postmenstrual Age Prediction via Multimodal Large Language Model

Qifan Chen, Jin Cui, Cindy Duan, Yushuo Han, Yifei Shi

机构 * King’s College London（伦敦国王学院） ； Imperial College London（帝国理工学院） ； Columbia University（哥伦比亚大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

Comments Submitted to the NeurIPS 2025 Workshop GenAI4Health. Conference website: https://aihealth.ischool.utexas.edu/GenAI4HealthNeurips2025/

MaRGen: Multi-Agent LLM Approach for Self-Directed Market Research and Analysis

Roman Koshkin, Pengyu Dai, Nozomi Fujikawa, Masahito Togami, Marco Visentini-Scarzanella

机构 * Okinawa Institute of Science and Technology（冲绳科学技术研究所） ； Institute of Science Tokyo（东京科学研究所） ； Amazon（亚马逊） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

Describe Anything Model for Visual Question Answering on Text-rich Images

Yen-Linh Vu, Dinh-Thang Duong, Truong-Binh Duong, Anh-Khoi Nguyen, Thanh-Huy Nguyen, Le Thien Phuc Nguyen, Jianhua Xing, Xingjian Li, Tianyang Wang, Ulas Bagci, Min Xu

机构 * AI VIETNAM Lab（AI越南实验室） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； University of Pittsburgh（匹兹堡大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Northwestern University（西北大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

Comments 11 pages, 5 figures. Accepted to VisionDocs @ ICCV 2025

A Conjecture on a Fundamental Trade-Off between Certainty and Scope in Symbolic and Generative AI

Luciano Floridi

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

Comments version 3

Investigating Robotaxi Crash Severity with Geographical Random Forest and the Urban Environment

Junfeng Jiao, Seung Gyu Baik, Seung Jun Choi, Yiming Xu

机构 * Urban Information Lab, The University of Texas at Austin（德克萨斯大学奥斯汀分校城市信息实验室） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

Rethinking Evidence Hierarchies in Medical Language Benchmarks: A Critical Evaluation of HealthBench

Fred Mutisya, Shikoh Gitau, Nasubo Ongoma, Keith Mbae, Elizabeth Wamicha

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

E.A.R.T.H.: Structuring Creative Evolution through Model Error in Generative AI

Yusen Peng, Shuhua Mao

机构 * University of Warwick（沃里克大学） ； Wuhan University of Technology（武汉理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Comments 44 pages,11 figures

Chain-of-Trust: A Progressive Trust Evaluation Framework Enabled by Generative AI

Botao Zhu, Xianbin Wang, Lei Zhang, Xuemin, Shen

机构 * Department of Electrical and Computer Engineering, Western University（西方大学电气与计算机工程系） ； James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院） ； Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

Journal ref IEEE Network, 2025

Planning for Cooler Cities: A Multimodal AI Framework for Predicting and Mitigating Urban Heat Stress through Urban Landscape Transformation

Shengao Yi, Xiaojiang Li, Wei Tu, Tianhong Zhao

机构 * Department of City and Regional Planning, University of Pennsylvania（城市与区域规划系，宾夕法尼亚大学） ； Guangdong Key Laboratory for Urban Informatics, Guangdong-Hong Kong-Macao Joint Laboratory for Smart Cities（广东城市信息关键实验室、粤港澳大湾区智慧城市联合实验室） ； Shenzhen Key Laboratory of Spatial Information Smart Sensing（深圳空间信息智能感知关键实验室） ； Department of Urban Informatics, School of Architecture and Urban Planning, Shenzhen University（城市信息系，深圳大学） ； College of Big Data and Internet, Shenzhen Technology University（大数据与互联网学院，深圳科技大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

FinGAIA: A Chinese Benchmark for AI Agents in Real-World Financial Domain

Lingfeng Zeng, Fangqi Lou, Zixuan Wang, Jiajie Xu, Jinyi Niu, Mengping Li, Yifan Dong, Qi Qi, Wei Zhang, Ziwei Yang, Jun Han, Ruilun Feng, Ruiqi Hu, Lejie Zhang, Zhengbo Feng, Yicheng Ren, Xin Guo, Zhaowei Liu, Dongpo Cheng, Weige Cai, Liwen Zhang

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

GrokAlign: Geometric Characterisation and Acceleration of Grokking

Thomas Walker, Ahmed Imtiaz Humayun, Randall Balestriero, Richard Baraniuk

机构 * Department of Electrical and Computer Engineering, Rice University（电气与计算机工程系， Rice大学） ； Google Research（谷歌研究院） ； Department of Computer Science, Brown University（计算机科学系， Brown大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

Comments 23 pages, 11 figures, 3 tables

FovEx: Human-Inspired Explanations for Vision Transformers and Convolutional Neural Networks

Mahadev Prasad Panda, Matteo Tiezzi, Martina Vilas, Gemma Roig, Bjoern M. Eskofier, Dario Zanca

机构 * Department AIBE, FAU Erlangen-Nürnberg（FAU埃朗根-纽伦堡大学AIBE部门） ； PAVIS, Istituto Italiano di Tecnologia (IIT), Genova, Italy（意大利技术研究院（IIT）帕维斯部门，热那亚，意大利） ； Ernst Strüngmann Institute for Neuroscience, Frankfurt, Germany（神经科学埃朗根-纽伦堡研究所，法兰克福，德国） ； Goethe-Universität Frankfurt am Main（法兰克福大学） ； Institute of AI for Health, Helmholtz Zentrum München, Munich, Germany（健康人工智能研究所，海德堡中心慕尼黑，德国） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

Comments Accepted in the International Journal of Computer Vision (Springer Nature)

Journal ref Int J Comput Vis (2025)

Prompt-Reverse Inconsistency: LLM Self-Inconsistency Beyond Generative Randomness and Prompt Paraphrasing

Jihyun Janice Ahn, Wenpeng Yin

机构 * Department of Computer Science & Engineering（计算机科学与工程系） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

Comments accepted in COLM2025, 9 pages

The Geometry of Queries: Query-Based Innovations in Retrieval-Augmented Generation for Healthcare QA

Eric Yang, Jonathan Amar, Jong Ha Lee, Bhawesh Kumar, Yugang Jia

机构 * Verily Life Sciences（Verily 生物科技） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

Comments 27 pages

Test-time Prompt Refinement for Text-to-Image Models

Mohammad Abdul Hafeez Khan, Yash Jain, Siddhartha Bhattacharyya, Vibhav Vineet

机构 * Florida Institute of Technology（佛罗里达理工学院） ； Microsoft Research（微软研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

Comments Accepted to ICCV 2025, MARS2 Workshop. Total 14 pages, 12 figures and 3 tables

Learning to Imitate with Less: Efficient Individual Behavior Modeling in Chess

Zhenwei Tang, Difan Jiao, Eric Xue, Reid McIlroy-Young, Jon Kleinberg, Siddhartha Sen, Ashton Anderson

机构 * University of Toronto（多伦多大学） ； Harvard University（哈佛大学） ； Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Making a Case for Research Collaboration Between Artificial Intelligence and Operations Research Experts

Radhika Kulkarni, Gianluca Brero, Yu Ding, Swati Gupta, Sven Koenig, Ramayya Krishnan, Thiago Serra, Phebe Vayanos, Segev Wasserkrug, Holly Wiberg

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CY

A Scalable Approach to Probabilistic Neuro-Symbolic Robustness Verification

Vasileios Manginas, Nikolaos Manginas, Edward Stevinson, Sherwin Varghese, Nikos Katzouris, Georgios Paliouras, Alessio Lomuscio

机构 * Department of Computer Science and Leuven.AI KU Leuven Belgium（比利时列日大学计算机科学系） ； Department of Computing Imperial College London UK（伦敦帝国学院计算机系） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments 19th Conference on Neurosymbolic Learning and Reasoning

Free Energy-Inspired Cognitive Risk Integration for AV Navigation in Pedestrian-Rich Environments

Meiting Dang, Yanping Wu, Yafei Wang, Dezong Zhao, David Flynn, Chongfeng Wei

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments 14 pages, 5 figures

evalSmarT: An LLM-Based Framework for Evaluating Smart Contract Generated Comments

Fatou Ndiaye Mbodji

机构 * SnT – University of Luxembourg（卢森堡大学SnT学院） ； Université Cheikh Anta Diop（谢赫·安塔·迪奥普大学） ； Huawei（华为） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Comments 4 pages, 4 tables

STARN-GAT: A Multi-Modal Spatio-Temporal Graph Attention Network for Accident Severity Prediction

Pritom Ray Nobin, Imran Ahammad Rifat

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments 10 pages

Infogen: Generating Complex Statistical Infographics from Documents

Akash Ghosh, Aparna Garimella, Pritika Ramu, Sambaran Bandyopadhyay, Sriparna Saha

机构 * Indian Institute of Technology Patna（印度帕纳大学理工学院） ； Adobe Research（Adobe研究） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

Comments ACL Main 2025

GASPnet: Global Agreement to Synchronize Phases

Andrea Alamia, Sabine Muzellec, Thomas Serre, Rufin VanRullen

机构 * CerCo, CNRS（CerCo与CNRS） ； Carney Institute for Brain Science, Brown University（脑科学研究所与布朗大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG