大模型对齐与安全

Can LLMs Replace Human Evaluators? An Empirical Study of LLM-as-a-Judge in Software Engineering

Ruiqi Wang, Jiyu Guo, Cuiyun Gao, Guodong Fan, Chun Yong Chong, Xin Xia

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Monash University Malaysia（墨尔本大学马来西亚分校） ； Zhejiang University（浙江大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Comments Accepted by ISSTA 2025: https://conf.researchr.org/details/issta-2025/issta-2025-papers/85/Can-LLMs-replace-Human-Evaluators-An-Empirical-Study-of-LLM-as-a-Judge-in-Software-E

Hydra: An Agentic Reasoning Approach for Enhancing Adversarial Robustness and Mitigating Hallucinations in Vision-Language Models

Chung-En, Yu, Hsuan-Chih, Chen, Brian Jalaian, Nathaniel D. Bastian

机构 * University of West Florida（西弗吉尼亚大学） ； New York University（纽约大学） ； United States Military Academy（美国军事学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

CLIP-Powered Domain Generalization and Domain Adaptation: A Comprehensive Survey

Jindong Li, Yongguang Li, Yali Fu, Jiahong Liu, Yixin Liu, Menglin Yang, Irwin King

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Jilin University（吉林大学） ； Griffith University（格里菲斯大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

New care pathways for supporting transitional care from hospitals to home using AI and personalized digital assistance

Ionut Anghel, Tudor Cioara, Roberta Bevilacqua, Federico Barbarossa, Terje Grimstad, Riitta Hellman, Arnor Solberg, Lars Thomas Boye, Ovidiu Anchidin, Ancuta Nemes, Camilla Gabrielsen

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments submitted to journal (under review)

Explainability Auditing for Intelligent Systems: A Rationale for Multi-Disciplinary Perspectives

Markus Langer, Kevin Baum, Kathrin Hartmann, Stefan Hessel, Timo Speith, Jonas Wahl

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CY

Comments Accepted at the First International Workshop on Requirements Engineering for Explainable Systems (RE4ES) co-located with the 29th IEEE International Requirements Engineering Conference (RE'21)

Robust image classification with multi-modal large language models

Francesco Villani, Igor Maljkovic, Dario Lazzaro, Angelo Sotgiu, Antonio Emanuele Cinà, Fabio Roli

机构 * University of Genoa（热那亚大学） ； Sapienza University of Rome（罗马第一大学（萨皮恩扎大学）） ； University of Cagliari（卡利亚里大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

Comments Paper accepted at Pattern Recognition Letters journal Keywords: adversarial examples, rejection defense, multimodal-informed systems, machine learning security

Journal ref Pattern Recognition Letters 2025

SimUSER: Simulating User Behavior with Large Language Models for Recommender System Evaluation

Nicolas Bougie, Narimasa Watanabe

机构 * Woven by Toyota（丰田编织） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Mitigating LLM Hallucinations with Knowledge Graphs: A Case Study

Harry Li, Gabriel Appleby, Kenneth Alperin, Steven R Gomez, Ashley Suh

机构 * MIT Lincoln Laboratory（麻省理工学院林肯实验室） ； National Renewable Energy Laboratory（国家可再生能源实验室） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

Comments Presented at the Human-centered Explainable AI Workshop (HCXAI) @ CHI 2025

REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites

Divyansh Garg, Shaun VanWeelden, Diego Caples, Andis Draguns, Nikil Ravi, Pranav Putta, Naman Garg, Tomas Abraham, Michael Lara, Federico Lopez, James Liu, Atharva Gundawar, Prannay Hebbar, Youngchul Joo, Jindong Gu, Charles London, Christian Schroeder de Witt, Sumeet Motwani

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments The websites, framework, and leaderboard are available at https://realevals.xyz and https://github.com/agi-inc/REAL

Do Vision-Language Models Represent Space and How? Evaluating Spatial Frame of Reference Under Ambiguities

Zheyuan Zhang, Fengyuan Hu, Jayjun Lee, Freda Shi, Parisa Kordjamshidi, Joyce Chai, Ziqiao Ma

机构 * University of Michigan（密歇根大学） ； University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） ； Michigan State University（密歇根州立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

Comments Accepted to ICLR 2025 (Oral) | Project page: https://spatial-comfort.github.io/

Secure Transfer Learning: Training Clean Models Against Backdoor in (Both) Pre-trained Encoders and Downstream Datasets

Yechao Zhang, Yuxuan Zhou, Tianyu Li, Minghui Li, Shengshan Hu, Wei Luo, Leo Yu Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Deakin University（迪肯大学） ； Griffith University（格里菲斯大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

Comments To appear at IEEE Symposium on Security and Privacy 2025, 20 pages

ReasonDrive: Efficient Visual Question Answering for Autonomous Vehicles with Reasoning-Enhanced Small Vision-Language Models

Amirhosein Chahe, Lifeng Zhou

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

Beyond Chains of Thought: Benchmarking Latent-Space Reasoning Abilities in Large Language Models

Thilo Hagendorff, Sarah Fabi

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI Mismatches: Identifying Potential Algorithmic Harms Before AI Development

Devansh Saxena, Ji-Youn Jung, Jodi Forlizzi, Kenneth Holstein, John Zimmerman

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments CHI Conference on Human Factors in Computing Systems (CHI '25), April 26-May 1, 2025, Yokohama, Japan

SynthTRIPs: A Knowledge-Grounded Framework for Benchmark Query Generation for Personalized Tourism Recommenders

Ashmi Banerjee, Adithi Satish, Fitri Nur Aisyah, Wolfgang Wörndl, Yashar Deldjoo

机构 * Technical University of Munich（慕尼黑工业大学） ； Polytechnic University of Bari（巴里理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Comments Accepted for publication at SIGIR 2025

KnowsLM: A framework for evaluation of small language models for knowledge augmentation and humanised conversations

Chitranshu Harbola, Anupam Purwar

机构 * AIGuruKul Foundation（AIGuruKul基金会） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

Towards a Probabilistic Framework for Analyzing and Improving LLM-Enabled Software

Juan Manuel Baldonado, Flavia Bonomo-Braberman, Víctor Adrián Braberman

机构 * Universidad de Buenos Aires（布宜诺斯艾利斯大学） ； CONICET（阿根廷国家科学技术研究委员会） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Journal ref ICST Workshops 2025, Naples, Italy: SAFE-ML 2025, 418--422

Towards A Generalizable Pathology Foundation Model via Unified Knowledge Distillation

Jiabo Ma, Zhengrui Guo, Fengtao Zhou, Yihui Wang, Yingxue Xu, Jinbang Li, Fang Yan, Yu Cai, Zhengjie Zhu, Cheng Jin, Yi Lin, Xinrui Jiang, Chenglong Zhao, Danyi Li, Anjia Han, Zhenhui Li, Ronald Cheong Kin Chan, Jiguang Wang, Peng Fei, Kwang-Ting Cheng, Shaoting Zhang, Li Liang, Hao Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Southern Medical University（南方医科大学） ； Guangdong Provincial Key Laboratory of Molecular Tumor Pathology（广东省分子肿瘤病理学重点实验室） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The First Affiliated Hospital of Shandong First Medical University and Shandong Provincial Qianfoshan Hospital（山东第一医科大学第一附属医院暨山东省千佛山医院） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

Comments update

Evaluating AI systems under uncertain ground truth: a case study in dermatology

David Stutz, Ali Taylan Cemgil, Abhijit Guha Roy, Tatiana Matejovicova, Melih Barsbey, Patricia Strachan, Mike Schaekermann, Jan Freyberg, Rajeev Rikhye, Beverly Freeman, Javier Perez Matos, Umesh Telang, Dale R. Webster, Yuan Liu, Greg S. Corrado, Yossi Matias, Pushmeet Kohli, Yun Liu, Arnaud Doucet, Alan Karthikesalingam

机构 * Google DeepMind（谷歌DeepMind） ； Google（谷歌） ； Bogazici University（博加齐奇大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AdaptRec: A Self-Adaptive Framework for Sequential Recommendations with Large Language Models

Tong Zhang

机构 * University of Technology Sydney（悉尼科技大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Science and Technology of China（中国科学技术大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AstroLLaVA: towards the unification of astronomical data and natural language

Sharaf Zaman, Michael J. Smith, Pranav Khetarpal, Rishabh Chakrabarty, Michele Ginolfi, Marc Huertas-Company, Maja Jabłońska, Sandor Kruk, Matthieu Le Lain, Sergio José Rodríguez Méndez, Dimitrios Tanoglidis

机构 * UniverseTBD ； Indian Institute of Technology Delhi（印度理工学院德里分校） ； Intelligent Internet Inc.（Intelligent Internet公司） ； University of Florence（佛罗伦萨大学） ； Instituto de Astrofísica de Canarias (IAC)（加那利群岛天体物理学研究所） ； Observatoire de Paris（巴黎天文台） ； PSL University（巴黎文理研究大学） ； Université Paris-Cité（巴黎城市大学） ； ANU RSAA（澳大利亚国立大学天体物理学与天体生物学研究学院） ； European Space Agency（欧洲空间局） ； IRISA（IRISA研究所） ； Université Bretagne Sud（南布列塔尼大学） ； ANU School of Computing（澳大利亚国立大学计算机学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

Comments 8 pages, 3 figures, accepted to SCI-FM@ICLR 2025. Code at https://w3id.org/UniverseTBD/AstroLLaVA

VLMT: Vision-Language Multimodal Transformer for Multimodal Multi-hop Question Answering

Qi Zhi Lim, Chin Poo Lee, Kian Ming Lim, Kalaiarasi Sonai Muthu Anbananthen

机构 * Multimedia University（多媒体大学） ； University of Nottingham Ningbo China（宁波诺丁汉大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

Boosting Universal LLM Reward Design through Heuristic Reward Observation Space Evolution

Zen Kit Heng, Zimeng Zhao, Tianhao Wu, Yuanfei Wang, Mingdong Wu, Yangang Wang, Hao Dong

机构 * Center on Frontiers of Computing Studies, School of Computer Science, Peking University（北京大学计算机学院计算前沿研究中心） ； PKU-Agibot Lab, School of Computer Science, Peking University（北京大学计算机学院PKU-Agibot实验室） ； National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； School of Automation, Southeast University（东南大学自动化学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

Comments 7 pages, 5 figures

How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities

Aly M. Kassem, Bernhard Schölkopf, Zhijing Jin

机构 * MPI for Intelligent Systems（智能系统MPI研究所） ； University of Toronto（多伦多大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

Zero-Shot Image-Based Large Language Model Approach to Road Pavement Monitoring

Shuoshuo Xu, Kai Zhao, James Loney, Zili Li, Andrea Visentin

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

How to evaluate control measures for LLM agents? A trajectory from today to superintelligence

Tomek Korbak, Mikita Balesni, Buck Shlegeris, Geoffrey Irving

机构 * UK AI Security Institute（英国人工智能安全研究院） ； Apollo Research（阿波罗研究院） ； Redwood Research（红杉研究院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Real-Time Evaluation Models for RAG: Who Detects Hallucinations Best?

Ashish Sardana

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

Comments 11 pages, 8 figures

AI in a vat: Fundamental limits of efficient world modelling for agent sandboxing and interpretability

Fernando Rosas, Alexander Boyd, Manuel Baltieri

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

Comments 38 pages, 5 figures

Probabilistic Machine Learning for Noisy Labels in Earth Observation

Spyros Kondylatos, Nikolaos Ioannis Bountos, Ioannis Prapas, Angelos Zavras, Gustau Camps-Valls, Ioannis Papoutsis

机构 * Orion Lab（猎户座实验室） ； National Observatory of Athens（雅典国家天文台） ； National Technical University of Athens（雅典国立技术大学） ； Image Processing Laboratory (IPL), Universitat de València（瓦伦西亚大学图像处理实验室） ； Harokopio University of Athens（哈罗科皮奥大学） ； Archimedes, Athena Research Center（雅典娜研究中心阿基米德分部） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

Subasa - Adapting Language Models for Low-resourced Offensive Language Detection in Sinhala

Shanilka Haturusinghe, Tharindu Cyril Weerasooriya, Marcos Zampieri, Christopher M. Homan, S. R. Liyanage

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

Comments Accepted to appear at NAACL SRW 2025