大模型对齐与安全

FAITH: A Framework for Assessing Intrinsic Tabular Hallucinations in Finance

Mengao Zhang, Jiayu Fu, Tanya Warrier, Yuwen Wang, Tianhui Tan, Ke-wei Huang

机构 * Asian Institute of Digital Finance, National University of Singapore（亚洲数字金融研究所，新加坡国立大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 9 pages, AMC ICAIF'25

Self-Rewarding PPO: Aligning Large Language Models with Demonstrations Only

Qingru Zhang, Liang Qiu, Ilgee Hong, Zhenghao Xu, Tianyi Liu, Shiyang Li, Rongzhi Zhang, Zheng Li, Lihong Li, Bing Yin, Chao Zhang, Jianshu Chen, Haoming Jiang, Tuo Zhao

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Amazon（亚马逊） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by COLM 2025

Black Box Absorption: LLMs Undermining Innovative Ideas

Wenjun Cao

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.CY、cs.LG

Beyond One-Way Influence: Bidirectional Opinion Dynamics in Multi-Turn Human-LLM Interactions

Yuyang Jiang, Longjie Guo, Yuchen Wu, Aylin Caliskan, Tanu Mitra, Hua Shen

机构 * University of Chicago（芝加哥大学） ； New York University（纽约大学） ； University of Washington（华盛顿大学） ； New York University Shanghai（纽约大学上海） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments 26 pages, 8 figures

Integrating Transparent Models, LLMs, and Practitioner-in-the-Loop: A Case of Nonprofit Program Evaluation

Ji Ma, Albert Casella

机构 * LBJ School of Public Affairs, The University of Texas at Austin（德克萨斯大学奥斯汀分校劳伦斯·伯克曼公共事务学院） ； Gradel Institute of Charity, University of Oxford（牛津大学格拉德利慈善研究所） ； Michael & Susan Dell Foundation（迈克尔与苏珊·德尔基金会） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY、cs.LG

MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research

Hui Chen, Miao Xiong, Yujie Lu, Wei Han, Ailin Deng, Yufei He, Jiaying Wu, Yibo Li, Yue Liu, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 49 pages, 9 figures. Accepted by NeurIPS 2025 D&B Track

DeTAILS: Deep Thematic Analysis with Iterative LLM Support

Ansh Sharma, Karen Cochrane, James R. Wallace

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

Interpretability Framework for LLMs in Undergraduate Calculus

Sagnik Dakshit, Sushmita Sinha Roy

机构 * University of Texas at Tyler（德克萨斯理工大学） ； Florida Gulf Coast University（佛罗里达盖恩斯维尔大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

Detecting and Preventing Harmful Behaviors in AI Companions: Development and Evaluation of the SHIELD Supervisory System

Ziv Ben-Zion, Paul Raffelhüschen, Max Zettl, Antonia Lüönd, Achim Burrer, Philipp Homan, Tobias R Spiller

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

BiomedXPro: Prompt Optimization for Explainable Diagnosis with Biomedical Vision Language Models

Kaushitha Silva, Mansitha Eashwara, Sanduni Ubayasiri, Ruwan Tennakoon, Damayanthi Herath

机构 * University of Peradeniya（珀德尼亚大学） ； RMIT University（皇家墨尔本理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

Comments 10 Pages + 15 Supplementary Material Pages, 5 figures

Operationalizing Automated Essay Scoring: A Human-Aware Approach

Yenisel Plasencia-Calaña

机构 * Brigthlands Institute for a Smart Society（智能社会研究院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.CY、cs.LG

The simulation of judgment in LLMs

Edoardo Loru, Jacopo Nudo, Niccolò Di Marco, Alessandro Santirocchi, Roberto Atzeni, Matteo Cinelli, Vincenzo Cestari, Clelia Rossi-Arnaud, Walter Quattrociocchi

机构 * Department of Computer, Control and Management Engineering, Sapienza University of Rome（计算机、控制与管理工程系，罗马萨皮恩扎大学） ； Department of Computer Science, Sapienza University of Rome（计算机科学系，罗马萨皮恩扎大学） ； Department of Legal, Social, and Educational Sciences, Tuscia University（法律、社会与教育科学系，图斯西亚大学） ； Department of Psychology, Sapienza University of Rome（心理学系，罗马萨皮恩扎大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments Please refer to published version: https://doi.org/10.1073/pnas.2518443122

Journal ref Proc. Natl. Acad. Sci. U.S.A. 122 (42) e2518443122, 2025

Can Small-Scale Data Poisoning Exacerbate Dialect-Linked Biases in Large Language Models?

Chaymaa Abbas, Mariette Awad, Razane Tajeddine

机构 * Department of Electrical and Computer Engineering, Maroun Semaan Faculty of Engineering and Architecture（电气与计算机工程系，马鲁恩·塞马安工程与建筑学院） ； American University of Beirut（贝鲁特美国大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

From Accuracy to Robustness: A Study of Rule- and Model-based Verifiers in Mathematical Reasoning

Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AgentBench: Evaluating LLMs as Agents

Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, Shudan Zhang, Xiang Deng, Aohan Zeng, Zhengxiao Du, Chenhui Zhang, Sheng Shen, Tianjun Zhang, Yu Su, Huan Sun, Minlie Huang, Yuxiao Dong, Jie Tang

机构 * Tsinghua University（清华大学） ； The Ohio State University（俄亥俄州立大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Published in ICLR 2024

DM-Bench: Benchmarking LLMs for Personalized Decision Making in Diabetes Management

Maria Ana Cardei, Josephine Lamp, Mark Derdzinski, Karan Bhatia

机构 * University of Virginia（弗吉尼亚大学） ； Dexcom（德科姆公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.CY、cs.LG

MedQ-Bench: Evaluating and Exploring Medical Image Quality Assessment Abilities in MLLMs

Jiyao Liu, Jinjie Wei, Wanying Qu, Chenglong Ma, Junzhi Ning, Yunheng Li, Ying Chen, Xinzhe Luo, Pengcheng Chen, Xin Gao, Ming Hu, Huihui Xu, Xin Wang, Shujian Gao, Dingkang Yang, Zhongying Deng, Jin Ye, Lihao Liu, Junjun He, Ningsheng Xu

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Imperial College London（帝国理工学院） ； University of Cambridge（剑桥大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)

Comments 26 pages, 13 figures

TDBench: A Benchmark for Top-Down Image Understanding with Reliability Analysis of Vision-Language Models

Kaiyuan Hou, Minghui Zhao, Lilin Xu, Yuang Fan, Xiaofan Jiang

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Rare-to-Frequent: Unlocking Compositional Generation Power of Diffusion Models on Rare Concepts with LLM Guidance

Dongmin Park, Sebin Kim, Taehong Moon, Minkyu Kim, Kangwook Lee, Jaewoong Cho

机构 * KRAFTON ； Seoul National University（首尔国立大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ICLR 2025 (spotlight)

GRILE: A Benchmark for Grammar Reasoning and Explanation in Romanian LLMs

Adrian-Marius Dumitran, Alexandra-Mihaela Danila, Angela-Liliana Dumitran

机构 * University of Bucharest Faculty of Mathematics and Computer Science（布加勒斯大学数学与计算机科学学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.CY、cs.LG

Comments Accepted as long paper @RANLP2025

Learn Globally, Speak Locally: Bridging the Gaps in Multilingual Reasoning

Jaedong Hwang, Kumar Tanmay, Seok-Jin Lee, Ayush Agrawal, Hamid Palangi, Kumar Ayush, Ila Fiete, Paul Pu Liang

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

LEKIA: Expert-Aligned AI Behavior Design for High-Risk Human-AI Interactions

Boning Zhao, Yutong Hu, Xinnuo Li

专题命中 安全评测 ：alignment(abstract)；safety(abstract)

Dense Video Understanding with Gated Residual Tokenization

Haichao Zhang, Wenhao Chai, Shwai He, Ang Li, Yun Fu

机构 * Northeastern University（东北大学） ； Princeton University（普林斯顿大学） ； University of Maryland（马里兰大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Calibrating LLMs for Text-to-SQL Parsing by Leveraging Sub-clause Frequencies

Terrance Liu, Shuyi Wang, Daniel Preotiuc-Pietro, Yash Chandarana, Chirag Gupta

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Bloomberg（彭博） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 main conference

Decoupling Clinical and Class-Agnostic Features for Reliable Few-Shot Adaptation under Shift

Umaima Rahman, Raza Imam, Mohammad Yaqub, Dwarikanath Mahapatra

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎德人工智能大学） ； Khalifa University（卡利法大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

Scaling Truth: The Confidence Paradox in AI Fact-Checking

Ihsan A. Qazi, Zohaib Khan, Abdullah Ghani, Agha A. Raza, Zafar A. Qazi, Wassay Sajjad, Ayesha Ali, Asher Javaid, Muhammad Abdullah Sohail, Abdul H. Azeemi

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments 65 pages, 26 figures, 6 tables

VISION: Robust and Interpretable Code Vulnerability Detection Leveraging Counterfactual Augmentation

David Egea, Barproda Halder, Sanghamitra Dutta

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY、cs.LG

From Eigenmodes to Proofs: Integrating Graph Spectral Operators with Symbolic Interpretable Reasoning

Andrew Kiruluta, Priscilla Burity

机构 * Andrew Kiruluta and Priscilla Burity（独立研究者） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Evaluating NL2SQL via SQL2NL

Mohammadtaher Safarzadeh, Afshin Oroojlooyjadid, Dan Roth

机构 * Oracle AI 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2025

Promptception: How Sensitive Are Large Multimodal Models to Prompts?

Mohamed Insaf Ismithdeen, Muhammad Uzair Khattak, Salman Khan

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫罕默德·本·扎耶德人工智能大学） ； Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2025