arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2025-11-27 至 2025-11-27 共收录 20 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. 安全评测 20 篇

2511.20703 2025-11-27 cs.CY cs.AI cs.LG 82%

PropensityBench: Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach

PropensityBench: 通过代理方法评估大语言模型中的潜在安全风险

Udari Madhushani Sehwag, Shayan Shabihi, Alex McAvoy, Vikash Sehwag, Yuancheng Xu, Dalton Towers, Furong Huang

机构 * University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) University of Texas at Austin(德克萨斯大学奥斯汀分校) University of Maryland, College Park(马里兰大学帕克分校)

专题命中 安全评测 :safety(title,abstract);分类 cs.AI、cs.CY、cs.LG

AI总结 PropensityBench通过模拟危险能力评估大语言模型的潜在安全风险倾向,揭示模型在压力下可能选择高风险行为的倾向。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21363 2025-11-27 cs.LG cs.AI 81%

The Directed Prediction Change - Efficient and Trustworthy Fidelity Assessment for Local Feature Attribution Methods

定向预测变化 - 用于局部特征归因方法高效且可信的保真度评估

Kevin Iselborn, David Dembinsky, Adriano Lucieri, Andreas Dengel

专题命中 安全评测 :trustworthy(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出DPC度量标准,用于高效且可信地评估局部特征归因方法的保真度,通过改进预测变化度量并消除随机性,实现快速且确定性的评估。

Comments 13 pages, 10 figures, 5 tables, accepted at AAAI SECURE-AI4H workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20726 2025-11-27 cs.LG cs.AI 81%

Learning from Risk: LLM-Guided Generation of Safety-Critical Scenarios with Prior Knowledge

从风险学习:利用先验知识的LLM引导的安全关键场景生成

Yuhang Wang, Heye Huang, Zhenhua Xu, Kailai Sun, Baoshen Guo, Jinhua Zhao

机构 * Chinese Academy of Sciences, China(中国科学院) Department of Urban Studies and Planning, Massachusetts Institute of Technology, USA(麻省理工学院城市研究与规划系) School of Vehicle and Mobility, Tsinghua University, China(清华大学车辆与移动系统学院)

专题命中 安全评测 :safety(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出利用LLM和CVAE生成安全关键场景的方法,通过知识驱动优化提升自动驾驶系统在罕见高风险事件下的鲁棒性与可控性。

Comments 24 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21568 2025-11-27 cs.CL 79%

RoParQ: Paraphrase-Aware Alignment of Large Language Models Towards Robustness to Paraphrased Questions

RoParQ:面向抗 paraphrased 问题的大型语言模型对齐

Minjoon Choi

机构 * Seoul National University(首尔国立大学)

专题命中 安全评测 :alignment(title,abstract);分类 cs.CL

AI总结 RoParQ 通过引入 XParaCon 指标和基于推理的 SFT 策略,提升 LLM 在 paraphrased 问题上的鲁棒性与一致性。

Comments 12 pages, 9 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21561 2025-11-27 cs.LG 79%

Machine Learning Approaches to Clinical Risk Prediction: Multi-Scale Temporal Alignment in Electronic Health Records

基于机器学习的临床风险预测方法:电子健康记录中的多尺度时间对齐

Wei-Chen Chang, Lu Dai, Ting Xu

专题命中 安全评测 :alignment(title,abstract);分类 cs.LG

AI总结 本研究提出基于多尺度时间对齐网络的临床风险预测方法,通过多尺度卷积和注意力机制提升EHR中异步时间序列的建模能力。

Comments 5 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.17041 2025-11-27 cs.IR cs.AI 79%

CLLMRec: LLM-powered Cognitive-Aware Concept Recommendation via Semantic Alignment and Prerequisite Knowledge Distillation

CLLMRec: 基于大语言模型的认知感知概念推荐:通过语义对齐和先决知识蒸馏

Xiangrui Xiong, Yichuan Lu, Zifei Pan, Chang Sun

机构 * Xihua University, Chengdu 610039, China(西华大学)

专题命中 安全评测 :alignment(title,abstract);分类 cs.AI

AI总结 CLLMRec通过语义对齐和先决知识蒸馏,利用大语言模型实现认知感知的概念推荐,无需依赖结构化知识图谱。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21460 2025-11-27 cs.AI 77%

MADRA: Multi-Agent Debate for Risk-Aware Embodied Planning

MADRA:多智能体辩论用于风险感知的具身规划

Junjian Wang, Lidan Zhao, Xi Sheryl Zhang

机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) University of Chinese Academy of Sciences, Nanjing(中国科学院大学南京校区)

专题命中 安全评测 :alignment(abstract);safety(abstract);trustworthy(abstract);分类 cs.AI

AI总结 MADRA通过多智能体辩论和分层认知框架,在安全性和效率上超越现有方法,实现高安全任务拒绝率和低误拒率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20736 2025-11-27 cs.CY cs.AI cs.CL 75%

Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts

大语言模型在社会法律情境中对非法指令的共谋回应

Xing Wang, Huiyuan Xie, Yiyan Wang, Chaojun Xiao, Huimin Chen, Holli Sargeant, Felix Steffek, Jie Shao, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University(清华大学) University of Electronic Science and Technology of China(电子科技大学) University of Cambridge(剑桥大学)

专题命中 安全评测 :alignment(abstract);safety(abstract);分类 cs.CL、cs.AI、cs.CY

AI总结 本研究探讨大语言模型在社会法律情境中对非法指令的共谋回应,揭示其在不同情境下的安全性和易感性问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.08135 2025-11-27 cs.SE cs.AI cs.DC cs.PF 74%

Leveraging AI for Productive and Trustworthy HPC Software: Challenges and Research Directions

利用AI实现高效且可信的HPC软件:挑战与研究方向

Keita Teranishi, Harshitha Menon, William F. Godoy, Prasanna Balaprakash, David Bau, Tal Ben-Nun, Abhinav Bhatele, Franz Franchetti, Michael Franusich, Todd Gamblin, Giorgis Georgakoudis, Tom Goldstein, Arjun Guha, Steven Hahn, Costin Iancu, Zheming Jin, Terry Jones, Tze Meng Low, Het Mankad, Narasinga Rao Miniskar, Mohammad Alaul Haque Monil, Daniel Nichols, Konstantinos Parasyris, Swaroop Pophale, Pedro Valero-Lara, Jeffrey S. Vetter, Samuel Williams, Aaron Young

机构 * Oak Ridge National Laboratory(奥克荷厄斯国家实验室) Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室) Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室) Carnegie Mellon University(卡内基梅隆大学) Northeastern University(东北大学) University of Maryland(马里兰大学) SpiralGen Inc.(SpiralGen公司)

专题命中 安全评测 :trustworthy(title);分类 cs.AI

AI总结 本文探讨了利用AI改进HPC软件的挑战与研究方向,提出通过Ellora和Durban项目推动AI在HPC软件发展中的应用。

Comments 12 pages, 1 Figure, Accepted at "The 1st International Workshop on Foundational Large Language Models Advances for HPC" LLM4HPC to be held in conjunction with ISC High Performance 2025

Journal ref In: Neuwirth, S., Paul, A.K., Weinzierl, T., Carson, E.C. (eds) High Performance Computing. ISC High Performance 2025. Lecture Notes in Computer Science, vol 16091. Springer, Cham

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20733 2025-11-27 cs.CY cs.AI cs.CL cs.HC 67%

InvisibleBench: A Deployment Gate for Caregiving Relationship AI

InvisibleBench:护理关系AI的部署门

Ali Madad

机构 * GiveCare

专题命中 安全评测 :safety(abstract);分类 cs.CL、cs.AI、cs.CY

AI总结 InvisibleBench评估护理关系AI的部署安全性,通过多维度测试揭示模型在危机检测、合规性及创伤导向设计上的差异,强调生产系统中确定性危机路由的重要性。

Comments 29 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20686 2025-11-27 cs.AI cs.CY cs.LG 67%

AssurAI: Experience with Constructing Korean Socio-cultural Datasets to Discover Potential Risks of Generative AI

AssurAI: 韩国社会文化数据集构建经验以发现生成式AI的潜在风险

Chae-Gyun Lim, Seung-Ho Han, EunYoung Byun, Jeongyun Han, Soohyun Cho, Eojin Joo, Heehyeon Kim, Sieun Kim, Juhoon Lee, Hyunsoo Lee, Dongkun Lee, Jonghwan Hyeon, Yechan Hwang, Young-Jun Lee, Kyeongryul Lee, Minhyeong An, Hyunjun Ahn, Jeongwoo Son, Junho Park, Donggyu Yoon, Taehyung Kim, Jeemin Kim, Dasom Choi, Kwangyoung Lee, Hyunseung Lim, Yeohyun Jung, Jongok Hong, Sooyohn Nam, Joonyoung Park, Sungmin Na, Yubin Choi, Jeanne Choi, Yoojin Hong, Sueun Jang, Youngseok Seo, Somin Park, Seoungung Jo, Wonhye Chae, Yeeun Jo, Eunyoung Kim, Joyce Jiyoung Whang, HwaJung Hong, Joseph Seering, Uichin Lee, Juho Kim, Sunna Choi, Seokyeon Ko, Taeho Kim, Kyunghoon Kim, Myungsik Ha, So Jung Lee, Jemin Hwang, JoonHo Kwak, Ho-Jin Choi

专题命中 安全评测 :safety(abstract);分类 cs.AI、cs.CY、cs.LG

AI总结 AssurAI通过构建高质量的韩语多模态数据集,评估生成式AI的安全性,发现潜在风险,促进更安全的AI发展。

Comments 16 pages, HuggingFace: https://huggingface.co/datasets/TTA01/AssurAI

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.12336 2025-11-27 cs.CV 67%

Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding

对多模态大语言模型在视频理解中的可信度进行基准测试

Youze Wang, Zijun Chen, Ruoyu Chen, Shishen Gu, Wenbo Hu, Jiayang Liu, Yinpeng Dong, Hang Su, Jun Zhu, Meng Wang, Richang Hong

机构 * Hefei University of Technology(合肥工业大学) Tsinghua University(清华大学) Institute of Science Tokyo(东京科学研究所)

专题命中 安全评测 :alignment(abstract);safety(abstract)

AI总结 本研究提出Trust-videoLLMs基准,评估23种视频LLMs在真实性、鲁棒性、安全性和隐私等方面的表现,揭示其在动态场景理解及现实风险缓解中的局限性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21624 2025-11-27 cs.SI cs.CL 57%

TAGFN: A Text-Attributed Graph Dataset for Fake News Detection in the Age of LLMs

TAGFN:一种用于LLMs时代虚假新闻检测的文本属性图数据集

Kay Liu, Yuwei Han, Haoyan Xu, Henry Peng Zou, Yue Zhao, Philip S. Yu

机构 * University of Illinois Chicago(伊利诺伊大学芝加哥分校) University of Southern California(南加州大学)

专题命中 安全评测 :trustworthy(abstract);分类 cs.CL

AI总结 TAGFN是一种用于虚假新闻检测的文本属性图数据集,旨在评估传统和基于LLM的图异常检测方法,并促进LLMs的虚假信息检测能力发展。

Comments Preprint. Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21420 2025-11-27 cs.CV cs.AI 57%

SAM Guided Semantic and Motion Changed Region Mining for Remote Sensing Change Captioning

基于SAM的语义与运动变化区域挖掘用于遥感变化描述

Futian Wang, Mengqi Wang, Xiao Wang, Haowen Wang, Jin Tang

机构 * School of Computer Science and Technology, Anhui University(计算机科学与技术学院,安徽大学)

专题命中 安全评测 :alignment(abstract);分类 cs.AI

AI总结 本文提出基于SAM模型的遥感变化描述方法,通过融合语义和运动变化区域信息,提升变化描述的准确性和性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20976 2025-11-27 physics.soc-ph cs.AI physics.ao-ph physics.atm-clus physics.chem-ph physics.comp-ph 57%

AI4X Roadmap: Artificial Intelligence for the advancement of scientific pursuit and its future directions

AI4X路线图:人工智能用于科学探索的进步及其未来方向

Stephen G. Dale, Nikita Kazeev, Alastair J. A. Price, Victor Posligua, Stephan Roche, O. Anatole von Lilienfeld, Konstantin S. Novoselov, Xavier Bresson, Gianmarco Mengaldo, Xudong Chen, Terence J. O'Kane, Emily R. Lines, Matthew J. Allen, Amandine E. Debus, Clayton Miller, Jiayu Zhou, Hiroko H. Dodge, David Rousseau, Andrey Ustyuzhanin, Ziyun Yan, Mario Lanza, Fabio Sciarrino, Ryo Yoshida, Zhidong Leong, Teck Leong Tan, Qianxiao Li, Adil Kabylda, Igor Poltavsky, Alexandre Tkatchenko, Sherif Abdulkader Tawfik, Prathami Divakar Kamath, Theo Jaffrelot Inizan, Kristin A. Persson, Bryant Y. Li, Vir Karan, Chenru Duan, Haojun Jia, Qiyuan Zhao, Hiroyuki Hayashi, Atsuto Seko, Isao Tanaka, Omar M. Yaghi, Tim Gould, Bun Chan, Stefan Vuckovic, Tianbo Li, Min Lin, Zehcen Tang, Yang Li, Yong Xu, Amrita Joshi, Xiaonan Wang, Leonard W. T. Ng, Sergei V. Kalinin, Mahshid Ahmadi, Jiyizhe Zhang, Shuyuan Zhang, Alexei Lapkin, Ming Xiao, Zhe Wu, Kedar Hippalgaonkar, Limsoon Wong, Lorenzo Bastonero, Nicola Marzari, Dorye Luis Esteras Cordoba, Andrei Tomut, Alba Quinones Andrade, Jose-Hugo Garcia

专题命中 安全评测 :trustworthy(abstract);分类 cs.AI

AI总结 本文提出AI4X路线图,探讨人工智能在科学探索中的应用,强调数据多样性、可转移模型和生成系统的重要性,旨在推动更透明和高效的AI科学发展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20662 2025-11-27 cs.CL 57%

Democratizing LLM Efficiency: From Hyperscale Optimizations to Universal Deployability

让大语言模型效率普及:从超大规模优化到通用部署

Hen-Hsen Huang

专题命中 安全评测 :alignment(abstract);分类 cs.CL

AI总结 本文提出通过改进LLM的效率方法,使其在有限资源和专业知识下仍能有效运作,以实现更广泛的部署和公平性。

Comments 8 pages, accepted as a Blue Sky Talk in AAAI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20382 2025-11-27 cs.LG q-bio.GN 57%

MoRE: Batch-Robust Multi-Omics Representations from Frozen Pre-trained Transformers

MoRE:从冻结预训练转换器中获得批量鲁棒多组学表示

Audrey Pei-Hsuan Chen

专题命中 安全评测 :alignment(abstract);分类 cs.LG

AI总结 MoRE通过参数高效微调策略,实现多组学数据的鲁棒表示学习,减少可训练参数并提升跨细胞类型和平台的泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.15974 2025-11-27 cs.AI 57%

KRAL: Knowledge and Reasoning Augmented Learning for LLM-assisted Clinical Antimicrobial Therapy

KRAL: 用于LLM辅助临床抗菌治疗的知识与推理增强学习

Zhe Li, Yehan Qiu, Yujie Chen, Xiang Zhou

机构 * Information Center, State Key Laboratory of Complex Severe and Rare Diseases, Peking Union Medical College Hospital(信息中心、复杂严重罕见疾病国家重点实验室、北京友谊医院) Department of Critical Care Medicine, State Key Laboratory of Complex Severe and Rare Diseases, Peking Union Medical College Hospital, Peking Union Medical College and Chinese Academy of Medical Sciences(重症医学科、复杂严重罕见疾病国家重点实验室、北京友谊医院、北京友谊医院和中国医学科学院) Medical Intensive Care Unit, State Key Laboratory of Complex Severe and Rare Diseases, Peking Union Medical College Hospital, Peking Union Medical College and Chinese Academy of Medical Sciences(医疗重症病房、复杂严重罕见疾病国家重点实验室、北京友谊医院、北京友谊医院和中国医学科学院)

专题命中 安全评测 :safety(abstract);分类 cs.AI

AI总结 KRAL通过知识与推理增强学习提升LLM在临床抗菌治疗中的诊断能力,以低成本高效方式优化医疗决策支持。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21106 2025-11-27 cs.CV 50%

EM-KD: Distilling Efficient Multimodal Large Language Model with Unbalanced Vision Tokens

EM-KD: 通过不平衡视觉标记的知识蒸馏提升高效多模态大语言模型

Ze Feng, Sen Yang, Boqiang Duan, Wankou Yang, Jingdong Wang

机构 * Baidu VIS(百度视觉)

专题命中 安全评测 :alignment(abstract)

AI总结 EM-KD通过改进的知识蒸馏方法,有效提升高效多模态大语言模型的视觉理解和效率。

Comments accepted by AAAI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20914 2025-11-27 eess.SY cs.SY 50%

Distributionally Robust Cascading Risk in Multi-Agent Rendezvous: Extended Analysis of Parameter-Induced Ambiguity

多智能体会合中的分布鲁棒级联风险:参数诱导模糊性的扩展分析

Vivek Pandey, Nader Motee

专题命中 安全评测 :safety(abstract)

AI总结 本文提出了一种分析多智能体会合中分布鲁棒级联风险的理论框架,通过引入条件分布鲁棒函数和闭合形式风险表达式,揭示了参数不确定性对集体安全的影响,并通过模拟验证了方法的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏