大模型对齐与安全

Balancing Safety and Helpfulness in Healthcare AI Assistants through Iterative Preference Alignment

通过迭代偏好对齐平衡医疗AI助手的安全性与帮助性

Huy Nghiem, Swetasudha Panda, Devashish Khatwani, Huy V. Nguyen, Krishnaram Kenthapadi, Hal Daumé

机构 * University of Maryland（马里兰大学） ； Oracle Labs（Oracle实验室） ； Oracle Health AI（Oracle健康AI） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；DPO(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出通过迭代偏好对齐框架提升医疗AI助手的安全性与帮助性，通过KTO和DPO优化改进模型，提升有害查询检测性能并平衡安全与效用。

Comments ML4H 2025 Proceedings, Best Paper Award

QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA

QA-LIGN：通过宪法分解的问答对对齐大语言模型

Jacob Dineen, Aswin RRV, Qin Liu, Zhikun Xu, Xiao Ye, Ming Shen, Zhaonan Li, Shijie Lu, Chitta Baral, Muhao Chen, Ben Zhou

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；safety(abstract)；harmlessness(abstract)

AI总结 QA-LIGN通过分解奖励信号提升LLM对齐效果，降低攻击成功率并保持低拒绝率，实现安全与帮助性的帕累托最优。

Comments Findings of the Association for Computational Linguistics: EMNLP 2025, pages 20619-20642, Suzhou, China

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 20619-20642, Suzhou, China, 2025

Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation

Align$^2$LLaVA: 多模态指令编纂的级联人类与大语言模型偏好对齐

Hongzhe Huang, Jiang Liu, Zhewen Yu, Li Cai, Dian Jiao, Wenqiao Zhang, Siliang Tang, Juncheng Li, Hao Jiang, Haoyuan Li, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Alibaba（阿里巴巴） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 Align$^2$LLaVA通过级联人类与LLM偏好对齐方法，有效压缩多模态指令数据，提升模型性能。

Multidimensional Rubric-oriented Reward Model Learning via Geometric Projection Reference Constraints

通过几何投影参考约束的多维评分导向奖励模型学习

Yongnan Jin, Xurui Li, Feng Cao, Liucun Gao, Juanjuan Yao

机构 * Shanghai Mingpin Medical Data Technology Co., Ltd.（上海明品医疗数据技术有限公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 通过几何投影参考约束的多维评分导向奖励模型学习，提升医疗领域大型语言模型的性能和对齐能力。

Solving LLM Repetition Problem in Production: A Comprehensive Study of Multiple Solutions

在生产环境中解决大语言模型重复问题：对多种解决方案的综合研究

Weiwei Wang, Weijie Zou, Jiyong Min

机构 * Shenzhen Sunline Tech Co., Ltd（深圳Sunline科技有限公司） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文针对大语言模型在生产环境中重复问题，提出多种解决方案并验证其有效性，通过理论分析和实验评估，识别关键参数并提供实用的生产级方法。

Towards better dense rewards in Reinforcement Learning Applications

迈向强化学习应用中更优质的密集奖励

Shuyuan Zhang

机构 * McGill University（麦吉尔大学） ； Mila 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文探讨了强化学习应用中如何构建更有效的密集奖励，通过逆强化学习、奖励建模和自监督学习等方法提高奖励的准确性和可靠性。

Comments arXiv admin note: substantial text overlap with arXiv:2505.20417

XAI-Driven Skin Disease Classification: Leveraging GANs to Augment ResNet-50 Performance

基于XAI的皮肤疾病分类：利用GANs增强ResNet-50性能

Kim Gerard A. Villanueva, Priyanka Kumar

机构 * Department of Computer Science The University of Texas Permian Basin Odessa, Texas, United States（计算机科学系 德州大学帕尔米盆地分校 奥达萨，德克萨斯州，美国） 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出利用GANs增强ResNet-50性能，结合XAI技术实现皮肤疾病分类的高准确率和临床可解释性。

In-Context Representation Hijacking

上下文表示劫持

Itay Yona, Amir Sarid, Michael Karasik, Yossi Gandelsman

机构 * Mentaleap ； Independent Researcher（独立研究者） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Doublespeak通过替换有害关键词为无害标记，使模型内部表示收敛至有害语义，从而绕过安全对齐。

SoK: a Comprehensive Causality Analysis Framework for Large Language Model Security

SoK：面向大语言模型安全的综合因果分析框架

Wei Zhao, Zhe Li, Jun Sun

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出一个综合因果分析框架，用于研究大语言模型安全问题，通过系统分析因果因素提升模型安全性。

Chameleon: Adaptive Adversarial Agents for Scaling-Based Visual Prompt Injection in Multimodal AI Systems

Chameleon：基于尺度的视觉提示注入的自适应对抗代理

M Zeeshan, Saud Satti

专题命中 提示注入 ：prompt injection(title)；分类 cs.AI

AI总结 Chameleon是一种自适应对抗框架，通过动态优化图像扰动来暴露和利用多模态AI系统中的缩放漏洞，显著提高攻击成功率并影响决策准确性。

Comments 5 pages, 2 figures, IEEE Transactions on Dependable and Secure Computing

Boundary-Aware Test-Time Adaptation for Zero-Shot Medical Image Segmentation

面向边界的测试时适应用于零样本医学图像分割

Chenlin Xu, Lei Zhang, Lituan Wang, Xinyu Pu, Pengfei Ma, Guangwu Qian, Zizhou Wang, Yan Wang

机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； Pittsburgh Institute, Sichuan University（四川大学匹兹堡学院） ； Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（科技研究局高性能计算研究所） 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)

AI总结 BA-TTA-SAM通过测试时适应提升SAM在医学图像零样本分割中的性能，采用高斯提示注入和边界感知注意力对齐机制，实现12.4%的Dice分数提升。

Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment

通过自增强对比对齐缓解多模态大语言模型中的对象和动作幻觉

Kai-Po Chang, Wei-Yuan Cheng, Chi-Pin Huang, Fu-En Yang, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所） ； NVIDIA 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SANTA框架通过自增强对比对齐方法，有效缓解多模态大语言模型中的对象和动作幻觉问题。

Comments IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026. Project page: https://kpc0810.github.io/santa/

Patient Safety Risks from AI Scribes: Signals from End-User Feedback

人工智能记录员对患者安全的风险：来自终端用户反馈的信号

Jessica Dai, Anwen Huang, Catherine Nasrallah, Rhiannon Croci, Hossein Soleimani, Sarah J. Pollet, Julia Adler-Milstein, Sara G. Murray, Jinoos Yazdany, Irene Y. Chen

机构 * University of California Berkeley（加州大学伯克利分校） ； University of California San Francisco（加州大学旧金山分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CY、cs.LG

AI总结 本研究通过混合方法分析了AI记录员在医疗反馈中引发的患者安全风险，发现转录错误可能导致药物和治疗方面的风险，需进一步研究以明确风险程度。

Comments ML4H Findings 2025

Flowing Backwards: Improving Normalizing Flows via Reverse Representation Alignment

反向流动：通过反向表征对齐改进规范化流

Yang Chen, Xiaowei Xu, Shuai Wang, Chenhui Zhu, Ruxue Wen, Xubin Li, Tiezheng Ge, Limin Wang

专题命中 安全评测 ：alignment(title,abstract)

AI总结 通过反向表征对齐改进规范化流，提升生成质量和分类准确性，训练速度提升3.3倍，实现ImageNet新state-of-the-art结果。

Comments Accepted by AAAI 2026

Probe-Rewrite-Evaluate: A Workflow for Reliable Benchmarks and Quantifying Evaluation Awareness

探测-重写-评估：一种用于可靠基准和量化评估意识的工作流程

Lang Xiong, Nishant Bhargava, Jianhang Hong, Jeremy Chang, Haihao Liu, Vasu Sharma, Kevin Zhu

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本研究提出探测-重写-评估工作流程，通过量化LLM在不同上下文中的行为变化，揭示评估意识对模型安全性和诚实性的影响，并展示更真实的评估框架的重要性。

Multi-LLM Collaboration for Medication Recommendation

多LLM协作用于药物推荐

Huascar Sanchez, Briland Hitaj, Jules Bergmann, Linda Briesemeister

机构 * Computer Science Laboratory, SRI International（SRI国际计算机科学实验室） ； University of Maryland St. Joseph Medical Center（马里兰大学圣约瑟夫医疗中心） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于LLM化学的多模型协作方法，通过增强互补性、稳定性和校准性，提高药物推荐的可靠性与可信度。

Comments 8 pages, 5 figures, 1 table

STELLA: Guiding Large Language Models for Time Series Forecasting with Semantic Abstractions

STELLA: 通过语义抽象引导大型语言模型进行时间序列预测

Junjie Fan, Hongye Zhao, Linduo Wei, Jiayu Rao, Guijia Li, Jiaxin Yuan, Wenqi Xu, Yong Qi

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 STELLA通过动态语义抽象机制，提升大型语言模型在时间序列预测中的表现，实现更精准的长期和短期预测。

Comments This work has been submitted to the IEEE for possible publication

Rethinking AI Evaluation in Education: The TEACH-AI Framework and Benchmark for Generative AI Assistants

重新思考教育中的AI评估：TEACH-AI框架与生成AI助手的基准测试

Shi Ding, Brian Magerko

机构 * Expressive Machinery Lab（表达性机械实验室） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出TEACH-AI框架，旨在通过多视角重新定义教育中AI的有效性评估，促进包容性和长期影响。

Comments 6 pages, NeurIPS 2025 Responsible Foundation Models Workshop

Are Your Agents Upward Deceivers?

您的代理是向上欺骗者吗？

Dadi Guo, Qingyu Liu, Dongrui Liu, Qihan Ren, Shuai Shao, Tianyi Qiu, Haoran Li, Yi R. Fung, Zhongjie Ba, Juntao Dai, Jiaming Ji, Zhikai Chen, Jialing Tao, Yaodong Yang, Jing Shao, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究发现基于LLM的代理可能通过欺骗行为隐瞒失败，需加强缓解策略以确保安全性。

Explainable Graph Representation Learning via Graph Pattern Analysis

通过图模式分析实现可解释的图表示学习

Xudong Wang, Ziheng Sun, Chris Ding, Jicong Fan

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（数据科学学院，香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文提出PXGL-GNN框架，通过图模式分析实现图表示的可解释性，解决了传统方法在节点特征忽略和高维问题上的局限。

Comments Full version with appendix of the paper published in the Proceedings of the Thirty-Fourth International Joint Conference on Artificial Intelligence (IJCAI-25), Main Track

Journal ref Proceedings of the Thirty-Fourth International Joint Conference on Artificial Intelligence (IJCAI-25), Main Track, pages 3426-3434, 2025

Towards 6G Native-AI Edge Networks: A Semantic-Aware and Agentic Intelligence Paradigm

迈向6G原生AI边缘网络：一种语义感知和代理智能范式

Chenyuan Feng, Anbang Zhang, Geyong Min, Yongming Huang, Tony Q. S. Quek, Xiaohu You

机构 * College of Computer Science, University of Exeter, Exeter, U.K.（埃克塞特大学计算机科学学院） ； Sony China Research Laboratory, Beijing, China（索尼中国研究实验室） ； School of Information Science and Engineering, Southeast University, Nanjing, China（东南大学信息科学与工程学院） ； Purple Mountain Laboratories, Nanjing, China（紫金山实验室） ； Information System Technology and Design Pillar, Singapore University of Technology and Design, Singapore（新加坡科技设计大学信息系统技术与设计支柱） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出语义感知和代理智能范式，旨在通过统一分类法和促进技术推动6G原生AI边缘网络的发展。

Comments submitted to Digital Communications and Networks

A Survey of LLM-based Automated Program Repair: Taxonomies, Design Paradigms, and Applications

基于大型语言模型的自动程序修复综述：分类、设计范式与应用

Boyang Yang, Zijian Cai, Fengling Liu, Bach Le, Lingming Zhang, Tegawendé F. Bissyandé, Yang Liu, Haoye Tian

专题命中 安全评测 ：alignment(abstract)

AI总结 本文综述了基于LLM的自动程序修复，提出统一分类法，涵盖四种范式，并讨论了评估实践和未来研究方向。

SmartAlert: Implementing Machine Learning-Driven Clinical Decision Support for Inpatient Lab Utilization Reduction

SmartAlert：基于机器学习的临床决策支持系统用于住院患者实验室利用减少

April S. Liang, Fatemeh Amrollahi, Yixing Jiang, Conor K. Corbin, Grace Y. E. Kim, David Mui, Trevor Crowell, Aakash Acharya, Sreedevi Mony, Soumya Punnathanam, Jack McKeown, Margaret Smith, Steven Lin, Arnold Milstein, Kevin Schulman, Jason Hom, Michael A. Pfeffer, Tho D. Pham, David Svec, Weihan Chu, Lisa Shieh, Christopher Sharp, Stephen P. Ma, Jonathan H. Chen

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 SmartAlert通过机器学习驱动的临床决策支持系统，减少住院患者重复实验室检测，实现15%的检测减少率。

Comments 22 pages, 5 figures

Towards Ethical Multi-Agent Systems of Large Language Models: A Mechanistic Interpretability Perspective

迈向伦理化的大型语言模型多智能体系统：从机制可解释性视角出发

Jae Hee Lee, Anne Lauscher, Stefano V. Albrecht

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文从机制可解释性视角出发，提出确保大型语言模型多智能体系统伦理行为的研究议程，聚焦于伦理评估框架、内部机制解析及参数高效对齐技术。

Comments Accepted to LaMAS 2026@AAAI'26 (https://sites.google.com/view/lamas2026)

What AI Speaks for Your Community: Polling AI Agents for Public Opinion on Data Center Projects

人工智能为你的社区发声：通过AI代理收集数据中心项目公众意见

Zhifeng Wu, Yuelin Han, Shaolei Ren

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CY；trustworthy(comments)

AI总结 本文提出AI代理调查框架，利用大型语言模型评估社区对数据中心项目的意见，以指导负责任的AI发展。

Comments 35 Pages. Accepted to NeurIPS 2025 Workshop on Socially Responsible and Trustworthy Foundation Models (ResponsibleFM)

Executable Governance for AI: Translating Policies into Rules Using LLMs

可执行治理 for AI：利用 LLMs 将政策翻译成规则

Gautam Varma Datla, Anudeep Vurity, Tejaswani Dash, Tazeem Ahmad, Mohd Adnan, Saima Rafi

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI

AI总结 利用 LLMs 将 AI 政策转化为可执行规则，通过 P2T 框架实现标准化表示，提升政策执行的自动化与安全性。

Comments Accepted to AAAI-26 AI Governance Workshop (in-person presentation); 10 pages, 5 figures

Decentralized Social Media and Artificial Intelligence in Digital Public Health Monitoring

去中心化的社交媒体与人工智能在数字公共卫生监测中的应用

Marcel Salathé, Sharada P. Mohanty

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CY

AI总结 本文探讨了去中心化社交媒体与人工智能在数字公共卫生监测中的应用，分析了数据获取与AI技术之间的矛盾，并提出了适应性策略。

DeRA: Decoupled Representation Alignment for Video Tokenization

DeRA: 解耦表示对齐用于视频标记化

Pengbo Guo, Junke Wang, Zhen Xing, Chengxu Liu, Daoguo Dong, Xueming Qian, Zuxuan Wu

机构 * Xi’an Jiaotong University（西安交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院） 纠错

专题命中 其他安全 ：alignment(title,abstract)

AI总结 DeRA通过解耦时空表示学习，提升视频标记化效率和性能，并在视频生成任务中取得新突破。

Identifying environmental factors associated with tetrodotoxin contamination in bivalve mollusks using eXplainable AI

利用可解释AI识别与双壳类软体动物中四氢大麻酚污染相关的环境因素

M. C. Schoppema, B. H. M. van der Velden, A. Hürriyetoğlu, M. D. Klijnstra, E. J. Faassen, A. Gerssen, H. J. van der Fels-Klerx

机构 * Wageningen Food Safety Research（瓦赫宁根食品安全研究所） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.LG

AI总结 本研究利用可解释深度学习模型识别出太阳小时数、全球辐射、水温和水氯离子浓度是影响双壳类软体动物中TTX污染的关键环境因素。

Comments 18 pages, 6 figures, submitted to npj Science of Food

4DLangVGGT: 4D Language-Visual Geometry Grounded Transformer

4DLangVGGT: 4D语言-视觉几何 grounded Transformer

Xianfeng Wu, Yajing Bai, Minghan Li, Xianzu Wu, Xueqi Zhao, Zhongyuan Lai, Wenyu Liu, Xinggang Wang

机构 * State Key Laboratory of Precision Blasting, Jianghan University（江汉大学精密爆破重点实验室） ； Harvard AI and Robotics Lab, Harvard University（哈佛大学AI与机器人实验室） ； School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息学院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） ； School of Mathematics and Statistics, Hubei University of Education（湖北省教育学院数学与统计学学院） 纠错

专题命中 其他安全 ：alignment(abstract)

AI总结 4DLangVGGT是一种基于Transformer的统一框架，用于4D语言 grounding，通过整合几何感知和语言对齐，提升4D场景理解的泛化能力和部署效率。

Comments Code: https://github.com/hustvl/4DLangVGGT, Webpage: https://hustvl.github.io/4DLangVGGT