大模型对齐与安全

Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment

可证明地同时缓解离线和在线RLHF/DPO对齐中的腐败、过度优化和冗余

Ziyi Chen, Junyi Li, Peiran Yu, Heng Huang

专题命中 偏好对齐 ：RLHF(title,abstract)；DPO(title,abstract)；alignment(title)；分类 cs.AI、cs.LG

AI总结 本文提出RLHF-COV和DPO-COV算法，同时缓解离线和在线RLHF/DPO对齐中的腐败、过度优化和冗余问题，并通过理论证明和实验验证其有效性。

Comments Edited a few incorrect numbers in Tables 2 and 3

Mortgage Language Model: Domain-Adaptive Pretraining with Residual Instruction, Alignment Tuning, and Task-Specific Routing

抵押贷款语言模型：带有残差指令、对齐微调和任务特定路由的领域自适应预训练

Manish Jain, Satheesh Kumar Ponnambalam, Salman Faroz, Chandrakanth Lns, Vinay Sharma

机构 * Firstsource 纠错

专题命中 偏好对齐 ：alignment(title)；DPO(abstract)；分类 cs.CL、cs.LG

AI总结 MortgageLLM通过双专家架构和残差指令技术，在抵押贷款领域实现领域自适应预训练，提升对话问答和结构化任务性能。

Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning

奖励旅程，而非仅终点：一种复合路径和答案自评分奖励机制用于测试时强化学习

Jingyu Xing, Chenwei Tang, Xinyu Liu, Deng Xiong, Shudong Huang, Wei Ju, Jiancheng Lv, Ziyue Qiao

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Great Bay University（大湾大学） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 COMPASS通过自评分机制提升测试时强化学习的推理能力，增强模型分析能力。

OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Languages and Modalities

OMNIGUARD：一种跨语言和模态的高效AI安全审查方法

Sahil Verma, Keegan Hines, Jeff Bilmes, Charlotte Siska, Luke Zettlemoyer, Hila Gonen, Chandan Singh

机构 * University of Washington（华盛顿大学） ； Microsoft（微软公司） 纠错

专题命中 安全训练 ：safety(title)；AI safety(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 Omniguard提出了一种跨语言和模态的高效方法，通过构建语言或模态无关的分类器提升有害提示检测的准确率，并在多语言、图像和音频提示任务中取得显著效果。

B-cos LM: Efficiently Transforming Pre-trained Language Models for Improved Explainability

B-cos LM：高效地将预训练语言模型转换以提高可解释性

Yifan Wang, Sukrut Rao, Ji-Ung Lee, Mayank Jobanputra, Vera Demberg

机构 * Saarland University（萨尔兰大学） ； Max Planck Institute for Informatics（马克斯·普朗克信息研究所） ； Saarland Informatics Campus（萨尔兰计算机科学校区） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出B-cos LM，通过结合B-cos转换和任务微调，提高预训练语言模型的可解释性与效率。

Comments TMLR 12/2025

Secure and Privacy-Preserving Federated Learning for Next-Generation Underground Mine Safety

面向下一代地下矿山安全的安全且隐私保护的联邦学习

Mohamed Elmahallawy, Sanjay Madria, Samuel Frimpong

机构 * 2 School of Engineering ； Applied Science, Washington State University, Richland, WA 99354, USA ； 3 Computer Science Department, Missouri University of Science ； 4 Explosive \& Mining Engineering Department, Missouri University of Science 纠错

专题命中 隐私与版权 ：safety(title,abstract)；分类 cs.LG

AI总结 FedMining通过去中心化功能加密和平衡聚合机制，解决地下采矿中隐私保护和模型收敛问题，实现安全高效的联邦学习应用。

Decentralized Trust for Space AI: Blockchain-Based Federated Learning Across Multi-Vendor LEO Satellite Networks

去中心化信任用于空间AI：基于区块链的多供应商LEO卫星网络联邦学习

Mohamed Elmahallawy, Asma Jodeiri Akbarfam

专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.LG

AI总结 OrbitChain通过区块链技术实现多供应商LEO卫星网络中的去中心化信任，提升联邦学习的隐私、安全性和模型准确性。

Aetheria: A multimodal interpretable content safety framework based on multi-agent debate and collaboration

Aetheria：基于多智能体辩论与协作的多模态可解释内容安全框架

Yuxiang He, Jian Zhao, Yuchen Yuan, Tianle Zhang, Wei Cai, Haojie Cheng, Ziyan Shi, Ming Zhu, Haichuan Tang, Chi Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） ； Sichuan University（四川大学） ； Peking University（北京大学） ； Beijing Jiaotong University（北京交通大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； China Railway Rolling Stock Corporation Limited（中国铁路滚动股票有限公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 Aetheria通过多智能体辩论与协作机制，实现多模态内容安全的可解释性与高准确性，提升可信AI审查水平。

Comments https://github.com/Herrieson/Aetheria

Semantic-Metric Bayesian Risk Fields: Learning Robot Safety from Human Videos with a VLM Prior

语义-度量贝叶斯风险场：从人类视频中学习机器人安全性的方法

Timothy Chen, Marcus Dominguez-Kuhne, Aiden Swann, Xu Liu, Mac Schwager

机构 * Stanford University（斯坦福大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 安全评测 ：safety(title,abstract)

AI总结 本文提出基于贝叶斯框架的语义-度量风险场，通过人类视频学习机器人安全风险模型，实现类人风险评估与规划。

The Necessity of Imperfection:Reversing Model Collapse via Simulating Cognitive Boundedness

不完美之必要：通过模拟认知局限性逆转模型崩溃

Zhongjie Jiang

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出通过模拟认知局限性生成具有真实功能增益的合成数据，以解决模型崩溃问题。

Comments 60 pages,9 figures. v3: Major update. Added 3D topological visualization (Figure 1) and independent computational verification of the Adaptive Markets Hypothesis (AMH). Includes comprehensive Supplementary Materials (algorithmic pseudocode, system architecture, and real-time GARCH logs) for technical reproducibility

Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models II: Benchmark Generation Process

生物威胁基准生成框架用于评估前沿AI模型II：基准生成过程

Gary Ackerman, Zachary Kallenborn, Anna Wetzel, Hayley Peterson, Jenna LaTourette, Olivia Shoemaker, Brandon Behlendorf, Sheriff Almakki, Doug Clifford, Noah Sheinbaum

专题命中 安全评测 ：red teaming(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出生物威胁基准生成框架，通过三种方法生成细菌生物威胁基准数据集，用于评估前沿AI模型的生物安全风险。

Comments 18 pages, 3 figures

A Practical Guide for Designing, Developing, and Deploying Production-Grade Agentic AI Workflows

生产级智能体AI工作流设计、开发与部署的实用指南

Eranga Bandara, Ross Gore, Peter Foytik, Sachin Shetty, Ravi Mukkamala, Abdul Rahman, Xueping Liang, Safdar H. Bouk, Amin Hass, Sachini Rajapakse, Ng Wee Keong, Kasun De Zoysa, Aruna Withanage, Nilaan Loganathan

机构 * Old Dominion University（旧 Dominion 大学） ； Florida International University（佛罗里达国际大学） ； Nanyang Technological University（南洋理工大学） ； University of Colombo（科伦坡大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一套生产级智能体AI工作流的设计、开发和部署的最佳实践，涵盖架构设计、多智能体模式、模型上下文协议及环境感知部署策略，旨在提升系统的可靠性与可维护性。

The Role of Risk Modeling in Advanced AI Risk Management

风险建模在高级人工智能风险管理中的作用

Chloé Touzet, Henry Papadatos, Malcolm Murray, Otter Quarks, Steve Barrett, Alejandro Tlaie Boria, Elija Perrier, Matthew Smith, Siméon Campos

专题命中 安全评测 ：safety(abstract)；分类 cs.CY

AI总结 本文探讨了风险建模在高级AI风险管理中的关键作用，提出通过整合情景构建与风险评估，构建可验证的AI架构以应对复杂风险。

A Practical Framework for Evaluating Medical AI Security: Reproducible Assessment of Jailbreaking and Privacy Vulnerabilities Across Clinical Specialties

评估医疗AI安全的实用框架：在不同临床专科中可重复评估劫持和隐私漏洞

Jinghao Wang, Ping Zhang, Carter Yagemann

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出了一种可重复评估医疗AI安全性的框架，针对不同临床专科的劫持和隐私漏洞进行评估，无需特殊资源或数据权限。

Comments 6 pages, 1 figure, framework proposal

From Benchmarks to Business Impact: Deploying IBM Generalist Agent in Enterprise Production

从基准到业务影响：在企业生产中部署IBM通用代理

Segev Shlomov, Alon Oved, Sami Marreed, Ido Levy, Offer Akrabi, Avi Yaeli, Łukasz Strąk, Elizabeth Koumpan, Yinon Goldshtein, Eilam Shapira, Nir Mashkif, Asaf Adi

机构 * IBM 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 IBM开发并试点了CUGA，展示了通用代理在企业生产环境中的应用，通过分层规划-执行架构实现先进性能，并在人才招聘领域验证其可扩展性和安全性。

Comments AAAI Conference on Artificial Intelligence

MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens

MiniGPT-5：通过生成性vokens实现交错的视觉-语言生成

Kaizhi Zheng, Xuehai He, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 MiniGPT-5通过生成性vokens实现交错的视觉-语言生成，显著提升多模态生成任务的性能。

An Empirical Framework for Evaluating Semantic Preservation Using Hugging Face

基于Hugging Face的语义保持评估经验框架

Nan Jia, Anita Raja, Raffi Khatchadourian

机构 * CUNY, the Graduate Center（纽约大学研究生中心） ； CUNY, Hunter College（纽约大学亨特学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出基于Hugging Face的语义保持评估经验框架，通过分析模型演化数据，揭示语义漂移检测方法及重构模式，为构建更可信的ML系统提供基础。

Comments Accepted to Hawaii International Conference on System Sciences (HICSS) 2026

MARINE: Theoretical Optimization and Design for Multi-Agent Recursive IN-context Enhancement

MARINE：多智能体递归上下文增强的理论优化与设计

Hongwei Zhang, Ji Lu, Yongsheng Du, Yanqin Gao, Lingjun Huang, Baoli Wang, Fang Tan, Peng Zou

机构 * Hongwei Zhang（张宏伟） ； Ji Lu（卢纪） ； Yongsheng Du（杜永生） ； Yanqin Gao（高燕琴） ； Lingjun Huang（黄令军） ； Baoli Wang（王宝利） ； Fang Tan（谭芳） ； Peng Zou（邹鹏） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 MARINE通过理论优化和设计实现多智能体递归上下文增强，显著提升推理性能并减少参数需求。

Controllable risk scenario generation from human crash data for autonomous vehicle testing

从人类碰撞数据生成可控的风险场景用于自动驾驶测试

Qiujing Lu, Xuanhan Wang, Runze Yuan, Wei Lu, Xinyi Gong, Shuo Feng

机构 * Department of Automation, Tsinghua University（自动化系，清华大学） ； Beijing DiDi Infinity Technology and Development Co., Ltd.（北京滴滴无限科技发展有限公司） ； Space Information Research Institute and Zhejiang Key Laboratory of Space Information Sensing and Transmission, Hangzhou Dianzi University（空间信息研究所和浙江空间信息感知与传输重点实验室，杭州电子科技大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 CRAG通过生成可控的风险场景，提升自动驾驶车辆在罕见安全关键条件下的鲁棒性评估效率。

AudioScene: Integrating Object-Event Audio into 3D Scenes

AudioScene: 将对象事件音频整合到3D场景中

Shuaihang Yuan, Congcong Wen, Muhammad Shafique, Anthony Tzes, Yi Fang

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出AudioScene数据集，通过整合音频事件与3D场景，探索音频条件任务，提升空间学习的准确性与多样性。

Tri-Bench: Stress-Testing VLM Reliability on Spatial Reasoning under Camera Tilt and Object Interference

Tri-Bench：在相机倾斜和物体干扰下测试VLM在空间推理中的可靠性

Amit Bendkhale

机构 * Amit Bendkhale（独立研究者） 纠错

专题命中 安全评测 ：trustworthy(abstract)

AI总结 Tri-Bench通过测试VLM在相机倾斜和物体干扰下的空间推理可靠性，揭示了模型在几何推理中的不足。

Comments 6 pages, 3 figures. Code and data: https://github.com/Amiton7/Tri-Bench. Accepted to the AAAI 2026 Workshop on Trust and Control in Agentic AI (TrustAgent)

Chain-of-Image Generation: Toward Monitorable and Controllable Image Generation

图像生成链：迈向可监控和可控的图像生成

Young Kyung Kim, Oded Schlesinger, Yuzhou Zhao, J. Matias Di Martino, Guillermo Sapiro

机构 * Duke University（杜克大学） ； Princeton University（普林斯顿大学） ； Universidad Católica del Uruguay（乌拉圭天主教大学） ； Apple（苹果公司） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 CoIG框架通过将图像生成过程分解为可监控的步骤，提升图像生成的可控性和可解释性。

Comments 19 pages, 13 figures

Beyond accuracy: quantifying the reliability of Multiple Instance Learning for Whole Slide Image classification

超越准确性：量化多实例学习在全滑片图像分类中的可靠性

Hassan Keshvarikhojasteh, Marc Aubreville, Christof A. Bertram, Josien P. W. Pluim, Mitko Veta

机构 * Department of Biomedical Engineering, Eindhoven University of Technology（埃因霍温理工大学生物医学工程系） ； Flensburg Artificial Intelligence Research Group (FLAIR), Flensburg University of Applied Sciences（弗劳恩霍夫应用科技大学人工智能研究组） ； University of Veterinary Medicine Vienna（维也纳兽医大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)

AI总结 本文提出三种量化指标评估多实例学习在全滑片图像分类中的可靠性，发现MEAN-POOL-INS模型在可靠性上表现优异，为未来研究提供可靠基准。

Journal ref PloS one. 2025 Dec 5;20(12):e0337261

Explainable AI for computational pathology identifies model limitations and tissue biomarkers

可解释AI用于计算病理学识别模型限制和组织生物标志物

Jakub R. Kaczmarzyk, Chanwoo Kim, Soham Gadgil, Deepika Savant, Zhen Zhao, Joel H. Saltz, Su-In Lee, Peter K. Koo

专题命中 安全评测 ：trustworthy(abstract)

AI总结 HIPPO通过可解释AI方法识别模型限制和组织生物标志物，提升数字病理学中模型的可解释性和临床应用价值。

Comments The following authors contributed equally: Jakub R. Kaczmarzyk, Chanwoo Kim, Soham Gadgil

Large Language Models and Their Applications in Roadway Safety and Mobility Enhancement: A Comprehensive Review

大语言模型及其在道路安全与出行提升中的应用：全面综述

Muhammad Monjurul Karim, Yan Shi, Shucheng Zhang, Bingzhang Wang, Mehrdad Nasri, Yinhai Wang

机构 * Department of Civil and Environmental Engineering, University of Washington（土木与环境工程系，华盛顿大学） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)；分类 cs.AI

AI总结 本文综述了大语言模型在道路安全与出行提升中的应用，探讨其在交通领域的适应策略及面临的挑战。

Journal ref Artificial Intelligence for Transportation, 1, 100004, 2025

From Accuracy to Impact: The Impact-Driven AI Framework (IDAIF) for Aligning Engineering Architecture with Theory of Change

从准确度到影响：用于对齐工程架构与影响理论的影响力驱动AI框架（IDAIF）

Yong-Woon Kim

专题命中 AI治理与伦理 ：alignment(abstract)；RLHF(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 IDAIF通过整合影响理论与AI架构，提供了一种以影响为中心的AI开发框架，旨在提升AI系统的伦理性和社会价值。

The SMART+ Framework for AI Systems

为AI系统设计的SMART+框架

Laxmiraju Kandikatla, Branislav Radeljic

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 SMART+框架为AI系统提供了一种结构化模型，涵盖安全、监控、责任、可靠性和透明性，并增强隐私与安全、数据治理和公平性，以提升AI系统的治理和合规性。

Memory Power Asymmetry in Human-AI Relationships: Preserving Mutual Forgetting in the Digital Age

人机关系中的记忆权力不对称：在数字时代保持相互遗忘

Rasam Dorri, Rami Zwick

机构 * School of Business, University of California, Riverside（加州大学河滨分校商学院） 纠错

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI

AI总结 本文提出记忆权力不对称概念，探讨人机关系中因记忆能力差异导致的权力失衡，并提出六个恢复健康记忆平衡的设计原则。

Comments 31 pages, 2 tables, 2 figures

Agentic Artificial Intelligence for Ethical Cybersecurity in Uganda: A Reinforcement Learning Framework for Threat Detection in Resource-Constrained Environments

代理人工智能用于乌干达的伦理网络安全：一种强化学习框架用于资源受限环境中的威胁检测

Ibrahim Adabara, Bashir Olaniyi Sadiq, Aliyu Nuhu Shuaibu, Yale Ibrahim Danjuma, Venkateswarlu Maninti, Mutebi Joe

专题命中 AI治理与伦理 ：trustworthy(abstract)；分类 cs.CY

AI总结 本研究提出一种结合强化学习和伦理治理的代理人工智能框架，用于资源受限环境中的网络安全威胁检测，实现了100%的检测率和零假阳性，提升网络安全效果和公平性。

Comments 29 pages, 7 figures, 2 tables, 1 appendix

The Unseen Bias: How Norm Discrepancy in Pre-Norm MLLMs Leads to Visual Information Loss

看不见的偏见：预规范MLLM中规范差异如何导致视觉信息丢失

Bozhou Li, Xinda Xue, Sihan Yang, Yang Shi, Xinlong Chen, Yushuo Guan, Yuanxing Zhang, Wentao Zhang

机构 * Peking University（北京大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Xi’an Jiaotong University（西安交通大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)

AI总结 本文揭示了预规范MLLM中规范差异导致的视觉信息丢失问题，并提出通过插入层规范层来解决这一问题，提升模型整体能力。