大模型对齐与安全

Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages

校准家族过拟合：为何可信破坏监测器不能跨谱系转移

Lucas Pinto

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 研究可信监测器跨谱系转移问题，以不可信策略家族为受控轴，通过拟合和应用监测器分解跨家族AUROC，发现相互作用为正且差距几何，给出四步协议，指出控制评估应报告跨家族转移矩阵，单一配对准确性高估安全性。

Comments 28 pages, 11 figures. Accepted at the COLM 2026 AI Measurement Science workshop. Code: this https URL (https://github.com/digdoug/calibration-family-overfit)

MedPriv-Bench: Benchmarking the Privacy-Utility Trade-off of Large Language Models in Medical Open-Ended Question Answering

MedPriv-Bench：医疗开放问答中大语言模型隐私-效用权衡的基准测试

Shaowei Guan, Yu Zhai, Hin Chi Kwok, Jiawei Du, Xinyu Feng, Jing Li, Harry Qin, Vivian Hui

专题命中 隐私与版权 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 MedPriv-Bench首次提出医疗开放问答中评估隐私保护与临床效用的基准，通过多代理人机协同流程生成敏感医疗情境，利用预训练RoBERTa-NLI模型量化数据泄露，揭示大语言模型在隐私与效用间的普遍权衡。

Comments Accepted to EMNLP 2026 Main Conference

Ad Insertion in LLM-Generated Responses

在大语言模型生成响应中插入广告

Shengwei Xu, Zhaohua Chen, Xiaotie Deng, Zhiyi Huang, Grant Schoenebeck

机构 * University of Michigan（密歇根大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 隐私与版权 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了解耦广告插入与响应生成、以及竞价与用户查询的框架，通过基于类型拍卖机制实现近最优的社会福利，同时提高计算效率和上下文一致性。

Neurosymbolic Alignment for Physiologically-Safe Clinical Language Models

面向生理安全临床语言模型的神经符号对齐

Abdulhady Abas Abdullah, Erik Cambria, Milena Zivkovic

机构 * University of Kurdistan Hewlêr（库尔德斯坦大学） ； Nanyang Technological University（南洋理工大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Kragujevac（克拉古耶瓦茨大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract,abstract_cn)；分类 cs.AI

AI总结 提出神经符号对齐框架，耦合临床LLM与HGNN生理世界模型，在CSB基准上显著提升临床LLM的生理安全性能，优于ORPO、GPT-4等方法，为临床LLM安全对齐提供新路径。

CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models

CASTLE：一个评估大语言模型学生定制个性化安全性的综合基准

Rui Jia, Ruiyi Lan, Fengrui Liu, Zhongxiang Dai, Bo Jiang, Jing Shao, Jingyuan Chen, Guandong Xu, Fei Wu, Min Zhang

机构 * East China Normal University（华东师范大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 CASTLE基准通过评估学生定制个性化安全性，揭示大语言模型在不同学生属性下的安全缺陷。

Comments Accepted to main of EMNLP 2026

Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms

视觉-语言-动作安全性：威胁、挑战、评估与机制

Qi Li, Bo Yin, Weiqi Huang, Ruhao Liu, Bojun Zou, Runpeng Yu, Jingwen Ye, Weihao Yu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） ； Monash University（墨尔本大学） ； Peking University（北京大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)

AI总结 本文探讨了视觉-语言-动作模型的安全性问题，分析了其在训练和推理阶段的威胁与防御机制，总结了评估方法及六个部署领域的安全挑战。

Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures

全息不变存储：通过向量符号架构实现设计时的安全合同

Arsenios Scrivens

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出全息不变存储协议，通过整合双极向量符号架构的特性，为LLM上下文漂移缓解提供设计时的安全合同，提供三种可预估的保障，提升系统工程师在设计阶段的恢复保真度和代码本容量预算能力。

Comments The experiment has a design defect: the VSA drift trigger was not in the causal path of its own runs, so the results do not test the claimed mechanism. Clean-room replication: content-aware re-injection beats neither random re-injection (p=0.46) nor a fixed timer (p=0.29), while positive controls confirm task signal (p=0.002, p=0.001). The conclusions are unsupported and should not be cited

Beyond Semantic Accuracy: Consequence-Aware Evaluation for Safety-Critical Language Understanding

超越语义准确率：面向安全关键型语言理解的后果感知评估

Yujing Chang, Thinh Pham, Van-Phat Thai, Chunyao Ma, Yash Guleria, Pham Nhut Huy, Sameer Alam

机构 * ATMRI, Nanyang Technological University (NTU)（南洋理工大学ATMRI） ； Centre of AI Research, VinUniversity（文大学人工智能研究中心） ； School of Management, Indian Institute of Technology Mandi（印度理工大学曼迪分校管理学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 针对空管场景，研究发现传统NLP指标会误判语言模型的操作可靠性，提出后果感知评估可弥补语义-安全差距，为安全关键型部署提供必要补充。

SteerCheck: Attribution Specificity and Alignment Leakage in Activation-Steering Audits

SteerCheck：激活引导审计中的归因特异性与对齐泄漏

Daming Luo, Christy Liang, Junyu Xuan

机构 * University of Technology Sydney（悉尼科技大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 SteerCheck是一项预先注册的归因审计方法，用于检测激活引导的对齐泄漏，揭示了Qwen3-14B等模型在激活引导中的特异性局限，为审计相关结论提供了可操作的框架。

SA-Bench: Evaluating Semantic Alignment in LLM-Based Paper Reproduction

SA-Bench：评估基于大语言模型的论文复现中的语义对齐

Xue Hu, Zewei Pan, Zeli Su, Zhou Liu, Wentao Zhang

机构 * Beihang University（北京航空航天大学） ； Shanghai Jiao Tong University（上海交通大学） ； Minzu University of China（中央民族大学） ； Peking University（北京大学） ； Zhongguancun Academy（中关村科学院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本研究推出SA-Bench基准，评估LLM复现论文时的语义对齐，发现现有模型复现准确率低，需优化脚手架以提升语义规范验证能力。

Comments Accepted to Findings of EMNLP 2026

Rethinking Semantic Alignment in LLM-Enhanced Collaborative Filtering: A Spectral Decoupling Approach

重新思考大语言模型增强型协同过滤中的语义对齐：一种谱解耦方法

Yedong Jin, Shaowen Peng, Tsunenori Mine, Shoko Wakamiya, Eiji Aramaki

专题命中 安全评测 ：alignment(title,abstract)

AI总结 本研究针对LLM增强型推荐中语义对齐无法有效利用互补非主语义信息的问题，提出UniSpecRec模型，通过信号特异性谱滤波实现谱解耦，提升推荐性能。

Review of Explainable Decision Support and Adaptive Human-Machine Interfaces for Automation Transparency in Maritime Autonomous Surface Ships

面向海事自主船舶自动化透明度的可解释决策支持与自适应人机接口综述

Zhuoyue Zhang, Haitong Xu, Carlos Guedes Soares

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.CY

AI总结 本综述针对海事自主船舶自动化透明度，整合100项研究，提出自适应透明度框架，明确透明度设计策略与关键近阶段改进手段，以降低认知负荷、提升接管及时性并保障安全运行。

The Limits of Automatic Evaluation of Creativity in Large Language Models

大型语言模型创造力自动评估的局限性

Alessandro Tutone, Giorgio Franceschelli, Mirco Musolesi

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究发现，当前自动评估方法及LLM作为评判者的评估方式，与人类对LLM生成文本创造力的判断存在显著不一致，无法有效捕捉创造力的关键维度。

Constraint-Guided Enterprise Data Mapping with Large Language Models

基于大语言模型的约束引导式企业数据映射

Sebastian Monka, Pramod Anantharam, Thien Vo Minh, Lavdim Halilaj

机构 * Bosch Center for Artificial Intelligence（博世人工智能中心） ； Robert Bosch GmbH（罗伯特·博世有限公司） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对企业数据映射的问题，提出约束引导式映射（CGM）神经符号方法，通过三阶段流程提升匹配性能，该方法成本低、可迁移且能降低专家工作量，在基准测试中表现优异。

Comments 20th International Conference on Neurosymbolic Learning and Reasoning. NeSy 2026

Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight

用于语音智能体评估的LLM评判基准：可靠性、校准与人工监督

Anupam Purwar, Shashank Singh, Kritika Srivastava

机构 * Sprinklr AI 纠错

专题命中 安全评测 ：safety(abstract,comments)；分类 cs.AI

AI总结 本研究对比人工与GPT-4.1、GPT-5对电信和零售语音智能体对话的评估，发现LLM评估可靠性依赖指标与配置，可作为规模化评估组成部分，支持混合评估 pipeline。

Comments Extends LLM-as-a-Judge to voice agents across telecom and retail, testing GPT-4.1 and GPT-5 against human raters across 10 safety and efficiency metrics. A correlation-based calibration analysis reveals domain-dependent reliability and identifies Recovery Turn Count and safety-recall metrics as unreliable for fully automated judging

Beyond Accuracy: A Dual-Judge Evaluation Protocol for Vision-Language Models in Legally Grounded Tasks

超越准确率：面向法律依据任务的视觉语言模型双裁判评估协议

Su Myat Noe, Ha Thanh Nguyen, May Myo Zin, Ken Satoh

机构 * National Institute of Informatics (NII)（国立信息学研究所） ； VinUniversity（文大学） ； ROIS-DS Center for Juris-Informatics（ROIS-DS法学信息学中心） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 针对法律依据任务，提出双裁判评估协议，结合质量与语义等价裁判，在英国交通标志解读任务中发现不对称II型模式，发布相关资源以评估视觉语言模型的法律相关性能。

Comments Accepted and presented at the AI for Law Workshop at ICML 2026

RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges

RecurSE：面向LLM规则评判器的有界递归自评估

Kaiyuan Liu, Ziyuan Zhuang, Rongxiang Weng, Jieping Ye

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Meituan LongCat Team（美团龙猫团队） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本研究提出RecurSE，一种无需外部监督的LLM规则评判器优化方法，通过同步评判器与检查器的协同演化、接口解耦及PAV监控，在多基准上实现泛化提升，可增强下游策略对齐。

TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis

TrustDABench：面向结构化数据分析的大语言模型可靠性与鲁棒性基准

Boshen Shi, Yize Liu, Chen Zhao, Ce Chi, Zhendong Wang, Xing Wang, Junlan Feng

机构 * Jiutian（九天） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 本研究提出TrustDABench基准，评估8种LLM在结构化数据分析中的可靠性与鲁棒性，发现现有模型在检测冲突证据、应对扰动等方面存在不足，需提升证据边界识别与不变性推理能力。

Comments Code&Data: this https URL (https://github.com/Skyorca/TrustDABench)

WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report

WeMM-Embedding：微信多模态嵌入技术报告

Junjie Zhou, Ke Mei, Lei Li, Tianyi Wang, Fengyun Rao, Jing Lyu

机构 * WeChat Vision, Tencent Inc.（腾讯微信视觉部） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本报告提出WeMM-Embedding多模态嵌入模型家族，含2B、4B、9B变体，经两阶段训练后在公开基准及微信应用中表现优异，已部署并开源。

Luce: Relightable Gaussians for 3D Asset Generation

Luce：用于3D资产生成的可重光照高斯模型

Mayank Singh, Michele Stoppa, Alvise Memo, Rui Yu, Harsha Kalli, Srimanth Gunturi, Muhammad Ahmed Riaz, Behrooz Shahsavari, Waleed Abdulla, David E. Jacobs

机构 * Apple（苹果公司） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出Luce，一种用于3D资产生成的可重光照高斯模型，通过多模态高斯云结合PBR材质，在Toys4K数据集及自研AI生成图像基准上均实现了优于基线的单图像到3D生成性能，可保留精细细节。

Comments 27 pages, 19 figures, 5 tables

UHI-Bench: Benchmarking Dual-Source Urban Heat Island Modeling Across Cities in Diverse Climate Regimes

UHI-Bench：针对不同气候区城市的双源城市热岛建模基准测试

Wanyun Ling, Chenxi Liu, Yi Xie, Aopu Xu, Zhuoqi Zeng, Ziyue Li

机构 * Technical University of Munich（慕尼黑工业大学） ； Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院） ； RWTH Aachen University（亚琛工业大学） ； Hainan Bielefeld University of Applied Sciences（海南比勒费尔德应用科学大学） ； Heilbronn Data Science Center（海尔布隆数据科学中心） ； Munich Data Science Institute（慕尼黑数据科学研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本研究推出首个双源城市热岛建模基准UHI-Bench，评估多模型在多城市多气候区的表现，为城市热建模提供指导并支持气候研究发展。

Comments 24 pages, 11 figures, 19 tables

Resilience Matters for Embodied Agents System: New Metrics, Systematic Evaluation, and Optimization

弹性对具身智能体系统的重要性：新指标、系统评估与优化

Yapeng Liu, Yuanzhao Zhai, Xudong Gong, Dawei Feng, Bo Ding, Lin Wang, Huaimin Wang

机构 * National University of Defense Technology（国防科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 该研究针对具身智能体系统忽略弹性属性的问题，提出弹性评估框架与指标集，经400项家庭任务实验验证其诊断优化效果，揭示弹性特征间的权衡关系。

Comments 12 pages, 5 figures

A Hybrid Two-Stage Machine Learning Pipeline for Fault Detection and Classification in Power Transmission Systems

用于输电系统故障检测与分类的混合两阶段机器学习流水线

Sahil Manikshete, Atharva Gujarathi, Thanh Long Vu, Akhtar Hussain, Van-Hai Bui

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 本文提出混合两阶段机器学习流水线，解耦故障检测与分类，在输电故障检测中显著提升准确率，优于基准方法，解决类别不平衡及特征模糊问题。

Comments 21 pages

Whose Psychiatry Was Summoned? A Clinical Response to the Psychodynamic Assessment of Claude Mythos Preview

谁的精神病学被召唤了？对Claude Mythos Preview的精神动力学评估的临床回应

Hiroki Fukui

专题命中 安全评测 ：safety(abstract)；分类 cs.CY

AI总结 本文针对Anthropic发布的Claude Mythos Preview系统卡中的精神动力学评估，结合SociA研究项目的多智能体LLM实验成果，指出单一精神动力学框架评估LLM的局限，提出临床精神病学回应，探讨多学科精神病学对AI福利评估的贡献。

Comments 16 pages, 1 table. Clinical psychiatric response to Section 5.10 of the Claude Mythos Preview System Card (Anthropic, 2026). Companion to arXiv:2603.04904 (https://arxiv.org/abs/2603.04904), arXiv:2603.08723 (https://arxiv.org/abs/2603.08723), arXiv:2604.00021 (https://arxiv.org/abs/2604.00021)

When May a Model Replace the Experiment? Audits, Licenses, and the Price of Trust in Surrogate-Driven Design

模型何时可替代实验？代理驱动设计中的审计、许可与信任代价

Shuangxiu (Max)Ma, Wenhe (Zachary) Zhao

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 该研究明确了机器学习代理替代实验的安全条件，推导了模型作为神谕的最小准则，提出选择感知审计可降低认证评估成本，经审计的筛选使认证神谕成本降低25倍。

Comments 47 pages (18 pages main text, 29 pages Supporting Information), 9 figures, 2 tables, 70 references. SI contains complete proofs of all theorems, extended experiments, and the verification methodology

RusFinChain: A Russian Benchmark for Verifiable Chain-of-Thought Reasoning in Finance with Fuzzy-Aligned Evaluation

RusFinChain：面向金融领域可验证思维链推理的俄语基准与模糊对齐评估

Mullosharaf K. Arabov

机构 * Kazan Federal University（喀山联邦大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出首个俄语金融可验证思维链推理基准RusFinChain，包含5280个参数化示例和模糊对齐评估指标，揭示模型在步骤对齐与最终答案正确性之间存在显著差距。

Comments Preprint

PHMForge: Evaluating LLM Agents on Industrial Prognostics through MCP-Native, Algorithm-Grounded Tools

PHMForge：通过MCP原生、算法基础的工具评估LLM代理在工业预测维护中的表现

Yusheng Li, Tianjun Feng, Yunfeng Chen, Chun-Yi Tsai, Yihan Sun, Ayan Das, Kaoutar El Maghraoui, Shuxin Lin, Dhaval Patel

机构 * Columbia University（哥伦比亚大学） ； Georgia Institute of Technology（佐治亚理工学院） ； IBM, New York（IBM，纽约） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 PHMForge通过MCP原生工具评估LLM代理在工业预测维护中的可靠性，揭示了静态检索在预测计算中的局限性，展示了不同框架和模型的表现差异。

Comments 23 pages, 3 figures

Retrieval-aligned Tabular Foundation Models Enable Robust Clinical Risk Prediction in Electronic Health Records Under Real-world Constraints

检索对齐的表格基础模型实现电子健康记录中在现实约束下的稳健临床风险预测

Minh-Khoi Pham, Thang-Long Nguyen Ho, Thao Thi Phuong Dao, Tai Tan Mai, Minh-Triet Tran, Marie E. Ward, Una Geary, Rob Brennan, Nick McDonald, Martin Crane, Marija Bezbradica

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对电子健康记录中高维、异质、类别不平衡和分布偏移等挑战，提出任务对齐检索框架AWARE，通过监督嵌入学习和轻量适配器提升表格上下文学习性能，在极端不平衡下AUPRC提升高达12.2%。

Comments Not peer-reviewed. Under revision

Finch: Toxicity Dose Response Curve Prediction of Chemical Compounds and Mixtures

Finch：化学化合物及混合物的毒性剂量反应曲线预测

Abdullah Shouaib, John Zapanta, Sean P. Davern, Samuel Dixon, Zachary R. Stromberg, Becky Hess, Sydney Schwartz, C Mark Maupin

专题命中 安全评测 ：safety(abstract)

AI总结 Finch整合多任务定量构效关系模型，解决传统混合物模型的局限，实现化学化合物及混合物的毒性剂量反应曲线预测，助力监管安全评估。

X-MULTI: VLM-based Imaging Factor Disentanglement for Factor-Aware Image Synthesis

X-MULTI：基于VLM的成像因子解耦用于因子感知图像合成

Sonali Godavarthy, Matthias Neuwirth-Trapp, Tim-Felix Faasch, Maarten Bieshaar, Michael Moeller, Kristof Van Laerhoven, Danda Pani Paudel

机构 * University of Siegen（锡根大学） ； ETH Zürich（苏黎世联邦理工学院） ； Bosch Research（博世研究中心） ； INSAIT（INSAIT（保加利亚的智能与数据科学研究所）） ； Sofia University “St. Kliment Ohridski”（索非亚大学“圣·克利门特·奥赫里德斯基”） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 该研究针对文本到图像生成的成像因子解耦问题，提出基于VLM的X-MULTI方法及改进的I-FAA指标，提升了新颖因子组合的因子对齐效果与评估的稳健性。

Comments Accepted to the MUCG Workshop at ECCV 2026