大模型对齐与安全

Transcoders for Investigating Deception in Language Models

用于研究语言模型中欺骗行为的转码器

Darius Lim, Nathan Leow, Xin Wei Chia

机构 * Home Team Science & Technology Agency (HTX)（新加坡内政部科技局） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究用转码器分析语言模型欺骗行为，通过预训练转码器的Qwen3 - 4B模型构建归因图，经特征引导和电路分析识别相关特征字典，发现欺骗源于模型内部机制，凸显转码器在监测及检测语言模型安全漏洞方面的潜力。

How Well Does AI-Generated Feedback Work? Intrinsic and Extrinsic Evaluation across more than 20,000 EFL Essay Drafts

人工智能生成的反馈效果如何？对20000多篇外语作文草稿的内在和外在评估

Steven Coyne, Diana Galvan-Sosa, Ryan Spring, Machi Shimmei, Michael Zock, Keisuke Sakaguchi, Kentaro Inui

机构 * Tohoku University（东北大学） ； RIKEN（理化学研究所） ； ALTA Institute, Computer Laboratory, University of Cambridge（剑桥大学ALTA研究所，计算机实验室） ； CNRS, LIS, Aix-Marseille University（法国国家科学研究中心，艾克斯-马赛大学语言信息处理实验室） ； MBZUAI（Mohamed bin Zayed大学人工智能学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究外语写作中人工智能生成的书面纠正性反馈效果，通过大学外语班级近2000名学生的超20000篇草稿，从教师内在评估和学生外在反馈两角度评估，发现传统专家评估与学生反馈一致性低，强调以学习者为中心评估框架的重要性。

Comments Pre-review version of DOI https://doi.org/10.1007/978-3-032-29788-4_35, presented at AIED 2026 Late Breaking Results. Readers are encouraged to refer to the published version

Journal ref AIED CCIS 3031 (2026) 247-253

BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation

BioTIER：用于针对性生物风险缓解的拒绝基准

Eleanor M. Marshall, Pedro Medeiros, Peter Peneder, Nelly Mak, Jacob Kaffey, Faith Rovenolt, Mac Walker, Seth Donoughe, Jasper Götting

专题命中 安全评测 ：safety(abstract)；分类 cs.CY

AI总结 针对大语言模型生物滥用问题，引入BioTIER基准，将生物内容分三个风险集，含542个专家策划提示及元数据，可隔离控制灾难性风险信息，确保生物科学知识获取，助力针对性生物风险缓解。

Comments 52 pages, 9 main figures, 9 supplementary figures, 1 main table, 9 supplementary tables

DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

DS@GT ARC参加LongEval：科学问答中的引用完整性和事实基础

Brandon Michaels, Brendon Johnson

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 研究在科学问答中传统评估指标与引用完整性的差异，通过Corrective RAG和CiteFix构建纠正管道，对比前沿模型，发现前沿模型答案生成不依赖文档上下文，而纠正管道提升了引用忠实度和答案基础，提出需奖励严格答案基础的评估指标。

Comments 12 pages, 4 figures. Accepted to the CLEF 2026 LongEval Lab Working Notes

MonteRET: AI Agent Enhancing Multimodal LLMs with Multi-granularity Knowledge Retrieval for Chest CT Report Generation

MonteRET：通过多粒度知识检索增强多模态大语言模型以生成胸部CT报告的人工智能代理

Yi Lin, Yihao Ding, Elana Benishay, Elefterios Trikantzopoulos, David Nauheim, Hanley Ong, Jiang Bian, Hua Xu, Yuzhe Yang, George Shih, Yifan Peng

机构 * Weill Cornell Medicine（威尔康乃尔医学院） ； University of Western Australia（西澳大利亚大学） ； Indiana University（印第安纳大学） ； Regenstrief Institute（瑞根斯特里夫研究所） ； Yale University（耶鲁大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究针对自动生成胸部CT报告的挑战，提出MonteRET框架，它整合多种特征，通过知识检索和报告重写代理完善报告。经训练和评估，该框架在多方面提升了报告质量，相比其他方法有显著优势，获放射科住院医师青睐。

MSQA: A Natively Sourced Multilingual and Multicultural SimpleQA Benchmark

MSQA：一个原生来源的多语言多文化SimpleQA基准

Xianru Chen, Yukai Huang, Mingxiang Chen, Xinping Lei, Fangbing Deng, Jin Chen, Ge Zhang, Wenhao Huang, Jiaheng Liu

机构 * M-A-P ； ByteDance Seed（字节跳动Seed） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanjing University（南京大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出MSQA基准，包含1064个原生问题覆盖11种语言和5个文化维度，评估18个LLM发现文化能力随预训练暴露程度下降，且推理时补救措施无效。

Comments Due to the company's data approval issue, we need to withdraw the article

How Inference Compute Shapes Frontier LLM Evaluation

推理计算如何塑造前沿LLM评估

Jessica McFadyen, Ole Jorgensen, Harry Coppock, Kevin Wei, Cozmin Ududec

机构 * UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 通过控制推理计算量（如token预算、上下文压缩和重复提交）评估12个前沿语言模型，发现更大计算量显著提升性能，固定预算评估低估模型能力，且不同基准对推理扩展方法敏感。

Comments 34 pages, 4 figures

Addressing Benchmarking Gaps in Large Language Models for Health and Medicine with Dynamic Red-Teaming

超越基准：动态、自动和系统化的红队代理用于可信的医疗语言模型

Jiazhen Pan, Bailiang Jian, Paul Hager, Yundi Zhang, Che Liu, Friederike Jungmann, Hongwei Bran Li, Julian Canisius, Chenyu You, Junde Wu, Jiayuan Zhu, Fenglin Liu, Yuyuan Liu, Niklas Bubeck, Moritz Knolle, Chen, Chen, Christian Wachinger, Zhenyu Gong, Cheng Ouyang, Georgios Kaissis, Benedikt Wiestler, Daniel Rueckert

机构 * Technical University of Munich (TUM)（慕尼黑技术大学） ； University of Oxford（牛津大学） ； TUM University Hospital（慕尼黑技术大学医院） ； Imperial College London（伦敦帝国理工学院） ； Harvard Medical School（哈佛医学院） ； Stony Brook University（史泰兹布鲁克大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 本文提出DAS红队框架，通过动态压力测试揭示医疗语言模型在鲁棒性、隐私、偏见和幻觉方面的潜在风险，发现高静态基准性能与低动态可靠性之间的'基准差距'。

JEEVHITAA -- An HCAI Ecosystem to Support Collective Care

JEEVHITAA -- 一个端到端的HCAI系统以支持集体护理

Shyama Sastha Krishnamoorthy Srinivasan, Harsh Pala, Mohan Kumar, Pushpendra Singh

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 JEEVHITAA是一个端到端的HCAI系统，通过角色感知的信息共享和可验证的数据流支持多主体护理网络的协调与可信决策。

Comments 33 pages, 7 figures, 3 tables, 2 algorithms, 1 ontology description. Preprint of work under review

When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge?

当模型遗忘遇上检索增强生成（RAG）：保守秘密还是遗忘知识？

Shang Wang, Tianqing Zhu, Dayong Ye, Wanlei Zhou

机构 * School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） 纠错

专题命中 安全评测 ：harmlessness(abstract)；分类 cs.CL

AI总结 研究大语言模型训练中敏感信息保留问题，提出基于检索增强生成（RAG）技术的轻量级行为遗忘框架，通过修改外部知识库模拟遗忘，经实验验证该方法符合五个关键遗忘标准，还可扩展到多模态模型和智能体。

Comments This paper is accepted by IEEE Transactions on Dependable and Secure Computing 2025. The source code is available at \url{https://github.com/shihe98/RAG_Unlearning}

Cross-Cluster Weighted Forests

跨簇加权森林

Maya Ramchandran, Rajarshi Mukherjee, Giovanni Parmigiani

机构 * Harvard T.H. Chan School of Public Health（哈佛T.H. 柏林公共卫生学院） ； Dana-Farber Cancer Institute（达纳-法伯癌症研究所） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 研究针对生物应用数据异质性问题，提出跨簇加权森林（CCWF）方法，通过无监督聚类、在各簇拟合随机森林并加权组合，理论分析表明其更准确，模拟和实际数据验证其性能比经典随机森林高30%-40%。

Comments 9 pages, 3 figures, 1 table

A Self-Evolving Agent for Longitudinal Personal Health Management

一种用于纵向个人健康管理的自我进化智能体

Haoran Li, Jiebi Deng, Tong Jin, Jinghong Han, Yuxin Wang, Zexin Wang, Qingyi Si, Weikang Gong, Xiahai Zhuang, Jia You, Wei Cheng, Jianfeng Feng, Hongcheng Guo

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； School of Life Sciences, Beijing University of Chinese Medicine（北京中医药大学生命科学学院） ； Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑科学与智能技术研究院） ； School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； JD.com, Inc.（京东公司） ； Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University, Ministry of Education（复旦大学计算神经科学与类脑智能教育部重点实验室） ； Department of Neurology, Huashan Hospital, Fudan University（复旦大学附属华山医院神经内科） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究针对多数健康AI系统孤立处理请求的问题，开发开源智能体架构HealthClaw，通过自我进化更新支持，经合成基准和生物医学任务评估，在准确率、隐私性及任务指标增益上表现出色，支持纵向个人健康智能体的自我进化记忆。

Comments 20 pages, 4 figures, 6 supplementary tables. Code: https://github.com/HC-Guo/HealthClaw

HRIBench: Benchmarking Interaction-Centric Human-Robot Collaboration

HRIBench：以交互为中心的人机协作基准测试

Chang Liu, Jiawei Zhang, Tao Zhang, Ye Wang, Hongyu Zhou, Qin Jin

机构 * Renmin University of China（中国人民大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究针对当前VLA基准未充分考量人机交互结构的问题，引入HRIBench基准，它以结构化场景脚本定义协作任务与交互角色，含多项可解释指标。通过实验表明该基准能暴露机器人策略局限，提升协作性能，推动以交互为中心的机器人学习。

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

用于IWSLT 2026指令跟随任务的NAVER LABS系统重新实现

Anand Kamble, Aniket Tathe

机构 * NAVER LABS（NAVER实验室） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 该研究为IWSLT 2026共享任务重新实现NAVER LABS系统，采用规定组件，保留三阶段方法，构建合成示例用于微调，其主要模型在EN-ZH语音翻译和英语SQA任务中取得了一定成绩。

From Reward-Hack Activations to Agentic Risk States: Context-Calibrated Mechanistic Monitoring in LLM Agents

从奖励黑客激活到智能体风险状态：LLM智能体中的上下文校准机制监控

Patrick Wilhelm, Odej Kao

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本研究通过分析ReAct风格智能体在Gameable ALFWorld和WebShop环境中的奖励黑客行为，提出结合激活状态、熵和决策上下文的上下文校准监控方法，以更准确评估智能体风险。

Advancing Multimodal Judge Models through a Capability-Oriented Benchmark and MCTS-Driven Data Generation

通过能力导向的基准和MCTS驱动的数据生成推进多模态评判模型

Zeyu Chen, Huanjin Yao, Ziwang Zhao, Min Yang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出M-JudgeBench和Judge-MCTS框架，通过能力导向的基准和MCTS驱动的数据生成提升多模态评判模型的评估能力。

Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction

大语言模型能写出可靠的评分标准吗？实验复现的元评估

Hanhua Hong, Yizhi Li, Jiaoyan Chen, Luu Gia Huy, Sophia Ananiadou, Jung-jae Kim, Chenghua Lin

机构 * The University of Manchester（曼彻斯特大学） ； Institute for Infocomm Research (I²R), A*STAR（资讯通信研究院（I²R），新加坡科技研究局） ； IQuest Research（IQuest研究公司） ； ELLIS Manchester（ELLIS曼彻斯特） ； University of Information Technology, VNU（越南国家大学信息技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究大语言模型生成的论文复现评分标准，将其 reformulate 为清单样式，在两个骨干模型上评估四种生成设置，通过语义相似性和分数对齐进行元评估，结果显示增强设置改善下游评估对齐，同时指出其存在过于细化、偏向高分和适应性差等问题。

Exploring Zero-Shot Foundation Models for Multivariate Time Series Anomaly Detection

探索用于多变量时间序列异常检测的零样本基础模型

Martin Uray, Saverio Messineo, Roland Kwitt, Stefan Huber

机构 * Salzburg University of Applied Sciences（萨尔茨堡应用科学大学） ； Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德龙大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究多变量时间序列异常检测，探索单变量预测基础模型TimesFM的零样本应用于工业MTSAD，评估两种策略，虽未胜过基线，但发现其在捕获时间动态上过于有效致异常难区分，不过在异常边界误差有峰值，对变化点检测有前景。

Comments This preprint has not undergone peer review or any post-submission improvements or corrections. The Version of Record of this contribution will be published in Computer Aided Systems Theory - EUROCAST 2026, Lecture Notes in Computer Science, Springer

Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction

迷失在视觉翻译中：用于脑电到图像重建的基于视觉语言模型的感知语义连贯框架

Sukriti Tiwari, BHVSP Subrahmanyam, Nidhi Goyal, Sai Amrit Patnaik

机构 * Mahindra University（马欣德拉大学） ； MU-VT Interdisciplinary Advanced Research Centre for Transformative Technologies, Mahindra University（马欣德拉大学MU-VT变革性技术跨学科高级研究中心） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究脑电到图像重建中视觉保真度与语义可恢复性评估问题，引入基于四个视觉语言模型的框架，通过结构化问题评估图像对，产生宽容感知和语义对齐分数，提炼出脑机接口连贯分数，有效评估感知语义可恢复性。

Comments 27 pages, 3 figures, 13 tables. Accepted at the 5th International Workshop on Human Brain and Artificial Intelligence (HBAI 2026)

Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking

实现对话代理的多维评估：一种具有选择性重新评估和模型基准测试的可扩展、受治理的管道

Niranjan Kumar M, Balaji Nagarajan, Karthik Nair, Faysal Satter, Nithin Surendran

机构 * Lowes（劳氏公司） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对零售对话代理评估难题，提出GenAI Evaluation管道，通过规范化等处理生产日志，能评估多维度指标。选择性重新评估提高效率，支持审计。每日处理约50000条记录，已评估超两百万次交互，取得较好分数和准确率。

Comments 14 pages, 1 figure of design of architecture and 2 tables exploring the results and benchmarking

QwenPaw-Data: Bridging Facts, Methodology, and Execution for Autonomous Enterprise Data Analytics

QwenPaw-数据：为自主企业数据分析搭建事实、方法与执行的桥梁

Tianjing Zeng, Yuntao Hong, Zhongjun Ding, Dandan Liu, Yinan Mei, Yunxiang Su, Yiming Wang, Xiaojian Zhang, Jingyu Zhu, Junhao Zhu, Zhuowen Liang, Jiazhen Peng, Lianggui Weng, Zhihao Ding, Kerui Yi, Qifeng Wang, Rong Zhu, Bolin Ding, Liyu Mou, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究针对企业数据分析在开放环境的特性，提出QwenPaw-Data系统，通过整合异构资产、转化自然语言请求为工作流，架构含三个协作子系统，实验证明该系统提升了数据访问和分析质量，为企业数据智能体提供基础。

OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

OSWorld2.0：在长时域真实世界任务上基准测试计算机使用智能体

Mengqi Yuan, Zilong Zhou, Xinzhuang Xiong, Weiming Wu, Jiayang Sun, Jiamin Song, Kaiqian Cui, Bowen Wang, Haoyuan Wu, Yitong Li, Dunjie Lu, Haikong Lu, Qi Zhen, Xinyuan Wang, Jiaqi Deng, Yuhao Yang, Cheng Chen, Boyuan Zheng, Alex Su, Xiao Yu, Hao Zou, Saaket Agashe, Xing Han Lu, Manpreet Kaur, Zhengyang Qi, Vincent Sunn Chen, Frederic Sala, Dayiheng Liu, Junyang Lin, Zhou Yu, Yu Su, Siva Reddy, Xin Eric Wang, Peng Qi, Tianbao Xie, Tao Yu

机构 * XLANG Lab（XLANG实验室） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 提出OSWorld 2.0基准，包含108个长时域计算机使用工作流，通过复杂真实任务揭示当前智能体在约束跟踪、动态信息处理等方面的局限，最佳模型仅完成20.6%任务。

Comments 68 pages, 42 figures. Equal contribution: Mengqi Yuan, Zilong Zhou, and Xinzhuang Xiong

APPLV: Adaptive Planner Parameter Learning from Vision-Language-Action Model

APPLV: 从视觉-语言-动作模型中自适应学习规划器参数

Yuanjie Lu, Beichen Wang, Zhengqi Wu, Yang Li, Xiaomin Lin, Chengzhi Mao, Xuesu Xiao

机构 * Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学） ； Department of Engineering Science, University of South Florida（工程科学系，佛罗里达州立大学） ； Department of Computer Science, Rutgers University（计算机科学系，罗格斯大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 本文提出APPLV，通过从视觉-语言-动作模型中自适应学习规划器参数，提升移动机器人在受限环境中的导航性能与泛化能力。

JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks

JADE：面向开放式专业任务的专家基础动态评估

Lanbo Lin, Jiayao Liu, Tianyuan Yang, Li Cai, Yuanwu Xu, Lei Wei, Sicong Xie, Guannan Zhang

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出JADE双层评估框架，结合专家知识与动态声明级评估，解决开放式专业任务中严格性与灵活性的矛盾，在BizBench等基准上提升稳定性并揭示关键失败模式。

Comments Accepted at ICML 2026

SheetMind: An End-to-End LLM-Powered Multi-Agent Framework for Spreadsheet Automation

SheetMind：一个由端到端大语言模型驱动的用于电子表格自动化的多智能体框架

Xi Cheng, Ruiyan Zhu, Ke Liu, Rakesh Chowdary Machineni, Lyuhao Chen, Brian Zhu, Daniel Jin, Zheng Qi, Neeraj Parihar, Zhoutian Xu, Oliver Gao

机构 * Cornell University（康奈尔大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Michigan（密歇根大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Hong Kong University of Science and Technology (GZ)（香港科学与技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 介绍由大语言模型驱动的多智能体框架SheetMind用于电子表格自动化，其分层系统含三个智能体，经评估在SheetCopilot基准测试中执行成功率达100%、功能正确性54.8%超对手，消融研究验证配置优势，还集成到谷歌表格。

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

温度如何塑造检索增强生成中的意识形态话语？

Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

机构 * Wichita State University（威斯康星州立大学） ； São Paulo Catholic University（圣保罗天主教大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究探讨温度对检索增强生成中意识形态话语的影响，通过对新冠治疗文章语料库应用词汇多维分析，让模型在不同温度下回答意识形态问题并评估，发现RAG框架易转移意识形态话语，中等温度下话语对齐最高，低温时下降。

Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos

Vinci2：在连续自我中心视频中提供主动协助

Gong Sitong, Tianyu Yan, Caixin Kang, Bo Zheng, Xiang Ruan, Huchuan Lu, Kaipeng Zhang, Yoichi Sato, Yifei Huang

机构 * Dalian University of Technology（大连理工大学） ； Alaya Lab（阿莱雅实验室） ； The University of Tokyo（东京大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究连续自我中心视频中智能助手的主动协助问题，提出Vinci2系统，包含EgoServe基准测试和EgoMemo智能体，通过依赖上下文决策及相关技术，在新基准测试上建立强大基线且在现有测试中具竞争力。

Comments Accepted by ECCV 2026

Eval-Pair Matrix: Answer-Paired Meta-Evaluation of LLM Judges for Grounded RAG

评估对矩阵：基于事实的检索增强生成中大型语言模型评判器的答案配对元评估

Sriram Selvam, Anneswa Ghosh

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究针对基于事实的检索增强生成中大型语言模型评判器自我宽容难识别问题，引入Eval-Pair Matrix协议，通过特定流程生成答案并评估，经实验得出同模型效应等结果，强调RAG评判器研究应报告多方面内容。

Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews

清晰的直觉还是真正的分析？评估大语言模型作为评审员的同行评审中的认知可靠性基准

Nuo Chen, Qian Wang, Qingyun Zou, Bingsheng He

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 研究大语言模型评审员与人类评审员对同行评审评估的差异，将卡尼曼双过程理论转化为评分标准并发布Kahneman4Review基准，通过多方面发现揭示问题，强调可靠基准应区分分析形式与认知功能并给出设计选择。

Comments Preprint

Mitigating LLM Sycophancy in Code Smell Detection Using Evidence-Guided Reasoning Prompts

使用证据引导推理提示减轻代码异味检测中的大语言模型谄媚现象

Istiaq Ahmed Fahad, Kamruzzaman Asif, Md. Nurul Ahad Tawhid

机构 * Institute of Information Technology（信息科技研究所） ； University of Dhaka（达卡大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究基于LLM的代码异味检测中谄媚偏差问题，通过MLCQ数据集评估不同提示框架影响，发现模型对提示变化敏感。提出证据引导去偏提示策略，降低决策不稳定性，提高鲁棒性，为解决该问题提供有效方法。

Comments 11 Pages