语言大模型 / LLM

MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs

MINDGAMES: 多智能体LLM中社会与策略推理评估的实时竞技场

Kevin Wang, Anna Thöni, Benjamin Kempinski, Bobby Cheng, Jianzhu Yao, Benjamin Finch, Leon Guertler, Viraj Nadkarni, Yihan Jiang, Aliaksei Korshuk, Alexander Buyantuev, Ilya Makarov, Siyuan Wu, Yu-Chi Cheng, Yan-Ru Ju, Ti-Rong Wu, I-Hsuan Chu, Yu-Yu Yang, I-Chen Wu, Yitian Huang, Qinlu Cao, Yiheng Sun, Yuhong Dai, Hongkun Yao, Jingxuan Fu, Jiwei Zhang, Hao Liao, Mossimo Ebeling, Govind Arun, Sadhvik Bathini, Mihir S Arya, Avinash Anish, Aditya Ranjan, Kirtana Sunil Phatnani, Paval KS, Vrushali Mehta, Aravind S, Nikhil Arora, Tanya Upadhyay, Amol Bandagale, Yuan Lu, ChunEn Hsiao, YuTing Lin, Arvin Chung, Jerry John Thomas, Mathieu Laurière, Leshem Choshen, Yoram Bachrach, Pramod Viswanath, Maria Polukarov, Cheston Tan, Tal Kachman, Atlas Wang

机构 * NeurIPS 2025 Competition（NeurIPS 2025 会议） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MINDGAMES多游戏竞技平台，通过四个游戏环境评估LLM智能体的社会推理与策略能力，揭示规则遵循瓶颈与排行榜有效性差异。

Can Decision Trees Teach Large Language Models? Distilling Verbalized Knowledge for Molecular Property Prediction

决策树能否教会大语言模型？为分子性质预测提炼语言化知识

Khiem Le, Sreejata Dey, Marcos Martínez Galindo, Vanessa Lopez, Ting Hua, Nitesh V. Chawla, Hoang Thanh Lam

机构 * University of Notre Dame（内布拉斯加大学） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出TreeKD方法，通过将基于决策树/随机森林的专业模型知识语言化并融入提示，训练大语言模型，显著提升其在分子性质预测任务上的性能。

PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions

PersLitEval：波斯文学问题上的细粒度基准与LLM评估

Ruhallah Niazi, Faeze Ghorbanpour, Alexander Fraser

机构 * School of Computation, Information and Technology, TU Munich（计算信息与技术学院，慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出PersLitEval基准，包含4514道波斯文学多选题，评估六种LLM在十种提示策略下的表现，发现模型在概念相似性任务上准确率高，但在拼写和构词等正式语言分析上困难，且提示策略显著影响性能。

Cultural Value Alignment Via Latent Activation Steering in Large Language Models

大型语言模型中通过潜在激活引导的文化价值对齐

Trung Duc Anh Dang, Sarah Masud

机构 * University of Copenhagen（哥本哈根大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 提出一种基于场景行为探测和潜在激活引导的框架，用于评估和干预LLMs的文化价值，发现文化价值以耦合结构编码，限制了精确对齐。

Comments ACL 2026 Student Research Workshop (Non-Archival Track)

Prompt-and-Check: Using Large Language Models to Evaluate Communication Protocol Compliance in Simulation-Based Training

Prompt-and-Check：使用大型语言模型评估基于模拟训练中的通信协议合规性

Vishakha Lall, Yisi Liu

机构 * Centre of Excellence in Maritime Safety（海上安全卓越中心） ； Singapore Polytechnic（新加坡理工学院） ； Singapore（新加坡） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 提出Prompt-and-Check方法，利用开源大语言模型通过上下文丰富的提示评估模拟训练中通信协议的合规性，并在海事领域案例中验证其有效性。

Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection

解码新闻叙述：对大型语言模型在框架检测中的关键分析

Valeria Pastorino, Jasivan A. Sivakumar, Nafise Sadat Moosavi

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文研究了大型语言模型在框架检测中的应用，分析了不同模型在零样本、少样本和解释性提示设置下的表现，指出模型性能对提示设计敏感且易在模糊案例中出现系统性错误，并提出了一种新的跨领域新闻标题数据集以提高评估的现实性。

Journal ref Proceedings of the 3rd Workshop on Natural Language Processing for Political Sciences (PoliticalNLP 2026) @ LREC 2026, pages 17-28

Automated Grading of Handwritten Mathematics Using Vision-Capable LLMs

使用具备视觉能力的LLM进行手写数学自动评分

Jacob Levine, Miguel Aenlle, Craig Zilles, Matthew West, Mariana Silva

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了使用具备视觉能力的LLM对手写数学作业进行自动评分，通过对比AI评分与人工评分，发现大多数错误源于转录失败而非评分标准应用错误，揭示了LLM在手写数学评分中的潜力与局限。

Comments To be published in the International Conference on AI in Education (AIED), 2026

OPeRA: A Dataset of Observation, Persona, Rationale, and Action for Evaluating LLMs on Human Online Shopping Behavior Simulation

OPeRA: 一个用于评估LLM在模拟人类在线购物行为上的表现的观察、人设、推理和行动数据集

Ziyi Wang, Yuxuan Lu, Wenbo Li, Amirali Amini, Bo Sun, Yakov Bart, Weimin Lyu, Jiri Gesi, Tian Wang, Jing Huang, Yu Su, Upol Ehsan, Malihe Alikhani, Toby Jia-Jun Li, Lydia Chilton, Dakuo Wang

机构 * Northeastern University（东北大学） ； University of Southern California（南加州大学） ； Stony Brook University（石溪大学） ； Independent Researcher（独立研究者） ； Ohio State University（俄亥俄州立大学） ； University of Notre Dame（Notre Dame 大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出OPeRA数据集，用于评估LLM在模拟人类在线购物行为上的能力，通过收集真实用户在在线购物会话中的观察、人设、推理和行动，建立首个评估LLM预测特定用户下一步行动和推理的基准。

Comments ACL 2026 main

HalluScore: Large Language Model Hallucination Question Answering Benchmark

HalluScore: 大语言模型幻觉问答基准

Aisha Alansari, Hamzah Luqman

机构 * Department of Information and Computer Science, King Fahd University of Petroleum and Minerals（国王法赫德石油与矿物大学信息与计算机科学系） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本研究提出HalluScore基准，用于评估大语言模型在不同推理难度、知识领域、历史时间线和文化场景中的幻觉行为，通过827个精心编写的题目评估、检测和缓解幻觉，同时提供高质量的人类标注以识别不同模型的幻觉表现。

Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks

面向关系数据库的foundation models的语言模型与图神经网络方法

Jingcheng Wu, Ratan Bahadur Thapa, Mojtaba Nayyeri, Lucas Etteldorf, Max Finkenbeiner, Fabian Leeske, Steffen Staab

机构 * University of Stuttgart, Stuttgart, Germany（斯图加特大学） ； Internet Science Research Group, University of Southampton, Southampton, United Kingdom（互联网科学研究组，南安普顿大学） 纠错

专题命中 评测与基准 ：foundation model(title,title_cn)；language model(title)；分类 cs.AI

AI总结 本文提出结合语言模型和图神经网络的混合架构，通过关系实体图建模提升关系数据库的预测性能，实验表明其在多个任务中表现优异，接近监督基线并缩小与RDL的差距。

Comments 15 pages, 7 figures, 4 tables. Preprint of a paper accepted at the 1st Workshop on Extraction from Triplet Text-Table-Knowledge Graph and associated Challenge (TRIPLET), co-located with ESWC 2026

MHGraphBench: Knowledge Graph-Grounded Benchmarking of Mental Health Knowledge in Large Language Models

MHGraphBench: 用于评估大语言模型中心理健康知识的图知识基准

Weixin Liu, Congning Ni, Shelagh A. Mulvaney, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin

机构 * Vanderbilt University（范德比大学） ； Vanderbilt University Medical Center（范德比大学医学院） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出MHGraphBench基准，评估大语言模型在心理健康实体识别、关系判断及双跳推理能力，发现模型在实体类型识别和小关系类型判断上表现优异，但在关系预测和双跳推理上仍有不足，且输出格式可靠性对性能有显著影响。

Comments Accepted to GEM 2026, ACL 2026 Workshop; 9 pages main text plus references and appendices

MILM: Large Language Models for Multimodal Irregular Time Series with Informative Sampling

MILM：用于多模态不规则时间序列的大型语言模型与信息采样

Hsing-Huan Chung, Shijun Li, Yoav Wald, Xing Han, Suchi Saria, Joydeep Ghosh

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Technion-IIT（技术学院-以色列理工学院） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出MILM模型，通过两阶段策略处理多模态不规则时间序列，有效利用采样模式和观测值进行分类，提升医疗记录中住院死亡率预测性能。

CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models

CommonWhy：用于评估大语言模型实体基础因果常识推理的数据集

Armin Toroghi, Faeze Moradi Kalarde, Scott Sanner

机构 * University of Toronto（多伦多大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 CommonWhy数据集通过15000个为什么问题评估大语言模型的因果关系实体推理能力，揭示现有模型在因果推理和事实生成上的不足。

Agentick: A Unified Benchmark for General Sequential Decision-Making Agents

Agentick: 一个统一的连续决策制定代理基准测试

Roger Creus Castanyer, Pablo Samuel Castro, Glen Berseth

机构 * Mila Quebec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；foundation model(abstract)；post-training(abstract)

AI总结 Agentick是一个统一的连续决策制定代理基准测试，评估RL、LLM、VLM等代理在共同基础上的表现，揭示各方法的不足，为通用自主代理研究提供实验基础。

WaferSAGE: Large Language Model-Powered Wafer Defect Analysis via Synthetic Data Generation and Rubric-Guided Reinforcement Learning

WaferSAGE：基于大语言模型的晶圆缺陷分析：通过合成数据生成与评分引导的强化学习

Ke Xu, Zhongyuan Lian

机构 * Shanghai Huahong Grace Semiconductor Manufacturing Corporation（上海华虹格瑞半导体制造有限公司） ； Dept. of Automation, School of Information Science and Engineering, East China University of Science and Technology（自动化系，信息科学与工程学院，东华大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出WaferSAGE框架，利用小规模视觉-语言模型进行晶圆缺陷视觉问答。通过合成数据生成和评分引导强化学习，解决半导体制造中的数据稀缺问题，展示小型模型在特定工业视觉理解中的优势。

Comments 16 pages, 3 figures, 8 tables

Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology

Meow-Omni 1：用于猫类行为学的多模态大语言模型

Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

机构 * University College London（伦敦大学学院） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.CL

AI总结 Meow-Omni 1通过融合视频、音频和生理时间序列数据，实现对动物意图的精准识别，其在MeowBench基准测试中达到71.16%的准确率，推动了跨物种意图理解及基础模型在兽医诊断和野生动物保护中的应用。

Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

Scam2Prompt: 一种可扩展的框架，用于审计生产LLM中的恶意诈骗端点

Zhiyang Chen, Tara Saba, Xun Deng, Xujie Si, Fan Long

机构 * OpenAI 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Scam2Prompt通过生成开发者风格提示来测试LLM生成恶意代码的能力，发现4.24%的LLM会生成恶意URL，且在2025年发布的七种LLM中，恶意代码生成率高达12.9%-47.3%。

Data Language Models: A New Foundation Model Class for Tabular Data

数据语言模型：一种新的用于表格数据的基础模型类别

Eda Erol, Giuliano Pezzoli, Ozer Cem Kelahmet

机构 * SchemaLabs 纠错

专题命中 评测与基准 ：language model(title,abstract)；foundation model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出数据语言模型（DLM），一种能直接理解表格数据的基础模型，无需预处理，提升了表格数据在AI决策中的应用效率。

Systematic Evaluation of Large Language Models for Post-Discharge Clinical Action Extraction

大型语言模型在出院后临床行动提取中的系统评估

Shivali Dalmia, Ananya Mantravadi, Prasanna Desikan

机构 * Centific AI Research（Centific AI研究） ； Centific Global Solutions, Inc.（Centific全球解决方案公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文系统评估了零样本和少样本大型语言模型在安全关键的出院后临床行动提取中的表现，提出两阶段提取框架以提升临床任务的可操作性，并分析标注不一致性和模型推理与标注规范的对齐问题。

REBENCH: A Procedural, Fair-by-Construction Benchmark for LLMs on Stripped-Binary Types and Names (Extended Version)

REBench：一种用于LLM在剥离二进制类型和名称上的程序性、公平构造的基准测试（扩展版）

Jun Yeon Won, Xin Jin, Shiqing Ma, Zhiqiang Lin

机构 * Ohio State University（俄亥俄州立大学） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 REBench为LLM在二进制逆向工程中提供了一个全面的基准测试集，通过知识库驱动的方法生成地面真实数据，确保任务难度和通用性，以公平评估LLM在复杂任务中的表现。

Comments This is an extended version of our paper, which appears in AIWare 2026

LLM-as-Judge Framework for Evaluating Tone-Induced Hallucination in Vision-Language Models

用于评估视觉-语言模型中语气诱导幻觉的LLM-as-Judge框架

Zhiyuan Jiang, Weihao Hong, Xinlei Guan, Tejaswi Dhandu, Miles Q. Li, Meng Xu, Kuan Huang, Umamaheswara Rao Tida, Bingyu Shen, Daehan Kwak, Boyang Li

机构 * Kean University（凯恩大学） ； North Dakota State University（北达科他州立大学） ； McGill University（麦吉尔大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出Ghost-100基准，通过结构化提示强度框架评估不同模型在提示压力下的表现，发现H-Rate和H-Score在模型家族间显著分化，且某些模型对语气敏感度非单调。

Comments 23 pages, 12 figures

Unbiased Prevalence Estimation with Multicalibrated LLMs

基于多校准LLM的无偏流行率估计

Fridolin Linder, Thomas Leeper, Daniel Haimovich, Niek Tax, Lorenzo Perini, Milan Vojnovic

机构 * Meta Platforms Inc.（Meta公司） ； The London School of Economics and Political Science（伦敦政治经济学院） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出多校准方法以解决分类模型在存在协变量偏移时的流行率估计偏差问题，通过理论分析和实证应用展示其在LLM中的有效性。

The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models

高 Yao 基准：评估大型语言模型多语言和多文化能力的综合框架

Yilun Liu, Chunguang Zhao, Mengyao Piao, Lingqi Miao, Shimin Tao, Minggui He, Chenxin Liu, Li Zhang, Hongxia Ma, Jiaxin Guo, Chen Liu, Liqun Deng, Jiansheng Wei, Xiaojun Meng, Fanyi Du, Daimeng Wei, Yanghua Xiao

机构 * Huawei, China（华为，中国） ； Fudan University, China（复旦大学，中国） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出GaoYao基准，通过182300个样本、26种语言和51个地区，评估大型语言模型的多语言和多文化能力，揭示地理性能差异和任务间差距。

Comments Accepted by ACL 2026 main

TaxPraBen: A Scalable Benchmark for Structured Evaluation of LLMs in Chinese Real-World Tax Practice

TaxPraBen：一种可扩展的基准，用于评估LLM在中文实际税收实践中的结构化表现

Gang Hu, Yating Chen, Haiyan Ding, Wang Gao, Jiajia Huang, Min Peng, Qianqian Xie, Kun Yue

机构 * Yunnan University（云南大学） ； Wuhan University（武汉大学） ； Jianghan University（江汉大学） ； Nanjing Audit University（南京审计大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出TaxPraBen，首个专注于中文税收实践的基准，结合10项传统任务和3项创新场景，评估19种LLM在税收实践中的表现，揭示封闭源大参数LLM和中文LLM的优势。

Journal ref ACL 2026 Main Conference

The Imperfective Paradox in Large Language Models

大型语言模型中的不完美悖论

Bolei Ma, Yusuke Miyao

机构 * LMU Munich（慕尼黑大学） ； The University of Tokyo（东京大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 研究揭示大型语言模型在事件复合语义理解上的局限性，发现其依赖表面概率启发式而非逻辑推理，提出ImperfectiveNLI数据集揭示目标导向事件的预测偏差。

Comments ACL 2026

Cyber Defense Benchmark: Agentic Threat Hunting Evaluation for LLMs in SecOps

网络防御基准：针对LLM在SecOps中的代理威胁狩猎评估

Alankrit Chona, Igor Kozlov, Ambuj Kumar

机构 * Simbian AI 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出网络防御基准，评估LLM代理在威胁狩猎任务中的表现，发现现有模型在无引导情况下无法有效识别恶意事件。

Comments 13 pages, 3 figures, 5 tables. Complete benchmark and hunt traces available on request

Large Language Models Outperform Humans in Fraud Detection and Resistance to Motivated Investor Pressure

大语言模型在欺诈检测中优于人类且对有动机投资者压力具有抵抗力

Nattavudh Powdthavee

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 研究发现大语言模型在欺诈检测中表现优于人类，且在面对有动机投资者压力时未抑制欺诈预警，而人类顾问在压力下更倾向于支持欺诈投资。

Comments 36 pages

Persuasion with Large Language Models: A Survey of Empirical Evidence, Study Methodologies, and Ethical Implications

利用大语言模型的说服：对实证证据、研究方法和伦理影响的综述

Sander Noels, Alexander Rogiers, Maarten Buyl, Tijl De Bie

机构 * AIDA-IDLab, Electronics and Information Systems, Ghent University（AIDA-ID实验室，电子与信息系统，根特大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文综述了基于大语言模型的说服领域，分析了其在政治、营销等领域的应用，指出其说服力接近或超越人类，并强调了伦理和社会风险，呼吁制定伦理准则和监管框架。

Comments Main changes: - Slightly altered title & author ordering - New section detailing survey methodology - Expanded literature coverage and improved discussion of all references for clarity, precision & conciseness - Removed the "appealing to authority" subsection & integrated its content elsewhere - Overhauled the experimental design section - Significantly expanded success metrics discussion

AlignCultura: Towards Culturally Aligned Large Language Models?

AlignCultura: 向文化对齐的大语言模型迈进？

Gautam Siddharth Kashyap, Mark Dras, Usman Naseem

机构 * School of Computing, Macquarie University, Australia（麦考瑞大学计算机学院，澳大利亚） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出AlignCultura框架，通过构建HHH-English数据集和评估不同模型的文化对齐能力，提升输出的尊重性和文化多样性。

Comments Accepted at ACL Mains 2026

Safe for Whom? Rethinking How We Evaluate the Safety of LLMs for Real Users

为谁安全？重新思考如何为真实用户评估LLM的安全性

Manon Kempermann, Sai Suresh Macharla Vasu, Mahalakshmi Raveenthiran, Theo Farrell, Ingmar Weber

机构 * Interdisciplinary Institute for Societal Computing（社会计算跨学科研究所） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了评估LLM对真实用户安全性的挑战，指出需考虑用户情境差异，通过测试不同LLM在金融和健康建议上的表现，发现用户背景影响评估结果，且仅依赖用户披露信息不足以提升安全性评估。

Comments Paper accepted at IASEAI'26; please cite that peer-reviewed version instead