Poli-Bias: Understanding and Measuring Large Language Model Biases in International Political Conflicts
Technical University Munich(慕尼黑工业大学)
本研究提出细粒度反事实框架Poli-Bias,通过交换国家身份的成对提示对比响应,分解偏差维度,发现13个LLMs存在因国家身份导致的政治偏差,可用于审计LLMs的政治公正性与谄媚性。
2026-10-19 cs.AI cs.CL
HumT DumT: Measuring and controlling human-like language in LLMs
Stanford University(斯坦福大学)
本文提出HumT和SocioT指标测量LLM输出中的类人语气及社会感知,并发现用户在多数情境下偏好非类人输出;同时提出DumT方法,在不损害模型性能的前提下系统降低类人语气,以缓解拟人化语言带来的欺骗、过度依赖等风险。
2025-05-30 cs.AI cs.CL cs.CY
P3B3: A Multi-Turn Conversational Benchmark for Measuring European and Brazilian Portuguese Variety Bias in LLMs
NOVA University of Lisbon(新里斯本大学);NOVA LINCS(NOVA LINCS实验室)
提出P3B3基准,通过专家策划的对话提示和评估框架,测量大语言模型在葡萄牙语变体(欧洲vs巴西)上的偏差和可控性,发现多数模型偏向巴西葡萄牙语。
2026-06-16 cs.AI cs.CL cs.LG
LLM Rationalis? Measuring Bargaining Capabilities of AI Negotiators
本文研究了AI谈判者的协商能力,发现LLMs在谈判中系统性地锚定在极端位置,缺乏策略多样性,且协商能力不随模型改进而提升。
2025-12-15 cs.AI cs.CL
Measuring Moral LLM Responses in Multilingual Capacities
本研究评估多语言环境下LLM的道德响应,发现GPT-5平均表现最佳,Gemini 2.5 Pro在同意与自主权及伤害预防类别得分最低,凸显语言变化对响应一致性的影响。
2025-10-09 cs.AI cs.CL
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现,发现提示对评估结果影响有限,困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
Style over Story: Measuring LLM Narrative Preferences via Structured Selection
School of Digital Humanities and Computational Social Sciences, KAIST(数字人文与计算社会科学学院,韩国科学技术院)
通过结构化选择实验测量大语言模型的叙事偏好,发现模型在风格优先于叙事内容方面表现一致,且风格偏好稳定,而内容元素则存在模型间差异和指令敏感性。
2026-04-20 cs.CL
Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models
本文提出一种直接量化不同身份视角下社会感知的新策略及聚合度量指标,用于细粒度、全面地测量大语言模型中的多维社会偏见。
2024-06-06 cs.AI cs.CL cs.CY
DiSCo: A Distribution-First Steering and Cultural Prior Evaluation Framework for Measuring Cultural Preference Bias in LLMs
BITS Pilani(比拉理工学院皮拉尼校区)
提出DiSCo框架,通过分布优先强制选择和四级情境梯度评估LLM文化偏好先验与可引导性,发现默认先验集中于英美且提示引导无法消除偏差。
2026-09-10 cs.AI cs.CL
How Much Heavy Lifting Can an Agent Harness Do?: Measuring the LLM's Residual Role in a Planning Agent
Independent Researcher(独立研究者)
研究通过外部测量规划代理各层,量化LLM在决策中的残余作用,发现声明性规划承担主要工作,而符号反思和LLM支持的修订仅在特定情况下生效。
2026-04-28 cs.AI cs.CL
TuCo: Measuring the Contribution of Fine-Tuning to Individual Responses of LLMs
University of Oxford(牛津大学)
本文提出新方法TuCo,通过将微调LLM精确分解为预训练和微调组件并计算其幅度比,定量衡量微调对个体响应的贡献,发现对抗攻击通过降低TuCo绕过安全机制。
2025-06-29 cs.AI cs.CL
Measuring Bias or Measuring the Task: Understanding the Brittle Nature of LLM Gender Biases
The University of Chicago(芝加哥大学);University of California, Los Angeles(加州大学洛杉矶分校)
本研究探讨提示的评估框架如何影响LLM性别偏见测量,发现评估框架明确的提示引发不同性别输出分布,且离散选择指标放大偏见,凸显评估脆弱性并引发对基准生态效度的思考。
2025-09-10 cs.CL
LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation
University of Copenhagen(哥本哈根大学);Umeå University(乌梅拉大学)
本文提出LP-Eval,一种与法律专家共同设计的三步评估标准,用于评估法律命题的质量,通过专家标注的100个LLM生成的法律命题数据集,展示了LLM生成的命题质量较高,但专家评估发现基于经典案例的命题质量更高,同时发现基于评估标准的LLM判断更接近专家评估,但缺乏对细粒度区别的敏感性。
2026-05-19 cs.AI cs.CL
Do LLMs Trust the Accuser or the Accusation? Measuring Belief Shifts in Werewolf
National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院)
本研究提出狼人杀中的信念转变评估基准,通过分析 LLM 对指控消息的信念更新,发现大模型虽能更好区分狼人,但仍受指控影响,且难以整合指控内容与来源信任。
2026-09-14 cs.AI cs.CL
Measuring Political Bias in Large Language Models: What Is Said and How It Is Said
Centre for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
本文提出从生成内容的内容实质与词汇风格两个维度衡量LLMs的政治偏见,并在11个开源模型上验证了该框架的可扩展性与可解释性。
2024-03-27 cs.AI cs.CL
Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings
LIP6, Sorbonne University, CNRS, France(LIP6,索邦大学,国家科学研究中心,法国)
研究通过控制文学数据集量化风格变化对嵌入分散性的影响,发现嵌入可靠捕捉作者风格特征,且重写后仍保持。
2026-05-11 cs.AI cs.CL
The Greatest Good Benchmark: Measuring LLMs' Alignment with Utilitarian Moral Dilemmas
Universidad de Buenos Aires(布宜诺斯艾利斯大学);Universidad Torcuato Di Tella(托库阿托·迪·特拉大学);Lumina Labs(卢米纳实验室);Facultad de Ciencias Exactas y Naturales(精确与自然科学学院);Escuela de Negocios(商学院)
本文提出最伟大善基准,用功利主义困境评估15个LLMs的道德判断,发现其偏好公正仁慈、拒绝工具性伤害,与人类道德标准存在分歧。
2025-03-25 cs.CL
When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors
University of Southern California(南加州大学);AWS AI Labs(AWS AI实验室)
本研究系统评估了大型语言模型在表格任务中的数据引用错误,并提出基于批评模型的过滤与拒绝采样方法,将答案准确率提升高达12.0%。
2026-07-01 cs.AI cs.CL
Can LLMs Refuse Questions They Do Not Know? Measuring Knowledge-Aware Refusal in Factual Tasks
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);Harbin Institute of Technology(哈尔滨工业大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院)
本文提出Refusal Index(RI)作为衡量大语言模型知识感知拒绝能力的新指标,通过评估拒绝概率与错误概率的相关性,揭示模型在事实性任务中的可靠性问题。
2026-05-16 cs.AI cs.CL
QUENCH: Measuring the gap between Indic and Non-Indic Contextual General Reasoning in LLMs
IIIT Delhi(德里印度信息技术学院)
QUENCH基准通过YouTube问答视频人工构建文本问答,评估LLMs在印度与非印度地理语境下的常识推理差距,发现模型规模、提示风格和地理语境影响推理能力,并分析常见错误。
2024-12-16 cs.CL
What Makes a Good Query? Measuring the Impact of Human-Confusing Linguistic Features on LLM Performance
J.P. Morgan AI Research(摩根大通人工智能研究)
研究通过分析查询特征对LLM幻觉的影响,揭示了特定语言特征与幻觉风险的关系,为优化查询设计提供依据。
2026-02-23 cs.AI cs.CL
Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment
New York University(纽约大学);NYU Shanghai(上海纽约大学)
本研究提出思维链-可解释性对齐(CIA)指标,测量LLM思维链与内部推理的一致性,并通过后训练优化,显著提升忠实度同时保持任务准确性。
2026-10-12 cs.AI cs.CL
Measuring and mitigating overreliance to build human-compatible AI
本文研究了大型语言模型过度依赖的风险,探讨了测量和缓解过度依赖的方法,以确保AI能增强而非削弱人类能力。
2026-05-20 cs.AI cs.CL cs.CY
HalluShift: Measuring Distribution Shifts towards Hallucination Detection in LLMs
Indian Statistical Institute(印度统计研究所);Netaji Subhash Engineering College(纳塔吉·苏巴什工程学院);East China Normal University(华东师范大学)
针对大型语言模型(LLMs)的幻觉问题,本研究提出HalluShift方法,通过分析LLM生成响应的内部状态空间和标记概率的分布偏移检测幻觉,在多个基准数据集上性能优于现有基线。
2025-04-13 cs.AI cs.CL cs.ET
Toward Measuring Structural Drift in LLM Communication Loops
Semarx Research LLC(Semarx研究公司)
研究通过令牌频率统计监测对话一致性,提出Bipredictability指标,验证其在多轮交互中的有效性,显示结构监控可补充语义评估。
2026-09-24 cs.AI cs.CL
Reasoning Beyond Labels: Measuring LLM Sentiment in Low-Resource, Culturally Nuanced Contexts
Microsoft Research(微软研究院);Lancaster University(兰卡斯特大学);University of Washington(华盛顿大学)
本研究提出诊断框架,将情感视为文化嵌入构念,评估LLM在低资源、语码混合的WhatsApp消息中的推理,发现顶级模型稳定而开放模型易受模糊性影响,强调文化敏感的AI评估。
2025-08-06 cs.CL
LLMs May Not Be Human-Level Players, But They Can Be Testers: Measuring Game Difficulty with LLM Agents
Adobe Research(奥多比研究院);Columbia University(哥伦比亚大学)
本研究提出基于LLM智能体的通用游戏测试框架,在Wordle和Slay the Spire两款游戏上验证发现,经简单提示引导的LLM表现与人类标注的游戏难度强相关,可用于开发阶段的难度测量,并给出了融入测试的原则指南。
2024-10-01 cs.AI cs.HC cs.LG
Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language
Aarhus University(奥胡斯大学);University of Copenhagen(哥本哈根大学)
该研究构建Persuasive-Pairs数据集并训练回归评分模型,跨领域基准测试大语言模型在说服性改写和释义场景下的说服性语言生成能力,还发现LLaMA3的角色设定会显著影响其说服性语言输出。
2025-02-20 cs.AI cs.CL
Can't say cant? Measuring and Reasoning of Dark Jargons in Large Language Models
Beijing Electronic Science and Technology Institute(北京电子科技学院);Xinan Jiaotong University(西南交通大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
本文提出Cant数据集与CantCounter框架,系统测量并分析大语言模型对黑话的识别与推理能力,揭示其易被黑话绕过安全过滤的脆弱性及领域差异。
2024-04-25 cs.AI cs.CL
GuessingGame: Measuring the Informativeness of Open-Ended Questions in Large Language Models
University of Cincinnati(辛辛那提大学)
提出GuessingGame协议,通过两个信息增益指标衡量LLM开放式提问质量,实验表明高IG显著提升效率,且能指导提示策略改进弱模型性能。
2025-09-23 cs.AI cs.CL
neuralFOMO: Can LLMs Handle Being Second Best? Measuring Envy-Like Preferences in Multi-Agent Settings
BITS Pilani, Pilani Campus(比斯学院,帕利尼校区)
neuralFOMO研究了LLMs在多智能体环境中是否表现出类似嫉妒的偏好,通过点分配游戏和比较评估揭示了不同模型在竞争与合作中的不同表现。
2026-01-26 cs.AI cs.CL cs.CY
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents
Gray Swan AI(格雷天鹅人工智能公司);UK AI Security Institute(英国人工智能安全研究所);EPFL(洛桑联邦理工学院);Center for AI Safety(人工智能安全中心);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
针对LLM智能体滥用风险未被充分探索的问题,提出AgentHarm基准(含110个恶意任务及增强版本),评估发现领先LLM对恶意请求依从性高、通用越狱模板有效,为智能体安全研究提供工具。
2025-04-18 cs.AI cs.CL cs.LG
MedPAIR: Measuring Physicians and AI Relevance Alignment in Medical Question Answering
MIT(麻省理工学院);Cornell University(康奈尔大学);Oxford University(牛津大学);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
研究引入 MedPAIR 数据集,通过对比实习医生与 LLMs 在医学问答中的相关信息优先级,发现两者相关性估计不一致,且过滤无关信息后准确率均提升。
2025-05-29 cs.AI cs.CL
Measuring and Reducing LLM Hallucination without Gold-Standard Answers
UC Santa Cruz(加州大学圣克鲁兹分校);ByteDance Research(字节跳动研究院);Northwestern University(西北大学)
本文提出FEWL幻觉度量方法,在无黄金标准答案时通过加权多个现成大语言模型的答案来测量并减少幻觉,实验证明其有效性。
2024-06-06 cs.AI cs.CL cs.LG
OckBench: Measuring the Efficiency of LLM Reasoning
Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院);NVIDIA(英伟达)
提出OckBench基准,联合评估推理和编码任务中的准确性与token效率,揭示当前模型token利用率低下问题。
2026-06-03 cs.AI cs.CL
Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability
研究区分大语言模型生成文本与人类写作的难题,提出用望远镜困惑度衡量模型令牌重复,揭示该特征在预训练早期出现,能有效进行零样本检测,性能优于其他方法。
2026-07-07 cs.AI cs.CL cs.LG
CUTE: Measuring LLMs' Understanding of Their Tokens
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Data Science Institute(慕尼黑数据科学研究所)
本文提出 CUTE 基准,通过多项正字法任务评估 LLM 对自身 token 拼写的理解,发现模型虽多具备拼写知识,却难以有效泛化并用于文本操控。
2024-10-02 cs.CL
CORE: Measuring Multi-Agent LLM Interaction Quality under Game-Theoretic Pressures
University of Toronto(多伦多大学);Vector Institute(向量研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
CORE通过量化多智能体LLM在不同博弈压力下的语言使用效果,揭示社会激励对语言适应的影响,并提供评估对话鲁棒性的指标。
2026-02-22 cs.AI cs.CL cs.LG
Measuring Human-Like Bias in LLMs? A Critique of Human-Derived Bias Constructs in LLM Evaluation
Johannes Kepler University Linz(林茨约翰开普勒大学);ISISTAN, CONICET-UNICEN(ISISTAN,CONICET-UNICEN);Linz Institute of Technology(林茨理工学院)
本文批判了用人类偏见构念评估LLM的推断差距,提出一个框架以明确目标构念、操作化、推断范围及人类类比局限,从而合理阐释模型偏见。
2026-10-02 cs.CL
TN-Eval: Rubric and Evaluation Protocols for Measuring the Quality of Behavioral Therapy Notes
Georgia Institute of Technology(佐治亚理工学院);AWS AI Labs(亚马逊云科技AI实验室);OneMedical
本研究提出TN-Eval评分标准与评估协议,用于衡量行为治疗笔记质量,发现LLM生成的笔记在盲测中被治疗师认为优于人工笔记,但存在幻觉问题。
2025-03-26 cs.AI cs.CL
Measuring Copyright Risks of Large Language Model via Partial Information Probing
Stevens Institute of Technology(史蒂文斯理工学院);William & Mary(威廉玛丽学院);Towson University(陶森大学)
本研究通过向大型语言模型输入受版权保护文本的部分信息并提示补全,分析生成内容与原文的重叠度,发现模型能生成高度重叠的侵权内容,直接衡量了版权风险。
2024-09-20 cs.AI cs.CL cs.CR
Measuring Stereotype and Deviation Biases in Large Language Models
Carnegie Mellon University, U.S.A.(卡内基梅隆大学,美国);University of Delaware, U.S.A.(德雷塞尔大学,美国)
本文研究了大型语言模型中刻板印象和偏差偏见的测量问题,通过生成个体档案来分析不同群体与政治立场、宗教信仰和性取向等属性之间的关联,揭示了LLM在推断用户属性时的偏见及其潜在危害。
2026-05-18 cs.CL
Beyond Next Word Prediction: Developing Comprehensive Evaluation Frameworks for measuring LLM performance on real world applications
AMD(超威半导体公司);LayerLens;UCLA(加利福尼亚大学洛杉矶分校)
本文提出一种基于游戏与工具架构的通用评估框架,以超越静态数据集的方式全面衡量大语言模型在供应链、金融推理及伦理安全等现实场景中的综合能力。
2025-03-05 cs.AI cs.CL cs.LG
Measuring Scalar Constructs in Social Science with LLMs
University of Innsbruck(因斯布鲁克大学);University of Maryland(马里兰大学);American University(美国大学);Northeastern University(东北大学);ETH Zürich(苏黎世联邦理工学院)
本文系统评估了用大语言模型测量社会科学标量构念的四种方法,发现成对比较和token概率加权能改善直接评分,且仅用1000对数据微调小模型即可达到或超过提示式LLM的性能。
2025-09-22 cs.CL
Implementing Rational Choice Functions with LLMs and Measuring their Alignment with User Preferences
Spoken Language Systems (LSV)(语音语言系统(LSV));Saarland University(萨尔兰大学);Mercedes-Benz AG(梅赛德斯-奔驰集团)
本文提出用大语言模型实现理性选择函数的设计原则,并构建工具衡量其与用户偏好(含严格偏好与无差异)的一致性,在汽车领域智能用户界面中验证了方法的有效性。
2025-04-22 cs.AI
Measuring What LLMs Think They Do: SHAP Faithfulness and Deployability on Financial Tabular Classification
研究评估了LLMs在金融表格分类中的SHAP值,发现其自我解释与SHAP值存在分歧,指出LLMs在结构化金融建模中的局限性,但认为改进的可解释性机制可提升其在风险敏感领域的应用潜力。
2025-11-28 cs.CL cs.LG
Found in Translation: Measuring Multilingual LLM Consistency as Simple as Translate then Evaluate
Kahlert School of Computing University of Utah(卡勒特计算学院犹他大学)
本文提出基于“翻译后评估”策略的跨语言一致性评估框架,从信息与同理心两个维度测量LLM在30种语言中的响应一致性,揭示了流行模型在多语言能力上的显著缺陷。
2025-05-28 cs.CL
Measuring Human Value Expression in Social Media Texts: Calibrated LLM Annotation and Encoder Transfer
Independent researcher, Lisbon, Portugal(独立研究者,里斯本,葡萄牙);University of Waterloo, ON, Canada(滑铁卢大学,安大略省,加拿大)
本研究使用校准的LLM标注和软标签训练,将基于Schwartz人类基本价值理论的社交媒体文本价值表达迁移到编码器模型,实现可扩展预测。
2026-07-31 cs.CL
LLM-Ideoplasticity: Measuring Ideological Plasticity in the Political Behavior of LLMs as a Context-Conditioned Distribution
通过系统实证,证明LLM的政治意识形态是上下文条件分布而非固定点,使用VAA-CHES投影模型在六个上下文轴上评估九个LLM,发现其对上下文高度敏感,但整体占据狭窄的Overton窗口。
2026-09-11 cs.AI cs.CL cs.CY
SearchLLM: Detecting LLM Paraphrased Text by Measuring the Similarity with Regeneration of the Candidate Source via Search Engine
National Institute of Information and Communications Technology, Japan(日本信息与通信技术国家研究所);Nagoya University, Japan(日本名古屋大学)
SearchLLM通过搜索引擎检索候选源文本并测量相似性,有效检测LLM改写文本并提升检测器性能。
2026-01-23 cs.CL
Measuring all the noises of LLM Evals
FAIR at Meta(Meta 人工智能基础研究团队)
本文提出all-pairs paired方法,通过测量预测噪声、数据噪声及总噪声,揭示评估结果的规律,提升统计效能。
2026-10-14 cs.AI cs.CL cs.LG
ELEPHANT: Measuring and understanding social sycophancy in LLMs
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
研究通过ELEPHANT基准测量LLMs中的社交阿谀行为,发现模型在保持用户形象方面比人类更极端,且在道德冲突中倾向于支持用户立场。
2025-09-29 cs.AI cs.CL cs.CY
Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance
Department of Computer Science(计算机科学系)
研究用户提示分布转移对部署LLM性能的影响,通过大规模评估发现提示行为的适度变化会导致LLM性能显著下降,强调了数据驱动监控的重要性。
2026-04-19 cs.CL
ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs
NYU Shanghai(纽约大学上海校区);New York University(纽约大学);University of Washington(华盛顿大学);MBZUAI;Microsoft(微软);UIUC(伊利诺伊大学香槟分校)
本文提出ValueCompass框架,基于心理学理论和系统性回顾识别并评估人类与AI的价值观对齐,在协作写作、教育、公共部门和医疗保健四个真实场景中揭示了人类与LLMs之间令人担忧的价值观错位,为设计上下文感知的AI对齐策略提供见解。
2025-11-04 cs.AI cs.CL cs.HC