Judgment-of-Thought Prompting: A Courtroom-Inspired Framework for Binary Logical Reasoning with Large Language Models
Soongsil University（松溪大学）
本文提出法庭启发的思维审判（JoT）多智能体提示框架，通过律师、检察官和法官角色辩论评估，在二元逻辑推理任务中显著提升准确性，如布尔表达式达98%准确率。
2025-05-21 cs.AI
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
Stony Brook University（石溪大学）
本研究利用残差流激活预测LLM评判对候选顺序的敏感性，线性探针在JudgeBench和MT-Bench上均优于非激活基线，表明判决前激活可有效预测位置翻转。
2026-10-07 cs.AI cs.LG
Confidence-Orchestrated Self-Evolution against Uncertain LLM Feedback
George Mason University（乔治·马歇尔大学）
提出COSE方法，利用LLM内在置信度作为不确定性信号，通过置信度加权PPO更新和置信度优先重放，在通用推理和数学任务上取得最佳平均性能。
2026-05-27 cs.AI
Overconfidence in LLM-as-a-Judge: Diagnosis and Confidence-Driven Solution
本文针对 LLM-as-a-Judge 中的过度自信问题，提出 TH-Score 指标和 LLM-as-a-Fuser 集成框架，以构建置信度驱动、风险感知的可靠评估系统。
2025-08-18 cs.AI
AI Assistance for Human Review of Default Judgments
Stanford Computer Science（斯坦福大学计算机科学系）；Stanford Law School（斯坦福法学院）；University of Chicago Law School（芝加哥大学法学院）
针对美国法院每年审查数百万份缺席判决耗时且易错的问题，本文提出Default Assistant，利用大语言模型评估案件法律要求并提供引用建议。实验表明，AI辅助使审查准确率提高6.0%，速度提高25.9%。
2026-07-03 cs.AI cs.CY
Margin-Adaptive Confidence Ranking for Reliable LLM Judgement
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；Institute of AI for Industries, Chinese Academy of Sciences（中国科学院工业人工智能研究所）；Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
本文提出一种基于边际的置信度排名方法，通过学习专用置信度估计器，改进LLM在人类判断一致性上的表现，通过模拟标注者多样性与边际排名公式，显式建模LLM区分人类一致与不一致案例的置信度，并推导出通用性保证。
2026-08-04 cs.AI cs.LG
CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards
Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
提出通用评判模型 CompassJudger-2，利用可验证奖励和边际策略梯度损失增强鲁棒性，其 7B 模型媲美超大模型，并发布 JudgerBenchV2 基准以标准化评估。
2025-07-12 cs.AI cs.CL
QQJ: Quantifying Qualitative Judgment for Scalable and Human-Aligned Evaluation of Generative AI
AI Lab, Arioobarzan Engineering Team（艾伊罗巴赞工程团队人工智能实验室）；Department of Computer Engineering and Information Technology（计算机工程与信息科技系）；Department of Informatics, Bioengineering, Robotics and Systems Engineering（信息学、生物工程、机器人与系统工程系）；University of Genoa（热那亚大学）
本文提出QQJ框架，通过专家设计的多维评分标准和高质量标注集校准大语言模型评估器，实现与人类判断一致的可扩展评估方法，验证了结构化定性判断在大规模应用中的有效性。
2026-05-17 cs.AI cs.CL cs.GR
Vichara: Appellate Judgment Prediction and Explanation for the Indian Judicial System
Vichara通过结构化方法预测和解释印度司法系统中的上诉判决，利用大型语言模型在两个数据集上取得优异表现，尤其在可解释性方面表现突出。
2026-02-20 cs.AI cs.CL
When Judgment Becomes Noise: How Design Failures in LLM Judge Benchmarks Silently Undermine Validity
Stanford University（斯坦福大学）；SambaNova；Mozilla AI（Mozilla人工智能）
本研究指出 LLM 裁判基准存在设计缺陷导致排名噪声，提出模式一致性和心理测量效度两种诊断机制，并在 Arena-Hard Auto 上验证了严重问题，提供改进原则。
2025-10-08 cs.AI cs.LG
Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Megagon Labs（Megagon 实验室）
提出置信推理图（CRG），一种无需特权模型访问或训练数据的推理时框架，通过将任务声明分解为子声明并聚合置信度，在多个基准上实现更优的校准置信度与风险感知决策。
2026-10-07 cs.AI cs.CL
Multi-Dimensional Prosody Judgment For Live Streaming Speech Synthesis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；TaoLive-AIGC Team Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团淘Live-AIGC团队）
针对直播TTS韵律评估成本高、标准多维评估存在判定耦合的问题，提出低成本成对评估器LPJ及解耦版D-LPJ，在准确率、维度独立性及TTS候选选择上均表现优异，可用于细粒度TTS偏好优化。
2026-09-18 cs.AI cs.SD
Identifying High-Confidence Social Biases in LLMs for Trustworthy Conversational Tutoring Agents
University of Hawaii at Manoa（夏威夷大学马诺亚分校）
本研究通过生成对话数据集，评估大型语言模型在辅导场景中检测社会偏见的能力，发现模型在对话上下文中比基准测试更难检测偏见，且对错误判断过度自信，影响推理和反馈。
2026-06-01 cs.AI cs.CL
From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers
Texas A&M University-Corpus Christi（德克萨斯农工大学科珀斯克里斯蒂分校）；BITS Pilani Goa（戈亚斯 pilani Bits 大学）；Mississippi State University（密西西比州立大学）；Northern Illinois University（北伊利诺伊大学）；Texas Christian University（得克萨斯基督教大学）
本研究评估12个指令微调开放权重LLM作为直接因果边分类器的可靠性，发现其判断过度预测、置信度不可靠，仅跨提示/模型一致性更优，建议将其作为软因果先验来源而非因果结构直接证据。
2026-08-26 cs.AI cs.LG stat.ME
Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents
Pennsylvania State University（宾夕法尼亚州立大学）；Virginia Tech（弗吉尼亚理工大学）；Purdue University（普渡大学）；Amazon AGI（亚马逊通用人工智能）
研究大语言模型智能体的步骤级置信度估计问题，提出自进化评论家框架CEB，其通过积累自身过去判断及后果证据来估计置信度，无需训练和真实步骤标签，在多个基准和主干上校准和排名表现最佳。
2026-10-07 cs.AI
EviDAG: Auditable Causal DAG Authoring with Biomedical Literature
Massachusetts General Hospital（麻省总医院）；Harvard University（哈佛大学）；Northeastern University（东北大学）
该研究针对生物医学因果分析中构建因果DAG多为手动过程的问题，提出DAGForge系统。它能基于研究概念描述创作可审计的因果DAG，经评估在召回率等方面表现良好，减轻了DAG策划负担，支持生物医学研究相关工作。
2026-07-29 cs.AI
Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Yonsei University（延世大学）
提出SPA框架，利用少量人类标注数据和LLM的logits提取偏好标签进行迭代自标注，并结合噪声感知算法，仅用3.3%真实标签即实现了高效的LLM对齐。
2025-03-04 cs.AI cs.CL cs.LG
Auto-Prompt Ensemble for LLM Judge
University at Buffalo（布法罗大学）；ByteDance（字节跳动）
提出自动提示集成框架，通过从失败案例学习评估维度并采用集体置信度机制，提升LLM评判器可靠性，在Reward Bench上将GPT-4o一致率从87.2%提至90.5%。
2025-10-08 cs.AI cs.LG
Judging by Appearances? Auditing and Intervening Vision-Language Models for Bail Prediction
Indian Institute of Technology Kharagpur（印度理工学院Khargapur分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本研究审计了视觉-语言模型（VLMs）在保释预测任务中存在的交叉群体表现差、高置信度错拒保释的问题，提出结合RAG法律判例与创新微调的干预方法，显著提升了预测性能，为VLMs法律场景部署前的智能干预设计铺路。
2025-09-30 cs.AI cs.CY
ReflectRM: Boosting Generative Reward Models via Self-Reflection within a Unified Judgment Framework
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Baidu Inc.（百度公司）
ReflectRM通过自我反思评估分析质量，提升偏好建模，实验表明其在四个基准测试中平均准确率提升3.7%，并有效缓解位置偏差。
2026-04-19 cs.AI cs.CL
Beyond Scalar Reward Model: Learning Generative Judge from Preference Data
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Baichuan AI（拜智科技）；University of Copenhagen（哥本哈根大学）
针对传统标量奖励模型可解释性不足、易受数据偏差影响的问题，提出用自生成对比评判（Con-J）结合DPO训练生成式评判器，性能与标量模型相当且更具可解释性和鲁棒性。
2024-10-13 cs.AI cs.CL cs.LG
Low-Confidence Gold: Refining Low-Confidence Samples for Efficient Instruction Tuning
Universiti Malaya（马来亚大学）；University of Science and Technology Beijing（北京科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出LCG框架，通过聚类和置信度引导选择精炼低置信度样本，提升指令微调效率与性能，实验显示在MT-bench等指标上表现更优。
2026-04-08 cs.AI cs.CL
LLMs learn scientific taste from institutional traces across the social sciences
School of Economics and Management, Tsinghua University（清华大学经济管理学院）
本文探讨机构痕迹作为训练信号，帮助AI在低可验证性领域进行评估判断，通过八个社会科学学科的四层研究提案基准测试，验证了微调LLM在不同领域的准确率，最高达85.5%。
2026-05-14 cs.AI econ.GN q-fin.EC
Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
Oak Ridge National Laboratory（橡树岭国家实验室）
本研究针对科学假说评估难题，提出基于logit的能量评分方法，在12学科1323篇论文的基准测试中，该方法的Hit@1显著优于提示式LLM评判器，展现出模型内在置信度的应用潜力。
2026-08-19 cs.AI
Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack
Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
本文揭示安全对齐增强的LLM因内部安全评估能力而面临后验攻击漏洞，通过实验和理论分析证明安全判断能力越强越易被利用，并提出因果干预验证。
2026-09-29 cs.AI
PACE-LM: Prompting and Augmentation for Calibrated Confidence Estimation with GPT-4 in Cloud Incident Root Cause Analysis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）
本文提出 PACE-LM，通过提示检索增强的 GPT-4 并结合事件判断与历史参考评分，为黑盒云事件根因预测生成校准置信度。
2023-09-29 cs.AI cs.CL cs.LG
Language models judge war differently when tested for alignment
University of Oxford（牛津大学）
研究发现对齐测试的提示会使大型语言模型发动战争的意愿下降，还会改变其决策的核心影响因素，弱化战略考量，凸显平民伤亡的权重。
2026-09-07 cs.AI cs.CY
Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges
WAI USA Research Labs（WAI美国研究实验室）
研究LLM作为裁判在决策后交互中的可操纵性，发现虽然重复中性评估下高度稳定，但针对性挑战可显著逆转判决，并提出评估鲁棒性分数（ERS）量化交互鲁棒性。
2026-06-03 cs.AI cs.CL
Vintage Code, Modern Judges: Meta-Validation in Low Data Regimes
针对遗留语言应用现代化中高质量评估数据匮乏的问题，提出形式化框架SparseAlign，结合成对置信度与分数敏感的对齐度量，在稀疏人类标注数据下可靠评估并选择大模型裁判，已成功应用于COBOL代码解释的模型发布决策。
2025-10-31 cs.AI cs.SE
Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight
Sprinklr AI
本研究对比人工与GPT-4.1、GPT-5对电信和零售语音智能体对话的评估，发现LLM评估可靠性依赖指标与配置，可作为规模化评估组成部分，支持混合评估 pipeline。
2026-09-17 cs.AI cs.ET
Going All-In on LLM Accuracy: Fake Prediction Markets, Real Confidence Signals
San Diego State University（圣地亚哥州立大学）
通过将评估任务设计为赌博游戏，研究发现LLM的置信度信号可通过虚拟货币激励提升，但准确性提升未达统计显著性。
2025-12-01 cs.AI cs.GT cs.LG
Confidence-Calibrated Small-Large Language Model Collaboration for Cost-Efficient Reasoning
Amazon Web Services（亚马逊网络服务）；Tsinghua University（清华大学）
COREA通过结合小型和大型语言模型，利用置信度校准提升推理效率，降低21.5%-16.8%成本，同时保持高准确率。
2026-03-04 cs.AI cs.CL
How Overconfidence in Initial Choices and Underconfidence Under Criticism Modulate Change of Mind in Large Language Models
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究）；University College London（伦敦大学学院）
本文通过新实验范式研究大语言模型初始过度自信与受批评时过度怀疑的矛盾现象，揭示选择支持偏差和对不一致反馈过度敏感两种机制共同导致其难以改变想法。
2025-07-03 cs.AI cs.LG
Rehearse: Stepping Back from the Confidence Cliff in Self-Improving Autoresearch
Tencent（腾讯）
该研究发现自动研究中存在置信度悬崖问题，提出Rehearse方法通过聚焦过往尝试结果记忆提升判断准确率，在三个任务的4000次训练运行预算下改善了终点性能。
2026-07-31 cs.AI
Confidence Estimation for LLM-Based Dialogue State Tracking
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文探索了基于LLM的对话状态跟踪置信度估计方法，评估四种置信度评估技术并引入自我探测机制，发现微调开放权重LLM能提升联合目标准确率与AUC校准性能。
2024-09-21 cs.AI cs.CL
SCOPE: Selective Conformal Optimized Pairwise LLM Judging
Faculty of Computer Science, Dalhousie University, Halifax, NS, Canada（达勒豪西大学计算机科学学院）；Department of Computer Science, Emory University, Atlanta, GA, USA（埃默里大学计算机科学系）
提出SCOPE框架，通过校准接受阈值控制非弃权判断的错误率，并引入双向偏好熵（BPE）提供无偏不确定性信号，实现可靠且高覆盖率的LLM成对评估。
2026-08-19 cs.AI cs.CL
From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence
Shanghai Jian Qiao University（上海建桥大学）
该研究针对网络威胁情报语料库评估三款LLM的实体抽取表现，发现其不可靠性普遍存在，失败以背景提及和标准范围缺口为主，置信分层可设审查优先级但无法验证事实。
2026-10-15 cs.AI cs.CL
CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
CARE-RFT通过引入置信度锚定的正则化方法，在保持大语言模型推理能力的同时提升其可信度和校准性能。
2026-01-22 cs.AI cs.CL cs.LG
An Auditable Pipeline for Fuzzy Full-Text Screening in Systematic Reviews: Integrating Contrastive Semantic Highlighting and LLM Judgment
Ottawa Hospital Research Institute（渥太华医院研究机构）；University of Ottawa（渥太华大学）
本文提出一种面向系统综述全文筛选的可审计模糊决策流水线，通过对比语义高亮、Mamdani模糊控制和LLM裁决，在POPCORN数据集上显著提升召回率、一致性与筛选效率。
2025-08-17 cs.AI cs.CL cs.ET
Gaze patterns predict preference and confidence in pairwise AI image evaluation
Columbia University（哥伦比亚大学）
研究通过眼动追踪揭示成对AI图像评估中的偏好形成过程，发现注视模式能预测二元选择和信心，表明眼动数据能提供与偏好注释质量相关的隐含信号。
2026-03-25 cs.AI cs.CV cs.CY
Design and Evaluation of Crowd-sourcing Platforms Based on Users Confidence Judgments
本文研究如何依据用户元认知能力及其对自身回答的置信度来筛选和组织人群，并通过数学与实验分析评估该机制对众包系统性能的提升。
2024-07-03 cs.CE cs.HC
Humans incorrectly reject confident accusatory AI judgments
IMT School of Advanced Studies（高等研究学院）；Tilburg University（蒂尔堡大学）；University of Padua（帕多瓦大学）；University of Amsterdam（阿姆斯特丹大学）；University College London（伦敦大学学院）
研究探讨了AI模型在谎言检测中的准确性和自信度如何影响人类对AI判断的接受程度，发现高准确度模型的判断更受信任，但高自信度反而导致人类更倾向于偏离。
2025-12-02 cs.HC
"The explanation makes sense": An Empirical Study on LLM Performance in News Classification and its Influence on Judgment in Human-AI Collaborative Annotation
University of Delaware（特拉华大学）
本文研究了LLM在新闻分类中的表现及其对人机协作标注的影响，发现详细解释能显著提高用户信心并影响决策。
2026-02-23 cs.HC
Mixed Uncertainty in One View: Co-Visualizing Statistical Variability and Qualitative Confidence
Northeastern University（东北大学）；Sandia National Laboratories（桑迪亚国家实验室）
本研究通过三项受试者实验，探究不同定性不确定性可视化方式对非专业人士决策的影响，为折线图预测的多形式不确定性呈现提供设计指南。
2026-08-07 cs.HC
Human Factors in Detecting AI-Generated Portraits: Age, Sex, Device, and Confidence
Hwasung Medi-Science University（华城医科大学）；Yonsei University（延世大学）
研究探讨了人类在区分真实与AI生成肖像时的能力，发现年龄、性别、设备和信心影响检测准确性，且AI生成肖像的难度随年龄增长而加剧。
2026-08-25 cs.HC
Aligning Judgment Using Task Context and Explanations to Improve Human-Recommender System Performance
本研究对比任务上下文对齐与事后算法解释两种方式，发现前者可降低人类对推荐系统的过度依赖、提升对AI出错场景的识别能力，为提升人机协作决策性能提供了新路径。
2024-09-16 cs.HC
Can AI Model the Complexities of Human Moral Decision-Making? A Qualitative Study of Kidney Allocation Decisions
Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Oxford（牛津大学）；Yale University（耶鲁大学）
本研究通过20次肾脏分配决策访谈，发现人类道德决策包含复杂的细微差别，指出简单AI模型难以完全替代人类道德判断，并探讨了现有计算方法的缺陷与未来方向。
2025-03-02 cs.AI cs.CY cs.HC
