An LLM-as-a-judge Approach for Scalable Gender-Neutral Translation Evaluation
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学)
针对性别中立翻译(GNT)自动评估依赖单语分类器、扩展性差的问题,本研究提出用大型语言模型(LLMs)作为评估器,探索两种提示方法,实验表明LLMs可有效评估GNT,且先短语级注释再句子级判断能提升准确性,提供更优的可扩展方案。
2025-04-16 cs.CL
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现,发现提示对评估结果影响有限,困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
Improving LLM-as-a-Judge Inference with the Judgment Distribution
Department of Computer Science(计算机科学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学)
本研究提出利用LLM法官输出的判断分布而非仅文本输出来改进推理,发现取均值优于贪婪解码,且风险规避方法有效,但思维链提示可能损害性能。
2025-09-26 cs.CL
Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation
PricewaterhouseCoopers(普华永道)
系统比较ModernBERT系列编码器分类器与基于LLM的解码器评判器在识别有害LLM输出上的性能,发现编码器可在保持低延迟和低成本的同时接近LLM评判器的效果。
2026-06-25 cs.AI cs.CL
Can You Trick the Grader? Adversarial Persuasion of LLM Judges
Seoul National University(首尔大学);LG AI Research(LG人工智能研究院)
本研究首次揭示策略性嵌入的说服性语言可使LLM裁判在数学推理任务中给出虚高分数,形式化七种说服技术并在六个基准上验证了该漏洞,指出增加模型规模及反提示策略均无法有效缓解此问题。
2025-08-11 cs.CL
Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Pittsburgh(匹兹堡大学);University of Maryland, College Park(马里兰大学学院公园分校);University of Connecticut(康涅狄格大学)
研究探讨小语言模型能否作高效评估器,基于语义能力不对称假设提出“表示作为评判器”范式,通过INSPECTOR框架实例化,实验显示其在推理基准测试中性能出色,为可扩展评估提供了更优选择。
2026-07-10 cs.AI cs.CL cs.LG
Enhancing Granular Sentiment Classification with Chain-of-Thought Prompting in Large Language Models
John F Kennedy High school Fremont, USA(约翰·F·肯尼迪高中弗里蒙特分校);Queensland Academy for Science Mathematics and Technology(昆士兰科学数学与技术学院);Research Spark Hub Inc(Research Spark Hub公司)
本文研究利用大语言模型的思维链提示提升应用商店评论的细粒度情感分类,在2000条亚马逊评论上准确率从84%提升至93%,验证了显式推理的有效性。
2025-05-07 cs.CL cs.LG
The Alternative Annotator Test for LLM-as-a-Judge: How to Statistically Justify Replacing Human Annotators with LLMs
Technion(以色列理工学院);University of Haifa(海法大学)
本文提出替代标注者检验(alt-test)统计程序,仅需少量标注子集即可证明LLM替代人工标注的合理性,并引入可解释度量,实验显示闭源LLM(如GPT-4o)在部分任务中可替代人类。
2025-08-08 cs.AI cs.CL cs.HC
The Necessity of Setting Temperature in LLM-as-a-Judge
University of Luxembourg(卢森堡大学);ETH Zürich(苏黎世联邦理工学院)
系统研究温度对LLM评判行为的影响,发现高温降低一致性但暴露不确定性,低温适合稳定任务,高温适合复杂场景,建议温度作为任务相关的设计选择。
2026-10-16 cs.CL
*-PLUIE: Personalisable metric with Llm Used for Improved Evaluation
Univ Rennes, CNRS, IRISA, EXPRESSION(里尔大学、法国国家科学研究中心、IRISA、EXPRESSION);Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004(南特大学、南特中央理工学院、法国国家科学研究中心、LS2N、UMR 6004);Univ Rennes, CNRS, IRISA, SOTERN(里尔大学、法国国家科学研究中心、IRISA、SOTERN);Univ of South Brittany, CNRS, IRISA, ARCHIMEDIA(布列塔尼南部大学、法国国家科学研究中心、IRISA、ARCHIMEDIA)
提出*-PLUIE,一种基于困惑度的可个性化LLM评判度量,通过任务特定提示变体实现与人类判断的更强相关性,同时保持低计算成本。
2026-05-29 cs.CL
Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges
School of Computing and Electrical Engineering(计算与电子工程学院);Indian Institute of Technology (IIT) Mandi(印度理工学院(IIT)曼迪);London U.K.(伦敦英国);Warwick Manufacturing Group U.K.(沃里克制造集团英国)
提出因果框架研究 LLM 评判者对非证据线索的依赖,通过线索干预和锚定度量揭示其合理化偏差,并验证证据锁定策略的有效性。
2026-05-13 cs.CL
Beyond a Single Judge: The Evidence-Grounded, Social-Weighted Persona Panel for Generative UI Evaluation
该研究针对GenUI评估问题,提出三阶段ESPP方法,通过多样化角色面板提升评估保真度,揭示用户子群体的结构性分歧,代码已公开。
2026-08-03 cs.CL
OffsetBias: Leveraging Debiased Data for Tuning Evaluators
NC Research(NC研究机构);NAVER Cloud(NAVER云)
该研究识别出评判模型的六种固有偏差,构建了元评估集合EvalBiasBench与去偏偏好数据集OffsetBias,实验证明基于该数据集微调可提升评判模型的抗偏差鲁棒性与多数场景下的评估性能。
2024-10-07 cs.CL
On Cost-Effective LLM-as-a-Judge Improvement Techniques
研究通过集成评分、任务特定标准注入等四种技术提高LLM评判准确性,在RewardBench 2上达到85.8%准确率,成本效益显著。
2026-06-09 cs.CL
Keyword-Centric Prompting for One-Shot Event Detection with Self-Generated Rationale Enhancements
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(一般人工智能国家重点实验室,智能科学与技术学院,北京大学)
针对LLM在事件检测中因缺乏触发词理解和过度解读导致ICL失效的问题,提出KeyCP++方法,通过构建触发词判别模板生成理由,减少对关键词依赖并促进规则学习,显著提升一次性事件检测性能。
2025-08-11 cs.CL
The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提示一个大语言模型(LLM),如GPT-3与解释改善上下文学习?我们研究这个问题的两个NLP任务,涉及推理的文本,即问答和自然语言推理。我们测试了四个LLM在三个文本推理数据集上的性能,使用的提示包括多种不同风格的解释。对于这些任务,我们发现,在OPT,GPT-3(davinci)和InstructGPT(text-davinci-001)的提示中包含解释,与标准的few show学习相比,只能产生小到中等的准确性提高。然而,text-davinci-002能够更大程度地受益。我们进一步表明,由LLM生成的解释可能不需要模型的预测,也不是事实上基于输入,即使是在简单的任务与提取的解释。然而,这些有缺陷的解释仍然可以作为事后验证LLM预测的一种方法。通过在我们的三个设置中的分析,我们表明,人类判断的解释是好的-逻辑上与输入和预测一致-更有可能与准确的预测共存。根据这些观察结果,我们使用自动提取的分数来训练校准器,这些分数评估解释的可靠性,使我们能够在所有数据集上提高性能。
2022-10-13 cs.CL
Legal Prompt Engineering for Multilingual Legal Judgement Prediction
Thomson Reuters Labs(汤森路透实验室)
法律提示工程(Legal Prompt Engineering,LPE)是一个指导和帮助大语言模型(LLM)执行自然法律语言处理(NLLP)技能的过程。我们的目标是使用LPE与LLM在长的法律文件的法律判断预测(LJP)的任务。我们调查性能的zero-shot LPE的情况下,文本从欧洲人权法院(英语)和瑞士联邦最高法院(德语,法语和意大利语)的事实。我们的研究结果表明,zero-shot LPE比基线更好,但与当前最先进的监督方法相比,它仍然不足。尽管如此,结果是重要的,因为1)没有使用明确的特定领域数据-因此我们表明,转移到法律领域是可能的通用LLM,2)LLM直接应用而无需任何进一步的训练或微调-这反过来又大大节省了额外的计算成本。
2022-12-05 cs.AI cs.CL
Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
George Washington University(乔治华盛顿大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究首次系统评估大型语言模型生成古典阿拉伯语玛卡梅的能力,比较五种模型在不同提示策略下的表现,发现少样本提示提升押韵密度,而零样本提示总体得分最高,揭示了模型在文体对齐上的差异。
2026-09-24 cs.AI cs.CL
ASCRIBE: Atomic and Significance-Based Reasoning for Thai Clinical SOAP Note Generation
Looloo Health(卢卢健康);Kasetsart University(泰国农业大学);Mahidol University(玛希隆大学)
提出ASCRIBE框架,通过为对话中原子事实赋予临床显著性等级提升泰语SOAP笔记生成的完整性与可靠性,并发布首个泰语临床基准ThaiClinicBench及合成语料,显著优于现有提示方法。
2026-10-02 cs.CL
Can LLMs Judge Debates? Evaluating Non-Linear Reasoning via Argumentation Theory Semantics
Department of Computer Science, University of Arizona(亚利桑那大学计算机科学系);CRIL CNRS & University of Artois(CNRS CRIL与阿维尼昂大学)
本文研究大语言模型能否在仅给定对话文本、无法访问论证图的情况下近似计算定量论证辩论(QuAD)语义,发现模型仅达到中等一致性,且长输入或话语流打乱会降低性能,而思维链和上下文学习等高级提示可缓解长度与位置偏差。
2025-09-19 cs.CL
From XAI to Stories: A Factorial Study of LLM-Generated Explanation Quality
University of Göttingen(哥廷根大学);BASF SE(巴斯夫股份有限公司);TU Clausthal(Clausthal 技术大学);Hochschule Bielefeld(比勒菲尔德应用科学大学)
本文通过因子研究探讨了预测模型选择、XAI方法、LLM选择和提示策略对LLM生成解释质量的影响,发现LLM选择主导其他因素,且零次提示在成本上具有竞争力。
2026-03-12 cs.CL
LLJ Cards: Best practices for the Use of LLMs as Judges
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学)
本文提出LLJ Cards框架,综合测量理论、自然语言生成和机器学习文献的最佳实践,为基于大型语言模型作为评判者的评估提供标准化、透明且可复现的实用指南,以确保评估的有效性、可靠性和可复现性。
2026-09-22 cs.CL
ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系)
本文提出CoTGenius框架自动生成高质量思维链提示,并构建数据集微调Llama 2-Chat模型得到ChainLM,同时提出步级辩论方法解决推理累积误差,显著提升了模型复杂推理能力。
2024-03-21 cs.CL
Culturally-Grounded Chain-of-Thought (CG-CoT):Enhancing LLM Performance on Culturally-Specific Tasks in Low-Resource Languages
Independent(独立研究者)
本文提出文化根基链式思维(CG-CoT)提示策略,通过融合文化语境稠密向量检索与显式推理,显著提升大语言模型在约鲁巴谚语解释等低资源语言文化特定任务上的表现,并揭示现有翻译评估指标与文化相关性判断之间的显著差异。
2025-06-01 cs.CL
Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文揭示了LLM法官对智能体推理轨迹操纵的脆弱性,表明基于内容的操纵能显著提高假阳性率,凸显了需验证推理与证据的评估机制的重要性。
2026-01-22 cs.AI cs.CL
Instance-adaptive Zero-shot Chain-of-Thought Prompting
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Alibaba Cloud Computing(阿里巴巴云计算);Shanghai Jiao Tong University(上海交通大学);College of Software, Zhejiang University(浙江大学软件学院)
本研究针对单一任务级零样本CoT提示适配性不足的问题,从信息流视角揭示推理机制,提出实例自适应提示策略IAP,在多个模型和推理任务上实现了性能提升。
2024-10-31 cs.CL
Think Twice Before You Judge: Mixture of Dual Reasoning Experts for Multimodal Sarcasm Detection
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提)
针对多模态讽刺检测现有模型依赖浅层线索、难以捕捉深层逻辑的问题,提出融合内外部推理专家与自适应门控的MiDRE模型,在两个基准上性能优于基线,验证了外部推理依据的价值。
2025-10-29 cs.CL
Prompting Contrastive Explanations for Commonsense Reasoning Tasks
University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所);Facebook AI(脸书人工智能)
许多常识推理NLP任务涉及基于通常隐含的知识在问题或提示的一个或多个可能答案之间进行选择。大型预训练语言模型(PLM)可以在这些任务上实现接近人类的性能,同时提供很少的人类可解释的证据来证明它们使用的基本推理。在这项工作中,我们展示了如何使用这些相同的模型来生成这样的证据:受人类解释的对比性质的启发,我们使用PLM来完成解释提示,根据证明正确答案所需的关键属性(例如,花生通常是咸的,而葡萄干是甜的)来对比替代品。与以前的非对比替代方案相比,这些解释的条件模型决策提高了两个常识推理基准的性能。这些解释也被人类判断为与解决任务更相关,并促进了一种新的方法来评估解释的可信度。
2021-06-12 cs.AI cs.CL
A Komi-Yazva--Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation
HSE University, Perm, Russia(俄罗斯彼尔姆国立经济大学);School of Management SKOLKOVO, Moscow, Russia(莫斯科SKOLKOVO管理学院)
构建首个科米-亚兹瓦语-俄语平行语料库,并提出显式评估协议,研究大语言模型在极度低资源濒危语言翻译中的零样本和检索增强少样本性能。
2026-06-04 cs.CL
R-Judge: Benchmarking Safety Risk Awareness for LLM Agents
Shanghai Jiao Tong University(上海交通大学)
本研究提出用于评估LLM智能体行为安全风险意识的基准R-Judge,涵盖多类风险场景与交互记录,实验发现现有LLM风险意识不足,安全判断微调可有效提升性能。
2024-10-05 cs.AI cs.CL
Reasoning Court: Combining Reasoning, Action, and Judgment for Multi-Hop Reasoning
Cornell University(康奈尔大学)
针对LLMs在多跳推理中存在幻觉和错误传播问题,提出推理法庭框架,引入LLM裁判评估多智能体生成的候选答案及推理,在无任务微调下性能优于现有少样本方法。
2025-04-14 cs.AI cs.CL
Any Large Language Model Can Be a Reliable Judge: Debiasing with a Reasoning-based Bias Detector
New York University(纽约大学);GE Healthcare(通用电气医疗);Florida State University(佛罗里达州立大学)
针对大语言模型作为评判者时存在的评估偏差问题,提出即插即用的基于推理的偏差检测器RBD,通过外部迭代的偏差检测与反馈修正引导评判者自我校正,在多类偏差、多评判模型上显著提升评估准确率与一致性,且具备良好的泛化性与可扩展性。
2025-10-27 cs.CL
Mind vs. Mouth: On Measuring Re-judge Inconsistency of Social Bias in Large Language Models
Tianjin University(天津大学);China Mobile Communication Group Tianjin Co., Ltd.(中国移动通信集团天津有限公司)
该研究聚焦大语言模型的外显与内隐社会偏见,提出两阶段方法发现“重判不一致性”现象,经ChatGPT和GPT-4实验验证其稳定性,为借助心理学理论探究大模型认知机制提供新视角。
2023-08-24 cs.AI cs.CL
All Verdicts are Not Equal: Rethinking LLM Judge Reliability
PayPal Artificial Intelligence(PayPal人工智能部门)
该研究针对LLM作为评判者的可靠性展开审计,发现其存在裁决不一致等漏洞,提出可信裁决率指标,证实整体rubric评分可提升评估可信度。
2026-10-09 cs.AI cs.CL
CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback
Vanderbilt University(范德比大学)
提出CoTAL方法,结合证据中心设计、人机协同提示工程和思维链提示,迭代优化LLM评分,在多个领域提升GPT-4评分性能达38.9%,并获师生认可。
2026-09-15 cs.CL
Self-Critique-Guided Curiosity Refinement: Enhancing Honesty and Helpfulness in Large Language Models via In-Context Learning
Seoul National University(首尔大学)
本文提出自我批判引导的好奇心细化提示策略,通过两个轻量级上下文学习步骤提升LLM的诚实性和有用性,在HONESET数据集上实现H²分数1.4%-4.3%的相对提升。
2025-06-19 cs.CL
Towards Better Aligned LLM Judges for Radiology Report Evaluation across Modalities and Anatomies
Cornell University(康奈尔大学);Microsoft Healthcare & Life Sciences(微软医疗健康与生命科学)
本文提出VERT作为LLM评判者,通过对比现有指标和实验验证,展示了其在多模态和解剖结构上的鲁棒性及轻量级微调的有效性。
2026-10-16 cs.AI cs.CL
Case-Aware LLM-as-a-Judge Evaluation for Enterprise-Scale RAG Systems
Dell Technologies(戴尔技术)
本文提出面向企业级RAG系统的案例感知LLM-as-a-Judge评估框架,通过八个操作指标评估多轮工作流,揭示企业关键权衡,提升系统诊断清晰度和可操作性。
2026-02-23 cs.AI cs.CL
On the Shelf Life of Fine-Tuned LLM-Judges: Future-Proofing, Backward-Compatibility, and Question Generalization
Salesforce AI Research(Salesforce AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Dartmouth College(达特茅斯学院)
本文研究了细调判官模型在现实部署中的挑战,探讨了未来证明、向后兼容性和问题泛化三个核心问题,并通过实验发现持续学习在适应响应分布变化方面表现更优。
2026-04-19 cs.AI cs.CL cs.LG
Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis
Georgetown University(乔治城大学);University of South Carolina(南卡罗来纳大学)
本文通过实验证明,LLM在法律文本的普通意义分析中存在鲁棒性不足的问题,质疑其在实际应用中的有效性。
2026-05-14 cs.CL
Prompting and Fine-Tuning of Small LLMs for Length-Controllable Telephone Call Summarization
AppTek GmbH;RWTH Aachen University(亚琛工业大学)
本文提出利用前沿模型生成长度可控、多样化的合成通话数据并微调 Llama-2-7B,使其摘要质量在多项指标上媲美 GPT-4。
2024-10-24 cs.AI cs.CL cs.LG
CodeJudgeBench: Benchmarking LLM-as-a-Judge for Coding Tasks
ASUS Intelligent Cloud Services (AICS)(华硕智能云服务);National Taiwan University(台湾大学)
本文提出CodeJudgeBench基准,评估LLM-as-a-Judge在代码生成、修复和单元测试生成任务中的表现,发现思考模型优于非思考模型,并指出评判中的随机性与敏感性,同时验证了成对比较及保留推理过程的提示策略更优。
2025-08-14 cs.AI cs.CL cs.SE
Inverse Turing Bench: Evaluating Language Models as Judges of Human vs. AI Dialogue
University of Rochester(罗切斯特大学);Stony Brook University(石溪大学);Independent Researcher(独立研究者)
提出逆图灵基准,评估LLM区分人类与AI多轮对话的能力,发现GPTZero、Claude Opus-4.6和GPT-5.5准确率最高,统计方法有语义盲点而语义方法易受角色提示影响。
2026-09-11 cs.CL cs.CY
CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks
Holon Institute of Technology(霍洛技术学院);Afeka Tel Aviv Academic College of Engineering(阿法卡特拉维大学工程学院)
提出CoEval框架,通过教师模型生成无污染基准和跨族评审团,无需标注数据或人工评估即可对语言模型进行排序,在真实排名恢复上达ho=0.86。
2026-06-04 cs.AI cs.CL
Is Reasoning All You Need? Probing Bias in the Age of Reasoning Language Models
University of Calabria, Rende, Italy(卡拉布里亚大学)
本文利用 CLEAR-Bias 基准评估推理语言模型的偏见安全鲁棒性,发现显式推理机制反而使模型更易受偏见诱导,挑战了推理天然提升鲁棒性的假设。
2025-07-03 cs.CL
The Test Oracle Problem in Synthetic LLM-as-Judge Corpora: Disappearance, Distortion and a Validation Protocol
Mehmet Akif Ersoy University(梅赫梅特·阿基夫·埃尔索伊大学)
研究语言模型作为评判系统中合成语料库的测试预言机问题,指出其负面示例由语言模型生成时存在完整性验证漏洞,通过多语言语料库案例揭示答案截断、偏差扭曲等问题,并提出验证协议供无预言机模式分析师使用。
2026-07-16 cs.CL cs.SE
OneNet: A Fine-Tuning Free Framework for Few-Shot Entity Linking via Large Language Model Prompting
University of Science and Technology of China(中国科学技术大学)
提出免微调框架OneNet,利用大型语言模型少样本学习能力,通过实体缩减、双视角链接和共识判定三组件,在七个基准数据集上超越现有最先进实体链接方法。
2024-10-10 cs.AI cs.CL
Unsupervised Human Activity Recognition through Two-stage Prompting with ChatGPT
Osaka University(大阪大学)
针对无监督人类活动识别需人工准备活动描述的问题,提出基于ChatGPT的两阶段提示工程,在三个数据集上取得了当前最优性能。
2023-06-03 cs.CL cs.HC
Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs
University of Toronto(多伦多大学);Stanford University(斯坦福大学);Amazon(亚马逊公司);University of Michigan(密歇根大学)
该研究基于 POPQUORN 评估九个 LLM 的主观判断能力,发现其预测偏向白人群体,且社会人口学提示无法稳定改善多元对齐,甚至可能产生负面影响。
2025-02-17 cs.AI cs.CL cs.CY
Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging
University of California, Los Angeles(加州大学洛杉矶分校);Tsinghua University(清华大学);LA General Hospital(洛杉矶总医院);Google(谷歌)
本研究通过短篇故事心理深度评估发现,LLM评判者偏向推理输出但忽略人类主观异质性,开发集性能不足以证明部署有效性。
2026-09-15 cs.CL cs.LG
Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM
Rochester Institute of Technology(罗切斯特理工学院)
DiADEM通过学习群体重要性权重,有效建模标注者分歧,优于现有方法,在多个基准上取得显著成果,揭示种族和年龄对标注者分歧的关键影响。
2026-04-09 cs.AI cs.CL
Adversarial Fine-Tuning of Language Models: An Iterative Optimisation Approach for the Generation and Detection of Problematic Content
Australian National University(澳大利亚国立大学);Mathematical Sciences Institute(数学科学研究所);Research School of Astronomy(天文研究学院);College of Engineering and Computer Science(工程与计算机科学学院)
本研究提出基于对抗微调的双阶段迭代优化方法,通过对抗模型生成有害提示、判别模型迭代识别,提升问题内容检测准确率,使ada模型仅数轮就超越GPT-4 13%,并改善并行任务性能。
2023-08-26 cs.CL cs.LG
LLM-based Rewriting of Inappropriate Argumentation using Reinforcement Learning from Machine Feedback
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文提出一种基于强化学习的LLM重写方法,通过平衡内容保留与适当性来缓解论点中的不当语言,在文档级别进行改写,实验证明其显著优于少样本学习、提示和人类等基线方法。
2024-06-05 cs.CL
A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs
Independent Researcher(独立研究员)
本研究通过分析每层令牌logits特征,提出CHAIR框架检测幻觉,在TruthfulQA和MMLU上显著提升零样本检测准确率。
2026-06-12 cs.CL