Decoding moral judgement from text: a pilot study
Brandenburg University of Technology Cottbus–Senftenberg(科特布斯-森夫滕贝格勃兰登堡工业大学)
本研究探索利用被动式脑机接口、情感启动和道德主体归因,从文本刺激诱发的脑反应中解码道德判断,为神经自适应交互和更符合人类的LLM提供基础。
2024-05-28 cs.CL cs.HC q-bio.NC
Language model acceptability judgements are not always robust to context
Meta AI;MIT(麻省理工学院);Johns Hopkins(约翰斯·霍普金斯大学);Purdue University(普渡大学)
针对语言模型的语法评估询问模型是否对语法上可接受的内容表现出稳定的偏好,而不是最小对不可接受的输入。大多数有针对性的句法评估数据集要求模型仅使用单个上下文无关的句子作为输入来做出这些判断。这与语言模型的训练机制不匹配,在这种机制中,输入的句子总是被周围的语料库高度语境化。这种不匹配提出了一个重要的问题:在不同的上下文中,模型的句法判断有多稳健?在本文中,我们调查的稳定性语言模型的性能有针对性的句法评价,因为我们不同的属性的输入上下文:上下文的长度,它包含的句法现象的类型,以及是否有违反语法。我们发现,模型的判断一般是强大的,当放置在随机抽样的语言环境。然而,他们是实质上不稳定的上下文包含语法结构匹配那些在关键的测试内容。在所有测试模型(GPT-2和OPT的五个变体)中,我们通过提供具有匹配句法结构的上下文来显着改善模型的判断,相反,使用具有匹配但违反句法结构的不可接受的上下文来显着恶化模型的判断。除了不相关的输入之外,这种效果会被上下文的长度放大。我们发现,这些变化的模型性能是无法解释的简单功能匹配的上下文和测试输入,如词汇重叠和依赖重叠。这种对语境中高度具体的句法特征的敏感性只能用模型的内隐上下文学习能力来解释。
2022-12-18 cs.CL cs.LG
Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);IISER Kolkata(印度科学教育与研究学院加尔各答分校)
本文评估了抽象式摘要模型、大型语言模型及抽取式方法在法律判决摘要中的表现,发现生成模型虽指标更优但存在幻觉,需人机协作提升可靠性。
2024-07-20 cs.AI cs.CL
Legal Prompt Engineering for Multilingual Legal Judgement Prediction
Thomson Reuters Labs(汤森路透实验室)
法律提示工程(Legal Prompt Engineering,LPE)是一个指导和帮助大语言模型(LLM)执行自然法律语言处理(NLLP)技能的过程。我们的目标是使用LPE与LLM在长的法律文件的法律判断预测(LJP)的任务。我们调查性能的zero-shot LPE的情况下,文本从欧洲人权法院(英语)和瑞士联邦最高法院(德语,法语和意大利语)的事实。我们的研究结果表明,zero-shot LPE比基线更好,但与当前最先进的监督方法相比,它仍然不足。尽管如此,结果是重要的,因为1)没有使用明确的特定领域数据-因此我们表明,转移到法律领域是可能的通用LLM,2)LLM直接应用而无需任何进一步的训练或微调-这反过来又大大节省了额外的计算成本。
2022-12-05 cs.AI cs.CL
SageLM: A Multi-aspect and Explainable Large Language Model for Speech Judgement
SageLM提出一种端到端、多方面可解释的语音大语言模型,通过联合评估语义与声学维度、引入理由监督和合成偏好数据集SpeechFeedback,在语音到语音模型评估中与人类一致率达82.79%,显著优于现有基线。
2025-11-10 cs.CL
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现,发现提示对评估结果影响有限,困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization?
IIT Kharagpur(印度理工学院卡拉格普尔分校);IISER Kolkata(印度科学教育与研究院加尔各答分院)
该研究针对法律案件判决摘要生成任务,测试多款领域专用生成式摘要模型与通用LLMs在印度法院判决数据集上的表现,发现其指标得分略高于抽取式模型但存在大量幻觉与不一致问题,指出当前这类模型尚不适合全自动部署,推荐采用人在环路方案。
2023-06-14 cs.CL cs.IR cs.LG
AI Can Learn Scientific Taste
本文提出RLCF框架,通过社区反馈学习科学品味,使AI能提出高潜力研究想法,实验显示其优于现有模型并具备泛化能力。
2026-08-20 cs.CL
Evaluating Gender Bias of LLMs in Making Morality Judgements
Texas A&M University(德克萨斯农工大学)
本研究引入GenMO数据集,评估了GPT、Llama、Mistral和Claude等主流LLMs在道德判断中的性别偏见,发现所有模型均表现出显著偏向女性的偏见。
2024-10-13 cs.CL
DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing
Microsoft(微软公司)
针对LLM评判器因无关参考示例导致的校准偏差问题,提出DA-RAC距离感知参考锚定校准方法,在多轮评估基准上提升了校准效果并降低了误通过风险,为可信AI审计提供支撑。
2026-08-18 cs.CL
AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators
Stanford University(斯坦福大学);American Express(美国运通)
AutoMetrics通过自动生成评估器,在低数据条件下提升与人类评分的相关性,提高Kendall相关性达33.4%,并提供可解释的自动指标工具。
2025-12-19 cs.AI cs.CL
From Human Judgements to Predictive Models: Unravelling Acceptability in Code-Mixed Sentences
IIIT Hyderabad(IIIT海得拉尔);Technical University of Darmstadt(达姆施塔特技术大学);MBZUAI;Microsoft(微软)
本文构建了包含 16,642 个英-印地语码混合句人类可接受性判断的 Cline 数据集,证明现有语码混合指标与人类判断相关性低,并发现微调的多语言大语言模型(尤其是 Llama 3.2-3B)在可接受性预测上表现最佳。
2025-05-05 cs.AI cs.CL
Eye of Judgement: Dissecting the Evaluation of Russian-speaking LLMs with POLLUX
POLLUX通过细粒度任务分类和LLM评估器,提供可解释的俄语生成模型评估方法。
2025-12-01 cs.AI cs.CL
MR. Judge: Multimodal Reasoner as a Judge
HKUST(香港科技大学);Apple(苹果公司)
本研究提出MR. Judge多模态裁判范式,将裁判过程构建为推理式选择题,搭配自动标注策略与推理蒸馏,7B模型在VL-RewardBench超GPT-4o 9.9%,MM-Vet推理扩展性能最高提升7.7%。
2025-05-19 cs.CL
Poor Man's Quality Estimation: Predicting Reference-Based MT Metrics Without the Reference
ETH Zürich(苏黎世联邦理工学院);TU Darmstadt(达姆施塔特工业大学);Microsoft(微软)
本文提出无参考译文的指标估计(ME)任务,用模型预测 BLEU、TER 等自动指标分数,并以此预训练 QE 模型,在降低标注与计算成本的同时提升机器翻译质量估计效果。
2023-04-25 cs.CL
Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements
Fab AI
Edu-QuRating提出多维教育数据评分流程,通过蒸馏成对偏好训练评分器,提升小模型预训练和GRPO后训练效果,优于FineWeb-Edu基线。
2026-09-11 cs.AI cs.CL
XQDT: eXplainable and Quantitative Data-Text Alignment Metric with Feedback Signals
CNRS/LORIA(法国国家科学研究中心/洛里亚研究所);Université de Lorraine(洛林大学)
本文提出带反馈信号的可解释定量数据-文本对齐指标XQDT,通过微调语言模型识别数据-文本对的各类数据单元,在基准测试中性能优于LLM作为评判方法,可用于评估及下游修正优化。
2026-09-02 cs.CL
Are Language Models Sensitive to Morally Irrelevant Distractors?
University of Washington(华盛顿大学);Johns Hopkins University(约翰霍普金斯大学)
本研究借鉴道德心理学中的“情境主义”观点,通过构建包含60种道德无关干扰因素的多模态数据集,发现这些干扰因素能使大语言模型的道德判断偏移超过30%,揭示了其道德判断的不稳定性。
2026-06-23 cs.CL cs.CY
Revisiting Acceptability Judgements
Shanghai Jiao Tong University(上海交通大学);City University of Hong Kong(香港城市大学);University of Pennsylvania(宾夕法尼亚大学);Brigham Young University(杨百翰大学);University of Washington(华盛顿大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文构建首个中文大规模语言可接受性数据集 CoLAC,评估发现大语言模型表现不及监督模型与人类,并证明可接受性知识可跨语言迁移且源于预训练。
2023-09-28 cs.AI cs.CL
Cheap, Consistent, Calibrated, but Biased? Typed Decision Models as Judges
University of Göttingen(哥廷根大学);Bielefeld University of Applied Sciences and Arts (HSBI)(比勒费尔德应用科学大学)
该研究测试发现,类型化决策模型(TDM)虽比2026年LLM评判者更一致且成本低37倍,但存在偏差,偏差程度高于2026年LLM评判者,良好校准无法抵御其偏差,需针对任务测试其偏差后才可作为评判者使用。
2026-10-14 cs.CL
Structured yet Bounded Temporal Understanding in Large Language Models
Purdue University(普渡大学)
本研究通过对比指示性与顺序性时间框架,揭示了大型语言模型在不同时间参考结构下对时间表示的组织方式及影响其时间理解的关键因素。
2026-01-14 cs.CL
Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
针对大语言模型评估器存在偏差、与人类评估对齐度不足的问题,本研究提出基于不确定性引导的成对偏好搜索排序聚合方法,在长文本生成评估任务上取得最优性能,并揭示了成对偏好在量化模型传递性中的作用。
2025-01-17 cs.AI cs.CL cs.LG
Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baidu Inc.(百度公司);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室)
本文首次分析LLMs的事实知识边界,发现其对自身知识过度自信且难以处理内外知识冲突,并证明检索增强能提升知识边界意识,同时提出动态利用支持文档的判断策略。
2024-11-19 cs.CL cs.IR
Faithfulness metric fusion: Improving the evaluation of LLM trustworthiness across domains
CEDPS Brunel University London London, UK(CEDPS 布伦大学伦敦 英国)
通过融合多种可信度度量,提升LLM在不同领域中的可信度评估能力,并通过同质化数据集验证其有效性。
2025-12-05 cs.AI cs.CL
Quantum Transfer Learning for Acceptability Judgements
National Research Council of Italy (CNR), Institute for High Performance Computing and Networking (ICAR)(意大利国家研究委员会(CNR),高性能计算与网络研究所(ICAR))
本文研究量子迁移学习在语言学可接受性判断任务中的应用,利用大型语言模型嵌入向量训练混合量子-经典分类器,在ItaCoLa语料库上取得与经典方法相当的性能,并展现出对复杂句式的更强分类能力。
2024-01-15 cs.CL physics.comp-ph quant-ph
Automatic Information Extraction From Employment Tribunal Judgements Using Large Language Models
University of Cambridge(剑桥大学);Newnham College(纽纳姆学院);Downing College(唐宁学院);University of Notre Dame(圣母大学)
本研究利用GPT-4从英国就业法庭判决中自动提取关键信息,验证其高准确性,并探索预测劳动法争议结果的工具开发。
2024-03-19 cs.AI cs.CL
Human acceptability judgements for extractive sentence compression
College of Information and Computer Sciences(信息与计算机科学学院);Department of Linguistics(语言学系);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
最近的英语句子压缩方法依赖于由重复压缩对组成的平行语料库。然而,一个句子可以用许多不同的方式缩短,每一种方式都可能适合于特定应用的需要。因此,在这项工作中,我们收集和模型众包的判断,许多可能的句子缩短的可接受性。然后,我们将展示如何使用这种判断的模型来支持压缩任务的灵活方法。我们发布了我们的模型和数据集,以供未来工作使用。
2019-02-01 cs.CL
Improving Preference Extraction In LLMs By Identifying Latent Knowledge Through Classifying Probes
University of Cambridge(剑桥大学)
针对大语言模型作为自动评判器存在无意偏差的问题,提出利用对比提示对训练的线性分类探针提取潜在知识与偏好,经多模型多数据集实验验证,该方法优于传统生成式评判及同数据量微调评判器,兼具准确性、稳健性与高效性。
2025-03-22 cs.CL cs.LG
Rethinking Legal Judgement Prediction in a Realistic Scenario in the Era of Large Language Models
Indian Institute of Technology Kanpur (IIT-K)(印度理工学院坎普尔分校);Indian Institute of Technology Kharagpur (IIT-Kgp)(印度理工学院卡拉格普尔分校)
本研究在印度判决背景下,利用Transformer模型和LLM在现实场景中预测法律判决,发现GPT-3.5 Turbo表现稳健且结合法规与判例可显著提升效果,但LLM尚未达到专家级水平。
2024-10-14 cs.AI cs.CL cs.IR
Leveraging Human Feedback to Scale Educational Datasets: Combining Crowdworkers and Comparative Judgement
University of Oxford(牛津大学);Jacobs Foundation(雅各布斯基金会)
针对教育数据标注难规模化问题,研究通过实验对比发现,结合非专业众包工作者与比较判断法可显著提升评分者间信度,为规模化教育数据集提供了新的有效路径。
2023-11-09 cs.CL
Representational alignment yields generalizable safety in language models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
该研究针对现有LLMs道德分类缺陷,提出表征相似性优化方法,通过对齐LLMs潜在表征与人类道德判断分类,提升了对抗鲁棒性,为原型分类理论提供功能支持。
2026-09-04 cs.AI cs.CL
Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation
IPAI, Seoul National University(IPAI,首尔国立大学);Dept. of ECE, Seoul National University(电子工程系,首尔国立大学);LG AI Research(LG人工智能研究)
本文研究了LLM评委在评估代码时存在的偏见问题,揭示了其在处理语义等价但表面不同的代码时的不稳定性,并指出需要更稳健的评估方法。
2026-08-24 cs.CL cs.SE
Human Judgement as a Compass to Navigate Automatic Metrics for Formality Transfer
University of Groningen(格罗宁根大学)
虽然文本风格迁移近年来发展迅速,但目前还没有一个既定的评估标准,这是使用几个自动度量来执行的,缺乏总是诉诸于人类判断的可能性。我们关注的是正式迁移的任务,以及通常评估的三个方面:风格强度,内容保留和流畅性。为了阐明这些方面是如何通过常见的和新的指标进行评估的,我们运行了一个基于人类的评估,并执行了丰富的相关性分析。然后,我们能够提供一些建议,使用这些指标的正式转让,也着眼于他们的普遍性(或不)相关的任务。
2022-04-15 cs.CL
Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement
Tencent Inc(腾讯公司)
机器翻译中的词级质量评估旨在发现译文中潜在的错误。通常,关于词级QE的传统工作被设计为根据编辑后的努力来预测翻译质量,其中,通过翻译出错率(TER)工具包比较MT句子和编辑后的句子之间的词来自动生成词标签(“OK”和“BAD”)。虽然编辑后的努力在一定程度上可以用来衡量翻译质量,但我们发现它通常与人类对单词翻译的好坏的判断相冲突。为了克服这一局限性,我们首先创建了一个黄金基准数据集,即\emph{HJQE}(Human Judgement on Quality Estimation),专家翻译人员直接对他们的判断进行注释。此外,为了进一步利用并行语料库,本文提出了自监督预训练的两种标签修正策略,即标签细化策略和基于树的标注策略,使基于TER的人工QE语料库更接近于\emph{HJQE}。我们进行了大量的实验的基础上公开可用的WMT En-De和En-Zh语料库。实验结果不仅表明我们提出的数据集更符合人类的判断,而且也证实了所提出的标签校正策略的有效性。\footnote{The data can be found at \url{https://github.com/ZhenYangIACAS/HJQE}.}
2022-09-13 cs.CL
Sentence-level Aggregation of Lexical Metrics Correlates Stronger with Human Judgements than Corpus-level Aggregation
IBM Research(IBM研究院);PUC-Rio(里约天主教大学)
本文证明词汇指标采用句子级聚合(对片段得分取平均)比语料库级聚合与人类判断相关性更强,且更接近神经指标,有助于提升低资源语言MT评估的可信度。
2025-01-23 cs.CL
Estimating post-editing effort: a study on human judgements, task-based and reference-based metrics of MT quality
University of Sheffield(谢菲尔德大学);Universitat d'Alacant(阿利坎特大学);Imperial College London(帝国理工学院)
设计翻译质量评估指标一直是机器翻译研究的核心。传统的基于自动参考的指标,如BLEU,已经显示出与人类对充分性和流畅性的判断的相关性,并且对于MT系统开发的进步至关重要。众包已经普及并实现了基于人类判断的度量的可扩展性,例如对充分性的主观直接评估(DA),这被认为比基于参考的自动度量更可靠。最后,基于任务的衡量,如编辑后时间,预计将提供更详细的评估翻译对特定任务的有用性。因此,虽然DA平均充分性判断以获得独立于任务的(感知)质量的评估,并且基于参考的自动度量试图以独立于任务的方式客观地估计质量,但基于任务的度量是在执行特定任务期间或之后获得的测量。在本文中,我们认为,尽管昂贵,但在估计特定任务中的MT质量时,基于任务的测量是最可靠的;在我们的例子中,该任务是后期编辑。为此,我们报告了一个新收集的编辑后指标的数据集上的实验,并显示它们在估计编辑后工作时的有用性。我们的研究结果表明,基于任务的指标比较机器翻译和编辑后的版本是最好的跟踪编辑后的努力,正如预期的那样。这些指标之后是DA,然后是比较机器翻译版本和独立参考的指标。我们建议,MT从业者应该意识到这些差异,并承认他们的影响时,决定如何评估MT后编辑的目的。
2019-10-14 cs.CL
To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation
Microsoft(微软)
自动度量通常被用作宣布一个机器翻译系统的质量优于另一个系统的唯一工具。自动度量的社区选择通过决定哪些模型被认为是更好的来指导研究方向和工业发展。评估指标与人类判断集的相关性受到这些集的大小的限制。在本文中,我们证实了如何可靠的指标,在对比人类的判断-尽我们所知-最大的收集文献中报道的判断。可以说,两个系统的成对排名是研究或部署场景中最常见的评估任务。以人类判断为金标准,我们调查哪些指标在预测此类系统对的翻译质量排名方面具有最高的准确性。此外,我们评估了不同语言对和领域的各种指标的性能。最后,我们表明,单独使用BLEU阻碍了改进模型的开发,导致错误的部署决策。我们发布了4380个系统的230万个高级人类判断的集合,以进一步分析和复制我们的工作。
2021-09-13 cs.CL
Incorporating Precedents for Legal Judgement Prediction on European Court of Human Rights Cases
School of Computation, Information, and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
受遵循先例原则启发,本文提出在训练阶段通过先例融合模块整合先例并联合训练检索器与LJP模型,显著提升了欧洲人权法院案件的判决预测性能,尤其对稀疏条款效果显著。
2024-09-27 cs.CL
Improving alignment of dialogue agents via targeted human judgements
DeepMind(深度思维)
我们提出了麻雀,信息寻求对话代理培训更有帮助,正确的,无害的提示相比,语言模型基线。我们使用基于人类反馈的强化学习来训练我们的模型,其中增加了两个新的功能,以帮助人类评分员判断代理行为。首先,为了使我们的代理人更有帮助和无害,我们将良好对话的要求分解为代理人应该遵循的自然语言规则,并分别询问评分员每一条规则。我们证明,这种分解使我们能够收集更有针对性的人的判断代理行为,并允许更有效的规则条件奖励模型。第二,我们的代理人在收集对模型陈述的偏好判断时,从支持事实主张的来源提供证据。对于事实问题,Sparrow提供的证据支持78%的抽样回答。Sparrow比基线更受欢迎,同时对人类的对抗性探测更具弹性,在探测时只有8%的时间违反我们的规则。最后,我们进行了广泛的分析,表明尽管我们的模型学习遵循我们的规则,但它可能会表现出分布偏差。
2022-09-28 cs.CL cs.LG
Automatic Reference-Based Evaluation of Pronoun Translation Misses the Point
University of Edinburgh(爱丁堡大学);Uppsala University(乌普萨拉大学)
我们比较了APT和AutoPRF指标的性能对人工注释的数据集,包括人类的判断,PROTEST测试套件的翻译的正确性代词翻译。尽管与人类判断存在一些相关性,但一系列问题限制了自动化指标的性能。相反,我们建议使用半自动度量和测试套件来代替全自动度量。
2018-08-13 cs.CL
Human and Machine Judgements for Russian Semantic Relatedness
TU Darmstadt(达姆施塔特工业大学);Ural Federal University(乌拉尔联邦大学);Moscow State University(莫斯科国立大学);University of Trento(特伦托大学);University of Wolverhampton(沃尔夫汉普顿大学)
术语的语义相关性通过数值分数表示含义的相似性。一方面,人类很容易对语义相关性做出判断。另一方面,这种信息在语言处理系统中是有用的。虽然语义相关性已被广泛研究英语使用大量的语言资源,如联想规范,人类的判断,并从词汇数据库生成的数据集,没有这种评估资源已可用于俄罗斯的日期。我们的贡献解决了这个问题。我们提出了五个不同规模和目的的俄语语义相关性的语言资源,每个都是一个三元组(词_i,词_j,相关性_ij)的列表。其中四个是专为评估系统的计算语义相关性,相互补充的语义关系类型,他们代表。这些基准被用来组织一个关于俄语语义相关性的共享任务,吸引了19个团队。我们使用在这次比赛中确定的最好的方法之一,以产生第五个高覆盖率的资源,第一个开放的分布式俄语词库。对该词库的多次评估,包括一项涉及母语人士的大规模众包研究,表明其准确性很高。
2017-08-31 cs.CL
Enhancing Interpretability using Human Similarity Judgements to Prune Word Embeddings
University of Trento(特伦托大学);Denotation UG
本文提出一种监督学习方法,通过人类相似性判断剪枝词嵌入,保留20-40%特征以增强可解释性,并揭示不同领域保留特征在预测语义维度上的差异,促进AI与人类知识对齐。
2023-10-16 cs.CL
Dynamic Human Evaluation for Relative Model Comparisons
University of Copenhagen(哥本哈根大学)
收集人的判断是目前最可靠的评价方法为自然语言生成系统。自动度量在应用于衡量生成文本的质量方面时存在缺陷,并且与人类判断的相关性很差。然而,人的评价是时间和成本密集型的,我们缺乏共识,设计和进行人的评价实验。因此,需要一种简化的方法,用于在评估自然语言生成系统时有效地收集人类判断。因此,我们提出了一种动态的方法来衡量所需的人类注释的数量时,评估生成的输出在相对比较设置。我们提出了一个基于代理人的人类评价框架,以评估多种标签策略和方法,以决定更好的模型在模拟和众包的案例研究。主要结果表明,在不同的标签策略,其中分配一个单一的随机工人每项任务需要最少的整体标签工作,从而成本最低的高概率,可以作出关于优越的模型的决定。
2022-04-28 cs.CL
CausalScore: An Automatic Reference-Free Metric for Assessing Response Relevance in Open-Domain Dialogue Systems
Monash University(莫纳什大学)
提出无参考自动评估指标CausalScore,通过测量对话历史与响应间的因果强度评估相关性,实验证明其与人类判断的一致性显著优于现有最先进指标,并构建了含人工标注因果关系的数据集CGDIALOG+。
2024-06-25 cs.CL
Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values
The Hong Kong University of Science and Technology(香港科技大学);Meta AI
许多NLP分类任务,例如性别歧视/种族主义检测或毒性检测,都是基于人类价值观的。然而,人的价值观在不同的文化条件下会有所不同。因此,我们引入了一个值对齐分类的框架,该框架基于命令中显式写入的人类值执行预测。随着任务,我们提出了一个实用的方法,从大规模语言模型(LLM)中提取值对齐的知识,构建值对齐的分类器在两个步骤。首先,我们从LLM中通过基于样本的少样本学习生成值对齐的训练数据。接下来,我们使用为任务生成的数据微调较小的分类模型。实证结果表明,我们的VA模型在F1分数上超过多个基线至少15.56%,包括使用OPT-175 B和现有文本增强方法的少样本学习。我们认为,使用具有明确人类价值输入的分类器可以提高AI的包容性和可解释性。
2022-10-14 cs.AI cs.CL
Designing Precise and Robust Dialogue Response Evaluators
自动对话响应评估器已被提出作为自动度量和人类评估的替代方案。然而,现有的自动评估器只能实现适度的相关性与人类的判断,他们是不强大的。在这项工作中,我们建议构建一个无参考评估器,并利用半监督训练和预训练(屏蔽)语言模型的力量。实验结果表明,所提出的评估器实现了很强的相关性(> 0.6)与人类的判断,并推广到不同的反应和语料库鲁棒。我们在https://github.com/ZHAOTING/dialog-processing上开源了代码和数据。
2020-04-24 cs.CL
Evaluating Cost-Accuracy Trade-offs in Multimodal Search Relevance Judgements
Objective, Inc.(奥布杰克蒂夫公司);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(鲁德尼大学));Joint Institute for Nuclear Research(联合核子研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本文在多个多模态搜索场景中比较 LLM 与 MLLM 同人类判断的一致性,分析成本与准确性权衡,发现性能随情境显著变化且视觉输入可能损害小模型。
2024-10-25 cs.CL cs.IR cs.LG
Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
Carnegie Mellon University(卡内基梅隆大学)
本文的目的是通过多参考评估,以减轻开放域对话系统的自动评估的缺点。现有的指标已被证明与人类的判断,特别是在开放域对话相关性差。一种替代方案是收集人工注释以进行评估,这可能是昂贵且耗时的。为了证明多参考评估的有效性,我们增加了DailyDialog的测试集与多个参考。一系列的实验表明,使用多个参考的结果,提高了几个自动度量和人类判断的质量和多样性的系统输出之间的相关性。
2019-09-08 cs.CL
COMET: A Neural Framework for MT Evaluation
Unbabel AI(Unbabel AI(Unbabel人工智能公司))
我们提出了COMET,一个用于训练多语言机器翻译评估模型的神经框架,该模型获得了与人类判断相关的新的最先进水平。我们的框架利用了最近在跨语言预训练语言建模方面的突破,从而产生了高度多语言和适应性强的MT评估模型,这些模型利用了来自源输入和目标语言参考翻译的信息,以便更准确地预测MT质量。为了展示我们的框架,我们训练了三个具有不同类型人类判断的模型:直接评估,人工中介翻译编辑率和多维质量评估。我们的模型在WMT 2019年的共享任务上实现了最先进的性能,并展示了对高性能系统的鲁棒性。
2020-10-19 cs.CL
QAScore -- An Unsupervised Unreferenced Metric for the Question Generation Evaluation
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林圣三一学院)
问题生成(QG)的目的是自动化的任务,撰写问题的一组选定的答案中发现的段落。近年来,神经生成模型的引入使得自动生成的问题在质量方面有了实质性的改进,特别是与采用手动制作的问答的传统方法相比。然而,QG评估中常用的指标因与人类判断的一致性低而受到批评。因此,我们提出了一个新的无参考的评估指标,有可能提供一个更好的机制,用于评估QG系统,称为QAScore。QAScore不是微调语言模型以最大化其与人类判断的相关性,而是通过根据语言模型可以正确地生成问题答案中的掩码的概率计算交叉熵来评估问题。此外,我们进行了一个新的众包人类评估实验的QG评估,调查QAScore和其他指标如何与人类的判断。实验表明,QAScore获得了更强的相关性与我们提出的人类评价方法的结果相比,现有的传统的基于词重叠的指标,如BLEU和ROUGE,以及现有的基于预训练模型的指标BERTScore。
2022-10-09 cs.CL
Unsupervised Discovery of Implicit Gender Bias
Carnegie Mellon University(卡内基梅隆大学)
尽管社会偏见在社会中普遍存在,但很难识别,主要是因为人类在这一领域的判断可能不可靠。我们采取一种无监督的方法来识别评论级别对女性的性别偏见,并提出了一个模型,可以使可能包含偏见的文本浮出水面。我们的主要挑战是迫使模型关注隐含偏见的迹象,而不是数据中的其他工件。因此,我们的方法包括通过倾向匹配和对抗学习来减少混淆的影响。我们的分析表明,针对女性政治家的偏见评论包含了各种各样的批评,而针对其他女性公众人物的评论则侧重于外表和性化。最终,我们的工作提供了一种方法来捕捉各个领域的微妙偏见,而不依赖于主观的人类判断。
2020-10-06 cs.CL
Distributed NLI: Learning to Predict Human Opinion Distributions for Language Reasoning
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了分布式NLI,一个新的NLU任务的目标是预测分布的人类判断自然语言推理。我们表明,通过应用额外的分布估计方法,即蒙特卡罗(MC)辍学,深度增强,重新校准和分布蒸馏,模型可以比softmax基线更有效地捕获人类判断分布。我们表明,MC辍学是能够实现体面的性能,没有任何分布注释,而重新校准可以提供额外的分布注释进一步改进,建议多个注释的价值为一个例子,在模拟人类判断的分布。尽管有这些改进,最好的结果仍然远远低于估计的人类上限,这表明预测人类判断的分布仍然是一个开放的,具有挑战性的问题,有很大的改进空间。我们展示了MC丢弃和重新校准的常见错误。最后,我们给出了使用这些方法的指导方针与不同级别的数据可用性,并鼓励未来的工作建模的人类意见分布的语言推理。我们的代码和数据可在https://github.com/easonnie/ChaosNLI上公开获取
2022-04-07 cs.AI cs.CL cs.LG
Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis
UC Santa Barbara(加州大学圣巴巴拉分校)
有没有可能建立一个通用的自动自然语言生成(NLG)评估指标?现有的学习指标要么表现不令人满意,要么局限于已经有大量人类评级数据的任务。我们引入SESCORE,一个基于模型的指标,是高度相关的人类判断,而不需要人类注释,通过利用一种新的,迭代的错误合成和严重性评分管道。该管道将一系列看似合理的错误应用于原始文本,并通过模拟具有蕴涵的人类判断来分配严重性标签。我们评估SESCORE对现有的指标,通过比较他们的分数与人类的评级。SESCORE在多种不同的NLG任务上优于所有先前的无监督指标,包括机器翻译、图像描述和WebNLG文本生成。对于WMT 20/21 En-De和Zh-En,SESCORE将与人类判断的平均Kendall相关性从0.154提高到0.195。SESCORE甚至达到了与最佳监督度量COMET相当的性能,尽管没有接收人工注释的训练数据。
2022-10-26 cs.AI cs.CL
So Cloze yet so Far: N400 Amplitude is Better Predicted by Distributional Information than Human Predictability Judgements
University of California San Diego(加州大学圣迭戈分校)
更容易预测的单词更容易处理--它们读得更快,引发的与处理困难相关的神经信号更小,最明显的是与事件相关的脑电位的N400成分。因此,有人认为,预测即将到来的单词是语言理解的一个关键组成部分,研究N400的幅度是研究我们所做预测的一种有价值的方法。在这项研究中,我们调查是否计算语言模型或人类的语言预测更好地反映了自然语言刺激调制的N400的幅度的方式。人类语言预测与计算语言模型的一个重要区别是,虽然语言模型的预测完全基于前面的语言上下文,但人类可能依赖于其他因素。我们发现,三个顶级当代语言模型- GPT-3、RoBERTa和ALBERT --的预测比人类预测更接近N400。这表明N400的预测过程可能比以前认为的对语言的表面统计更敏感。
2022-05-25 cs.AI cs.CL cs.IT