NLP at UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA
Baskin School of Engineering（巴斯金工程学院）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
本文针对SemEval-2024法律答案验证任务，提出微调BERT领域模型和GPT少样本多项选择问答重构两种方法，最佳模型在20队中排名第7。
2024-04-04 cs.AI cs.CL
Natural Language Processing for the Legal Domain: A Survey of Tasks, Datasets, Models, and Challenges
The University of Queensland（昆士兰大学）
本文综述了法律领域NLP的任务、数据集、模型及挑战，探讨了法律文本处理的独特性与现存问题，并提出了十六项开放研究挑战。
2025-07-30 cs.AI cs.CL
IndianBailJudgments-1200: A Multi-Attribute Dataset for Legal NLP on Indian Bail Orders
Department of Computer Engineering, Datta Meghe College of Engineering（计算机工程系，达塔梅赫学院）
本文提出IndianBailJudgments-1200数据集，包含1200份印度保释判决及20余种标注属性，由GPT-4o流水线生成并验证，是首个面向印度保释司法的公开法律NLP基准资源。
2025-07-03 cs.AI cs.CL cs.LG
The Ethics of Automating Legal Actors
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
本文从法官积极塑造法律的社会角色出发，论证当前法律NLP模型不具备自动化法官所需能力，且即使达到人类水平也仍存在固有伦理问题，因此不应将法官角色自动化。
2023-12-01 cs.AI cs.CL
Natural Language Processing in the Legal Domain
Singapore Management University（新加坡管理大学）；CodeX, Stanford University, USA（CodeX，斯坦福大学，美国）；Illinois Tech - Chicago Kent College of Law, USA（伊利诺伊理工学院—芝加哥肯特法学院，美国）；Bucerius Law School, Germany（伯克勒尔法学院，德国）；IIT-Bhubaneswar（IIT-巴纳拉斯瓦尔）
本文综述了NLP与法律领域的现状，分析了过去十年中相关论文数量、任务和语言的增加，以及方法的复杂性提升，指出该领域正逐步达到通用NLP的方法论水平和数据可用性标准。
2026-05-11 cs.AI cs.CL
Improving Legal Judgement Prediction in Romanian with Long Text Encoders
University Politehnica of Bucharest（布加勒斯特理工大学）；BRD Groupe Societe Generale（BRD法国兴业银行集团）
针对法律领域长文档特性导致通用NLP模型难以直接应用的问题，本研究探索了专用模型与通用模型在罗马尼亚语法律判决预测任务上的表现，重点研究Transformer模型的序列长度扩展方法，通过4个不同规模的罗马尼亚语LJP数据集实验，验证了专用模型和长文本处理对性能提升的关键作用。
2024-03-04 cs.AI cs.CL
BriefMe: A Legal NLP Benchmark for Assisting with Legal Briefs
NYU School of Law（纽约大学法学院）；University of Utah（犹他大学）；Columbia University（哥伦比亚大学）
本文提出BRIEFME，一个面向法律文书撰写的NLP基准，包含论点摘要、补全和案例检索三项任务，发现现有LLM在摘要和引导补全上表现优异，但在现实补全和案例检索上欠佳。
2025-06-19 cs.CL
A Legal Approach to Hate Speech: Operationalizing the EU's Legal Framework against the Expression of Hatred as an NLP Task
Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体物品研究所）；Waseda Institute for Advanced Study, Waseda University（早稻田大学高等研究所）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
我们提出了一种“法律方法”，以仇恨言论检测的决定，是否一个职位是受刑法到一个NLP任务的操作。比较现有的仇恨言论监管制度，我们的调查基于欧洲联盟的框架，因为它提供了一个广泛适用的法律最低标准。准确判断一个职位是否应该受到惩罚通常需要法律培训。我们表明，通过将法律评估分解为一系列更简单的子决策，即使是外行也可以始终如一地进行注释。基于一个新注释的数据集，我们的实验表明，直接学习惩罚内容的自动化模型是具有挑战性的。然而，了解"目标群体"和"目标行为"这两个次级任务，而不是对惩罚采取端到端的办法，会产生更好的结果。总的来说，我们的方法还提供了比端到端模型更透明的决策，这是法律决策的关键点。
2021-10-05 cs.CL
Towards Explainability in Legal Outcome Prediction Models
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
针对法律判决预测模型缺乏可解释性的问题，本文提出识别模型所用先例的方法，并通过先例分类体系比较模型与人类法官的依赖差异。
2024-04-16 cs.AI cs.CL
CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review
UC Berkeley（加州大学伯克利分校）；The Nueva School（努埃瓦学校）
许多专业领域仍然没有受到深度学习的影响，因为大型标记数据集需要昂贵的专家注释器。我们通过引入合同理解Atticus数据集（CUAD）来解决法律领域内的这一瓶颈，CUAD是一种用于法律合同审查的新数据集。CUAD由来自Atticus Project的数十位法律专家创建，由13，000多条注释组成。任务是突出合同中对人类审查很重要的突出部分。我们发现，Transformer模型具有新生的性能，但这种性能受到模型设计和训练数据集大小的强烈影响。尽管取得了这些可喜的成果，但仍有很大的改进余地。作为唯一一个由专家注释的大型专业NLP基准之一，CUAD可以作为更广泛的NLP社区的一个具有挑战性的研究基准。
2021-11-08 cs.CL cs.LG
Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech
Lehrstuhl für Data Science（数据科学讲席教授组）
自然语言处理的最新发展导致了最先进的神经语言模型的引入，该模型支持无监督可转移学习，使用不同的预训练目标。虽然这些模型在下游NLP任务上取得了优异的结果，但各种领域自适应技术可以提高它们在特定领域任务上的性能。我们比较和分析了预训练的神经语言模型，XLNet（自回归）和BERT（自动编码器）。结果表明，XLNet模型在我们的法律意见分类的序列分类任务上表现更好，而BERT在NER任务上产生更好的结果。我们使用特定于领域的预训练和额外的法律词汇来使BERT模型进一步适应法律领域。我们准备了BERT模型的多种变体，使用两种方法及其组合。比较我们的变体的BERT模型，专门在法律领域，我们的结论是，额外的预训练和词汇技术提高了BERT模型的法律意见分类任务的性能。额外的法律词汇提高了BERT在NER任务上的表现。结合预训练和词汇技术进一步提高了最终结果。我们的Legal-Vocab-BERT模型在法律意见任务上给出了最好的结果，优于较大的预训练通用语言模型，即，BERT-Base和XLNet-Base。
2021-03-12 cs.CL cs.LG
Legal Transformer Models May Not Always Help
EPFL（洛桑联邦理工学院）
基于深度学习的自然语言处理方法，尤其是Transformers，在过去几年取得了令人印象深刻的表现。将这些最先进的NLP方法应用于法律活动，以自动化或简化一些简单的工作，具有重要的价值。本文研究了领域自适应预训练和语言适配器在法律NLP任务中的价值。通过比较语言模型与领域自适应预训练在不同任务和不同数据集分割上的性能，我们表明领域自适应预训练仅对低资源下游任务有帮助，因此远非万能药。我们还在一个典型的合法NLP任务中对适配器的性能进行了基准测试，并表明它们可以以更小的训练成本产生与完整模型调优相似的性能。作为一个额外的结果，我们发布了LegalRoBERTA，这是一个在法律语料库上进一步预训练的RoBERTA模型。
2021-09-15 cs.CL
Analysing similarities between legal court documents using natural language processing approaches based on Transformers
TRT5 - Regional Labour Court of the 5th Region（第五地区地区劳工法院）；SENAI CIMATEC University Center（SENAI CIMATEC大学中心）；Surrey Institute for People-Centred AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）
本研究利用六种基于Transformer的NLP模型（如BERT、GPT-2和RoBERTa）分析巴西法律文书相似性，通过微调210,000个诉讼并基于嵌入聚类评估，发现RoBERTa模型表现最佳，且方法可推广至其他语言。
2023-05-11 cs.AI cs.CL cs.LG
Semantics of Subterfuge: Benchmarking Legal Deception Detection Against General-domain State-of-the-Art
University of Moratuwa（莫拉图瓦大学）；The Law Office of George C. Lobb（乔治·C·洛布律师事务所）
本文针对法律领域的自动欺骗检测，对比了微调Transformer模型与大型语言模型在通用和法律数据集上的表现，发现领域敏感性显著，思维链提示效果逊于直接分类，强调需开发适配法律领域的可解释系统。
2026-08-03 cs.AI cs.CL
MAUD: An Expert-Annotated Legal NLP Dataset for Merger Agreement Understanding
ETH Zürich（苏黎世联邦理工学院）；Harvard University（哈佛大学）；The Atticus Project（阿提库斯项目）；The Nueva School（努埃瓦学校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Yale University（耶鲁大学）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
针对法律文本阅读理解面临的条款复杂和专家标注数据集短缺的挑战，本文提出了基于美国律师协会研究构建的专家标注数据集MAUD，包含超39,000个示例，微调Transformer基线表现优于随机但仍有改进空间，为法律界和NLP社区提供了宝贵基准。
2023-11-24 cs.CL
Conversion of Legal Agreements into Smart Legal Contracts using NLP
National Taiwan Normal University（台湾师范大学）；University College London（伦敦大学学院）；Peking University（北京大学）
本文提出一种利用NLP模型自动化创建智能法律合同的流水线，将法律协议转换为Accord Project的Concerto模型，并开发了相应的Web界面，实验表明其NER检测准确率达0.8。
2023-04-05 cs.CL cs.CY
Towards A Structured Overview of Use Cases for Natural Language Processing in the Legal Domain: A German Perspective
Technical University of Munich（慕尼黑工业大学）
本文基于系统性文献综述和德国法律实践，构建法律科技用例的结构化概览，识别七类NLP技术与22个法律用例的对应关系，并提炼出15个伦理、法律和社会方面（ELSA）问题。
2024-05-02 cs.CL cs.CY
Pre-trained Language Models for the Legal Domain: A Case Study on Indian Law
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本研究针对印度法律领域，通过继续预训练LegalBERT和CaseLawBERT及从头训练模型，在三个法律NLP任务上提升印度及欧洲、英国文本的性能，并进行了可解释性比较。
2023-05-15 cs.AI cs.CL cs.LG
Critical Sentence Identification in Legal Cases Using Multi-Class Classification
University of Moratuwa（莫拉图瓦大学）
从本质上讲，法律领域包含大量文本格式的数据。因此，它需要应用自然语言处理（NLP）来满足该领域的分析需求。NLP的进步正在以实际应用和学术研究的形式传播到各个领域，例如法律领域。在法律案件中识别关键句子，事实和论点对于法律专业人士来说是一项繁琐的任务。在本研究中，我们探讨使用句子嵌入的多类分类，以确定关键的句子在法律案件中，在案件中的主要当事人的角度。此外，一个特定于任务的损失函数的定义，以提高直接使用类别交叉熵损失的精度限制。
2021-11-14 cs.AI cs.CL cs.LG
German BERT Model for Legal Named Entity Recognition
University of Passau（帕绍大学）
BERT是最流行的语言模型之一，它的使用使得许多自然语言处理（NLP）任务得到了改进。一个这样的任务是命名实体识别（NER），即从给定文本自动识别诸如位置、人、组织等的命名实体。它也是许多自然语言处理任务，如信息抽取和论证挖掘的重要基础步骤。尽管使用BERT和其他流行的语言模型对NER进行了大量研究，但在法律NLP或法律技术方面却没有详细探讨。法律NLP应用各种NLP技术，如句子相似性或NER专门针对法律数据。使用BERT语言模型的NER任务只有少数模型，然而，这些模型都不是针对德语的法律文档。在本文中，我们微调了一个流行的BERT语言模型，该模型在法律实体识别（LER）数据集上对德国数据（德语BERT）进行了训练。为了确保我们的模型不会过度拟合，我们进行了分层的10倍交叉验证。我们在LER数据集上通过微调德国BERT获得的结果优于相同LER数据集作者使用的BiLSTM-CRF+模型。最后，我们通过HuggingFace公开提供模型。
2023-03-07 cs.CL cs.LG
Unsupervised Simplification of Legal Texts
Bilkent University（比尔肯特大学）
法律文本的处理是自然语言处理中的一个新兴领域。法律文本包含独特的术语和复杂的语言属性在词汇，语义，句法和形态。因此，特定于法律领域的文本简化（TS）方法的开发对于促进普通人对法律文本的理解以及为主流法律NLP应用程序的高级模型提供输入至关重要。虽然最近的研究提出了一个基于规则的TS方法的法律文本，学习为基础的TS在法律领域还没有被考虑以前。本文介绍了一种无监督的法律文本简化方法USLT。USLT通过替换复杂词和拆分长句来执行特定于领域的TS。为此，USLT检测句子中的复杂单词，通过掩蔽变换器模型生成候选词，并基于排名分数选择候选词进行替换。然后，USLT递归地将长句分解为较短的核心句和上下文句，同时保留语义。我们证明，USLT优于国家的最先进的领域一般TS方法在文本的简单性，同时保持语义完整。
2022-09-01 cs.AI cs.CL cs.LG
VLQA: The First Comprehensive, Large, and High-Quality Vietnamese Dataset for Legal Question Answering
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；VNU University of Engineering and Technology（VNU工程大学）；VNU University of Law（VNU法律大学）；National Institute of Informatics（国立信息学研究所）
针对越南语法律 NLP 缺乏高质量标注语料的问题，本文构建并统计分析了全面的 VLQA 数据集，并基于法律信息检索与问答任务用 SOTA 模型评估其有效性。
2025-07-26 cs.AI cs.CL
LEGAL-UQA: A Low-Resource Urdu-English Dataset for Legal Question Answering
LUMS（拉合尔管理科学大学）
本文提出首个源自巴基斯坦宪法的低资源乌尔都语-英语法律问答数据集LEGAL-UQA，通过评估和微调多语言模型验证了其有效性，为巴基斯坦本地法律信息获取奠定基础。
2024-10-16 cs.AI cs.CL cs.LG
LAW: Legal Agentic Workflows for Custody and Fund Services Contracts
J.P. Morgan AI Research（摩根大通人工智能研究院）
针对托管与基金服务合同处理难题，提出模块化法律智能体工作流LAW，集成专用工具与智能体，显著提升复杂任务性能，较基线高92.9个百分点，且成本更低。
2024-12-15 cs.AI cs.CL cs.SE
Legal Fact Prediction: The Missing Piece in Legal Judgment Prediction
Harbin Institute of Technology（哈尔滨理工大学）；The University of Osaka（大阪大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
本文提出法律事实预测（LFP）任务，以诉讼证据为输入预测法律事实，弥补法律判决预测在缺乏真实法律事实时无法应用的不足，并构建首个基准数据集LFPBench验证其有效性。
2025-11-06 cs.AI cs.CL cs.CY
Automated Refugee Case Analysis: An NLP Pipeline for Supporting Legal Practitioners
School of Informatics（信息学院）；The University of Edinburgh（爱丁堡大学）；School of Law（法学院）
本文提出一个端到端NLP流水线，用于从加拿大难民法律案件中提取19类信息，测试多种模型架构，发现法律领域预训练模型效果最佳，F1分数在多个类别上超过90%。
2023-05-24 cs.CL
SemEval 2023 Task 6: LegalEval - Understanding Legal Texts
Indian Institute of Technology Kanpur (IIT-K)（印度理工学院坎普尔分校）；Thoughtworks（思特沃克）；Agami；EkStep；NUJS, West Bengal（西孟加拉邦国立大学法学研究学院）
SemEval 2023组织了LegalEval法律文本理解共享任务，设三个子任务，26支全球团队参赛，系统均超基线但仍有提升空间，本文介绍任务并分析参赛技术。
2023-05-01 cs.AI cs.CL cs.LG
LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training
Jus Mundi
基于transformer的大型语言模型，如BERT，已经在许多NLP任务上带来了广泛的性能提升。这些模型的特定领域变体在各种专业任务上表现出出色的性能。在法律NLP中，基于BERT的模型在多个任务上产生了新的最先进的结果。对这些模式的探索表明了捕捉法律语言及其词汇的特殊性的重要性。然而，这种方法的计算成本高，导致更高的生态影响和更低的可访问性。我们的研究结果，重点是英语语言的法律文本，表明轻量级的LSTM为基础的语言模型能够捕捉足够的信息，从一个小的法律文本预训练语料库，并取得了良好的性能，对短的法律文本分类任务。与基于BERT的模型相比，这是通过显着减少的计算开销来实现的。然而，我们的方法在更复杂的任务上也显示出性能下降，即对较长文档的多标签分类，突出了这种轻量级方法的局限性。
2021-09-15 cs.CL
Legal NLP Meets MiCAR: Advancing the Analysis of Crypto White Papers
Bank of Italy（意大利银行）
本文研究了加密资产白皮书在欧盟MiCAR新规下的分析需求，调查了现有NLP在无监管白皮书中的应用并揭示研究空白，同时分析了新规带来的机遇与挑战，为监管合规的后续研究奠定基础。
2023-10-25 cs.CL cs.CY q-fin.GN
IL-TUR: Benchmark for Indian Legal Text Understanding and Reasoning
IIT Kanpur（坎普尔印度理工学院）；IIT Kharagpur（克勒格布尔印度理工学院）
针对法律领域NLP模型评估难的问题，本文提出IL-TUR基准，包含单语、多语法律文本任务，提供基线模型并创建排行榜，以推动印度法律文本理解与推理研究。
2024-11-26 cs.AI cs.CL cs.LG
LEGAL-BERT: The Muppets straight out of Law School
Athens University of Economics and Business（雅典经济与商业大学）；NCSR “Demokritos”（德谟克利特国家科学研究中心）；University of Sheffield（谢菲尔德大学）
BERT在几个NLP任务中取得了令人印象深刻的性能。然而，在专门领域对其适应指南的研究有限。在这里，我们专注于法律领域，在那里我们探索了几种方法，将BERT模型应用于下游法律任务，在多个数据集上进行评估。我们的研究结果表明，以前的预训练和微调的指导方针，往往盲目遵循，并不总是概括以及在法律领域。因此，我们提出了一个系统的调查时，适用于专门领域的BERT的可用策略。这些是：（a）使用开箱即用的原始BERT，（b）通过在特定领域语料库上进行额外的预训练来适应BERT，以及（c）在特定领域语料库上从头开始预训练BERT。我们还提出了一个更广泛的超参数搜索空间时，微调下游任务，我们发布了法律-BERT，一个家庭的BERT模型，旨在协助法律NLP研究，计算法，法律技术应用。
2020-10-06 cs.CL
LexSumm and LexT5: Benchmarking and Modeling Legal Summarization Tasks in English
School of Computation, Information, and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文提出英文法律摘要基准LexSumm及面向法律的序列到序列模型LexT5，弥补现有法律NLP基准忽视生成任务的不足，并揭示零样本LLM生成摘要中的抽象与忠实度错误。
2024-10-12 cs.CL
One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support
University of Bern（伯尔尼大学）；University of Copenhagen（哥本哈根大学）；Bern University of Applied Sciences（伯尔尼应用科学大学）；University of Fribourg（弗里堡大学）；Stanford University（斯坦福大学）
针对LLM在长文档、领域知识、多语言、多任务及推理上的挑战，构建瑞士法律体系的多语言法律NLP基准，发现现有公开多语言模型即使经领域预训练与微调仍难以胜任多数任务。
2024-08-21 cs.AI cs.CL cs.LG
LEXTREME: A Multi-Lingual and Multi-Task Benchmark for the Legal Domain
University of Bern（伯尔尼大学）；Bern University of Applied Sciences（伯尔尼应用科学大学）；Stanford University（斯坦福大学）；University of Zurich（苏黎世大学）；University of Bologna（博洛尼亚大学）；University of Copenhagen（哥本哈根大学）
针对法律NLP缺乏多语言基准及现有基准饱和的问题，构建了涵盖24种语言11个数据集的多语言多任务基准LEXTREME，并提出两种综合评分方法，实验表明最佳基线模型得分仅61.3，表明该基准极具挑战性。
2024-01-08 cs.AI cs.CL cs.LG
BERT Goes to Law School: Quantifying the Competitive Advantage of Access to Large Legal Corpora in Contract Understanding
Lexion
在特定领域的语料库上微调语言模型，如BERT，已被证明在科学论文和生物医学文本等领域有价值。在本文中，我们表明，微调BERT的法律文件同样提供了宝贵的改善自然语言处理任务的法律领域。证明这一结果对于分析商业协议具有重要意义，因为由于其机密性，获得大型法律语料库具有挑战性。因此，我们表明，能够访问大型法律语料库是商业应用和分析合同的学术研究的竞争优势。
2019-11-01 cs.AI cs.CL cs.LG
LegalRelectra: Mixed-domain Language Modeling for Long-range Legal Text Comprehension
Claudius Legal Intelligence（克劳狄乌斯法律智能公司）；Rutgers University（罗格斯大学）；University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）；University of California, San Diego（加州大学圣迭戈分校）；Harvard University（哈佛大学）
自然语言处理（NLP）在法律等专业领域的应用最近受到了极大的关注。由于许多法律服务依赖于处理和分析大量文档，因此使用NLP工具自动化这些任务成为一个关键挑战。许多流行的语言模型，如BERT或RoBERTa，都是通用的模型，它们在处理专门的法律术语和语法方面有局限性。此外，法律文件可能包含来自其他领域的专业词汇，例如人身伤害文本中的医疗术语。在这里，我们提出了LegalRelectra，一个法律领域的语言模型，在混合领域的法律和医学语料库上训练。我们表明，我们的模型提高了一般域和单域医疗和法律语言模型处理混合域（人身伤害）文本时。我们的训练架构实现了Electra框架，但使用Reformer而不是BERT作为其生成器和编译器。我们表明，这提高了模型在处理长段落上的性能，并导致更好的长距离文本理解。
2022-12-16 cs.CL cs.CY
A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and Challenges
Saarland Informatics Campus（萨尔兰信息学园区）；Northwestern Polytechnical University（西北工业大学）
法律判决预测是运用自然语言处理技术，根据事实描述自动预测判决结果。最近，大规模的公共数据集和NLP研究的进展导致了对LJP的兴趣越来越大。尽管机器和人类的表现之间存在明显的差距，但在各种基准数据集中取得了令人印象深刻的结果。本文针对目前缺乏对现有LJP任务、数据集、模型和评价的全面综述的现状，（1）分析了6种语言的31个LJP数据集，给出了它们的构造过程，定义了3种不同属性的LJP分类方法;（2）针对LJP任务的不同输出，总结了4类14个评价指标;（3）我们回顾了3种语言的12个法律领域预训练模型，并强调了LJP的3个主要研究方向;（4）我们展示了来自不同法院案件的8个代表性数据集的最新结果，并讨论了开放的挑战。本文可以提供最新的和全面的评论，以帮助读者了解LJP的地位。我们希望能促进NLP研究者和法律专业人士在这个问题上的进一步共同努力。
2022-04-11 cs.CL cs.LG
AI-assisted German Employment Contract Review: A Benchmark Dataset
Technical University of Munich（慕尼黑工业大学）
本研究发布了一个匿名化的德国雇佣合同条款基准数据集，用于评估NLP在合同合法性与公平性审查中的应用效果。
2025-01-27 cs.CL
Large Language Models are legal but they are not: Making the case for a powerful LegalLLM
Visvesvaraya National Institute of Technology, Nagpur, India（维斯瓦拉亚国立理工学院）
本研究对比通用LLMs与法律领域模型在合同条款分类上的零样本性能，发现通用模型虽能分类但F1分数显著较低，凸显开发强大法律领域LLM的必要性。
2023-11-15 cs.CL
Team UTSA-NLP at SemEval 2024 Task 5: Prompt Ensembling for Argument Reasoning in Civil Procedures with GPT4
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出基于GPT4的提示集成方法，结合思维链推理与上下文学习，用于民事诉讼法律论证推理，在SemEval 2024任务5中取得验证集Macro F1 0.8095、测试集0.7315（21队第5）的成绩。
2024-04-02 cs.CL
3CEL: A corpus of legal Spanish contract clauses
Instituto de Ingeniería del Conocimiento（知识工程研究所）；Universidad Politécnica de Madrid（马德里理工大学）
本文介绍在 INESData 2024 框架下开发的西班牙语法律合同条款语料库（3CEL），包含 373 份人工标注标书和 19 个类别（共 4782 个标签），用于合同信息抽取，以缓解西班牙语法律 NLP 资源稀缺问题。
2025-01-27 cs.CL
When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset
Stanford University（斯坦福大学）
虽然自监督学习在自然语言处理方面取得了快速进展，但研究人员何时应该进行资源密集型的特定领域预训练（领域预训练）仍不清楚。令人困惑的是，尽管法律语言被广泛认为是独特的，但法律几乎没有记录在案的领域预训练的实质性收益。我们假设，这些现有的结果源于这样一个事实，即现有的法律NLP任务太容易，无法满足领域预训练可以帮助的条件。为了解决这个问题，我们首先介绍了CaseHOLD（法律判决的案例持有），这是一个新的数据集，由超过53，000个多项选择题组成，用于识别引用案例的相关持有。该数据集为律师提供了一项基本任务，从NLP的角度来看，它既有法律意义，又很困难（F1为0.4，BiLSTM基线）。其次，我们评估了CaseHOLD和现有合法NLP数据集的性能增益。虽然Transformer架构（BERT）在一般语料库上进行预训练（Google图书和维基百科）提高性能，域预训练（使用美国所有法院的大约350万个判决的语料库，其规模大于BERT），使用自定义法律词汇表，通过CaseHOLD表现出最显著的性能提升（在F1上获得7.2%的收益，比BERT提高了12%），并在其他两项法律任务上获得了一致的性能收益。第三，我们表明，域预训练可能是必要的，当任务表现出足够的相似性的预训练语料库：在三个法律任务的性能增加的水平直接挂钩的任务的域特异性。我们的研究结果告知研究人员何时应该进行资源密集型的预训练，并表…
2021-07-06 cs.CL
The Large Language Model GreekLegalRoBERTa
KTH Royal Institute of Technology（瑞典皇家理工学院）；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里亚大学）
本文开发了四个版本的 GreekLegalRoBERTa 大型语言模型，在希腊语法律文本的命名实体识别和多类法律主题分类任务上超越了现有模型，为低资源语言的领域特定 NLP 研究做出贡献。
2024-10-10 cs.CL cs.LG
A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets
Universidade Federal do Paraná（巴拉那联邦大学）；Ministério Público do Paraná（巴拉那州检察院）；SAP SE（思爱普公司）
本文针对法律领域葡萄牙语标注数据稀缺问题，比较多种文本分类策略，发现结合BERT、数据增强与半监督学习的UDA在50类诉求分类中取得80.7%的最佳准确率。
2024-09-09 cs.CL cs.LG
Analyzing Bias in Swiss Federal Supreme Court Judgments Using Facebook's Holistic Bias Dataset: Implications for Language Model Training
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；Leibniz Institute for Educational Media | Georg Eckert Institute（莱布尼茨教育媒体研究所（格奥尔格·埃克特研究所））
本研究借助 Holistic Bias 社会偏见描述符与注意力可视化分析 SJP-Dataset，揭示法律判决预测数据中的偏见及其对模型行为的影响。
2025-01-06 cs.AI cs.CL
Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation
Novelcore；Department of Statistics & Insurance University of Piraeus（统计与保险系 帕里埃斯大学）
针对希腊语数据稀缺和架构局限，提出GEMs模型家族，通过质量策展语料库训练，在三个基准上显著提升准确率，最高达3.6%。
2025-10-24 cs.AI cs.CL
Legal text classification in Korean sexual offense cases: from traditional machine learning to large language models with XAI insights
本研究评估韩国性犯罪法律文本分类模型，发现微调KLUE-BERT达99.3%准确率，优于GPT-3.5等大型模型，并利用XAI分析揭示模型决策特征与局限，强调可解释性在法律AI中的重要性。
2026-10-02 cs.AI cs.CL
MizanQA: Benchmarking Large Language Models on Moroccan Legal Question Answering
Mohammed 6 Polytechnic University（穆莱·马哈茂德六世理工学院）
本文提出MizanQA基准，包含超1700道摩洛哥法律多选题，用于评估大语言模型在低资源阿拉伯语法律问答上的表现，实验显示现有模型存在显著性能差距，需发展文化适配的领域专用模型。
2025-08-22 cs.AI cs.CL cs.IR
JUSTICE: A Benchmark Dataset for Supreme Court's Judgment Prediction
University of Southern California（南加州大学）
最近，人工智能被用于许多领域，法律系统也不例外。然而，就目前而言，与美国最高法院（SCOTUS）的法律文件有关的注释良好的数据集数量非常有限，可供公众使用。尽管最高法院的裁决是公共领域的知识，但由于每次都需要从头开始手动收集和处理这些数据，因此尝试使用它们进行有意义的工作变得更加艰巨。因此，我们的目标是创建一个高质量的SCOTUS法院案件数据集，以便它们可以随时用于自然语言处理（NLP）研究和其他数据驱动的应用程序。此外，NLP的最新进展为我们提供了构建预测模型的工具，这些模型可用于揭示影响法院判决的模式。通过使用先进的NLP算法来分析以前的法院案件，经过训练的模型能够预测和分类法院的判决，因为案件的事实来自原告和被告的文本格式;换句话说，该模型通过生成最终判决来模拟人类陪审团。
2021-12-06 cs.AI cs.CL
Predicting Legal Proceedings Status: Approaches Based on Sequential Text Data
University of São Paulo（圣保罗大学）；Tikal Tech（蒂卡尔科技）
本文的目的是开发预测模型，将巴西的法律程序分为三类：（一）存档的程序，（二）积极的程序，和（三）暂停的程序。解决这一问题的目的是协助公共和私营机构管理大量的法律诉讼，在规模和效率方面取得进展。在本文中，法律程序是由一系列被称为"动议"的简短文本组成的。"我们结合了几种自然语言处理（NLP）和机器学习技术来解决这个问题。虽然使用葡萄牙语NLP，由于缺乏资源，这可能具有挑战性，但我们的方法在分类任务中表现非常出色，实现了0.93的最高准确度和0.89（宏观）和0.93（加权）的最高平均F1得分。此外，除了量化这些模式与分类任务的关系之外，我们还可以提取和解释我们的模型所学习的模式。可解释性步骤在机器学习法律应用中非常重要，它让我们对黑盒模型如何做出决策有了令人兴奋的了解。
2021-06-23 cs.CL cs.LG stat.ML
CLAIM: An Intent-Driven Multi-Agent Framework for Analyzing Manipulation in Courtroom Dialogues
Manipal University Jaipur（Manipal大学贾ipur）
本文提出 LegalCon 法庭对话数据集和两阶段意图驱动多智能体框架 CLAIM，用于检测操纵、识别操纵者并分类操纵技术，以提升司法公平性与透明度。
2025-06-04 cs.AI cs.CL cs.LG
The Legal Argument Reasoning Task in Civil Procedure
Technical University of Darmstadt（达姆施塔特工业大学）
我们提出了一个新的NLP任务和来自美国民事诉讼领域的数据集。数据集的每个实例都包括对案例的一般介绍，一个特定的问题和一个可能的解决方案论证，以及对该论证适用于该案例的详细分析。由于数据集是基于一本针对法律专业学生的书，我们相信它代表了一个真正复杂的任务，为基准现代法律语言模型。我们的基线评估表明，微调的法律Transformer提供了一些优势，随机基线模型，但我们的分析表明，实际的能力，推断法律论据仍然是一个具有挑战性的开放的研究问题。
2022-11-05 cs.CL
Data Augmented Pipeline for Legal Information Extraction and Reasoning
Center for Juris-Informatics, ROIS-DS（司法信息中心，ROIS-DS）；Japan Advanced Institute of Science and Technology（日本先进科学研究所）；Research and Development Center for LLMs, NII（大语言模型研发中心，NII）
本文提出了一种基于大型语言模型的数据增强管道，用于提升法律领域信息抽取与推理的效率和鲁棒性，同时具备跨领域应用的通用性。
2026-01-09 cs.CL
AraLegal-BERT: A pretrained language model for Arabic Legal text
Elm Company（埃尔姆公司）
BERT模型在多语言任务上的有效性已经得到了很好的证明。另一方面，它在法律等狭窄和具体领域的潜力尚未得到充分开发。在本文中，我们研究了如何将BERT用于阿拉伯语法律领域，并尝试使用几个不同的领域相关训练和测试数据集从头开始训练BERT，为几个下游任务定制这种语言模型。我们介绍了AraLegal-BERT，这是一种基于双向编码器转换器的模型，已经过全面测试和仔细优化，旨在扩大NLP驱动的解决方案在法理学，法律文件和法律实践方面的影响。我们微调了AraLegal-BERT，并在三个自然语言理解（NLU）任务中针对阿拉伯语的三个BERT变体对其进行了评估。实验结果表明，AraLegal-BERT的基本版本在法律文本上的识别率优于一般版本和原始版本的BERT。
2022-10-15 cs.CL
