RoLegalGEC: Legal Domain Grammatical Error Detection and Correction Dataset for Romanian
National University of Science and Technology POLITEHNICA Bucharest(波兰亚技术大学布加勒斯特分校);Paris 1 Panthéon-Sorbonne University(巴黎1大学蓬莎博纳大学);University of Bucharest(布加勒斯特大学)
本文提出RoLegalGEC数据集,包含35万条法律文本中的语法错误及标注,评估多种神经网络模型用于检测和纠正语法错误,丰富罗马尼亚语研究资源。
2026-04-22 cs.AI cs.CL cs.LG
MultiLegalSBD: A Multilingual Legal Sentence Boundary Detection Dataset
University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学)
针对法律领域多语言句子边界检测任务,构建含6种语言超13万标注句的MultiLegalSBD数据集,训练多种模型实现最优性能,且多语言模型零样本表现优于基线,相关资源已公开。
2023-05-02 cs.AI cs.CL cs.LG
ViLegalNLI: Natural Language Inference for Vietnamese Legal Texts
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本文提出ViLegalNLI,首个针对法律领域构建的越南语自然语言推理数据集,包含42,012个前提-假设对,涵盖多种法律领域,用于评估法律推理的结构逻辑与术语一致性。
2026-04-30 cs.AI cs.CL cs.LG
LegalLens: Leveraging LLMs for Legal Violation Identification in Unstructured Text
Darrow AI Ltd.(达罗人工智能有限公司)
本研究利用大语言模型构建数据集,针对集体诉讼案件,实现非结构化文本中法律违规检测及受害者关联,F1分别达62.69%和81.02%,并公开数据集与代码。
2024-02-06 cs.AI cs.CL cs.LG
SigmaLaw-ABSA: Dataset for Aspect-Based Sentiment Analysis in Legal Opinion Texts
University of Moratuwa(莫拉图瓦大学);University of Colombo(科伦坡大学)
基于情感的情感分析(ABSA)在许多不同的领域都有突出的和正在进行的研究,但它在法律领域并没有得到广泛的讨论。许多公开可用的数据集为广泛的领域通常满足研究人员在ABSA领域进行研究的需要。据我们所知,没有公开的数据集用于法律意见文本的基于方面(方)的情感分析。因此,为法律领域的ABSA研究创建一个公开可用的数据集可以被认为是一项具有重要意义的任务。在这项研究中,我们引入了一个手动注释的法律意见文本数据集(SigmaLaw-ABSA),旨在促进研究人员在法律领域的ABSA任务。SigmaLaw-ABSA由英语法律意见文本组成,这些文本由人类法官注释。本研究讨论了ABSA中与法律领域相关的子任务,以及如何使用数据集来执行这些任务。本文还描述了数据集的统计数据,作为基线,我们在SigmaLaw-ABSA数据集上展示了一些现有的基于深度学习的系统的性能结果。
2020-11-12 cs.CL cs.LG
NyayaAnumana & INLegalLlama: The Largest Indian Legal Judgment Prediction Dataset and Specialized Language Model for Enhanced Decision Analysis
IIT Kanpur(坎普尔印度理工学院);Symbiosis Law School Pune(浦那共生法律学院);IISER Kolkata(印度科学教育与研究学院 Kolkata)
针对印度司法案件积压问题,该研究推出最大规模印度法律判决预测数据集NyayaAnumana和领域专用大模型INLegalLlama,通过两阶段训练实现约90%的F1值,兼顾预测准确率与可解释性。
2024-12-11 cs.AI cs.CL cs.IR
Unlocking Legal Knowledge: A Multilingual Dataset for Judicial Summarization in Switzerland
University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学);University of Fribourg(弗里堡大学)
本文提出包含瑞士联邦最高法院2万份多语言裁决摘要的SLDS数据集,通过微调开源模型并与大型LLM对比发现,事实准确性比深度推理更能决定法律摘要的质量。
2025-09-18 cs.AI cs.CL cs.LG
LEVEN: A Large-Scale Chinese Legal Event Detection Dataset
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);International Innovation Center of Tsinghua University(清华大学国际创新中心);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Beijing Powerlaw Intelligent Technology Co., Ltd.(北京幂律智能科技有限责任公司)
事实识别是判断的最基本步骤,因此检测法律文档中的事件对于法律案例分析任务非常重要。然而,现有的法律事件检测(Legal Event Detection,LED)数据集只关注不全面的事件类型,标注数据有限,限制了LED方法及其下游应用的发展。为了缓解这些问题,我们提出了一个大规模的中文LEgal eVENT检测数据集,其中包含8,116份法律文件和108种事件类型中的150,977个人工注释事件。不仅是收费相关的事件,LEVEN还涵盖了一般事件,这些事件对于法律案件的理解至关重要,但在现有的LED数据集中被忽略了。据我们所知,LEVEN是最大的LED数据集,其数据规模是其他数据集的数十倍,这将大大促进LED方法的培训和评估。大量的实验结果表明,LED是具有挑战性的,需要进一步的努力。此外,我们只是利用法律事件作为辅助信息来促进下游应用。该方法在低资源判断预测中平均精度提高了2.2分,在无监督案例检索中平均精度提高了1.5分,体现了LED的重要性。源代码和数据集可以从https://github.com/thunlp/LEVEN获得。
2022-03-16 cs.AI cs.CL
CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review
UC Berkeley(加州大学伯克利分校);The Nueva School(努埃瓦学校)
许多专业领域仍然没有受到深度学习的影响,因为大型标记数据集需要昂贵的专家注释器。我们通过引入合同理解Atticus数据集(CUAD)来解决法律领域内的这一瓶颈,CUAD是一种用于法律合同审查的新数据集。CUAD由来自Atticus Project的数十位法律专家创建,由13,000多条注释组成。任务是突出合同中对人类审查很重要的突出部分。我们发现,Transformer模型具有新生的性能,但这种性能受到模型设计和训练数据集大小的强烈影响。尽管取得了这些可喜的成果,但仍有很大的改进余地。作为唯一一个由专家注释的大型专业NLP基准之一,CUAD可以作为更广泛的NLP社区的一个具有挑战性的研究基准。
2021-11-08 cs.CL cs.LG
Structured Legal Document Generation in India: A Model-Agnostic Wrapper Approach with VidhikDastaavej
Indian Institute of Technology Kanpur, India(印度理工学院坎浦分校);University of Birmingham Dubai, UAE(迪拜大学);Symbiosis Law School Pune, India(萨比欧法学院皮尔分校);IISER Kolkata, India(印度科学学院科钦分校)
本文提出VidhikDastaavej数据集和Model-Agnostic Wrapper框架,用于解决印度私人文书结构生成问题,提升事实准确性、连贯性和完整性。
2026-03-25 cs.AI cs.CL cs.IR
MILDSum: A Novel Benchmark Dataset for Multilingual Summarization of Indian Legal Case Judgments
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本文提出首个面向印度法律判决的跨语言摘要基准数据集MILDSum,包含3,122份英语判决及英印双语摘要,并评测多种方法以推动法律领域跨语言摘要研究。
2023-10-28 cs.AI cs.CL
AnnoCaseLaw: Legal Annotation Benchmark of Civil Negligence
University of Oxford(牛津大学);Thomson Reuters Labs(汤森路透实验室);Vienna University of Technology(维也纳工业大学);University College London(伦敦大学学院)
针对现有法律判决预测数据集不切实际且缺乏高质量标注的问题,提出包含471起美国上诉法院案件的AnnoCaseLaw数据集,提供专家标注并定义三个法律任务,利用LLMs建立基准,证明该任务仍具挑战性。
2026-10-22 cs.AI cs.CL
LAR-ECHR: A New Legal Argument Reasoning Task and Dataset for Cases of the European Court of Human Rights
Athens University of Economics and Business(雅典经济与商业大学);Athena Research Center(雅典娜研究中心);Institute for Language and Speech Processing(语言与语音处理研究所)
本文提出法律论证推理任务LAR及基于欧洲人权法院案件的LAR-ECHR数据集,通过评估七个LLM发现其排名与LegalBench一致且区分度更高,最佳模型GPT-4o准确率仅75.8%,仍有较大提升空间。
2024-10-17 cs.AI cs.CL
A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and Challenges
Saarland Informatics Campus(萨尔兰信息学园区);Northwestern Polytechnical University(西北工业大学)
法律判决预测是运用自然语言处理技术,根据事实描述自动预测判决结果。最近,大规模的公共数据集和NLP研究的进展导致了对LJP的兴趣越来越大。尽管机器和人类的表现之间存在明显的差距,但在各种基准数据集中取得了令人印象深刻的结果。本文针对目前缺乏对现有LJP任务、数据集、模型和评价的全面综述的现状,(1)分析了6种语言的31个LJP数据集,给出了它们的构造过程,定义了3种不同属性的LJP分类方法;(2)针对LJP任务的不同输出,总结了4类14个评价指标;(3)我们回顾了3种语言的12个法律领域预训练模型,并强调了LJP的3个主要研究方向;(4)我们展示了来自不同法院案件的8个代表性数据集的最新结果,并讨论了开放的挑战。本文可以提供最新的和全面的评论,以帮助读者了解LJP的地位。我们希望能促进NLP研究者和法律专业人士在这个问题上的进一步共同努力。
2022-04-11 cs.CL cs.LG
ClassActionPrediction: A Challenging Benchmark for Legal Judgment Prediction of Class Action Cases in the US
Darrow AI Ltd.(达罗人工智能有限公司)
法律自然语言处理(NLP)是近年来的一个研究热点,其中法律判决预测(LJP)是其中研究最多的课题之一。到目前为止,大多数公开发布的LJP数据集来自大陆法系国家。在这项工作中,我们首次发布了一个具有挑战性的LJP数据集,专注于美国的集体诉讼案件。这是普通法制度中第一个专注于更困难和更现实的任务的数据集,涉及投诉作为输入,而不是法院经常使用的事实摘要。此外,我们通过收集专家的人类预测来研究任务的难度,结果表明,即使是人类专家在这个数据集上也只能达到53%的准确率。我们的Longformer模型明显优于人类基线(63%),尽管只考虑了前2,048个代币。此外,我们进行了详细的误差分析,发现Longformer模型的校准效果明显优于人类专家。最后,我们公开发布数据集和用于实验的代码。
2022-11-01 cs.AI cs.CL cs.LG
LegalBench-RAG: A Benchmark for Retrieval-Augmented Generation in the Legal Domain
ZeroEntropy(零熵公司)
针对法律领域RAG系统检索评估的空白,提出首个专门基准LegalBench-RAG,含6,858个人工标注查询-答案对,强调精确检索以提升性能与可引用性。
2024-08-19 cs.AI
Generating training datasets for legal chatbots in Korean
Hankuk University of Foreign Studies(韩国外国语大学);Univ Gustave Eiffel(古斯塔夫·易菲尔大学);CNRS(国家科学研究中心);LIGM(法律信息研究所)
本文提出通过生成大量带标签的对话文本来解决法律聊天机器人训练数据多样性问题,利用本地语法图(LGG)和Unitex平台生成7亿条标注文本,训练DIET分类器达到91%的F1分数,并实现LIGA聊天机器人。
2026-05-08 cs.CL cs.LG
DeepParliament: A Legal domain Benchmark & Dataset for Parliament Bills Prediction
Open Legal AI(开放法律人工智能)
本文介绍了DeepParliament,这是一个法律领域的基准数据集,它收集法案文档和元数据,并执行各种法案状态分类任务。拟议的数据集文本涵盖了从1986年至今的广泛法案,并包含有关议会法案内容的更丰富信息。本文提供了数据汇集、详细的统计和分析。此外,我们实验了不同类型的模型,从RNN到预训练的模型,并报告了结果。我们提出了两个新的基准:二进制和多类法案状态分类。为法案文件和相关支持任务开发的模型可以帮助国会议员、总统和其他法律从业人员。它将有助于审查或优先考虑法案,从而加快计费过程,提高决策质量,减少两院的时间消耗。考虑到该国民主的基础是议会和州立法机构,我们预计我们的研究将是法律NLP社区的重要补充。这项工作将首次提出一项议会法案预测任务。为了提高合法人工智能资源的可访问性并促进可重复性,我们在github.com/monk1337/DeepParliament上公开了我们的代码和数据集。
2022-11-15 cs.CL cs.IR cs.LG
LeCoDe: A Benchmark Dataset for Interactive Legal Consultation Dialogue Evaluation
Zhejiang University(浙江大学);Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团);Worcester Polytechnic Institute(沃斯通理工学院)
针对法律咨询交互性不足的问题,构建含3696段真实多轮对话的LeCoDe基准,提出双维度12指标评估框架,实验显示GPT-4等模型性能有限,并探索了增强策略。
2025-10-23 cs.AI cs.CL
E2MoCase: A Dataset for Emotional, Event and Moral Observations in News Articles on High-impact Legal Cases
University of Calabria(卡拉布里亚大学);University of Lausanne(洛桑大学)
针对媒体法律案件报道存在偏见、需整体分析其情感、道德与事件的问题,本研究推出新型数据集E2MoCase,借助先进的多任务模型,为相关报道的多维度分析提供支撑。
2024-09-13 cs.AI cs.CL cs.CY
Japanese Tort-case Dataset for Rationale-supported Legal Judgment Prediction
Tokyo Institute of Technology(东京技术大学);Nakamura, Tsunoda & Matsumoto;Hitotsubashi University(立命馆大学)
本文提出了首个日本 tort 案件数据集,用于基于理由的法律判断预测,包含 tort 预测和理由提取两个任务,并通过实验验证了其可行性。
2024-06-13 cs.AI cs.CL
MultiLegalPile: A 689GB Multilingual Legal Corpus
University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学);University of Copenhagen(哥本哈根大学)
针对法律领域多语言高质量训练数据匮乏的问题,研究者发布了689GB、覆盖24种语言17个司法管辖区的MultiLegalPile语料库,基于其训练的多语言和单语言模型在LEXTREME、LexGLUE基准上取得SotA成绩。
2024-05-19 cs.AI cs.CL cs.LG
PILOT-Bench: A Benchmark for Legal Reasoning in the Patent Domain with IRAC-Aligned Classification Tasks
Pukyong National University(浦项国立大学);Tomocube Inc.(Tomocube公司)
PILOT-Bench通过IRAC对齐的分类任务评估专利领域法律推理能力,揭示闭源与开源模型在推理性能上的显著差异。
2026-01-08 cs.AI cs.CL
Datasets for Portuguese Legal Semantic Textual Similarity: Comparing weak supervision and an annotation process approaches
Fluminense Federal University(弗鲁米嫩塞联邦大学)
本文面向巴西法律文本语义相似度任务,构建四个法律领域数据集,并通过专家真值集验证启发式弱监督标注的有效性。
2023-05-29 cs.CL cs.LG
TathyaNyaya and FactLegalLlama: Advancing Factual Judgment Prediction and Explanation in the Indian Legal Context
Indian Institute of Technology Kanpur(印度理工学院坎浦尔分校);Symbiosis Law School Pune(辛博斯法学院浦那);IISER Kolkata(印度科学研究所科希利);University of Birmingham(伯明翰大学)
本文针对印度法律语境下的事实判断预测与解释任务,构建了最大标注数据集TathyaNyaya,并提出指令微调模型FactLegalLlama,结合Transformer实现准确预测与连贯解释,为该领域提供基础资源与基准。
2025-11-15 cs.AI cs.CL cs.IR
LegalReasoner: Step-wised Verification-Correction for Legal Judgment Reasoning
The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);Zhejiang Normal University(浙江师范大学);Soochow University(苏州大学)
本文提出 LegalReasoner,通过争议点分解、逐步推理及过程验证与纠错提升法律判决预测可靠性,并构建含 58,130 件案件的 LegalHK 数据集,显著提高 LLAMA-3.1-70B 的判决一致性。
2025-06-09 cs.AI
Human Centered AI for Indian Legal Text Analytics
University of Delhi(德里大学);IBM Research(IBM研究院)
该论文提出一种以人为中心的复合AI系统,结合人类输入与LLMs,用于提升印度法律文本分析任务的性能,并引入新数据集。
2024-03-16 cs.AI cs.HC
The Massive Legal Embedding Benchmark (MLEB)
Isaacus
本研究提出迄今规模最大、最全面的开源法律信息检索基准MLEB,含10个专家标注数据集(7个为新建),覆盖多司法辖区、文档类型与任务,公开相关资源以支撑可复现评估。
2025-10-22 cs.AI cs.CL cs.IR
Automatic Judgment Prediction via Legal Reading Comprehension
Peking University(北京大学);Tsinghua University(清华大学)
判决结果自动预测是指根据案件材料对判决结果进行预测。几十年来,它主要由律师和法官研究,被认为是人工智能技术在法律领域的一种新颖而有前景的应用。大多数现有的方法遵循文本分类框架,它无法模拟互补的情况下材料之间的复杂的相互作用。为了解决这一问题,我们根据法律情景将任务形式化为法律阅读理解。LRC遵循人类法官的工作协议,基于三种类型的信息预测最终判决结果,包括事实描述,原告的请求和法律条款。此外,我们提出了一种新的LRC模型,AutoJudge,它捕获了事实,请求和法律之间的复杂语义交互。在实验中,我们构建了一个真实世界的民事案件数据集LRC。在该数据集上的实验结果表明,我们的模型比最先进的模型有了显着的改进。我们将在\urlgithub .com上发布所有源代码和数据集,以供进一步研究。
2018-09-18 cs.AI cs.CL
MultiJustice: A Chinese Dataset for Multi-Party, Multi-Charge Legal Prediction
Saarland Informatics Campus, Saarland University, Saarland, Germany(萨尔兰州信息学院校区,萨尔兰州大学);Vrije Universiteit Amsterdam, Amsterdam, Netherlands(阿姆斯特丹自由大学);Wuhan University, Wuhan, China(武汉大学);Nanyang Technical University, Singapore, Singapore(南洋技术大学);University of Amsterdam, Amsterdam, Netherlands(阿姆斯特丹大学);Eastern Institute of Technology, Ningbo, China(宁波工程技术学院)
该研究提出中文数据集MultiJustice,用于多被告多罪名法律预测,发现多被告多罪名场景最具挑战性,并公开数据集与代码。
2025-07-09 cs.AI cs.CL
Large Scale Legal Text Classification Using Transformer Models
ITMO University(ITMO大学);Vienna University of Economics and Business (WU)(维也纳经济大学(WU))
大型多标签文本分类是一个具有挑战性的自然语言处理(NLP)问题,涉及具有数千个标签的数据集的文本分类。我们在法律领域解决这个问题,在欧盟的法律信息系统内创建了标有EuroVoc词汇的数据集,如JRC-Accounts和EURLEX 57 K。EuroVoc分类法包括大约7000个概念。在这项工作中,我们研究了各种最新的基于transformer的模型的性能,并结合生成预训练,逐步解冻和判别学习率等策略,以达到有竞争力的分类性能,并提出了新的最先进的结果,JRC-Accounts为0.661(F1),EURLEX 57 K为0.754。此外,我们量化了各个步骤的影响,例如消融研究中的语言模型微调或逐渐解冻,并提供了使用迭代分层算法创建的参考数据集分割。
2020-10-24 cs.AI cs.CL
LawSum: A weakly supervised approach for Indian Legal Document Summarization
Dhirubhai Ambani Institute of Information and Communication Technology(迪鲁巴伊·安巴尼信息与通信技术学院);Malaviya National Institute of Technology(马拉维亚国家理工学院);Paramonic AI
与西方国家的法院不同,印度司法机构的公共记录完全是无结构的,而且很嘈杂。到目前为止,还没有大规模的公开的印度法律文件注释数据集。这限制了法律分析研究的范围。在这项工作中,我们提出了一个新的数据集,由印度最高法院的10,000多个判决及其相应的手写摘要组成。建议的数据集通过规范化常见的法律缩写,处理命名实体中的拼写变化,处理错误的标点符号和准确的句子标记来进行预处理。每个句子都有其修辞作用的标签。我们还对每项判决进行了注释,其中包括日期、原告、被告及其代表的姓名、作出判决的法官、引用的法令/法规以及用于引用判决的最常见引用。此外,我们提出了一个自动标签技术,用于识别具有摘要价值的信息的句子。我们证明,这种自动标记的数据可以有效地用于训练一个弱监督的句子提取器具有高精度。除了法律文件摘要之外,该数据集的一些可能的应用可以用于检索,引文分析和预测特定法官的判决。
2021-10-23 cs.AI cs.CL cs.IR
LicenseGPT: A Fine-tuned Foundation Model for Publicly Available Dataset License Compliance
Sun Yat-Sen University(中山大学);Huawei(华为);Queen's University(女王大学)
本文提出LicenseGPT,一种专门用于数据集许可合规分析的微调基础模型,通过提升预测准确率和减少分析时间,为法律从业者提供高效工具。
2026-05-07 cs.AI cs.SE
TMID: A Comprehensive Real-world Dataset for Trademark Infringement Detection in E-Commerce
Ant Group(蚂蚁集团);Monash University(莫纳什大学)
本文推出源自 Alipay 真实业务、含专家标注法律规则与商家商标语境的 TMID 数据集,并通过统计质控和实证研究揭示电商商标侵权检测挑战。
2023-12-08 cs.CL cs.CY cs.LG
A Multi-Task Benchmark for Korean Legal Language Understanding and Judgement Prediction
LBox;KAIST(韩国科学技术院)
深度学习的最新进展极大地改变了机器学习,特别是在自然语言处理领域,如何应用于法律领域。然而,这种向数据驱动方法的转变需要更大和更多样化的数据集,然而这些数据集的数量仍然很少,特别是在非英语语言中。在这里,我们介绍了韩国法律AI数据集的第一个大规模基准,LBOX OPEN,它包括一个法律语料库,两个分类任务,两个法律判断预测(LJP)任务和一个摘要任务。该法律语料库由147,000个韩国判例(259,000,000个代币)组成,其中63,000个是在过去4年中被判刑的,96,000个是来自审查事实问题的一级和二级法院。这两个分类任务是案例名称(11.3k)和法规(2.8k)预测从个别案件的事实描述。LJP任务包括:(1)10.5k个刑事案例,其中要求模型预测给定事实的罚款金额,劳动监禁和非劳动监禁范围,以及(2)4.7k个民事案例,其中输入是事实和救济请求,输出是索赔接受程度。摘要任务包括最高法院判例和相应的摘要(20k)。我们还通过将域(1)扩展到案例名称(31k示例)和法规(17.7k)分类任务中的不常见案例类别,以及(2)扩展到摘要任务(51k)中的长输入序列,来发布数据集的现实变体。最后,我们发布了LCUBE,第一个韩国法律语言模型训练的法律语料库从这项研究。鉴于韩国法律的独特性和这项工作所涵盖的法律任务的多样性,我们相信LBOX OPEN有助于全球法律研究的多语言性。LBO…
2022-10-05 cs.AI cs.CL
JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System
DCST, Tsinghua University(清华大学数据科学研究院)
本文提出JuDGE基准,用于评估中国法律系统中的判决书生成任务,通过构建真实案件数据集与外部法律语料库,并联合法律专家建立自动化评估框架,验证了少样本学习、微调及多源RAG方法,发现RAG有效但仍有改进空间。
2025-04-30 cs.AI cs.CL cs.IR
A Korean Legal Judgment Prediction Dataset for Insurance Disputes
The University of Arizona(亚利桑那大学);Hana TI(韩亚科技);Sungkyunkwan University(成均馆大学)
本文构建了韩国保险纠纷法律判决预测数据集,针对低资源场景数据稀缺问题,验证了SetFit微调方法在数据有限时可达到与基准模型相近的性能。
2024-01-26 cs.CL cs.LG
ALARB: An Arabic Legal Argument Reasoning Benchmark
King Abdullah University of Science and Technology(卡塔尔国王阿卜杜勒阿齐兹科学与技术大学);THIQAH
本研究推出阿拉伯语法律推理基准ALARB,含1.3万余起沙特商业案件及多类推理任务,测试多款阿拉伯语LLM,且用其微调12B模型可达到与GPT-4o相当的法律推理性能。
2025-10-01 cs.AI cs.CL cs.IR
CiteCaseLAW: Citation Worthiness Detection in Caselaw for Legal Assistive Writing
Adobe MDSR(奥多比 MDSR)
本研究针对法律领域引用价值识别任务,构建了含1.78亿句子的标注数据集CiteCaseLAW,实验表明领域预训练模型在该任务上F1值达88%,可助力法律引用推荐系统减负。
2023-05-03 cs.CL cs.LG
A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets
Universidade Federal do Paraná(巴拉那联邦大学);Ministério Público do Paraná(巴拉那州检察院);SAP SE(思爱普公司)
本文针对法律领域葡萄牙语标注数据稀缺问题,比较多种文本分类策略,发现结合BERT、数据增强与半监督学习的UDA在50类诉求分类中取得80.7%的最佳准确率。
2024-09-09 cs.CL cs.LG
LegalLens Shared Task 2024: Legal Violation Identification in Unstructured Text
Darrow AI Ltd.(达罗人工智能有限公司);Scoreinforce(Scoreinforce公司);Maastricht University(马斯特里赫特大学)
本文介绍 LegalLens 共享任务,通过 LegalLens-NER 和 LegalLens-NLI 两个子任务检测自然文本中的法律违规行为,发现微调预训练语言模型效果最优,最佳团队在 NER 上比基线提升 7.11%。
2024-10-15 cs.CL cs.LG
Challenges and Considerations in Annotating Legal Data: A Comprehensive Overview
University of Passau(帕绍大学);The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研究与发展研究所)
本文全面概述了法律数据标注在数据集选择、文本提取、数据清洗及标注指南制定等方面的独特挑战,强调了法律专业人士参与的重要性,并提供了微调的数据集与语言模型资源以指导相关研究。
2024-07-05 cs.CL cs.IR cs.LG
Segmentation and Processing of German Court Decisions from Open Legal Data
Hasso-Plattner Institute / University of Potsdam, Germany(哈索-普拉特纳研究所 / 波茨坦大学)
本研究提出了一种从开放法律数据中清洗并分节德国法院判决的方法,提取了三个关键部分并公开了数据集,为法律NLP研究提供支持。
2026-01-04 cs.CL cs.IR cs.LG
Data-Centric Machine Learning in the Legal Domain
Université de Montréal(蒙特利尔大学);Carnegie Mellon University(卡内基梅隆大学);Hofstra University(霍夫斯特拉大学);University of Pittsburgh(匹兹堡大学)
机器学习研究通常从过程早期创建的固定数据集开始。实验的重点是找到一个模型和训练过程,导致在一些选定的评估指标方面的最佳性能。本文探讨了数据集的变化如何影响模型的测量性能。我们使用三个来自法律领域的公开数据集,研究它们的大小、训练/测试分割以及人类标记准确性的变化如何影响经过训练的深度学习分类器的性能。我们评估整体表现(加权平均)以及每个类的表现。观察到的效果是令人惊讶的明显,特别是当考虑每类性能。我们研究如何“语义同质性”的一个类,即,句子在语义嵌入空间中的接近程度影响其分类的难度。所呈现的结果对人工智能和法律领域的数据汇集和管理工作具有深远的影响。结果还表明,可以考虑对数据集进行增强,以及ML模型的改进,作为提高AI & Law中各种任务分类性能的额外途径。最后,我们讨论了需要一个既定的方法来评估数据集属性的潜在影响。
2022-01-17 cs.AI cs.CL cs.LG
Fine-grained Intent Classification in the Legal Domain
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
一个法律从业者必须经历许多漫长的法律诉讼。为了了解法律案件中不同当事人/个人行为背后的动机,必须清楚地理解文档中表达与案件对应的意图的部分。在本文中,我们介绍了一个数据集的93个法律文件,属于案件类别的谋杀,土地纠纷,抢劫,或腐败,表达意图的短语相同的文件的类别进行了注释。此外,我们为每个这样的短语注释细粒度的意图,以使读者能够更深入地理解案例。最后,我们分析了几种基于transformer的模型在自动化提取意图短语(粗粒度和细粒度)的过程中的性能,并将文档分类为可能的4个类别之一,并观察到,我们的数据集具有挑战性,特别是在细粒度意图分类的情况下。
2022-05-06 cs.CL cs.IR cs.LG
LawInstruct: A Resource for Studying Language Model Adaptation to the Legal Domain
Stanford University(斯坦福大学);Johns Hopkins University(约翰斯·霍普金斯大学);the Moonshot Factory(Moonshot工厂);Princeton University(普林斯顿大学)
本研究构建法律指令数据集LawInstruct,覆盖58个数据集、17个司法管辖区和1200万示例,通过法律指令微调Flan-T5生成FLawN-T5,在LegalBench上提升50%性能且不损害通用能力。
2025-01-23 cs.AI cs.CL cs.LG
An Empirical Study on Cross-X Transfer for Legal Judgment Prediction
University of Bern(伯尔尼大学);University of Copenhagen(哥本哈根大学);Cognitiv+
跨语言迁移学习已被证明在各种自然语言处理(NLP)任务中非常有用,但它在法律NLP的背景下研究不足,而在法律判断预测(LJP)中根本没有。我们使用三种语言的Swiss-Judgment-Prediction数据集探索LJP上的迁移学习技术,包括用三种语言编写的案例。我们发现,跨语言迁移提高了跨语言的整体结果,特别是当我们使用基于适配器的微调。最后,我们通过使用3倍大的训练语料库,用原始文档的机器翻译版本来增强训练数据集,从而进一步提高模型的性能。在此基础上,我们分析了跨领域和跨地区转移的影响,即,训练跨域(法律领域)或区域的模型。我们发现,在这两种情况下(法律领域,原产地),所有群体训练的模型整体表现更好,同时在最坏情况下也有更好的结果。最后,我们报告了当我们雄心勃勃地应用跨司法管辖区转移时的改进结果,在那里我们进一步用印度的法律案件来增加我们的数据集。
2022-09-25 cs.AI cs.CL cs.LG
Named-Entity Linking Using Deep Learning For Legal Documents: A Transfer Learning Approach
Technische Universität München(慕尼黑工业大学)
在法律领域,重要的是要区分一般的词语,然后将相同实体的出现联系起来。解决这些问题的主题被称为命名实体链接(NEL)。目前为NEL设计的监督神经网络使用公开可用的数据集进行训练和测试。然而,本文特别关注的方面,应用迁移学习方法使用网络训练的NEL法律文件。实验表明,在本研究的范围内,从欧盟法律创建的法律数据集的一致改进。使用迁移学习方法,我们在合法的小型和大型测试数据集上达到了98.90\%和98.01\%的F1分数。
2018-10-15 cs.AI cs.CL cs.LG
Resolving Legalese: A Multilingual Exploration of Negation Scope Resolution in Legal Documents
University of Zurich(苏黎世大学);University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学)
本文针对法律文本否定范围消解缺乏领域语料及多语言性能不足的问题,发布德、法、意三语标注法院判决数据集,并通过零样本与多语言微调将token级F1分数分别提升至86.7%和91.1%。
2023-09-15 cs.AI cs.CL cs.LG
Legal Judgment Reimagined: PredEx and the Rise of Intelligent AI Interpretation in Indian Courts
Symbiosis Law School(symbiosis 法学院);IISER Kolkata(印度科学教育与研究学院加尔各答分校);Indian Institute of Technology Kanpur(坎普尔印度理工学院);Manipal University Jaipur(斋浦尔马尼帕尔大学)
本文提出印度法律领域最大的专家标注数据集 PredEx,通过指令微调大语言模型提升法律判决预测的准确性与可解释性,为法律界和 NLP 社区建立了有价值的基准。
2024-06-06 cs.AI cs.CL cs.LG
Attribution analysis of legal language as used by LLM
本文使用集成梯度归因技术对比分析法律LLM与通用BERT模型在法律数据集上的性能差异,发现分词器的差异化行为是导致模型表现不同的主要原因。
2025-01-28 cs.CL cs.LG
Scene-centric vs. Object-centric Image-Text Cross-modal Retrieval: A Reproducibility Study
University of Amsterdam(阿姆斯特丹大学);Amazon(亚马逊)
本研究通过CLIP和X-VLM在多个物体中心与场景中心数据集上的实验,发现跨模态检索结果不完全可复现,且物体中心分数显著偏低。
2023-10-10 cs.CV cs.IR cs.LG
SynLexLM: Scaling Legal LLMs with Synthetic Data and Curriculum Learning
Georgia Institue of Technology(佐治亚理工学院)
针对法律领域数据匮乏与通用预训练不足的问题,提出SynLexLM方法,结合课程学习与Gemini Pro合成数据增强预训练法律LLM,旨在提升BigLaw-Bench等基准性能并普及法律AI。
2025-04-29 cs.CL cs.LG