Legal Case Document Similarity: You Need Both Network and Text
估计两个法律案件文档之间的相似性是一个重要且具有挑战性的问题,具有各种下游应用,例如先前案例检索和引用推荐。有两种广泛的方法来完成这项任务--基于引文网络和基于文本。先前的基于引文网络的方法仅考虑对先前案例(也称为先例)的引用(PCNet)。这种方法忽略了成文法(一个司法管辖区的成文法)中固有的重要信号。在这项工作中,我们提出了层次SPCNet增强PCNet与法规的异构网络。我们将领域知识的法律文件的相似性到Hier-SPCNet,从而获得国家的最先进的结果,基于网络的法律文件的相似性。文本相似性和网络相似性都为法律案例的相似性提供了重要的信号,但到目前为止,只有微不足道的尝试已经统一了这两个信号。在这项工作中,我们采用了几种方法结合文本和网络信息来估计法律案件的相似性。我们对来自印度司法部门的法律案件文件进行了广泛的实验,其中文件对之间的黄金标准相似性由来自印度两个著名法律机构的法律专家判断。我们的实验表明,我们提出的基于网络的方法显着提高与领域专家的意见相比,现有的基于网络的法律文件相似性的方法。我们的最佳组合方法(结合了基于网络和基于文本的相似性)提高了与领域专家意见的相关性,比基于文本的最佳方法提高了11.8%,比基于网络的最佳方法提高了20.6%。我们还建立了我们的最佳性能的方法可以用来推荐/检索引用和类似的情况下,一个源(查询)的情况下,这是非常赞赏的法律专家。
2022-09-26 cs.IR
Legal Nugget Extraction for Granular Retrieval over Long Jurisprudential Texts
Universidade Federal do Cariri (UFCA)(卡拉伊里联邦大学)
研究长法律文本检索难题,提出提取法律要点并嵌入索引进行检索的方法,在四个基准上评估,结果显示该方法对部分法学数据集有显著提升,对其他场景效果有别,证明法律要点在特定法学搜索中有用。
2026-07-27 cs.IR
An Empirical Study on Transfer Learning for Privilege Review
保护特权通信和数据不被无意中泄露是美国法律实践中的一项重要任务。传统上,律师依靠关键词搜索和人工审查来确定案件中的特权文件。随着数据量的增加,这种方法在成本上变得越来越不合理。机器学习方法已经用于识别特权文档。鉴于法律案件中特权的可推广性,我们假设迁移学习可以利用从现有标记数据中学习到的知识来识别特权文档,而无需标记新的训练数据。本文针对法律文档审查中的特权文档分类任务,研究了传统机器学习模型和基于BERT的深度学习模型,并在三个带有特权标签的真实数据集上检验了迁移学习在特权模型中的有效性。我们的研究结果表明,BERT模型优于行业标准的逻辑回归算法,迁移学习模型可以在相同或相近领域的数据集上实现不错的性能。
2021-12-16 cs.IR
Explainable Text Classification Techniques in Legal Document Review: Locating Rationales without Using Human Annotated Training Text Snippets
针对法律文件审查中文本分类被视为“黑箱”的问题,提出自动化识别训练文本片段以定位相关理由的方法,在无需人工标注的情况下提升模型精确度并降低成本。
2023-11-15 cs.IR
Explainable Text Classification in Legal Document Review A Case Study of Explainable Predictive Coding
在当今的法律环境中,诉讼和监管调查要求公司开始越来越密集的以数据为中心的活动,以识别、收集和分析大量数据。当文件被提交审查时,这一过程可能需要公司投入大量的资源,无论是在人力资源方面,还是在使用基于技术的技术来智能筛选数据方面。几年来,律师们一直在使用各种工具来进行这项工作,最近,他们正在接受使用文本分类等机器学习技术来有效地剔除大量数据,以识别用于这些问题的响应文档。近年来,一批人工智能和机器学习研究人员一直在积极研究可解释人工智能。在可解释的人工智能系统中,行动或决策是人类可以理解的。在典型的法律“文件审查”情况下,只要文件中的一个或多个文本片段被认为是响应性的,就可以将文件标识为响应性的。在这些情况下,如果预测编码可以用来定位这些响应片段,那么律师可以很容易地评估模型的文档分类决策。当使用定义和可解释的结果进行部署时,预测编码可以通过减少审查文档所需的时间来大大提高文档审查过程的整体质量和速度。本文作者提出了可解释预测编码的概念和简单的可解释预测编码方法来定位响应文档中的响应片段。我们还报告了我们的初步实验结果,使用的数据从实际的法律问题,需要这种类型的文件审查。
2019-04-03 cs.IR
Extracting Complex Named Entities in Legal Documents via Weakly Supervised Object Detection
本文提出首个将弱监督目标检测用于文档布局分析的系统,以提取法律文档中的不连续复杂命名实体,实验证明在标注数据有限时优于有监督基线。
2023-05-10 cs.IR
Automated Attribute Extraction from Legal Proceedings
针对未决案件积压问题,提出刑事案件诉讼的多样化属性,利用最先进的序列标注框架自动提取,并在法律判决预测任务中验证了其有效性。
2023-10-18 cs.IR
Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Indian Institute of Science Education and Research Kolkata(印度科学教育与研究所加尔各答分校)
法律判决书摘要是法律自然语言处理中的一个难题。然而,没有太多的分析存在如何不同的家庭的摘要模型(例如,提取与抽象)应用于法律案例文档时执行。这个问题特别重要,因为许多最近的基于transformer的抽象摘要模型对输入标记的数量有限制,并且已知法律文档非常长。此外,如何最好地评估法律案例文档摘要系统是一个悬而未决的问题。在本文中,我们进行了广泛的实验,几个提取和抽象的摘要方法(监督和无监督)在三个法律摘要数据集,我们已经开发。我们的分析,包括法律从业者的评价,导致一些有趣的见解,在具体的法律摘要和一般的长文件摘要。
2022-10-14 cs.CL cs.IR
Hier-SPCNet: A Legal Statute Hierarchy-based Heterogeneous Network for Computing Legal Case Document Similarity
计算两个法律案例文档之间的相似度是法律信息检索中一个重要且具有挑战性的任务,文献中已经提出了基于文本和基于网络的相似度度量。所有先前的基于网络的相似性方法都只考虑案例文档之间的先例引文网络(PCNet)。然而,这种方法忽略了法律知识的一个重要来源--适用于给定法律管辖区的法律法规的层次结构(例如,国家)。我们建议增加PCNet与法律法规的层次结构,形成一个异构网络Hier-SPCNet,案例文件和法规之间的引用链接,以及引用和层次之间的联系的法规。一组印度最高法院的案件文件的实验表明,我们提出的异构网络,使显着更好的文档相似性估计相比,现有的方法使用PCNet。我们还表明,所提出的基于网络的方法可以补充基于文本的措施,更好地估计法律文件的相似性。
2020-07-07 cs.CY cs.IR cs.SI
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);L3S Research Center(L3S研究中心)
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的,几个算法已经开发了专门用于总结法律案例文档。然而,大多数现有的算法没有系统地纳入领域知识,指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距,我们提出了一个无监督的摘要算法DELSumm,旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明,我们提出的无监督方法优于几个强基线的ROUGE分数,包括一般的摘要算法和法律特定的。事实上,尽管我们提出的算法是无监督的,但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Lexplorer: Navigating the Complexity of Legal Document Landscapes
Data Analysis and Visualization Lab University of Konstanz(康斯坦茨大学数据分析与可视化实验室);Telos Lab Aalto University(阿尔托大学Telos实验室)
针对法律文档复杂性,提出Lexplorer界面,基于用户意图分类法支持探索导航分析,经法律学者评估验证,促进法律中的适应性意义构建。
2026-09-16 cs.HC cs.IR
A Dataset of German Legal Documents for Named Entity Recognition
DFKI GmbH(德国人工智能研究中心)
我们描述了一个数据集开发的命名实体识别在德国联邦法院的判决。它由近似。67,000个句子,超过200万个代币。该资源包含54,000个手动注释的实体,映射到19个细粒度的语义类:人,法官,律师,国家,城市,街道,景观,组织,公司,机构,法院,品牌,法律,条例,欧洲法律规范,法规,合同,法院判决和法律文献。此外,法律文件还自动标注了35,000多个基于TimeML的时间表达式。该数据集在CC-BY 4.0许可下以CoNNL-2002格式提供,旨在为欧盟项目Lynx中的德国法律文件培训NER服务。
2020-03-29 cs.CL cs.IR
Empirical Study of Deep Learning for Text Classification in Legal Document Review
Ankura(安库拉)
预测编码已广泛用于法律事务中,以在大量电子存储的信息中找到相关或特权文档。它大大节省了时间和成本。逻辑回归(LR)和支持向量机(SVM)是预测编码中常用的两种机器学习算法。最近,深度学习在许多行业受到了广泛的关注。本文报告了我们在法律文件审查中使用深度学习的初步研究。具体而言,我们进行了实验,以比较深度学习结果与使用SVM算法在四个真实法律事务数据集上获得的结果。实验结果表明,CNN在训练数据量较大的情况下具有较好的分类效果,是一种适合于法律行业文本分类的方法。
2019-04-03 cs.IR cs.LG
A Study of Prior Case Retrieval Using Lexical, Semantic, and Rhetorical Role Information in Indian Legal Documents
National Institute of Technology, Tiruchirappalli(国立技术学院特鲁奇拉帕利分校);National Institute of Karnataka, Surathkal(卡纳塔克国立学院苏拉萨尔分校)
本研究针对印度法律先例检索,提出结合修辞角色、查询分割与冻结验证融合的四阶段流水线,显著优于单一角色和全文检索,并揭示了LLM重排序器的评估偏差。
2026-10-07 cs.IR
Legal Document Retrieval using Document Vector Embeddings and Deep Learning
University of Moratuwa(莫拉图瓦大学);University of London(伦敦大学)
特定领域信息检索过程是自然语言处理领域的一个重要研究方向。许多研究人员已经采用了不同的技术来克服技术和领域的特异性,并为各种感兴趣的领域提供了一个成熟的模型。这些研究中的主要瓶颈是领域专家之间的严重耦合,这使得整个过程非常耗时和繁琐。在这项研究中,我们已经开发了三种新的模式,通过提供的在线存储库生成的黄金标准进行比较,特别是法律领域。这三种不同的模型结合了法律领域的向量空间表示,其中文档向量生成是在两种不同的机制中完成的,并且是上述两种机制的集合。本研究包含的研究正在进行的过程中表示法律案件文件到不同的向量空间,同时将语义词的措施和自然语言处理技术。在这项研究中建立的集成模型,显示出显着更高的准确性水平,这确实证明了需要将特定领域的语义相似性措施纳入信息检索过程。这项研究还表明,不同分布的词相似性措施的影响,对不同的文档向量的尺寸,这可能会导致法律信息检索的过程中的改进。
2018-05-27 cs.CL cs.IR
FOMO: Topics versus documents in legal eDiscovery
在美国,诉讼的当事人必须搜索他们以电子方式存储的信息,以找到与具体案件有关的文件,并将其提交给对方当事人。关于这些搜索范围的谈判往往反映出一种担心,即会错过一些东西(害怕错过:FOMO)。例如,召回级别为80%,意味着20%的相关文档将无法生成。本文认为,eDiscovery是识别响应信息而不是识别文档的过程。文件是信息的载体;它们不是过程的直接目标。给定文档可以包含一个或多个主题或仿真信息,并且仿真信息可以出现在多个文档中。优惠券收集器问题、堆定律和其他分析提供了对从文档中查找信息的问题建模的方法。然而,在电子证据开示中,当事人不知道集合中可能有多少事实或其概率。本文描述了一个简单的模型,估计的信心,一个事实将被遗漏的生产集(识别集),而被包含在错过的集。然后分析两个数据集,一个小的集涉及microaggressions和较大的集涉及分类的网页。两者都表明,在相对少量的文档中发现每个可用主题的至少一个示例是可能的,这意味着进一步的努力不会返回额外的新信息。较小的数据集还用于调查eDiscovery中常用的搜索响应文档的非随机顺序(称为连续主动学习)是否会影响主题的分布-它不会。
2021-09-16 cs.IR
Evaluating Document Representations for Content-based Legal Literature Recommendations
Open Legal Data(开放法律数据);German Research Center for Artificial Intelligence(德国人工智能研究中心);ETH Zurich(苏黎世联邦理工学院);University of Wuppertal(伍珀塔尔大学)
推荐系统帮助法律专业人士找到相关文献来支持他们的案件。尽管它的重要性的专业,法律应用并没有反映在推荐系统和表示学习研究的最新进展。同时,法律推荐系统通常在没有任何公共基准数据集的情况下在小规模用户研究中进行评估。因此,这些研究的重现性有限。为了解决研究与实践之间的差距,我们探索了一套国家的最先进的文件表示方法检索语义相关的美国判例法的任务。我们评估基于文本的(例如,fastText、Transformers)、基于引用的(例如,DeepWalk,Poincaré)和混合方法。我们使用两种银标准对2,964份文件进行了注释,共比较了27种方法。银标准是从Open Case Book和Wikispecies新创建的,可以在开放许可下重复使用,以促进可重复性。我们的实验表明,来自平均fastText单词向量(在法律语料库上训练)的文档表示产生了最好的结果,紧随其后的是庞加莱引用嵌入。以混合方式组合fastText和Poincaré进一步改善了整体结果。除了整体性能外,我们还根据文档长度,引用计数和建议的覆盖范围分析了这些方法。我们在https://github.com/malteos/legal-document-similarity/上公开我们的源代码、模型和数据集。
2021-04-28 cs.CL cs.IR
Cross-domain Retrieval in the Legal and Patent Domains: a Reproducibility Study
领域特定搜索一直是一个具有挑战性的信息检索任务,由于一些挑战,如领域特定的语言,独特的任务设置,以及缺乏可访问的查询和相应的相关性判断。在过去的几年里,预先训练的语言模型,如BERT,彻底改变了网络和新闻搜索。自然,社区的目标是使这些进步适应特定领域搜索的检索模型的跨域转移。在法律文档检索的背景下,Shao等人通过使用语言模型BERT对段落级交互进行建模,提出了BERT-PLI框架。在本文中,我们重现了原始实验,我们澄清了预处理步骤,为框架步骤添加了缺失的脚本,并研究了不同的评估方法,但我们无法重现评估结果。与原始论文相反,我们证明了特定领域的段落级建模并没有出现,以帮助性能的BERT-PLI模型相比,段落级建模与原来的BERT。除了我们的法律检索再现性研究,我们调查BERT-PLI在专利领域的文档检索。我们发现,BERT-PLI模型还没有实现性能改进的专利文献检索相比,BM 25基线。此外,我们评估的BERT-PLI模型的跨域检索之间的法律和专利领域的各个组件,无论是在一个段落和文档级别。我们发现,BERT-PLI模型的段落级上的传输导致两个域之间的可比结果,以及第一个有希望的结果跨域传输的文件级。为了提高可重复性和透明度,并使社区受益,我们公开了我们的源代码和训练模型。
2021-01-19 cs.IR
Attentive Deep Neural Networks for Legal Document Retrieval
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);National Institute of Informatics(日本国立信息学研究所);Posts and Telecommunications Institute of Technology(邮电技术学院)
本文针对法律文档检索中长文本表示难题,提出基于注意力机制的Attentive CNN和Paraformer层次化模型,在多语言数据集上验证其优于非神经方法及现有最优方法。
2022-12-13 cs.CL cs.IR
JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System
DCST, Tsinghua University(清华大学数据科学研究院)
本文提出JuDGE基准,用于评估中国法律系统中的判决书生成任务,通过构建真实案件数据集与外部法律语料库,并联合法律专家建立自动化评估框架,验证了少样本学习、微调及多源RAG方法,发现RAG有效但仍有改进空间。
2025-04-30 cs.AI cs.CL cs.IR
A Framework for Explainable Text Classification in Legal Document Review
Cleary Gottlieb Steen & Hamilton LLP(克利里戈特利布斯蒂恩汉密尔顿律师事务所);Ankura Consulting Group, LLC(安库拉咨询集团有限责任公司)
公司经常花费数百万美元制作电子存储的法律文件。最近,“法律通道”两边的各方都接受使用文本分类等机器学习技术来剔除大量数据,并识别用于这些问题的响应文档。虽然文本分类经常用于降低法律事务中的发现成本,但它也面临着一个特殊的认知挑战:在律师中,这项技术有时被视为“黑匣子”,为律师提供的信息很少,无法理解为什么文件被归类为响应性文件。近年来,一群人工智能和机器学习研究人员一直在积极研究可解释的人工智能,其中的行为或决策是人类可以理解的。在法律文档审阅场景中,如果文档的一个或多个文本片段被认为是响应的,则可以将文档标识为响应的。在这些情况下,如果可以使用文本分类来定位这些片段,那么律师可以很容易地评估模型的分类决策。当使用定义和可解释的结果部署时,文本分类可以通过减少审查时间来大大提高审查过程的整体质量和速度。此外,可解释的预测编码为律师提供了对监督学习任务结果的更大信心。本文描述了一个框架,可解释的文本分类作为一个有价值的工具,在法律服务:提高法律文件审查的质量和效率,并协助在响应文件中定位响应片段。该框架已在我们的法律分析产品中实施,该产品已用于数百起法律事务。我们还报告了我们的实验结果使用的数据,从实际的法律问题,使用这种类型的文件审查。
2019-12-19 cs.AI cs.IR cs.LG
On Minimizing Cost in Legal Document Review Workflows
技术辅助审查(TAR)是指用于法律发现和其他高召回审查任务中的文档审查的人在回路机器学习工作流。律师和法律技术专家一直在争论审查是否应该是一个单一的迭代过程(单阶段TAR工作流程),或者模型培训和审查是否应该是分开的(两阶段TAR工作流程),这对主动学习算法的选择有影响。不同目的(培训与审查)和不同文档(正面与负面示例)的人工标记的相对成本是这场辩论中被忽视的关键因素。使用一种新的成本动态分析,我们分析和经验表明,这些相对成本强烈影响是否一个阶段或两个阶段的工作流程最大限度地降低成本。我们还展示了类别流行率、分类任务难度和集合大小如何影响工作流类型的最佳选择,以及主动学习方法和停止点的最佳选择。
2021-06-18 cs.HC cs.IR
Methods for Computing Legal Document Similarity: A Comparative Study
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Tata Research Development and Design Centre (TRDDC)(塔塔研究开发与设计中心(TRDDC));Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Cyber Security CRC(网络安全合作研究中心)
计算法律文本之间的相似度是法律信息检索领域中一个重要而又具有挑战性的课题。发现相似的法律文档在下游任务中有许多应用,包括先前案例检索、法律文章推荐等。先前的工作已经提出了两种广泛的测量法律文档之间相似性的方法-分析先例引文网络和基于文本内容相似性度量来测量相似性。但是还没有在一个共同的平台上对这些现有方法进行全面的比较。在本文中,我们执行现有的方法的第一个系统的分析。此外,我们还探索了两种有前途的新的相似度计算方法-一种是基于文本的,另一种是基于网络嵌入的,这是迄今为止还没有考虑过的。
2020-04-26 cs.CL cs.IR cs.LG
Legal document retrieval across languages: topic hierarchies based on synsets
立法文本的跨语言注释使我们能够探索多语言法律数据中涵盖的主要主题,并且在搜索类似文件时是语义相似性的关键促进因素。多语言概率主题模型是近年来出现的一组半监督机器学习模型,可用于对多种语言的文本集合进行主题探索。然而,这些方法需要主题对齐的训练数据来创建独立于语言的空间,这限制了可以使用该技术的场景的数量。在这项工作中,我们提供了一个无监督的文档相似性算法的基础上,层次结构的多语言的概念来描述跨语言的主题。该算法不需要并行或可比的语料库,或任何其他类型的翻译资源。在英语,西班牙语,法语和葡萄牙语版本的JCR-Accounts语料库上进行的实验显示,按相似内容对文档进行分类和排序的结果很有希望。
2019-11-28 cs.DL cs.IR
A Hierarchical Neural Framework for Classification and its Explanation in Large Unstructured Legal Documents
IRIT(信息、机器人与信息技术研究所)
本文提出分层神经框架MESc和解释提取算法ORSE,用于解决长且无结构标注的法律文档判决预测与解释问题,并在多国法律数据集上验证其优于现有方法。
2024-06-27 cs.IR cs.LG
LEEC: A Legal Element Extraction Dataset with an Extensive Domain-Specific Label System
Tsinghua University(清华大学)
针对现有法律要素提取数据集覆盖不足的问题,本文构建了包含15,831份司法文书和159个标签的LEEC数据集,并验证其在文档事件提取任务中的适用性。
2023-10-10 cs.CL cs.IR
Improving Vietnamese Legal Document Retrieval using Synthetic Data
BKAI Research Center(BKAI研究中心);School of Information and Communication Technology(信息与通信技术学院);Hanoi University of Science and Technology(河内理工大学)
针对越南语法律问答缺乏大型标注数据的问题,本文利用大型语言模型生成多样化合成查询,并预训练和微调 bi-encoder 与 ColBERT,显著提升了法律文档检索准确率。
2024-12-01 cs.AI cs.IR
Joint Span Segmentation and Rhetorical Role Labeling with Data Augmentation for Legal Documents
Technical University of Munich(慕尼黑工业大学)
法律判决书的切分和修辞角色标注在判决书的检索和相关任务中起着至关重要的作用,包括案例摘要、语义搜索、论点挖掘等。在这项工作中,我们重新制定的任务在跨度水平识别跨度的多个连续的句子,共享相同的修辞角色标签通过分类分配。我们采用半马尔可夫条件随机场(CRF),共同学习跨度分割和跨度标签分配。我们进一步探讨了三种数据增强策略,以缓解法律专业领域的数据稀缺性,其中单个文档往往很长,注释成本很高。我们的实验表明,在CRF基线的跨度级预测指标与半马尔可夫CRF模型的改善。这种好处取决于文档中是否存在多个句子跨度。
2023-02-13 cs.CL cs.IR
Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review
Sidley Austin LLP(世达律师事务所);AT&T Services, Inc.(美国电话电报公司服务部);Ankura(安库拉咨询公司)
研究表明,卷积神经网络(CNN)可以有效地应用于文本分类,作为预测编码协议的一部分。也就是说,到目前为止,大多数研究都是在短文档的数据集上进行的,这些短文档并不能反映真实世界文档审查中的文档种类。使用来自不同长度文档的四个实际评论的数据,我们将CNN与其他流行的文本分类机器学习算法进行了比较,包括Logistic回归,支持向量机和随机森林。对于每个数据集,使用不同的学习算法用不同的训练样本量训练分类模型。然后使用大量随机抽样的文档测试集对这些模型进行评估,并使用精确度和召回率曲线对结果进行比较。我们的研究表明,CNN表现良好,但没有一种算法在数据集和训练样本大小的组合中表现最好。这些结果将有助于推进对法律行业使用机器学习算法的研究,以最大限度地提高性能。
2019-12-19 cs.IR cs.LG
Multi-Task Deep Learning for Legal Document Translation, Summarization and Multi-Label Classification
法律领域的数字化已经持续了几年。在这个过程中,不同机器学习(ML)技术的应用至关重要。诸如法律文件或合同条款的分类以及这些文件的翻译等任务具有高度相关性。另一方面,这一领域的数字化文件几乎无法获得,特别是在德国。当今,深度学习(DL)是一个热门话题,有许多出版物和各种应用。有时它提供的结果超过了人类的水平。因此,这种技术在法律领域也是可行的。然而,DL需要数千个样本才能提供像样的结果。这个问题的一个潜在解决方案是多任务DL,以实现迁移学习。这一办法或许能够克服法律领域的数据稀缺问题,特别是德语方面的数据稀缺问题。我们将最先进的多任务模型应用于三个任务:翻译,摘要和多标签分类。实验是在法律文档语料库上进行的,使用了几种任务组合以及各种模型参数。目标是为法律领域内的现有任务找到最佳配置。多任务DL方法在所有三项任务中的性能均优于最新技术水平。这为在法律领域更有效地整合DL技术开辟了新的方向。
2018-10-16 cs.CL cs.IR cs.LG
An Evaluation Framework for Legal Document Summarization
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
一个法律从业者必须经历许多冗长的法律案件诉讼程序,他们的做法的各种类别,如土地纠纷,腐败等,因此,重要的是要总结这些文件,并确保摘要包含短语与意图匹配的案件类别。据我们所知,没有一个评估指标可以根据摘要的意图来评估摘要。我们提出了一个自动化的基于意图的摘要度量,它显示了更好的协议与人类的评价相比,其他自动化的指标,如BLEU,ROUGE-L等。我们还通过在法律文件中注释意图短语来管理数据集,并展示了如何自动化该系统的概念证明。此外,生成可重复结果的所有代码和数据都可以在Github上获得。
2022-05-17 cs.CL cs.IR cs.LG
Use of Artificial Intelligence to Analyse Risk in Legal Documents for a Better Decision Support
PricewaterhouseCoopers Pvt Ltd.(普华永道私人有限公司)
评估大量法律文件的风险,如征求建议书;合同是繁琐和容易出错的。我们开发了一个基于机器学习和自然语言处理的框架“risk-o-meter”,以审查和评估任何法律文件的风险。我们的框架使用段落向量,一个无监督的模型来生成文本的向量表示。这使得框架能够学习法律术语的上下文关系,并生成合理的上下文感知嵌入。然后,该框架将向量空间馈送到监督分类算法中,以预测段落是否属于预先定义的风险类别。因此,该框架提取了容易产生风险的段落。该技术有效地克服了基于关键字的搜索的局限性。对于具有最大训练数据集的风险类别,我们实现了91%的准确率。该框架将帮助组织优化工作,以最少的人为干预从大型文档库中识别风险,从而有助于降低风险的可持续增长。它的机器学习能力使其可扩展,以发现除法律文档外的任何类型的文档中的相关信息,前提是库是按人口填充的和丰富的。
2019-11-22 cs.AI cs.CL cs.IR
Structured Legal Document Generation in India: A Model-Agnostic Wrapper Approach with VidhikDastaavej
Indian Institute of Technology Kanpur, India(印度理工学院坎浦分校);University of Birmingham Dubai, UAE(迪拜大学);Symbiosis Law School Pune, India(萨比欧法学院皮尔分校);IISER Kolkata, India(印度科学学院科钦分校)
本文提出VidhikDastaavej数据集和Model-Agnostic Wrapper框架,用于解决印度私人文书结构生成问题,提升事实准确性、连贯性和完整性。
2026-03-25 cs.AI cs.CL cs.IR
Finding Needles in Emb(a)dding Haystacks: Legal Document Retrieval via Bagging and SVR Ensembles
Goethe University Frankfurt(法兰克福大学)
本文面向 GerDaLIR 法律检索,将任务拆解为多个二元“大海捞针”子问题,并用 bagging 与 SVR 投票集成在嵌入空间中检索,在不训练深度学习模型的情况下提升召回率。
2025-01-09 cs.AI cs.IR
SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval
Tsinghua University(清华大学);Quan Cheng Laboratory(泉城实验室);Zhongguancun Laboratory(中关村实验室);Huawei Cloud BU(华为云业务部)
本文提出结构感知预训练语言模型 SAILER,通过利用法律文书结构、关注关键法律要素并融合多预训练目标,在无法律标注情况下提升法律案件检索性能。
2023-04-22 cs.CL cs.IR
LawSum: A weakly supervised approach for Indian Legal Document Summarization
Dhirubhai Ambani Institute of Information and Communication Technology(迪鲁巴伊·安巴尼信息与通信技术学院);Malaviya National Institute of Technology(马拉维亚国家理工学院);Paramonic AI
与西方国家的法院不同,印度司法机构的公共记录完全是无结构的,而且很嘈杂。到目前为止,还没有大规模的公开的印度法律文件注释数据集。这限制了法律分析研究的范围。在这项工作中,我们提出了一个新的数据集,由印度最高法院的10,000多个判决及其相应的手写摘要组成。建议的数据集通过规范化常见的法律缩写,处理命名实体中的拼写变化,处理错误的标点符号和准确的句子标记来进行预处理。每个句子都有其修辞作用的标签。我们还对每项判决进行了注释,其中包括日期、原告、被告及其代表的姓名、作出判决的法官、引用的法令/法规以及用于引用判决的最常见引用。此外,我们提出了一个自动标签技术,用于识别具有摘要价值的信息的句子。我们证明,这种自动标记的数据可以有效地用于训练一个弱监督的句子提取器具有高精度。除了法律文件摘要之外,该数据集的一些可能的应用可以用于检索,引文分析和预测特定法官的判决。
2021-10-23 cs.AI cs.CL cs.IR
Towards Reliable Retrieval in RAG Systems for Large Legal Datasets
Technical University of Darmstadt(德意志联邦共和国达姆斯塔特技术大学);University of Trento(特伦托大学);University of Florence(佛罗伦萨大学);University of Bologna(博洛尼亚大学);European University Institute(欧洲大学研究所)
本文针对大型法律数据集中RAG系统检索不可靠问题,提出摘要增强分块(SAC)技术,通过注入文档级上下文显著减少文档级检索不匹配,提升检索精度与召回率,且优于领域知识定制方法。
2025-10-08 cs.CL cs.IR
Labeling Case Similarity based on Co-Citation of Legal Articles in Judgment Documents with Empirical Dispute-Based Evaluation
National Chengchi University(国立政治大学)
针对法律推荐系统标注数据集有限的问题,提出利用法律条文共引建立案例相似性并实现算法标注,结合微调文本嵌入模型和BiLSTM模块评估,推动了法律文件自动标注技术发展。
2025-04-29 cs.AI cs.CL cs.DL
Legal Document Classification: An Application to Law Area Prediction of Petitions to Public Prosecution Service
MPPR(巴拉那州检察院);UFPR(巴拉那联邦大学);SAP SE(SAP公司)
近年来,人们越来越关注将自然语言处理(NLP)应用于法律文档。当应用于文本分类问题时,例如情感分析和文档的主题分割,卷积和递归神经网络以及词嵌入技术的使用已经呈现出有希望的结果。本文建议使用NLP技术进行文本分类,目的是对巴拉那州检察官办公室在该机构所涵盖的法律领域之一向民众提供的服务的描述进行分类。我们的主要目标是自动化将请愿书分配到各自法律领域的过程,从而减少与此过程相关的成本和时间,同时允许将人力资源分配给更复杂的任务。在本文中,我们比较了上述任务中的不同单词表示方法:包括文档术语矩阵和一些不同的词嵌入。关于分类模型,我们评估了三种不同的家族:线性模型、提升树和神经网络。在特定领域语料库上训练的Word2Vec和递归神经网络(RNN)架构(更具体地说,LSTM)的组合获得了最佳结果,在18个类别(法律领域)的分类中,准确率为90%,F1得分为85%。
2020-10-13 cs.IR cs.LG
Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents
Syntheia Pty Ltd(合成有限公司)
研究如何在交易法律文件分析中高效检索,对比全语料库注入与两种结构化检索模式(NAVEMBED和NAVINDEX),发现NAVINDEX在令牌占用、上下文及成本方面优势明显,还得出缓存交叉规则。
2026-07-08 cs.CL cs.IR
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息,如标签或重要特征,已经开发出方法来执行分类和主题建模任务;然而,大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中,我们提出了一种方法,即引导半监督非负矩阵分解(GSSNMF),进行分类和主题建模,将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能,该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明,我们提出的方法提高了分类精度和主题一致性相比,过去的方法,如半监督非负矩阵分解(SSNMF)和引导非负矩阵分解(引导NMF)。
2022-01-31 cs.IR cs.LG stat.ML
Extracting Fairness Policies from Legal Documents
IIIT Delhi(德里印度理工学院);IBM Research(IBM研究院)
机器学习社区最近正在探索偏见和公平性对人工智能应用的影响。这些应用的公平性定义根据其应用领域而有所不同。在给定上下文中管理这种机器学习系统的使用的策略由国家的宪法法律和由参与使用的组织执行的监管策略来定义。与公平相关的法律和政策通常分布在宪法、协议和组织条例等大型文件中。这些法律文件具有较长的复杂句子,以实现严谨性和健壮性。自动提取公平策略,或者一般来说,从大型法律语料库中提取任何特定类型的策略,对于研究人工智能应用背景下的偏见和公平性非常有用。我们试图自动提取公平政策,从公开的法律文件使用两种方法的基础上语义相关性。实验揭示了经典的基于Wordnet的相似性和基于向量的相似性在解决这个任务方面的不同。我们已经证明,基于词向量的相似性以较大的幅度击败了经典方法,而其他意义和句子的向量表示甚至无法匹配经典基线。此外,我们还提供了全面的错误分析和推理,以通过数据集中的适当示例解释结果,以获得更深入的见解。
2018-09-12 cs.IR cs.LG stat.ML
Fine-grained Intent Classification in the Legal Domain
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
一个法律从业者必须经历许多漫长的法律诉讼。为了了解法律案件中不同当事人/个人行为背后的动机,必须清楚地理解文档中表达与案件对应的意图的部分。在本文中,我们介绍了一个数据集的93个法律文件,属于案件类别的谋杀,土地纠纷,抢劫,或腐败,表达意图的短语相同的文件的类别进行了注释。此外,我们为每个这样的短语注释细粒度的意图,以使读者能够更深入地理解案例。最后,我们分析了几种基于transformer的模型在自动化提取意图短语(粗粒度和细粒度)的过程中的性能,并将文档分类为可能的4个类别之一,并观察到,我们的数据集具有挑战性,特别是在细粒度意图分类的情况下。
2022-05-06 cs.CL cs.IR cs.LG
Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Mining
Faculty of Computer Science, University of Information Technology, Ho Chi Minh City, Vietnam(信息科技学院计算机科学系,胡志明市,越南);Faculty of Information Science and Engineering, University of Information Technology, Ho Chi Minh City, Vietnam(信息科技学院信息科学与工程系,胡志明市,越南);Laboratory of Multimedia Communications, University of Information Technology, Ho Chi Minh City, Vietnam(信息科技学院多媒体通信实验室,胡志明市,越南);Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学,胡志明市,越南)
本文提出一个由双编码器检索和交叉编码器重排序组成的两阶段法律文档检索框架,通过半困难负样本挖掘和 Exist@m 指标优化训练,在 SoICT Hackathon 2024 中以轻量级方案取得前三名。
2025-07-19 cs.CL cs.IR
CDJUR-BR -- A Golden Collection of Legal Document from Brazilian Justice with Fine-Grained Named Entities
Universidade de Fortaleza(福塔莱萨大学);Instituto Federal de Educação, Ciência e Tecnologia do Ceará(塞阿拉联邦教育、科学与技术学院);Tribunal de Justiça do Estado do Ceará(塞阿拉州法院)
本文构建了巴西司法系统细粒度法律命名实体黄金标准集合CDJUR-BR,并基于BERT训练NER模型,验证了该集合在法律实体识别中的优势。
2023-05-20 cs.AI cs.CL cs.IR
QBR: A Question-Bank-Based Approach to Fine-Grained Legal Knowledge Retrieval for the General Public
The University of Hong Kong(香港大学)
QBR方法通过构建问题库提升大众对法律知识的细粒度检索能力,实现更准确、高效且可解释的检索结果。
2025-05-08 cs.AI cs.IR
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock(阿拉巴马州立大学)
本文提出一种结合语义相似度过滤机制的混合Transformer模型,以增强Legal-BERT在法律实体识别中的准确率,在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
LegalSeg: Unlocking the Structure of Indian Legal Judgments Through Rhetorical Role Classification
IIT Kanpur(印度理工学院坎普尔分校);IISER Kolkata(印度科学教育与研究学院加尔各答分校);Symbiosis Law School Pune(共生法律学院浦那分校)
本文针对印度法律判决的语义分割任务提出LegalSeg大型标注数据集,评估多种先进模型后发现融合上下文等信息的模型性能更优,为法律NLP研究奠定基础。
2025-02-09 cs.AI cs.CL cs.IR
Segment First, Retrieve Better: Realistic Legal Search via Rhetorical Role-Based Queries
IIT Kanpur(印度IIT坎浦尔);IISER Kolkata(印度IISER科希拉);Symbiosis Law School Pune(印度西布罗德法律学校)
针对传统法律判例检索受文档数量增长和案件信息有限制约的问题,提出TraceRetriever方法,通过提取修辞显著片段、融合多模型检索结果实现高效检索,在相关数据集上验证了其可靠性与可扩展性。
2025-08-01 cs.AI cs.CL cs.IR
Threshold-Based Retrieval and Textual Entailment Detection on Legal Bar Exam Questions
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学)
对法律领域进行概述已成为一项挑战,特别是在广泛的国际背景下。法律问答系统有可能通过自动检索特定声明的相关法律文本并检查是否可以从找到的文档中推断出声明的含义来减轻这一任务。我们研究了Elasticsearch的BM 25评分方法与在德国和日本民法的英语翻译上训练的词嵌入的组合。为此,我们定义的标准,选择一个动态数量的相关文件,根据阈值分数。与基线相比,利用两个深度学习分类器及其各自的预测偏差以及基于阈值的答案包含标准已被证明对文本蕴涵任务是有益的。
2019-05-30 cs.CL cs.IR cs.LG
The Massive Legal Embedding Benchmark (MLEB)
Isaacus
本研究提出迄今规模最大、最全面的开源法律信息检索基准MLEB,含10个专家标注数据集(7个为新建),覆盖多司法辖区、文档类型与任务,公开相关资源以支撑可复现评估。
2025-10-22 cs.AI cs.CL cs.IR