Use of Artificial Intelligence to Analyse Risk in Legal Documents for a Better Decision Support
PricewaterhouseCoopers Pvt Ltd.（普华永道私人有限公司）
评估大量法律文件的风险，如征求建议书;合同是繁琐和容易出错的。我们开发了一个基于机器学习和自然语言处理的框架“risk-o-meter”，以审查和评估任何法律文件的风险。我们的框架使用段落向量，一个无监督的模型来生成文本的向量表示。这使得框架能够学习法律术语的上下文关系，并生成合理的上下文感知嵌入。然后，该框架将向量空间馈送到监督分类算法中，以预测段落是否属于预先定义的风险类别。因此，该框架提取了容易产生风险的段落。该技术有效地克服了基于关键字的搜索的局限性。对于具有最大训练数据集的风险类别，我们实现了91%的准确率。该框架将帮助组织优化工作，以最少的人为干预从大型文档库中识别风险，从而有助于降低风险的可持续增长。它的机器学习能力使其可扩展，以发现除法律文档外的任何类型的文档中的相关信息，前提是库是按人口填充的和丰富的。
2019-11-22 cs.AI cs.CL cs.IR
JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System
DCST, Tsinghua University（清华大学数据科学研究院）
本文提出JuDGE基准，用于评估中国法律系统中的判决书生成任务，通过构建真实案件数据集与外部法律语料库，并联合法律专家建立自动化评估框架，验证了少样本学习、微调及多源RAG方法，发现RAG有效但仍有改进空间。
2025-04-30 cs.AI cs.CL cs.IR
Hier-SPCNet: A Legal Statute Hierarchy-based Heterogeneous Network for Computing Legal Case Document Similarity
计算两个法律案例文档之间的相似度是法律信息检索中一个重要且具有挑战性的任务，文献中已经提出了基于文本和基于网络的相似度度量。所有先前的基于网络的相似性方法都只考虑案例文档之间的先例引文网络（PCNet）。然而，这种方法忽略了法律知识的一个重要来源--适用于给定法律管辖区的法律法规的层次结构（例如，国家）。我们建议增加PCNet与法律法规的层次结构，形成一个异构网络Hier-SPCNet，案例文件和法规之间的引用链接，以及引用和层次之间的联系的法规。一组印度最高法院的案件文件的实验表明，我们提出的异构网络，使显着更好的文档相似性估计相比，现有的方法使用PCNet。我们还表明，所提出的基于网络的方法可以补充基于文本的措施，更好地估计法律文件的相似性。
2020-07-07 cs.CY cs.IR cs.SI
Methods for Computing Legal Document Similarity: A Comparative Study
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Tata Research Development and Design Centre (TRDDC)（塔塔研究开发与设计中心（TRDDC））；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Cyber Security CRC（网络安全合作研究中心）
计算法律文本之间的相似度是法律信息检索领域中一个重要而又具有挑战性的课题。发现相似的法律文档在下游任务中有许多应用，包括先前案例检索、法律文章推荐等。先前的工作已经提出了两种广泛的测量法律文档之间相似性的方法-分析先例引文网络和基于文本内容相似性度量来测量相似性。但是还没有在一个共同的平台上对这些现有方法进行全面的比较。在本文中，我们执行现有的方法的第一个系统的分析。此外，我们还探索了两种有前途的新的相似度计算方法-一种是基于文本的，另一种是基于网络嵌入的，这是迄今为止还没有考虑过的。
2020-04-26 cs.CL cs.IR cs.LG
Empirical Evaluations of Active Learning Strategies in Legal Document Review
一种类型的机器学习，文本分类，现在经常应用于涉及大量文件的法律事务，因为它可以减少与审查这些文件相关的时间和费用。机器学习的一种形式--主动学习--引起了法律界的关注，因为它提供了使机器学习过程更加有效的潜力。应用于法律文件的主动学习被认为是法律领域的一项新技术，并持续应用于法律事项中的所有文件，直到留下少量相关文件供审查。这种实现方式与传统的主动学习实现方式略有不同，在传统实现方式中，一旦达到可接受的模型性能，过程就会停止。本文的目的是双重的：（i）质疑主动学习是否真的是一种优越的学习方法，（ii）强调主动学习可以最有效地应用于真实的法律行业数据的方式。与其他研究不同的是，我们的实验是针对最近的大型数据集进行的，这些数据来自涵盖各个领域的真实法律事务。我们的结论是，虽然这些实验表明，主动学习策略普遍使用的法律文件审查可以快速识别信息丰富的培训文件，随着时间的推移，它变得不那么有效。特别是，我们的研究结果表明，这种在法律领域最流行的主动学习形式，即选择得分最高的文档作为训练样本，实际上在大多数情况下并不是最有效的方法。最终，不同的主动学习策略可能最适合于启动预测建模过程，但不适合于继续进行整个文档审阅。
2019-04-03 cs.IR
Explainable Text Classification Techniques in Legal Document Review: Locating Rationales without Using Human Annotated Training Text Snippets
针对法律文件审查中文本分类被视为“黑箱”的问题，提出自动化识别训练文本片段以定位相关理由的方法，在无需人工标注的情况下提升模型精确度并降低成本。
2023-11-15 cs.IR
CDJUR-BR -- A Golden Collection of Legal Document from Brazilian Justice with Fine-Grained Named Entities
Universidade de Fortaleza（福塔莱萨大学）；Instituto Federal de Educação, Ciência e Tecnologia do Ceará（塞阿拉联邦教育、科学与技术学院）；Tribunal de Justiça do Estado do Ceará（塞阿拉州法院）
本文构建了巴西司法系统细粒度法律命名实体黄金标准集合CDJUR-BR，并基于BERT训练NER模型，验证了该集合在法律实体识别中的优势。
2023-05-20 cs.AI cs.CL cs.IR
Explicitly Integrating Judgment Prediction with Legal Document Retrieval: A Law-Guided Generative Approach
针对现有法律检索未显式结合判决预测导致准确率低、透明度不足的问题，提出法律引导的生成式检索方法GEAR，以序列到序列方式显式整合两类任务，在多个数据集上取得更优效果与鲁棒性。
2024-04-15 cs.IR
A Hierarchical Neural Framework for Classification and its Explanation in Large Unstructured Legal Documents
IRIT（信息、机器人与信息技术研究所）
本文提出分层神经框架MESc和解释提取算法ORSE，用于解决长且无结构标注的法律文档判决预测与解释问题，并在多国法律数据集上验证其优于现有方法。
2024-06-27 cs.IR cs.LG
Labeling Case Similarity based on Co-Citation of Legal Articles in Judgment Documents with Empirical Dispute-Based Evaluation
National Chengchi University（国立政治大学）
针对法律推荐系统标注数据集有限的问题，提出利用法律条文共引建立案例相似性并实现算法标注，结合微调文本嵌入模型和BiLSTM模块评估，推动了法律文件自动标注技术发展。
2025-04-29 cs.AI cs.CL cs.DL
Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Science Education and Research Kolkata（印度科学教育与研究所加尔各答分校）
法律判决书摘要是法律自然语言处理中的一个难题。然而，没有太多的分析存在如何不同的家庭的摘要模型（例如，提取与抽象）应用于法律案例文档时执行。这个问题特别重要，因为许多最近的基于transformer的抽象摘要模型对输入标记的数量有限制，并且已知法律文档非常长。此外，如何最好地评估法律案例文档摘要系统是一个悬而未决的问题。在本文中，我们进行了广泛的实验，几个提取和抽象的摘要方法（监督和无监督）在三个法律摘要数据集，我们已经开发。我们的分析，包括法律从业者的评价，导致一些有趣的见解，在具体的法律摘要和一般的长文件摘要。
2022-10-14 cs.CL cs.IR
Improving Vietnamese Legal Document Retrieval using Synthetic Data
BKAI Research Center（BKAI研究中心）；School of Information and Communication Technology（信息与通信技术学院）；Hanoi University of Science and Technology（河内理工大学）
针对越南语法律问答缺乏大型标注数据的问题，本文利用大型语言模型生成多样化合成查询，并预训练和微调 bi-encoder 与 ColBERT，显著提升了法律文档检索准确率。
2024-12-01 cs.AI cs.IR
Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review
Sidley Austin LLP（世达律师事务所）；AT&T Services, Inc.（美国电话电报公司服务部）；Ankura（安库拉咨询公司）
研究表明，卷积神经网络（CNN）可以有效地应用于文本分类，作为预测编码协议的一部分。也就是说，到目前为止，大多数研究都是在短文档的数据集上进行的，这些短文档并不能反映真实世界文档审查中的文档种类。使用来自不同长度文档的四个实际评论的数据，我们将CNN与其他流行的文本分类机器学习算法进行了比较，包括Logistic回归，支持向量机和随机森林。对于每个数据集，使用不同的学习算法用不同的训练样本量训练分类模型。然后使用大量随机抽样的文档测试集对这些模型进行评估，并使用精确度和召回率曲线对结果进行比较。我们的研究表明，CNN表现良好，但没有一种算法在数据集和训练样本大小的组合中表现最好。这些结果将有助于推进对法律行业使用机器学习算法的研究，以最大限度地提高性能。
2019-12-19 cs.IR cs.LG
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Multi-Task Deep Learning for Legal Document Translation, Summarization and Multi-Label Classification
法律领域的数字化已经持续了几年。在这个过程中，不同机器学习（ML）技术的应用至关重要。诸如法律文件或合同条款的分类以及这些文件的翻译等任务具有高度相关性。另一方面，这一领域的数字化文件几乎无法获得，特别是在德国。当今，深度学习（DL）是一个热门话题，有许多出版物和各种应用。有时它提供的结果超过了人类的水平。因此，这种技术在法律领域也是可行的。然而，DL需要数千个样本才能提供像样的结果。这个问题的一个潜在解决方案是多任务DL，以实现迁移学习。这一办法或许能够克服法律领域的数据稀缺问题，特别是德语方面的数据稀缺问题。我们将最先进的多任务模型应用于三个任务：翻译，摘要和多标签分类。实验是在法律文档语料库上进行的，使用了几种任务组合以及各种模型参数。目标是为法律领域内的现有任务找到最佳配置。多任务DL方法在所有三项任务中的性能均优于最新技术水平。这为在法律领域更有效地整合DL技术开辟了新的方向。
2018-10-16 cs.CL cs.IR cs.LG
An Evaluation Framework for Legal Document Summarization
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
一个法律从业者必须经历许多冗长的法律案件诉讼程序，他们的做法的各种类别，如土地纠纷，腐败等，因此，重要的是要总结这些文件，并确保摘要包含短语与意图匹配的案件类别。据我们所知，没有一个评估指标可以根据摘要的意图来评估摘要。我们提出了一个自动化的基于意图的摘要度量，它显示了更好的协议与人类的评价相比，其他自动化的指标，如BLEU，ROUGE-L等。我们还通过在法律文件中注释意图短语来管理数据集，并展示了如何自动化该系统的概念证明。此外，生成可重复结果的所有代码和数据都可以在Github上获得。
2022-05-17 cs.CL cs.IR cs.LG
LegalSeg: Unlocking the Structure of Indian Legal Judgments Through Rhetorical Role Classification
IIT Kanpur（印度理工学院坎普尔分校）；IISER Kolkata（印度科学教育与研究学院加尔各答分校）；Symbiosis Law School Pune（共生法律学院浦那分校）
本文针对印度法律判决的语义分割任务提出LegalSeg大型标注数据集，评估多种先进模型后发现融合上下文等信息的模型性能更优，为法律NLP研究奠定基础。
2025-02-09 cs.AI cs.CL cs.IR
Structural Segmentation for Brazilian Legal Document Retrieval
Câmara dos Deputados（众议院）；Senado Federal（联邦参议院）；Faculdade de Engenharia Elétrica e da Computação, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学电气与计算机工程学院）；Centro de Ciências e Tecnologia, Universidade Federal do Cariri (UFCA)（卡拉里联邦大学科学与技术中心）
本研究提出用结构分割策略将巴西法律文档拆分为核心块，实验显示该策略可提升密集检索效果，补充元数据的核心块能获得相当或更优结果。
2026-10-13 cs.IR
Lexplorer: Navigating the Complexity of Legal Document Landscapes
Data Analysis and Visualization Lab University of Konstanz（康斯坦茨大学数据分析与可视化实验室）；Telos Lab Aalto University（阿尔托大学Telos实验室）
针对法律文档复杂性，提出Lexplorer界面，基于用户意图分类法支持探索导航分析，经法律学者评估验证，促进法律中的适应性意义构建。
2026-09-16 cs.HC cs.IR
A Dataset of German Legal Documents for Named Entity Recognition
DFKI GmbH（德国人工智能研究中心）
我们描述了一个数据集开发的命名实体识别在德国联邦法院的判决。它由近似。67，000个句子，超过200万个代币。该资源包含54，000个手动注释的实体，映射到19个细粒度的语义类：人，法官，律师，国家，城市，街道，景观，组织，公司，机构，法院，品牌，法律，条例，欧洲法律规范，法规，合同，法院判决和法律文献。此外，法律文件还自动标注了35，000多个基于TimeML的时间表达式。该数据集在CC-BY 4.0许可下以CoNNL-2002格式提供，旨在为欧盟项目Lynx中的德国法律文件培训NER服务。
2020-03-29 cs.CL cs.IR
Legal Case Document Similarity: You Need Both Network and Text
估计两个法律案件文档之间的相似性是一个重要且具有挑战性的问题，具有各种下游应用，例如先前案例检索和引用推荐。有两种广泛的方法来完成这项任务--基于引文网络和基于文本。先前的基于引文网络的方法仅考虑对先前案例（也称为先例）的引用（PCNet）。这种方法忽略了成文法（一个司法管辖区的成文法）中固有的重要信号。在这项工作中，我们提出了层次SPCNet增强PCNet与法规的异构网络。我们将领域知识的法律文件的相似性到Hier-SPCNet，从而获得国家的最先进的结果，基于网络的法律文件的相似性。文本相似性和网络相似性都为法律案例的相似性提供了重要的信号，但到目前为止，只有微不足道的尝试已经统一了这两个信号。在这项工作中，我们采用了几种方法结合文本和网络信息来估计法律案件的相似性。我们对来自印度司法部门的法律案件文件进行了广泛的实验，其中文件对之间的黄金标准相似性由来自印度两个著名法律机构的法律专家判断。我们的实验表明，我们提出的基于网络的方法显着提高与领域专家的意见相比，现有的基于网络的法律文件相似性的方法。我们的最佳组合方法（结合了基于网络和基于文本的相似性）提高了与领域专家意见的相关性，比基于文本的最佳方法提高了11.8%，比基于网络的最佳方法提高了20.6%。我们还建立了我们的最佳性能的方法可以用来推荐/检索引用和类似的情况下，一个源（查询）的情况下，这是非常赞赏的法律专家。
2022-09-26 cs.IR
Legal Nugget Extraction for Granular Retrieval over Long Jurisprudential Texts
Universidade Federal do Cariri (UFCA)（卡拉伊里联邦大学）
研究长法律文本检索难题，提出提取法律要点并嵌入索引进行检索的方法，在四个基准上评估，结果显示该方法对部分法学数据集有显著提升，对其他场景效果有别，证明法律要点在特定法学搜索中有用。
2026-07-27 cs.IR
Segment First, Retrieve Better: Realistic Legal Search via Rhetorical Role-Based Queries
IIT Kanpur（印度IIT坎浦尔）；IISER Kolkata（印度IISER科希拉）；Symbiosis Law School Pune（印度西布罗德法律学校）
针对传统法律判例检索受文档数量增长和案件信息有限制约的问题，提出TraceRetriever方法，通过提取修辞显著片段、融合多模型检索结果实现高效检索，在相关数据集上验证了其可靠性与可扩展性。
2025-08-01 cs.AI cs.CL cs.IR
LawSum: A weakly supervised approach for Indian Legal Document Summarization
Dhirubhai Ambani Institute of Information and Communication Technology（迪鲁巴伊·安巴尼信息与通信技术学院）；Malaviya National Institute of Technology（马拉维亚国家理工学院）；Paramonic AI
与西方国家的法院不同，印度司法机构的公共记录完全是无结构的，而且很嘈杂。到目前为止，还没有大规模的公开的印度法律文件注释数据集。这限制了法律分析研究的范围。在这项工作中，我们提出了一个新的数据集，由印度最高法院的10，000多个判决及其相应的手写摘要组成。建议的数据集通过规范化常见的法律缩写，处理命名实体中的拼写变化，处理错误的标点符号和准确的句子标记来进行预处理。每个句子都有其修辞作用的标签。我们还对每项判决进行了注释，其中包括日期、原告、被告及其代表的姓名、作出判决的法官、引用的法令/法规以及用于引用判决的最常见引用。此外，我们提出了一个自动标签技术，用于识别具有摘要价值的信息的句子。我们证明，这种自动标记的数据可以有效地用于训练一个弱监督的句子提取器具有高精度。除了法律文件摘要之外，该数据集的一些可能的应用可以用于检索，引文分析和预测特定法官的判决。
2021-10-23 cs.AI cs.CL cs.IR
Finding Needles in Emb(a)dding Haystacks: Legal Document Retrieval via Bagging and SVR Ensembles
Goethe University Frankfurt（法兰克福大学）
本文面向 GerDaLIR 法律检索，将任务拆解为多个二元“大海捞针”子问题，并用 bagging 与 SVR 投票集成在嵌入空间中检索，在不训练深度学习模型的情况下提升召回率。
2025-01-09 cs.AI cs.IR
CNN Application in Detection of Privileged Documents in Legal Document Review
保护特权通信和数据不被披露对法律团队至关重要。法律建议，如律师与客户的沟通或诉讼策略，通常免于在诉讼或监管事件中披露，对律师与客户的关系至关重要。为了保护这些信息不被披露，公司和外部法律顾问经常审查大量文件，以确定哪些文件包含特权材料。这个过程是非常昂贵和耗时的。随着数据量的增加，法律顾问通常采用各种方法减少需要审查的文件数量，同时平衡确保保护特权信息的需要。关键词搜索是一种针对特权信息和减少文档审查人群的方法。关键字搜索在广撒网方面是有效的，但通常返回的结果过于包容-其中大多数不包含特权信息。为了克服关键字搜索的弱点，法律团队越来越多地使用机器学习技术来定位特权信息。在这些研究中，经典的文本分类技术被应用于建立分类模型，以识别特权文档。在本文中，作者提出了一种不同的方法，通过应用机器学习/卷积神经网络技术（CNN）来识别特权文档。我们提出的方法结合了关键字搜索与CNN。对于每个关键词术语，使用关键词出现的上下文创建CNN模型。此外，提出了一种方法来选择可靠的特权（积极）的训练关键字出现从标记的积极的训练文件。大量的实验结果表明，所提出的方法可以显着减少误报，同时仍然捕获大部分的真阳性。
2021-02-09 cs.IR
Legal Document Retrieval using Document Vector Embeddings and Deep Learning
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
特定领域信息检索过程是自然语言处理领域的一个重要研究方向。许多研究人员已经采用了不同的技术来克服技术和领域的特异性，并为各种感兴趣的领域提供了一个成熟的模型。这些研究中的主要瓶颈是领域专家之间的严重耦合，这使得整个过程非常耗时和繁琐。在这项研究中，我们已经开发了三种新的模式，通过提供的在线存储库生成的黄金标准进行比较，特别是法律领域。这三种不同的模型结合了法律领域的向量空间表示，其中文档向量生成是在两种不同的机制中完成的，并且是上述两种机制的集合。本研究包含的研究正在进行的过程中表示法律案件文件到不同的向量空间，同时将语义词的措施和自然语言处理技术。在这项研究中建立的集成模型，显示出显着更高的准确性水平，这确实证明了需要将特定领域的语义相似性措施纳入信息检索过程。这项研究还表明，不同分布的词相似性措施的影响，对不同的文档向量的尺寸，这可能会导致法律信息检索的过程中的改进。
2018-05-27 cs.CL cs.IR
Evaluating Document Representations for Content-based Legal Literature Recommendations
Open Legal Data（开放法律数据）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；ETH Zurich（苏黎世联邦理工学院）；University of Wuppertal（伍珀塔尔大学）
推荐系统帮助法律专业人士找到相关文献来支持他们的案件。尽管它的重要性的专业，法律应用并没有反映在推荐系统和表示学习研究的最新进展。同时，法律推荐系统通常在没有任何公共基准数据集的情况下在小规模用户研究中进行评估。因此，这些研究的重现性有限。为了解决研究与实践之间的差距，我们探索了一套国家的最先进的文件表示方法检索语义相关的美国判例法的任务。我们评估基于文本的（例如，fastText、Transformers）、基于引用的（例如，DeepWalk，Poincaré）和混合方法。我们使用两种银标准对2，964份文件进行了注释，共比较了27种方法。银标准是从Open Case Book和Wikispecies新创建的，可以在开放许可下重复使用，以促进可重复性。我们的实验表明，来自平均fastText单词向量（在法律语料库上训练）的文档表示产生了最好的结果，紧随其后的是庞加莱引用嵌入。以混合方式组合fastText和Poincaré进一步改善了整体结果。除了整体性能外，我们还根据文档长度，引用计数和建议的覆盖范围分析了这些方法。我们在https://github.com/malteos/legal-document-similarity/上公开我们的源代码、模型和数据集。
2021-04-28 cs.CL cs.IR
Legal Document Classification: An Application to Law Area Prediction of Petitions to Public Prosecution Service
MPPR（巴拉那州检察院）；UFPR（巴拉那联邦大学）；SAP SE（SAP公司）
近年来，人们越来越关注将自然语言处理（NLP）应用于法律文档。当应用于文本分类问题时，例如情感分析和文档的主题分割，卷积和递归神经网络以及词嵌入技术的使用已经呈现出有希望的结果。本文建议使用NLP技术进行文本分类，目的是对巴拉那州检察官办公室在该机构所涵盖的法律领域之一向民众提供的服务的描述进行分类。我们的主要目标是自动化将请愿书分配到各自法律领域的过程，从而减少与此过程相关的成本和时间，同时允许将人力资源分配给更复杂的任务。在本文中，我们比较了上述任务中的不同单词表示方法：包括文档术语矩阵和一些不同的词嵌入。关于分类模型，我们评估了三种不同的家族：线性模型、提升树和神经网络。在特定领域语料库上训练的Word2Vec和递归神经网络（RNN）架构（更具体地说，LSTM）的组合获得了最佳结果，在18个类别（法律领域）的分类中，准确率为90%，F1得分为85%。
2020-10-13 cs.IR cs.LG
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息，如标签或重要特征，已经开发出方法来执行分类和主题建模任务;然而，大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中，我们提出了一种方法，即引导半监督非负矩阵分解（GSSNMF），进行分类和主题建模，将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能，该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明，我们提出的方法提高了分类精度和主题一致性相比，过去的方法，如半监督非负矩阵分解（SSNMF）和引导非负矩阵分解（引导NMF）。
2022-01-31 cs.IR cs.LG stat.ML
Extracting Fairness Policies from Legal Documents
IIIT Delhi（德里印度理工学院）；IBM Research（IBM研究院）
机器学习社区最近正在探索偏见和公平性对人工智能应用的影响。这些应用的公平性定义根据其应用领域而有所不同。在给定上下文中管理这种机器学习系统的使用的策略由国家的宪法法律和由参与使用的组织执行的监管策略来定义。与公平相关的法律和政策通常分布在宪法、协议和组织条例等大型文件中。这些法律文件具有较长的复杂句子，以实现严谨性和健壮性。自动提取公平策略，或者一般来说，从大型法律语料库中提取任何特定类型的策略，对于研究人工智能应用背景下的偏见和公平性非常有用。我们试图自动提取公平政策，从公开的法律文件使用两种方法的基础上语义相关性。实验揭示了经典的基于Wordnet的相似性和基于向量的相似性在解决这个任务方面的不同。我们已经证明，基于词向量的相似性以较大的幅度击败了经典方法，而其他意义和句子的向量表示甚至无法匹配经典基线。此外，我们还提供了全面的错误分析和推理，以通过数据集中的适当示例解释结果，以获得更深入的见解。
2018-09-12 cs.IR cs.LG stat.ML
Attentive Deep Neural Networks for Legal Document Retrieval
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；National Institute of Informatics（日本国立信息学研究所）；Posts and Telecommunications Institute of Technology（邮电技术学院）
本文针对法律文档检索中长文本表示难题，提出基于注意力机制的Attentive CNN和Paraformer层次化模型，在多语言数据集上验证其优于非神经方法及现有最优方法。
2022-12-13 cs.CL cs.IR
Fine-grained Intent Classification in the Legal Domain
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
一个法律从业者必须经历许多漫长的法律诉讼。为了了解法律案件中不同当事人/个人行为背后的动机，必须清楚地理解文档中表达与案件对应的意图的部分。在本文中，我们介绍了一个数据集的93个法律文件，属于案件类别的谋杀，土地纠纷，抢劫，或腐败，表达意图的短语相同的文件的类别进行了注释。此外，我们为每个这样的短语注释细粒度的意图，以使读者能够更深入地理解案例。最后，我们分析了几种基于transformer的模型在自动化提取意图短语（粗粒度和细粒度）的过程中的性能，并将文档分类为可能的4个类别之一，并观察到，我们的数据集具有挑战性，特别是在细粒度意图分类的情况下。
2022-05-06 cs.CL cs.IR cs.LG
Extracting Complex Named Entities in Legal Documents via Weakly Supervised Object Detection
本文提出首个将弱监督目标检测用于文档布局分析的系统，以提取法律文档中的不连续复杂命名实体，实验证明在标注数据有限时优于有监督基线。
2023-05-10 cs.IR
An Empirical Study of the Application of Machine Learning and Keyword Terms Methodologies to Privilege-Document Review Projects in Legal Matters
保护特权通信和数据不被披露对法律团队至关重要。不受限制的法律建议，如律师与客户的沟通或诉讼策略。对法律程序至关重要，在诉讼或监管事件中免于披露。为了保护这些信息不被披露，公司和外部法律顾问必须审查大量文件，以确定哪些文件包含特权材料。这个过程是非常昂贵和耗时的。随着数据量的增加，法律顾问采用各种方法来减少需要审查的文件数量，同时平衡确保保护特权信息的需要。关键词搜索是一种针对特权信息和减少文档审查人群的方法。关键字搜索在广撒网方面是有效的，但返回的结果是包容性的--其中大多数不包含特权信息--如果没有对数据的详细了解，关键字列表就无法找到所有特权材料。过于宽泛的关键词搜索也可能带来问题，因为即使它提高了成本，它也可能撒得“太远”，从而产生不可靠的结果。为了克服关键词搜索的这些弱点，法律团队正在使用一种新的方法来定位特权信息，称为预测建模。预测建模可以成功地识别特权材料，但很少有研究已经出版，以确认其有效性相比，关键字搜索。本文总结了关键字搜索和预测建模应用于现实世界的数据时的有效性的研究。通过这项研究，这组合作者希望检查和了解这两种方法对法律团队在文件人群中识别特权材料的好处和弱点。
2019-04-03 cs.IR
Exploiting the Randomness of Large Language Models (LLM) in Text Classification Tasks: Locating Privileged Documents in Legal Matters
Ankura Consulting Group, LLC（安克洛咨询公司）；SAP（思爱普）
本文研究了在法律事务中利用LLM随机性提高特权文件识别准确性的方法，并探讨了其在合规流程中的应用价值。
2025-12-08 cs.IR
On Minimizing Cost in Legal Document Review Workflows
技术辅助审查（TAR）是指用于法律发现和其他高召回审查任务中的文档审查的人在回路机器学习工作流。律师和法律技术专家一直在争论审查是否应该是一个单一的迭代过程（单阶段TAR工作流程），或者模型培训和审查是否应该是分开的（两阶段TAR工作流程），这对主动学习算法的选择有影响。不同目的（培训与审查）和不同文档（正面与负面示例）的人工标记的相对成本是这场辩论中被忽视的关键因素。使用一种新的成本动态分析，我们分析和经验表明，这些相对成本强烈影响是否一个阶段或两个阶段的工作流程最大限度地降低成本。我们还展示了类别流行率、分类任务难度和集合大小如何影响工作流类型的最佳选择，以及主动学习方法和停止点的最佳选择。
2021-06-18 cs.HC cs.IR
Explainable identification of similarities between entities for discovery in large text
Kansas State University（堪萨斯州立大学）
本研究针对现有文本相似性工具缺乏可解释性、多关注文本而非讨论主体的问题，提出带权重评分的n-gram分析框架，结合可视化工具，可跨领域挖掘可解释的实体相似性，代码已公开。
2025-03-22 cs.IR cs.LG
Automated Attribute Extraction from Legal Proceedings
针对未决案件积压问题，提出刑事案件诉讼的多样化属性，利用最先进的序列标注框架自动提取，并在法律判决预测任务中验证了其有效性。
2023-10-18 cs.IR
Legal document retrieval across languages: topic hierarchies based on synsets
立法文本的跨语言注释使我们能够探索多语言法律数据中涵盖的主要主题，并且在搜索类似文件时是语义相似性的关键促进因素。多语言概率主题模型是近年来出现的一组半监督机器学习模型，可用于对多种语言的文本集合进行主题探索。然而，这些方法需要主题对齐的训练数据来创建独立于语言的空间，这限制了可以使用该技术的场景的数量。在这项工作中，我们提供了一个无监督的文档相似性算法的基础上，层次结构的多语言的概念来描述跨语言的主题。该算法不需要并行或可比的语料库，或任何其他类型的翻译资源。在英语，西班牙语，法语和葡萄牙语版本的JCR-Accounts语料库上进行的实验显示，按相似内容对文档进行分类和排序的结果很有希望。
2019-11-28 cs.DL cs.IR
QBR: A Question-Bank-Based Approach to Fine-Grained Legal Knowledge Retrieval for the General Public
The University of Hong Kong（香港大学）
QBR方法通过构建问题库提升大众对法律知识的细粒度检索能力，实现更准确、高效且可解释的检索结果。
2025-05-08 cs.AI cs.IR
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock（阿拉巴马州立大学）
本文提出一种结合语义相似度过滤机制的混合Transformer模型，以增强Legal-BERT在法律实体识别中的准确率，在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
LEEC: A Legal Element Extraction Dataset with an Extensive Domain-Specific Label System
Tsinghua University（清华大学）
针对现有法律要素提取数据集覆盖不足的问题，本文构建了包含15,831份司法文书和159个标签的LEEC数据集，并验证其在文档事件提取任务中的适用性。
2023-10-10 cs.CL cs.IR
Joint Span Segmentation and Rhetorical Role Labeling with Data Augmentation for Legal Documents
Technical University of Munich（慕尼黑工业大学）
法律判决书的切分和修辞角色标注在判决书的检索和相关任务中起着至关重要的作用，包括案例摘要、语义搜索、论点挖掘等。在这项工作中，我们重新制定的任务在跨度水平识别跨度的多个连续的句子，共享相同的修辞角色标签通过分类分配。我们采用半马尔可夫条件随机场（CRF），共同学习跨度分割和跨度标签分配。我们进一步探讨了三种数据增强策略，以缓解法律专业领域的数据稀缺性，其中单个文档往往很长，注释成本很高。我们的实验表明，在CRF基线的跨度级预测指标与半马尔可夫CRF模型的改善。这种好处取决于文档中是否存在多个句子跨度。
2023-02-13 cs.CL cs.IR
Explainable Point-Based Document Visualizations
二维数据映射可以直观地揭示有关数据实例之间关系的信息。构建数据映射的流行技术是t-SNE和UMAP。然而，由此产生的基于点的可视化仅通过其解释提供信息。在这里，我们考虑了一组从长寿的文章摘要，主张使用关键字提取方法来标记地图中的文档集群。在所考虑的方法中，最近提出的YAKE！令人惊讶的是，经典的TF-IDF术语排名优于基于图和嵌入的技术。
2021-09-28 cs.IR
Threshold-Based Retrieval and Textual Entailment Detection on Legal Bar Exam Questions
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
对法律领域进行概述已成为一项挑战，特别是在广泛的国际背景下。法律问答系统有可能通过自动检索特定声明的相关法律文本并检查是否可以从找到的文档中推断出声明的含义来减轻这一任务。我们研究了Elasticsearch的BM 25评分方法与在德国和日本民法的英语翻译上训练的词嵌入的组合。为此，我们定义的标准，选择一个动态数量的相关文件，根据阈值分数。与基线相比，利用两个深度学习分类器及其各自的预测偏差以及基于阈值的答案包含标准已被证明对文本蕴涵任务是有益的。
2019-05-30 cs.CL cs.IR cs.LG
Citation-Enforced RAG for Fiscal Document Intelligence: Cited, Explainable Knowledge Retrieval in Tax Compliance
本文提出一种引用强化的RAG框架，用于财政文档智能，强调可解释性和可审计性，通过源优先的摄入策略和引用强制机制提升税务合规中的引用准确性与解释性。
2026-03-11 cs.AI cs.CL cs.IR
SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval
Tsinghua University（清华大学）；Quan Cheng Laboratory（泉城实验室）；Zhongguancun Laboratory（中关村实验室）；Huawei Cloud BU（华为云业务部）
本文提出结构感知预训练语言模型 SAILER，通过利用法律文书结构、关注关键法律要素并融合多预训练目标，在无法律标注情况下提升法律案件检索性能。
2023-04-22 cs.CL cs.IR
Towards Reliable Retrieval in RAG Systems for Large Legal Datasets
Technical University of Darmstadt（德意志联邦共和国达姆斯塔特技术大学）；University of Trento（特伦托大学）；University of Florence（佛罗伦萨大学）；University of Bologna（博洛尼亚大学）；European University Institute（欧洲大学研究所）
本文针对大型法律数据集中RAG系统检索不可靠问题，提出摘要增强分块（SAC）技术，通过注入文档级上下文显著减少文档级检索不匹配，提升检索精度与召回率，且优于领域知识定制方法。
2025-10-08 cs.CL cs.IR
A Study of Prior Case Retrieval Using Lexical, Semantic, and Rhetorical Role Information in Indian Legal Documents
National Institute of Technology, Tiruchirappalli（国立技术学院特鲁奇拉帕利分校）；National Institute of Karnataka, Surathkal（卡纳塔克国立学院苏拉萨尔分校）
本研究针对印度法律先例检索，提出结合修辞角色、查询分割与冻结验证融合的四阶段流水线，显著优于单一角色和全文检索，并揭示了LLM重排序器的评估偏差。
2026-10-07 cs.IR
FOMO: Topics versus documents in legal eDiscovery
在美国，诉讼的当事人必须搜索他们以电子方式存储的信息，以找到与具体案件有关的文件，并将其提交给对方当事人。关于这些搜索范围的谈判往往反映出一种担心，即会错过一些东西（害怕错过：FOMO）。例如，召回级别为80%，意味着20%的相关文档将无法生成。本文认为，eDiscovery是识别响应信息而不是识别文档的过程。文件是信息的载体;它们不是过程的直接目标。给定文档可以包含一个或多个主题或仿真信息，并且仿真信息可以出现在多个文档中。优惠券收集器问题、堆定律和其他分析提供了对从文档中查找信息的问题建模的方法。然而，在电子证据开示中，当事人不知道集合中可能有多少事实或其概率。本文描述了一个简单的模型，估计的信心，一个事实将被遗漏的生产集（识别集），而被包含在错过的集。然后分析两个数据集，一个小的集涉及microaggressions和较大的集涉及分类的网页。两者都表明，在相对少量的文档中发现每个可用主题的至少一个示例是可能的，这意味着进一步的努力不会返回额外的新信息。较小的数据集还用于调查eDiscovery中常用的搜索响应文档的非随机顺序（称为连续主动学习）是否会影响主题的分布-它不会。
2021-09-16 cs.IR
Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents
Syntheia Pty Ltd（合成有限公司）
研究如何在交易法律文件分析中高效检索，对比全语料库注入与两种结构化检索模式（NAVEMBED和NAVINDEX），发现NAVINDEX在令牌占用、上下文及成本方面优势明显，还得出缓存交叉规则。
2026-07-08 cs.CL cs.IR
Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Mining
Faculty of Computer Science, University of Information Technology, Ho Chi Minh City, Vietnam（信息科技学院计算机科学系，胡志明市，越南）；Faculty of Information Science and Engineering, University of Information Technology, Ho Chi Minh City, Vietnam（信息科技学院信息科学与工程系，胡志明市，越南）；Laboratory of Multimedia Communications, University of Information Technology, Ho Chi Minh City, Vietnam（信息科技学院多媒体通信实验室，胡志明市，越南）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）
本文提出一个由双编码器检索和交叉编码器重排序组成的两阶段法律文档检索框架，通过半困难负样本挖掘和 Exist@m 指标优化训练，在 SoICT Hackathon 2024 中以轻量级方案取得前三名。
2025-07-19 cs.CL cs.IR
Cross-domain Retrieval in the Legal and Patent Domains: a Reproducibility Study
领域特定搜索一直是一个具有挑战性的信息检索任务，由于一些挑战，如领域特定的语言，独特的任务设置，以及缺乏可访问的查询和相应的相关性判断。在过去的几年里，预先训练的语言模型，如BERT，彻底改变了网络和新闻搜索。自然，社区的目标是使这些进步适应特定领域搜索的检索模型的跨域转移。在法律文档检索的背景下，Shao等人通过使用语言模型BERT对段落级交互进行建模，提出了BERT-PLI框架。在本文中，我们重现了原始实验，我们澄清了预处理步骤，为框架步骤添加了缺失的脚本，并研究了不同的评估方法，但我们无法重现评估结果。与原始论文相反，我们证明了特定领域的段落级建模并没有出现，以帮助性能的BERT-PLI模型相比，段落级建模与原来的BERT。除了我们的法律检索再现性研究，我们调查BERT-PLI在专利领域的文档检索。我们发现，BERT-PLI模型还没有实现性能改进的专利文献检索相比，BM 25基线。此外，我们评估的BERT-PLI模型的跨域检索之间的法律和专利领域的各个组件，无论是在一个段落和文档级别。我们发现，BERT-PLI模型的段落级上的传输导致两个域之间的可比结果，以及第一个有希望的结果跨域传输的文件级。为了提高可重复性和透明度，并使社区受益，我们公开了我们的源代码和训练模型。
2021-01-19 cs.IR
