A Multi-Task Benchmark for Korean Legal Language Understanding and Judgement Prediction
LBox;KAIST(韩国科学技术院)
深度学习的最新进展极大地改变了机器学习,特别是在自然语言处理领域,如何应用于法律领域。然而,这种向数据驱动方法的转变需要更大和更多样化的数据集,然而这些数据集的数量仍然很少,特别是在非英语语言中。在这里,我们介绍了韩国法律AI数据集的第一个大规模基准,LBOX OPEN,它包括一个法律语料库,两个分类任务,两个法律判断预测(LJP)任务和一个摘要任务。该法律语料库由147,000个韩国判例(259,000,000个代币)组成,其中63,000个是在过去4年中被判刑的,96,000个是来自审查事实问题的一级和二级法院。这两个分类任务是案例名称(11.3k)和法规(2.8k)预测从个别案件的事实描述。LJP任务包括:(1)10.5k个刑事案例,其中要求模型预测给定事实的罚款金额,劳动监禁和非劳动监禁范围,以及(2)4.7k个民事案例,其中输入是事实和救济请求,输出是索赔接受程度。摘要任务包括最高法院判例和相应的摘要(20k)。我们还通过将域(1)扩展到案例名称(31k示例)和法规(17.7k)分类任务中的不常见案例类别,以及(2)扩展到摘要任务(51k)中的长输入序列,来发布数据集的现实变体。最后,我们发布了LCUBE,第一个韩国法律语言模型训练的法律语料库从这项研究。鉴于韩国法律的独特性和这项工作所涵盖的法律任务的多样性,我们相信LBOX OPEN有助于全球法律研究的多语言性。LBO…
2022-10-05 cs.AI cs.CL
LexTime: A Benchmark for Temporal Ordering of Legal Events
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Bloomberg(布莱恩·布鲁克斯)
本文提出LexTime基准,基于512个美国联邦诉状实例评估LLMs的法律事件时间排序能力,发现其在法律文本上优于叙事文本且隐式事件和长上下文提升准确率,同时指出法律语言复杂性仍是主要瓶颈。
2025-11-05 cs.CL
CaseSumm: A Large-Scale Dataset for Long-Context Summarization from U.S. Supreme Court Opinions
University of Chicago(芝加哥大学);University of Chicago Law School(芝加哥大学法学院);TTIC(丰田技术研究所)
本文提出CaseSumm数据集,包含25.6K份美国最高法院意见及官方摘要,用于法律长上下文摘要评估,并通过自动指标与专家人工评估揭示现有自动评估方法的局限及人工评估的重要性。
2024-12-30 cs.AI cs.CL cs.CY
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh(匹兹堡大学)
在生成法律文件摘要时,一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件,通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明,我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
LexAbSumm: Aspect-based Summarization of Legal Decisions
School of Computation, Information, and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
本文提出面向法律判决的基于方面摘要数据集 LexAbSumm,并评估多个长文档抽象式摘要模型,揭示生成方面特定摘要的挑战,以推动法律领域研究。
2024-03-31 cs.CL
A Tree-of-Thoughts Inspired Hybrid Approach for Legal Case Judgement Summarization using LLMs
IIT Kharagpur(印度理工学院德里加尔加尔普分校);IISER Kolkata(印度科学研究所科希拉)
提出一种基于思维树的提取-抽象混合方法,利用LLMs(DeepSeek和LLama)生成法律判决摘要,实验表明该方法优于纯提取或纯抽象方法。
2026-06-29 cs.CL
Towards Argument-Aware Abstractive Summarization of Long Legal Opinions with Summary Reranking
University of Pittsburgh(匹兹堡大学)
本文提出一种论证感知的长法律意见书生成式摘要方法,通过论证角色信息生成候选摘要并依据论证结构对齐重排序,在长法律意见书数据集上优于多个强基线。
2023-06-01 cs.CL
AugAbEx: Bridging Abstractive and Extractive Legal Summarization
University of Delhi(德里大学)
针对法律判决自动摘要问题,提出AugAbEx流程,通过用含专家意见的银标准抽取摘要扩充数据集,经多维度审查确保质量,实验表明该流程生成的摘要质量优于其他方法,能推动法律领域摘要算法发展。
2026-07-23 cs.CL
Indian Legal Text Summarization: A Text Normalisation-based Approach
Adamas University(阿达玛斯大学)
在印度法院系统,未决案件长期以来一直是一个问题。有超过4亿美元的案件悬而未决。对于法律利益相关者来说,手动汇总数百份文件是一项耗时且繁琐的任务。随着机器学习的发展,出现了许多最先进的文本摘要模型。独立于领域的模型在法律文本中表现不佳,由于缺乏公开可用的数据集,为印度法律体系微调这些模型是有问题的。为了提高域独立模型的性能,作者提出了一种在印度环境下规范法律文本的方法。作者实验了两个最先进的领域独立的法律文本摘要模型,即BART和PEGASUS。BART和PEGASUS在提取和抽象摘要方面进行了测试,以了解文本规范化方法的有效性。摘要文本由领域专家根据多个参数并使用ROUGE指标进行评估。实验结果表明,本文提出的文本规范化方法在具有领域独立模型的法律文本中是有效的。
2022-09-13 cs.CL
Computing and Exploiting Document Structure to Improve Unsupervised Extractive Summarization of Legal Case Decisions
University of Pittsburgh(匹兹堡大学)
虽然许多算法可以用来自动总结法律案件的决定,大多数未能纳入领域知识的法律判决中的重要句子如何与其文档结构的表示。例如,对一个法律案例摘要数据集的分析表明,在判决中扮演不同类型论证角色的句子出现在文档的不同部分。在这项工作中,我们提出了一个无监督的基于图的排名模型,使用重新加权算法,利用法律案件的决定的文档结构的属性。我们还探讨了使用不同的方法来计算文档结构的影响。加拿大法律判例法数据集上的结果表明,我们提出的方法优于几个强大的基线。
2022-11-06 cs.CL
VerbCL: A Dataset of Verbatim Quotes for Highlight Extraction in Case Law
University of Amsterdam(阿姆斯特丹大学)
引用法律意见是法律论证的关键部分,法律论证是一项专家任务,需要从法院判决中检索,提取和总结信息。为了引用的目的,在一个意见中识别法律上突出的部分可以被看作是一个特定领域的突出提取或段落检索任务的制定。由于其他领域的类似任务,如网络搜索,得到了很大的重视和改进,法律领域的进展因缺乏培训和评价资源而受到阻碍。本文提出了一个新的数据集,其中包括法院意见的引用图,引用以前发表的法院意见,以支持他们的论点。特别是,我们专注于逐字引用,即,在这种情况下,原始意见的文本被直接重复使用。通过这种方法,我们解释了法院意见的不同文本跨度的相对重要性,通过展示它们在引用中的使用,并测量它们对引用图中意见之间关系的贡献。我们发布了VerbCL,这是一个来自Courtswagen的大规模数据集,并将突出部分提取任务作为一个单文档摘要任务引入,该任务基于在VerbCL数据集上建立该任务的第一个基线结果的引用图。
2021-08-23 cs.CL cs.DL
CoPERLex: Content Planning with Event-based Representations for Legal Case Summarization
School of Computation, Information, and Technology(计算、信息与技术学院;慕尼黑工业大学);Technical University of Munich
针对法律判决冗长问题,提出CoPERLex框架,通过事件中心表示(主语-动词-宾语三元组)进行内容选择与规划,在四个法律摘要数据集上验证了其优于实体中心方法。
2025-01-23 cs.CL
Argumentative Segmentation Enhancement for Legal Summarization
University of Pittsburgh(匹兹堡大学)
本文提出结合论证区域划分与法律论证方案进行法律判决论证性分割,并基于GPT-3.5生成摘要,在自动评估中优于GPT-4及非GPT模型。
2023-07-11 cs.CL
Corpus for Automatic Structuring of Legal Documents
EkStep Foundation(EkStep基金会);Thoughtworks Technologies India Pvt Ltd.(印度思特沃克技术私人有限公司);Agami;Indian Institute of Technology Kanpur (IIT-K)(印度理工学院坎普尔分校(IIT-K))
在人口众多的国家,待决法律案件呈指数级增长。有必要开发处理和组织法律文件的技术。在本文中,我们介绍了一个新的语料库结构的法律文件。特别是,我们介绍了一个语料库的英语法律判决文件被分割成主题和连贯的部分。这些部分中的每一个都用来自预定义的修辞角色列表的标签来注释。我们开发了基于标注语料库的自动预测法律文档中修辞角色的基线模型。此外,我们展示了修辞角色的应用,以提高总结和法律判断预测任务的性能。我们发布的语料库和基线模型的代码随着论文。
2022-09-19 cs.AI cs.CL cs.LG
APPSI-139: A Parallel Corpus of English Application Privacy Policy Summarization and Interpretation
Tianjin University(天津大学);Zhejiang University(浙江大学);North University of China(北方工业大学);Institute of Science Tokyo(东京科学研究所);The Hong Kong Polytechnic University(香港理工大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院)
本文提出APPSI-139平行语料库,包含139个隐私政策及15,692个改写语料,结合TCSI-pp-V2框架提升摘要与解释的可读性与可靠性,优于GPT-4o等大模型。
2026-04-30 cs.AI cs.CL
Building Legal Case Retrieval Systems with Lexical Matching and Summarization using A Pre-Trained Phrase Scoring Model
Japan Advanced Institute of Science and Technology(日本先进科学技术研究院);National Institute of Informatics(国立信息学研究所)
我们提出了解决2019年法律信息抽取/蕴涵竞赛的法律案例检索任务的方法。我们的方法是基于这样的想法,即摘要是重要的检索。一方面,我们采用了一种基于摘要的模型,称为编码摘要,它将给定的文档编码到连续的向量空间中,其中嵌入了文档的摘要属性。我们利用COLIEE 2018的资源,在此基础上训练文档表示模型。另一方面,我们提取一个给定的查询及其候选人的不同部分的词汇特征。我们观察到,通过比较查询的不同部分及其候选项,我们可以实现更好的性能。此外,基于摘要的方法结合词汇特征和潜在特征实现了更好的性能。我们在比赛的基准上取得了任务的最先进的结果。
2020-09-29 cs.CL
A Deep Learning-Based System for Automatic Case Summarization
Vietnam National University - Hanoi(河内越南国家大学);National Institute of Informatics(国立信息学研究所)
本研究提出一种基于深度学习的自动法律案件摘要系统,结合有监督与无监督NLP方法生成子部分及整体摘要,配套友好交互界面,可减轻法律从业者工作负担,后续将优化技术并拓展应用场景。
2023-12-13 cs.CL
RELexED: Retrieval-Enhanced Legal Summarization with Exemplar Diversity
School of Computation, Information, and Technology(计算、信息与技术学院;慕尼黑工业大学);Technical University of Munich
本文提出检索增强框架RELexED,利用示例摘要引导法律文本摘要生成,通过行列式点过程平衡示例相似性与多样性,实验证明其显著优于基线模型。
2025-01-23 cs.CL
IndianBailJudgments-1200: A Multi-Attribute Dataset for Legal NLP on Indian Bail Orders
Department of Computer Engineering, Datta Meghe College of Engineering(计算机工程系,达塔梅赫学院)
本文提出IndianBailJudgments-1200数据集,包含1200份印度保释判决及20余种标注属性,由GPT-4o流水线生成并验证,是首个面向印度保释司法的公开法律NLP基准资源。
2025-07-03 cs.AI cs.CL cs.LG
Legal Extractive Summarization of U.S. Court Opinions
ETH Zurich(苏黎世联邦理工学院)
本研究使用43万份美国法院意见书数据集,提出基于强化学习的MemSum模型,在自动和人工评估中均优于Transformer模型,并开源以促进法律民主化。
2023-05-15 cs.CL
Exploring Neural Models for Query-Focused Summarization
Salesforce Research(Salesforce研究院)
以查询为中心的摘要(QFS)旨在生成回答感兴趣的特定问题的摘要,从而实现更大的用户控制和个性化。虽然最近发布的数据集,如QMSum或AmmunMuSe,促进了QFS的研究工作,但该领域缺乏对适用建模方法的广泛空间的全面研究。在本文中,我们进行了系统的探索QFS的神经方法,考虑两个一般类的方法:两阶段提取抽象的解决方案和端到端的模型。在这些类别中,我们调查现有的模型,并探索迁移学习的策略。我们还提出了两个建模扩展,它们在QMSum数据集上实现了最先进的性能,当与迁移学习策略相结合时,最高可达3.38 ROUGE-1,3.72 ROUGE 2和3.28 ROUGE-L。人类评估的结果表明,与基线模型相比,最好的模型可以产生更全面和更符合事实的摘要。代码和检查点是公开的:https://github.com/salesforce/query-focused-sum。
2022-04-26 cs.CL
What to Read in a Contract? Party-Specific Summarization of Legal Obligations, Entitlements, and Prohibitions
Adobe Research(Adobe研究院);University of Maryland, College Park(马里兰大学学院公园分校)
提出法律合同特定方抽取式摘要任务,构建约293K句子对数据集训练成对重要性排序器,并开发基于流水线的摘要系统,通过自动和人工评估证明其有效性。
2023-10-24 cs.CL
Beyond Borders: Investigating Cross-Jurisdiction Transfer in Legal Case Summarization
Technical University of Munich(慕尼黑工业大学);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
本文研究法律案件摘要模型的跨司法辖区迁移,提出利用无标注目标辖区语料和银标准摘要增强迁移性能,并揭示了预训练和辖区相似性对迁移效果的关键作用。
2024-03-28 cs.CL
What's in a Summary? Laying the Groundwork for Advances in Hospital-Course Summarization
Columbia University(哥伦比亚大学)
摘要临床叙述是一个长期的研究问题。在这里,我们介绍了医院课程总结的任务。给定患者住院期间撰写的文档,生成一个段落,讲述患者入院的故事。我们构建了一个包含109,000例住院(2 M源记录)及其相应摘要代理的英文文本到文本数据集:临床医生撰写的“简短医院课程”段落,作为出院记录的一部分。探索性分析表明,BHC段落是高度抽象的一些长提取片段,是简洁而全面的,不同的风格和内容组织的源说明,表现出最小的词汇衔接,并代表银标准的参考。我们的分析确定了建模这个复杂的,多文档摘要任务的多重影响。
2021-04-12 cs.CL
ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining
Yale University(耶鲁大学);Facebook AI(脸书人工智能研究院)
虽然在线对话可以以许多不同的格式覆盖大量的信息,但抽象文本摘要主要集中在仅对新闻文章进行建模。这种研究差距部分是由于缺乏标准化的数据集来总结在线讨论。为了解决这一差距,我们设计了一个问题-观点-断言框架的注释协议,以众包新闻评论,论坛,社区问答论坛和电子邮件线程的各种在线对话形式的四个新的数据集。我们在数据集上对最先进的模型进行基准测试,并分析与数据相关的特征。为了创建一个全面的基准,我们还在广泛使用的会话摘要数据集上评估了这些模型,以在该领域建立强大的基线。此外,我们通过图形构建将参数挖掘直接建模的问题,观点和断言存在于对话和过滤嘈杂的输入,显示比较或改进的结果,根据自动和人工评估。
2021-06-01 cs.CL
Extractive Summarization of Legal Decisions using Multi-task Learning and Maximal Marginal Relevance
Technical University of Munich(慕尼黑工业大学)
总结法律判决需要法律从业人员的专门知识,这既需要时间,也需要成本。本文提出了在低资源环境中使用有限的专家注释数据提取法律决策摘要的技术。我们测试了一组模型,这些模型使用顺序模型定位相关内容,并通过利用最大边际相关性来撰写摘要来解决冗余问题。我们还展示了一个隐式的方法来帮助训练我们提出的模型生成更多的信息摘要。我们的多任务学习模型变体利用修辞角色识别作为辅助任务来进一步改进摘要器。我们对包含美国退伍军人上诉委员会法律决定的数据集进行了广泛的实验,并对我们的模型进行了定量和专家排名评估。我们的研究结果表明,所提出的方法可以实现ROUGE分数相对于专家提取的摘要,匹配那些通过注释器间比较。
2022-10-22 cs.CL
Challenges and Considerations in Annotating Legal Data: A Comprehensive Overview
University of Passau(帕绍大学);The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研究与发展研究所)
本文全面概述了法律数据标注在数据集选择、文本提取、数据清洗及标注指南制定等方面的独特挑战,强调了法律专业人士参与的重要性,并提供了微调的数据集与语言模型资源以指导相关研究。
2024-07-05 cs.CL cs.IR cs.LG
Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Indian Institute of Science Education and Research Kolkata(印度科学教育与研究所加尔各答分校)
法律判决书摘要是法律自然语言处理中的一个难题。然而,没有太多的分析存在如何不同的家庭的摘要模型(例如,提取与抽象)应用于法律案例文档时执行。这个问题特别重要,因为许多最近的基于transformer的抽象摘要模型对输入标记的数量有限制,并且已知法律文档非常长。此外,如何最好地评估法律案例文档摘要系统是一个悬而未决的问题。在本文中,我们进行了广泛的实验,几个提取和抽象的摘要方法(监督和无监督)在三个法律摘要数据集,我们已经开发。我们的分析,包括法律从业者的评价,导致一些有趣的见解,在具体的法律摘要和一般的长文件摘要。
2022-10-14 cs.CL cs.IR
Encoded Summarization: Summarizing Documents into Continuous Vector Space for Legal Case Retrieval
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);The National Institute of Informatics(日本国立信息学研究所)
本文提出利用深度神经网络的短语评分框架将文档摘要编码至连续向量空间以解决法律案件检索任务,并探索结合词汇特征与潜在特征以提升系统性能,最终在实验数据集上取得65.6%和57.6%的F1分数。
2023-09-15 cs.CL
Disordered-DABS: A Benchmark for Dynamic Aspect-Based Summarization in Disordered Texts
Dartmouth College(达特茅斯学院)
针对非结构化、动态场景下基于方面摘要研究的不足,论文通过改造现有数据集构建 Disordered-DABS 基准,并经实验与人工评估证明其对 GPT-3.5 等现代摘要模型构成新挑战。
2024-06-17 cs.CL
Legal Document Summarization: Enhancing Judicial Efficiency through Automation Detection
University of Utah(犹他大学);Tianjin University(天津大学);University of Pennsylvania(宾夕法尼亚大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出结合NLP与机器学习的法律文书自动摘要框架,从长篇文本中提取关键信息,实验表明其可保持内容完整性并显著提升司法处理效率。
2025-07-25 cs.CL
Improving Argument Saliency Coverage in Small LLMs for Long Legal Opinion Summarization via Sequence-Level Distillation
University of Pittsburgh(匹兹堡大学);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
该研究针对小型LLMs在长法律意见摘要中难以保留关键论点的问题,提出从高性能长上下文教师模型进行序列级蒸馏的方法,其数据效率高且效果优于专家摘要微调,为该任务提供了高效解决方案。
2026-09-01 cs.CL
EUR-Lex-Sum: A Multi- and Cross-lingual Dataset for Long-form Summarization in the Legal Domain
Heidelberg University(海德堡大学);SRH Hochschule Heidelberg(海德堡SRH应用技术大学)
现有的摘要数据集有两个主要缺点:(1)它们倾向于关注过度暴露的领域,例如新闻文章或类似维基的文本,(2)主要是单语数据集,很少有多语言数据集。在这项工作中,我们提出了一个新的数据集,称为EUR-Lex-Sum,基于欧盟法律平台(EUR-Lex)的法律行为的手动策划的文件摘要。文档及其各自的摘要以24种欧洲官方语言中的几种语言的跨语言段落对齐数据的形式存在,从而可以访问各种跨语言和低资源摘要设置。我们每种语言获得多达1,500个文档/摘要对,包括375个跨语言对齐的法律行为的子集,文本以所有24种语言提供。在这项工作中,数据采集的过程是详细的,资源的主要特征进行比较,现有的摘要资源。特别是,我们说明了具有挑战性的子问题和开放的问题的数据集,可以帮助促进未来的研究领域特定的跨语言摘要的方向。受限于样本的极端长度和语言多样性,我们进一步使用合适的提取单语和跨语言基线进行实验,以供未来工作使用。提取代码以及访问我们的数据和基线的代码可在https://github.com/achouhan93/eur-lex-sum上在线获取。
2022-10-24 cs.CL
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);L3S Research Center(L3S研究中心)
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的,几个算法已经开发了专门用于总结法律案例文档。然而,大多数现有的算法没有系统地纳入领域知识,指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距,我们提出了一个无监督的摘要算法DELSumm,旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明,我们提出的无监督方法优于几个强基线的ROUGE分数,包括一般的摘要算法和法律特定的。事实上,尽管我们提出的算法是无监督的,但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Robust Deep Reinforcement Learning for Extractive Legal Summarization
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安技术教育大学);Deakin University(迪肯大学)
法律文本的自动摘要是一个重要的,仍然是一个具有挑战性的任务,因为法律文件往往是长和复杂的不寻常的结构和风格。深度模型的最新进展是端到端训练,具有可区分的损失,可以很好地概括自然文本,但当应用于法律领域时,它们显示出有限的结果。在本文中,我们提出使用强化学习来训练当前的深度摘要模型,以提高它们在法律领域的性能。为此,我们采用近端策略优化方法,并引入新的奖励函数,鼓励候选摘要满足词汇和语义标准的生成。我们将我们的方法应用于训练不同的摘要骨干,并在3个公共法律数据集上观察到一致且显着的性能增益。
2021-11-23 cs.AI cs.CL
Automatic Text Summarization of Legal Cases: A Hybrid Approach
Pandit Deendayal Petroleum University(潘迪特·迪恩达亚尔石油大学)
大量文本的手动摘要需要大量的人力和时间,特别是在法律领域。律师们花了很多时间准备客户案卷的法律摘要。自动文本摘要是自然语言处理(NLP)的一个不断发展的领域,自然语言处理是人工智能领域的一个分支。本文提出了一种结合k-means聚类技术和tf-idf(词频-逆文档频率)词向量化的法律案例自动文摘方法。所提出的方法生成的摘要进行比较,使用ROGUE评估参数与案件摘要,准备由律师在法庭上上诉。此外,还提出了改进所提出的方法的建议。
2019-08-24 cs.CL cs.IR
Advantages of Domain Knowledge Injection for Legal Document Summarization: A Case Study on Summarizing Indian Court Judgments in English and Hindi
Department of Mathematics(数学系);Indian Institute of Technology Kharagpur(印度理工学院Khargpur分校);Department of Computer Science and Engineering(计算机科学与工程系)
本研究通过注入领域知识提升印度法律文件摘要能力,生成英文和印地语摘要,验证方法有效性。
2026-02-07 cs.AI cs.CL
ChartSumm: A Comprehensive Benchmark for Automatic Chart Summarization of Long and Short Summaries
Islamic University of Technology(伊斯兰科技大学);York University(约克大学);Dialpad Canada Inc.(Dialpad加拿大公司)
本文提出大规模图表摘要基准数据集ChartSumm,含84363张覆盖多主题多类型的图表及对应元数据、描述,可生成长短摘要;实验发现强基线模型仍存在幻觉等问题,还探索了数据集的多语言扩展潜力。
2023-06-11 cs.CL cs.LG
Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);IISER Kolkata(印度科学教育与研究学院加尔各答分校)
本文评估了抽象式摘要模型、大型语言模型及抽取式方法在法律判决摘要中的表现,发现生成模型虽指标更优但存在幻觉,需人机协作提升可靠性。
2024-07-20 cs.AI cs.CL
A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and Challenges
Saarland Informatics Campus(萨尔兰信息学园区);Northwestern Polytechnical University(西北工业大学)
法律判决预测是运用自然语言处理技术,根据事实描述自动预测判决结果。最近,大规模的公共数据集和NLP研究的进展导致了对LJP的兴趣越来越大。尽管机器和人类的表现之间存在明显的差距,但在各种基准数据集中取得了令人印象深刻的结果。本文针对目前缺乏对现有LJP任务、数据集、模型和评价的全面综述的现状,(1)分析了6种语言的31个LJP数据集,给出了它们的构造过程,定义了3种不同属性的LJP分类方法;(2)针对LJP任务的不同输出,总结了4类14个评价指标;(3)我们回顾了3种语言的12个法律领域预训练模型,并强调了LJP的3个主要研究方向;(4)我们展示了来自不同法院案件的8个代表性数据集的最新结果,并讨论了开放的挑战。本文可以提供最新的和全面的评论,以帮助读者了解LJP的地位。我们希望能促进NLP研究者和法律专业人士在这个问题上的进一步共同努力。
2022-04-11 cs.CL cs.LG
TMID: A Comprehensive Real-world Dataset for Trademark Infringement Detection in E-Commerce
Ant Group(蚂蚁集团);Monash University(莫纳什大学)
本文推出源自 Alipay 真实业务、含专家标注法律规则与商家商标语境的 TMID 数据集,并通过统计质控和实证研究揭示电商商标侵权检测挑战。
2023-12-08 cs.CL cs.CY cs.LG
ReflectSumm: A Benchmark for Course Reflection Summarization
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
本文提出了ReflectSumm数据集,旨在支持训练数据较少的真实场景下学生反思性写作的摘要技术开发与评估,并通过多基线评估为该领域提供基准。
2024-04-23 cs.AI cs.CL
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
Brown University(布朗大学);Adobe Research(Adobe研究院)
针对现有视频摘要基准无法提供UI教学视频所需逐步可执行指令与图示的问题,该研究提出新型基准MS4UI,构建含2413个视频、超167小时的多标注数据集,实验表明现有SOTA多模态摘要方法在该任务上表现不佳,凸显研发新方法的必要性。
2025-06-14 cs.CL cs.CV
How Private are Language Models in Abstractive Summarization?
School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
本研究全面评估了语言模型在医疗和法律摘要中的隐私风险,发现模型常泄露个人信息,与人类专家摘要相比隐私保护差距显著。
2025-05-27 cs.CL
Plain English Summarization of Contracts
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
单方面合同,如服务条款,在现代数字生活中发挥着重要作用。然而,很少有用户在接受这些条款之前阅读这些文档,因为它们太长,语言太复杂。我们建议用简明的英语对这些法律文件进行总结,使用户能够更好地理解他们所接受的术语。我们提出了一个初始数据集的法律文本片段配对的摘要写在简单的英语。我们手动验证这些摘要的质量,并表明它们涉及大量的抽象,压缩和简化。初步的实验表明,无监督的提取摘要方法不执行这项任务,由于抽象和风格的差异。最后,我们呼吁资源和技术开发的简化和风格的法律语言的转移。
2019-06-02 cs.CL
One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support
University of Bern(伯尔尼大学);University of Copenhagen(哥本哈根大学);Bern University of Applied Sciences(伯尔尼应用科学大学);University of Fribourg(弗里堡大学);Stanford University(斯坦福大学)
针对LLM在长文档、领域知识、多语言、多任务及推理上的挑战,构建瑞士法律体系的多语言法律NLP基准,发现现有公开多语言模型即使经领域预训练与微调仍难以胜任多数任务。
2024-08-21 cs.AI cs.CL cs.LG
Gavel: Agent Meets Checklist for Evaluating LLMs on Long-Context Legal Summarization
Georgia Institute of Technology(佐治亚理工学院)
提出Gavel框架,通过参考评估和免参考智能体评估12个前沿LLM在多文档法律摘要中的表现,发现模型易遗漏关键信息而非幻觉,且性能随案件长度增加而下降。
2026-08-27 cs.CL
ReGal: A First Look at PPO-based Legal AI for Judgment Prediction and Summarization in India
ReGal通过PPO结合多任务指令微调与强化学习,探索法律AI在印度判决预测和摘要中的应用,揭示了强化学习在法律文本中的挑战与潜力。
2025-12-19 cs.AI cs.CL cs.LG
ScisummNet: A Large Annotated Corpus and Content-Impact Models for Scientific Paper Summarization with Citation Networks
Yale University(耶鲁大学)
科学文章摘要具有挑战性:大型注释语料库不可用,摘要应该包括文章对研究社区的影响。本文为这两个挑战提供了新的解决方案。我们1)开发并发布了第一个大规模的人工注释语料库,用于科学论文(关于计算语言学),实现更快的注释,2)提出了整合作者原始亮点(摘要)和文章对社区的实际影响(引用)的摘要方法,以创建全面的混合摘要。我们进行实验,以证明我们的语料库的有效性,在训练数据驱动的模型,科学论文摘要和我们的混合摘要的优势,摘要和传统的基于引用的摘要。我们的大型标注语料库和混合方法为科学论文摘要研究提供了一个新的框架。
2019-09-16 cs.CL cs.IR cs.LG
Modeling Motivated Reasoning in Law: Evaluating Strategic Role Conditioning in LLM Summarization
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Max Planck Institute for Research on Collective Goods(集体利益研究所)
本研究通过评估框架发现,LLM在摘要司法判决时即使有平衡指令,仍会按法律角色(如法官、检察官)选择性包含信息,凸显了角色感知评估的必要性。
2025-10-08 cs.CL cs.CY
BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal Decrees and Notifications
Universidad Nacional de Educación a Distancia(西班牙国家远程教育大学);The National Library of Norway(挪威国家图书馆)
本文构建了包含3648条西班牙BOE法律文档简明摘要的BOE-XSUM数据集,并通过微调中型LLM验证其显著优于零样本通用模型。
2025-09-29 cs.CL
How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization?
IIT Kharagpur(印度理工学院卡拉格普尔分校);IISER Kolkata(印度科学教育与研究院加尔各答分院)
该研究针对法律案件判决摘要生成任务,测试多款领域专用生成式摘要模型与通用LLMs在印度法院判决数据集上的表现,发现其指标得分略高于抽取式模型但存在大量幻觉与不一致问题,指出当前这类模型尚不适合全自动部署,推荐采用人在环路方案。
2023-06-14 cs.CL cs.IR cs.LG
Aligning Language Models for Icelandic Legal Text Summarization
Department of Computer Science Reykjavik University(计算机科学系雷克雅未克大学)
本研究探讨了基于偏好的训练技术(RLHF和DPO)在提升冰岛语法律文本摘要生成中的效果,发现其能提高法律准确性但未显著改善语言整体质量,并强调了人工定性评估的重要性。
2025-04-25 cs.AI cs.CL cs.LG
Towards Unsupervised Question Answering System with Multi-level Summarization for Legal Text
National Institute of Technology Karnataka (NITK)(卡纳塔克邦国家理工学院(NITK))
针对 SemEval-2024 法律论证推理二分类任务,提出基于相似度与距离的无监督标注方法,并结合 Legal-Bert 多层融合及 T5 分段摘要,显著提升 F1。
2024-07-02 cs.CL cs.CY cs.LG