Summarisation of German Judgments in conjunction with a Class-based Evaluation
Saarland University(萨尔兰大学);Saarland Informatics Campus(萨尔兰信息学校区);Chair of Legal Informatics(法律信息化学系);Saarbrücken Germany(萨尔布吕肯德国);Rechtsanwälte Zimmer-Gratz Bous Germany(法律事务所 Zimmer-Gratz Bous 德国);Chair of Civil Law and Civil Procedure Law(民法与民事诉讼法系)
本文研究德国判决书自动摘要,通过在微调大语言模型前引入法律实体信息,并设计基于类别的评估方法,发现法律实体虽有助于定位相关内容,但摘要质量仍不足以实际应用。
2025-05-09 cs.CL
Legal Prompt Engineering for Multilingual Legal Judgement Prediction
Thomson Reuters Labs(汤森路透实验室)
法律提示工程(Legal Prompt Engineering,LPE)是一个指导和帮助大语言模型(LLM)执行自然法律语言处理(NLLP)技能的过程。我们的目标是使用LPE与LLM在长的法律文件的法律判断预测(LJP)的任务。我们调查性能的zero-shot LPE的情况下,文本从欧洲人权法院(英语)和瑞士联邦最高法院(德语,法语和意大利语)的事实。我们的研究结果表明,zero-shot LPE比基线更好,但与当前最先进的监督方法相比,它仍然不足。尽管如此,结果是重要的,因为1)没有使用明确的特定领域数据-因此我们表明,转移到法律领域是可能的通用LLM,2)LLM直接应用而无需任何进一步的训练或微调-这反过来又大大节省了额外的计算成本。
2022-12-05 cs.AI cs.CL
Evaluation Ethics of LLMs in Legal Domain
Institute for Internet Judiciary, Tsinghua University(互联网司法研究院,清华大学)
针对大语言模型在法律领域应用中的伦理缺失问题,提出基于真实法律案例的评估方法,检验其语言能力、法律知识与鲁棒性,为法律领域大模型适用性提供重要参考。
2024-03-17 cs.AI cs.CL
The German Commons - 154 Billion Tokens of Openly Licensed Text for German Language Models
University of Kassel, hessian.AI(卡塞尔大学、hessian.AI);Independent Researcher(独立研究者);Leipzig University(莱比锡大学)
本文提出German Commons,一个包含1545.6亿个标记、来自41个来源和七个领域的开放许可德语文本语料库,通过系统化数据收集与质量过滤,填补了开放许可德语预训练数据的空白,支持真正开放的德语语言模型开发。
2025-10-15 cs.CL
SteuerLLM: Local specialized large language model for German tax law analysis
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg(模式识别实验室,弗赖堡-亚历山大大学埃尔兰根-纽伦堡);Erlangen National High Performance Computing Center, Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔兰根国家高性能计算中心,弗赖堡-亚历山大大学埃尔兰根-纽伦堡);DATEV eG, Nuremberg, Germany(DATEV eG,纽伦堡,德国);Bavarian AI Taxation Laboratory, Department of Computer Science, University of Technology Nuremberg(巴伐利亚人工智能税收实验室,技术大学纽伦堡计算机科学系);Chair for Tax Law and Public Law, Friedrich-Alexander-Universität Erlangen-Nürnberg(税法与公共法教授职位,弗赖堡-亚历山大大学埃尔兰根-纽伦堡);Chair of Computer Science 10, Friedrich-Alexander-Universität Erlangen-Nürnberg(计算机科学10号教授职位,弗赖堡-亚历山大大学埃尔兰根-纽伦堡);Lab for AI in Medicine, RWTH Aachen University(医学人工智能实验室,亚琛工业大学);Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen(诊断与介入放射学系,亚琛大学医院)
本文提出SteuerLLM,一个针对德国税法的专用大语言模型,通过合成数据集训练,在法律推理任务中优于通用模型,展示了领域适应的重要性。
2026-02-11 cs.AI cs.CL cs.LG
Generating Legal Commentaries from Case Databases via Retrieval, Clustering, and Generation
Technical University of Munich(慕尼黑技术大学)
提出一个全自动流水线,利用检索、聚类和生成方法,从法院判决中自动生成法律评论,无需人工教义框架。
2026-09-28 cs.CL
Conditioning Large Language Models on Legal Systems? Detecting Punishable Hate Speech
Central Office for Information Technology in the Security Sector (ZITiS)(安全领域信息技术中央办公室(ZITiS));Computational Linguistics, CATALPA, FernUniversität in Hagen(计算语言学、CATALPA、费尔本大学);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Waseda Institute for Advanced Study, Waseda University(早稻田大学高级研究机构)
本文研究在不同法律抽象层次上条件化大语言模型以检测德国刑法下可惩罚的仇恨言论,发现模型与法律专家仍有显著差距,抽象知识导致幻觉而具体知识在行为分类上仍不足。
2025-06-03 cs.AI cs.CL
GERNERMED++: Transfer Learning in German Medical NLP
University of Augsburg(奥格斯堡大学);Institute and Outpatient Clinic for Occupational, Social and Environmental Medicine(职业、社会与环境医学研究所及门诊诊所)
我们提出了一个统计模型,德国医疗自然语言处理训练命名实体识别(NER)作为一个开放的,公开可用的模型。该工作是我们第一个GERNERMED模型的精致继承者,该模型的性能大大优于我们的工作。我们通过对预训练的深度语言模型(LM)、单词对齐和神经机器翻译进行迁移学习,展示了将多种技术相结合以实现实体识别性能的有效性。由于德语文本的开放公共医学实体识别模型的情况很少,这项工作为德国研究社区提供了医学NLP作为基线模型的好处。由于我们的模型是基于公共英语数据,其权重的提供没有法律限制的使用和分布。示例代码和统计模型可在以下网址获得:www.example.com
2022-10-09 cs.AI cs.CL cs.LG
GerPS-Compare: Comparing NER methods for legal norm analysis
Friedrich Schiller University Jena(弗里德里希·席勒大学耶拿分校);Competence Center Digital Research (zedif)(数字研究能力中心(zedif));Bielefeld University(比勒费尔德大学)
本文针对德语行政法律规范文本,比较基于规则系统、深度判别模型和深度生成模型三种NER方法,发现深度判别模型最适合处理十类语义与句法异质实体。
2024-12-03 cs.AI cs.CL
CrossLex: A Source-Grounded Benchmark for Cross-Jurisdictional Legal Reasoning in Large Language Models
本文提出基于中、加州、德三国法律来源的CrossLex基准测试集,定义三项任务并提出联合评估指标,发现大语言模型在跨司法辖区法律推理上存在不足,旨在推动相关研究。
2026-08-04 cs.CL
Swiss-Bench SBP-002: A Frontier Model Comparison on Swiss Legal and Regulatory Tasks
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出Swiss-Bench SBP-002,一个包含395个专家定制任务的三语基准,评估十种前沿模型在瑞士监管任务中的表现,揭示了不同任务类型的难度差异及模型性能分布。
2026-03-24 cs.AI cs.CL
Unlocking Legal Knowledge: A Multilingual Dataset for Judicial Summarization in Switzerland
University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学);University of Fribourg(弗里堡大学)
本文提出包含瑞士联邦最高法院2万份多语言裁决摘要的SLDS数据集,通过微调开源模型并与大型LLM对比发现,事实准确性比深度推理更能决定法律摘要的质量。
2025-09-18 cs.AI cs.CL cs.LG
Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training
AImotion Bavaria, Technische Hochschule Ingolstadt(巴伐利亚AImotion公司,英戈尔施塔特应用科学大学)
针对预训练语言模型法律推理能力不足的问题,提出结合NSP、CLU、CLS目标的KG引导多任务预训练方法,在StVO等任务上取得显著性能提升且具备跨领域泛化能力。
2026-10-12 cs.CL
Zero-Shot Cross-Lingual Transfer in Legal Domain Using Transformer Models
ITMO University(圣彼得堡国立信息技术机械与光学大学)
Zero-shot跨语言迁移是现代NLP模型和架构中支持低资源语言的重要特征。本文研究了多标签文本分类中英语到法语和德语的zero-shot跨语言迁移问题,使用英语训练集训练分类器,使用法语和德语测试集进行测试。我们扩展了EURLEX 57 K数据集,英语数据集的主题分类的法律文件,法语和德语的官方翻译。我们研究了使用一些训练技术,即逐步解冻和语言模型微调,对zero-shot跨语言迁移质量的影响。我们发现,多语言预训练模型(M-DistilBERT,M-BERT)的语言模型微调分别导致法语和德语测试集的32.0- 34.94%,76.15-87.54%的相对改善。此外,在训练过程中,预训练模型的层的逐渐解冻导致法语的38-45%和德语的58-70%的相对提高。与使用英语、法语和德语训练集在联合训练方案中训练模型相比,基于zero-shot BERT的分类模型达到了联合训练的BERT分类模型的86%。
2021-12-11 cs.AI cs.CL
A Dataset of German Legal Documents for Named Entity Recognition
DFKI GmbH(德国人工智能研究中心)
我们描述了一个数据集开发的命名实体识别在德国联邦法院的判决。它由近似。67,000个句子,超过200万个代币。该资源包含54,000个手动注释的实体,映射到19个细粒度的语义类:人,法官,律师,国家,城市,街道,景观,组织,公司,机构,法院,品牌,法律,条例,欧洲法律规范,法规,合同,法院判决和法律文献。此外,法律文件还自动标注了35,000多个基于TimeML的时间表达式。该数据集在CC-BY 4.0许可下以CoNNL-2002格式提供,旨在为欧盟项目Lynx中的德国法律文件培训NER服务。
2020-03-29 cs.CL cs.IR
ANNOTARES: A Dataset for Extracting Logical Structures from German Statutory Texts
本文针对德国法定文本逻辑成分提取难题,构建ANNOTARES数据集并测试多种模型,发现BERT与LLM模型表现更优,将发布数据集以推动自动法律推理研究。
2026-08-05 cs.CL
German BERT Model for Legal Named Entity Recognition
University of Passau(帕绍大学)
BERT是最流行的语言模型之一,它的使用使得许多自然语言处理(NLP)任务得到了改进。一个这样的任务是命名实体识别(NER),即从给定文本自动识别诸如位置、人、组织等的命名实体。它也是许多自然语言处理任务,如信息抽取和论证挖掘的重要基础步骤。尽管使用BERT和其他流行的语言模型对NER进行了大量研究,但在法律NLP或法律技术方面却没有详细探讨。法律NLP应用各种NLP技术,如句子相似性或NER专门针对法律数据。使用BERT语言模型的NER任务只有少数模型,然而,这些模型都不是针对德语的法律文档。在本文中,我们微调了一个流行的BERT语言模型,该模型在法律实体识别(LER)数据集上对德国数据(德语BERT)进行了训练。为了确保我们的模型不会过度拟合,我们进行了分层的10倍交叉验证。我们在LER数据集上通过微调德国BERT获得的结果优于相同LER数据集作者使用的BiLSTM-CRF+模型。最后,我们通过HuggingFace公开提供模型。
2023-03-07 cs.CL cs.LG
Towards A Structured Overview of Use Cases for Natural Language Processing in the Legal Domain: A German Perspective
Technical University of Munich(慕尼黑工业大学)
本文基于系统性文献综述和德国法律实践,构建法律科技用例的结构化概览,识别七类NLP技术与22个法律用例的对应关系,并提炼出15个伦理、法律和社会方面(ELSA)问题。
2024-05-02 cs.CL cs.CY
AGB-DE: A Corpus for the Automated Legal Assessment of Clauses in German Consumer Contracts
University of Twente(特温特大学);Technical University of Munich(慕尼黑工业大学)
本文构建了由法律专家标注的 AGB-DE 德国消费者合同条款语料库,并以 SVM、微调开放语言模型和 GPT-3.5 建立无效条款检测基线,揭示复杂条款解释是核心难点。
2024-06-10 cs.CL
Experts-in-the-Loop: Establishing an Effective Workflow in Crafting Privacy Q&A
Fraunhofer IIS(弗劳恩霍夫应用研究促进协会信息与通信技术研究所)
本文提出一种将隐私政策转化为隐私问答的动态工作流,通过法律专家与对话设计师的跨学科协作及专家在环方法,利用大语言模型并持续监控优化,使隐私政策能通过对话式AI被轻松获取。
2023-11-18 cs.CL
Project Alexandria: Towards Freeing Scientific Knowledge from Copyright Burdens via LLMs
LAION;Open-Ψ (Open-Sci) Collective(Open-Ψ(Open-Sci)集体);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);Stanford University(斯坦福大学);TIB—Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);Juelich Supercomputing Center(于利希超级计算中心);Technical University of Munich(慕尼黑工业大学)
针对付费墙等版权限制阻碍科学知识传播复用的问题,提出用大语言模型将学术文档转为保留知识但无风格的知识单元,经法律分析和MCQ测试验证其法律可辩护性及约95%的事实保留率,并提供开源工具支持。
2025-04-18 cs.AI cs.CL cs.LG
Segmentation and Processing of German Court Decisions from Open Legal Data
Hasso-Plattner Institute / University of Potsdam, Germany(哈索-普拉特纳研究所 / 波茨坦大学)
本研究提出了一种从开放法律数据中清洗并分节德国法院判决的方法,提取了三个关键部分并公开了数据集,为法律NLP研究提供支持。
2026-01-04 cs.CL cs.IR cs.LG
Data and Approaches for German Text simplification -- towards an Accessibility-enhanced Communication
Hamburg University of Applied Sciences(汉堡应用技术大学)
本文梳理德语文本简化的研究现状与不足,指出需适配德语特征的方法及目标群体需求,介绍2023年启动的OPEN-LS跨学科项目,其将构建适配低识字人群的文本框架、整合法律文本并探索AI配图增强无障碍的方案。
2023-12-15 cs.AI cs.CL
AI-assisted German Employment Contract Review: A Benchmark Dataset
Technical University of Munich(慕尼黑工业大学)
本研究发布了一个匿名化的德国雇佣合同条款基准数据集,用于评估NLP在合同合法性与公平性审查中的应用效果。
2025-01-27 cs.CL
Bundesrecht: An Open Library and Corpus for German Statutory Reference Processing
Hochschule für Technik und Wirtschaft Berlin(柏林技术与经济高等学院);Hasso-Plattner Institute / University of Potsdam(波茨坦大学哈索普劳恩研究所)
本文提出 bundesrecht,一个包含软件库和结构化语料库的开放资源,用于解析、规范化和解析德国法律引用,实现从原始引用字符串到结构化法律条文的端到端处理。
2026-05-29 cs.CL
Swiss-Judgment-Prediction: A Multilingual Legal Judgment Prediction Benchmark
University of Bern(伯尔尼大学);University of Copenhagen(哥本哈根大学)
在许多法域,法院工作量过大导致大量拖延。合适的人工智能预测模型可以帮助法律专业人员开展工作,从而增强和加快这一过程。到目前为止,法律判决预测(LJP)数据集已经以英语,法语和中文发布。我们公开发布了瑞士联邦最高法院(FSCS)的85,000个案例的多语言(德语,法语和意大利语)历时(2000-2020)语料库。我们评估了最先进的基于BERT的方法,包括克服BERT输入(文本)长度限制(最多512个令牌)的BERT的两个变体。分层BERT具有最好的性能(约68-70% Macro-F1-Score(德语和法语)。此外,我们还研究了几个因素(原产地,出版年份,文本长度,法律区域)如何影响性能。我们发布了基准数据集和代码,以加速未来的研究并确保可重复性。
2021-10-02 cs.CL
Towards Automated Regulatory Compliance Verification in Financial Auditing with Large Language Models
Fraunhofer IAIS(弗劳恩霍夫智能分析和信息系统研究所);University of Bonn(波恩大学);PricewaterhouseCoopers GmbH(普华永道)
本文研究大型语言模型在金融审计合规验证中的表现,通过普华永道德国提供的两个定制数据集比较开源Llama-2与专有GPT模型,发现Llama-2 70B在检测不合规方面表现最佳,而GPT-4在非英语等广泛场景中表现最优。
2025-07-22 cs.AI cs.CL cs.LG
Hallucinations in LLMs: A Lifecycle-Based Survey of Causes, Detection, Mitigation, and Prevention
Sharda University(沙尔达大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本调查基于LLM生命周期对幻觉进行分类,探讨其成因、检测、缓解与预防,分析基准数据适用性,为相关人员提供标准化框架以构建更可靠的LLM。
2026-08-28 cs.AI cs.CL
CON-QA: Privacy-Preserving QA using cloud LLMs in Contract Domain
Info Origin INC;Indian Institute of Technology New Delhi (IITD)(印度理工学院新德里学院(IITD))
针对企业合同问答中的隐私泄露风险,提出CON-QA混合框架,结合本地与云LLM,通过查询分解、实体匿名化和反向映射实现安全问答,并基于CUAD-QA数据集验证其隐私与效用兼顾。
2025-09-24 cs.AI
Benchmarking Multi-National Value Alignment for Large Language Models
The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);Zhejiang Normal University(浙江师范大学);Soochow University(苏州大学)
针对现有LLM价值对齐基准忽视国家多样性且不可扩展的问题,提出NaVAB基准,通过国家价值提取流水线评估五个主要国家价值观对齐,实验证明其可结合对齐技术有效减少价值冲突。
2025-04-19 cs.AI cs.CL
Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts
Swiss Federal Supreme Court(瑞士联邦最高法院);HES-SO Valais-Wallis(HES-SO瓦莱州-瓦利斯高等专业学院)
针对刑事法律场景中大语言模型因安全护栏导致拒绝响应(过度对齐)的问题,提出TF-RefusalBench基准,并评估提示工程与拒绝方向消融(abliteration)等缓解方法。
2026-07-01 cs.AI cs.CL
Resolving Legalese: A Multilingual Exploration of Negation Scope Resolution in Legal Documents
University of Zurich(苏黎世大学);University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学)
本文针对法律文本否定范围消解缺乏领域语料及多语言性能不足的问题,发布德、法、意三语标注法院判决数据集,并通过零样本与多语言微调将token级F1分数分别提升至86.7%和91.1%。
2023-09-15 cs.AI cs.CL cs.LG
LLMs and Memorization: On Quality and Specificity of Copyright Compliance
Campus Institute Data Science, University of Goettingen(哥廷根大学校园数据科学研究所)
本研究提出系统性方法量化LLMs的版权侵权风险,通过160字符阈值和模糊匹配算法评估指令微调模型,发现不同模型在版权合规性上差异显著。
2024-11-18 cs.AI cs.CL
FairLex: A Multilingual Benchmark for Evaluating Fairness in Legal Text Processing
University of Copenhagen(哥本哈根大学);National University of Defense Technology(国防科技大学)
我们提出了一个由四个数据集组成的基准套件,用于评估预训练的语言模型的公平性,以及用于对下游任务进行微调的技术。我们的基准涵盖四个司法管辖区(欧洲理事会、美国、瑞士和中国)、五种语言(英语、德语、法语、意大利语和中文)以及五个属性(性别、年龄、地区、语言和法律领域)的公平性。在我们的实验中,我们使用几种组鲁棒微调技术来评估预训练的语言模型,并表明在许多情况下,表现组差异是充满活力的,而这些技术都不能保证公平性,也不能始终如一地减轻组差异。此外,我们提供了一个定量和定性分析我们的结果,突出了开放的挑战,在法律NLP的鲁棒性方法的发展。
2022-03-14 cs.CL
Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben
Universität Osnabrück(奥斯纳布吕克大学);Maastricht University(马斯特里赫特大学);Fobizz(Fobizz公司)
本研究测试了Fobizz的AI评分工具,发现其评分随机、易受ChatGPT文本影响,且存在不透明缺陷,批评其营销误导,呼吁系统性评估AI教育工具。
2025-01-21 cs.AI cs.CL cs.CY
Schützen: Evaluating LLM Safety in Bulgarian and German Contexts
Sofia University "St. Kliment Ohridski" MBZUAI(索菲亚大学"圣克莱门特·奥赫里德斯基" MBZUAI)
针对现有安全评估数据集以英语和中文为主的问题,构建了覆盖低资源语言保加利亚语和高资源语言德语的Schützen安全数据集,实验揭示多语言LLM在安全行为上的显著跨语言差异,强调了区域特定评估资源的必要性。
2026-06-11 cs.CL
Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph
Technische Hochschule Ingolstadt(英戈尔施塔特应用科学大学)
针对德国法律场景中LLM检索的缺陷,提出结构驱动知识图谱的检索方法,比较不同策略并评估其对检索引用准确性的影响,以实现法律推理的可验证性。
2026-10-14 cs.CL
LEXam: Benchmarking Legal Reasoning on 340 Law Exams
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);University of Lausanne(洛桑大学);Max Planck Institute for Research on Collective Goods(马克斯·普朗克集体物品研究所);Omnilex;University of St. Gallen(圣加仑大学);Swiss Federal Supreme Court(瑞士联邦最高法院)
LEXam基准测试通过340法律考试数据,包含7537道英语和德语法律考试题目,涵盖多种法律课程和学位级别,旨在评估大语言模型在长文本法律推理中的挑战与性能。
2026-04-02 cs.AI cs.CL cs.LG