Large Language Models as Master Key: Unlocking the Secrets of Materials Science with GPT
University of New South Wales（新南威尔士大学）；GreenDynamics Pty. Ltd（绿动力私人有限公司）；City University of Hong Kong（香港城市大学）；University of Sydney（悉尼大学）；DARE ARC Training Centre in Data Analytics for Resources and Environments（DARE ARC资源与环境数据分析培训中心）
本文提出结构化信息推断（SII）任务，通过微调GPT-3从钙钛矿太阳能电池文献中提取器件级信息，并利用LLMs预测器件性能与设计新材料，展示了LLMs在材料科学中的知识获取与材料设计潜力。
2023-04-12 cs.AI cs.CL
GAIus: Combining Genai with Legal Clauses Retrieval for Knowledge-based Assistant
Faculty of Electronics and Information Technology（电子与信息技术学院）
本文提出基于认知LLM智能体的gAIus架构，通过可解释的法律条款检索机制结合《波兰民法典》知识，在波兰法律考试单选题上显著提升GPT系列模型表现。
2025-07-02 cs.AI cs.CL
LePREC: Reasoning as Classification over Structured Factors for Assessing Relevance of Legal Issues
Faculty of Information Technology, Monash University, Australia（墨尔本大学信息技术学院，澳大利亚）；School of Information Technology, Monash University Malaysia（墨尔本大学马来西亚分校信息学院）；School of Business, Monash University Malaysia（墨尔本大学马来西亚分校商学院）；Faculty of Law, Monash University, Australia（墨尔本大学法学院，澳大利亚）
本文提出LePREC框架，结合神经生成与结构统计推理，提升法律问题识别的精度，实验表明其比先进LLM基线提升30-40%。
2026-04-21 cs.AI cs.CL
Aalap: AI Assistant for Legal & Paralegal Functions in India
Thoughtworks Technologies India Pvt Ltd（Thoughtworks印度技术私人有限公司）；Agami
针对法律领域使用专有LLM的挑战，提出微调Mistral 7B模型Aalap，在印度法律任务上优于或相当于gpt-3.5-turbo，侧重法律推理，助力法律从业者。
2024-01-30 cs.AI cs.CL cs.CY
Legal text classification in Korean sexual offense cases: from traditional machine learning to large language models with XAI insights
本研究评估韩国性犯罪法律文本分类模型，发现微调KLUE-BERT达99.3%准确率，优于GPT-3.5等大型模型，并利用XAI分析揭示模型决策特征与局限，强调可解释性在法律AI中的重要性。
2026-10-02 cs.AI cs.CL
Automatic Information Extraction From Employment Tribunal Judgements Using Large Language Models
University of Cambridge（剑桥大学）；Newnham College（纽纳姆学院）；Downing College（唐宁学院）；University of Notre Dame（圣母大学）
本研究利用GPT-4从英国就业法庭判决中自动提取关键信息，验证其高准确性，并探索预测劳动法争议结果的工具开发。
2024-03-19 cs.AI cs.CL
Enhancing Legal Document Retrieval: A Multi-Phase Approach with Large Language Models
VNU University of Engineering and Technology（VNU工程技术大学）；RMIT University（皇家墨尔本理工大学）；National Institute of Informatics（情报学研究所）
本研究提出一种结合 BM25 预排序、基于 BERT 的重排序与 LLM 提示技术的多阶段法律文档检索方法，在 COLIEE 2023 数据集上显著提升了检索准确率。
2024-03-26 cs.AI cs.CL
Better Call GPT, Comparing Large Language Models Against Lawyers
AI Center of Excellence, Onit Inc.（Onit公司人工智能卓越中心）
该研究对比大语言模型与初级律师、法律流程外包商的合同审核能力，发现先进LLM准确率持平或优于人类，速度快数倍、成本降99.97%，预示其将重塑法律行业格局。
2024-01-24 cs.CL cs.CY
Vichara: Appellate Judgment Prediction and Explanation for the Indian Judicial System
Vichara通过结构化方法预测和解释印度司法系统中的上诉判决，利用大型语言模型在两个数据集上取得优异表现，尤其在可解释性方面表现突出。
2026-02-20 cs.AI cs.CL
Better Bill GPT: Comparing Large Language Models against Legal Invoice Reviewers
Onit Inc（昂尼特公司）；AI Center of Excellence, Onit Inc（昂尼特公司卓越人工智能中心）
本研究首次实证比较了LLMs与人类法律发票审核员在准确性、速度和成本上的表现，发现LLMs在所有指标上均显著优于人类，标志着LLM驱动的法律支出管理时代已到来。
2025-04-02 cs.CL
Weaving Pathways for Justice with GPT: LLM-driven automated drafting of interactive legal applications
Suffolk University Law School（萨福克大学法学院）
针对提升自助诉讼工具开发效率的需求，本文提出三种基于大语言模型的法庭文书自动填写方法，经实验验证混合约束起草加人工审核的模式效果最优。
2023-12-14 cs.AI cs.CV cs.CY
Evaluating the Role of Large Language Models in Legal Practice in India
National Law School of India（印度国家法律学校）
本文实证评估了GPT、Claude和Llama等大型语言模型在印度背景下执行法律任务的表现，发现其在起草和问题识别上表现优异但在专业研究中易产生幻觉，表明LLM可辅助法律工作但无法替代人类专业判断。
2025-08-13 cs.AI cs.CL
BLT: Can Large Language Models Handle Basic Legal Text?
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland School of Law（马里兰大学法学院）；Télécom Paris - Institut Polytechnique de Paris（巴黎综合理工学院电信学院）
研究发现GPT-4等公开LLM在基础法律文本处理上表现不佳，为此构建了相关基准，并证明通过微调可使小模型达到近乎完美的性能，为下游法律任务微调及可靠性追踪提供了工具。
2024-10-17 cs.AI cs.CL
Exploring Possibilities of AI-Powered Legal Assistance in Bangladesh through Large Language Modeling
Shahjalal University of Science and Technology（沙贾拉尔科技大学）；Independent University（独立大学）；Louisiana State University（路易斯安那州立大学）
本研究构建孟加拉国法律英文语料库 UKIL-DB-EN，并微调 GPT-2 得到法律辅助模型 GPT2-UKIL-EN，首次为孟加拉国开发 AI 法律助理提供可行方案。
2024-10-22 cs.AI cs.CL cs.CY
Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
针对低资源语言跨语言摘要性能不佳的问题，提出四步零样本SITR方法（摘要、改进、翻译、精炼），在多个数据集上验证，显著提升GPT-3.5和GPT-4的跨语言摘要能力。
2025-03-25 cs.AI cs.CL
Using Large Language Models for the Interpretation of Building Regulations
The University of Auckland（奥克兰大学）；CAS Limited（CAS有限公司）
本文研究利用 GPT-3.5 等大型语言模型在少样本学习下将建筑法规自动转换为 LegalRuleML，并验证链式思维与自一致性策略对自动化合规检查的支持效果。
2024-07-26 cs.AI cs.CL
Legal Question-Answering in the Indian Context: Efficacy, Challenges, and Potential of Modern AI Models
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Symbiosis Law School Pune（浦那共生法学院）
本研究比较了现代AI模型在印度法律问答中的效能，以GPT为基准，评估AILQA范式在刑事法律领域的表现，结合实证与专家见解，揭示其潜力与挑战。
2023-10-16 cs.AI cs.CL
Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research
Beijing Normal University（北京师范大学）；National University of Singapore（新加坡国立大学）；Qingdao University of Technology（青岛理工大学）；TÜV SÜD（南德认证检测（TÜV南德））；Google（谷歌）
本文首次构建水工程领域基准WaterER，系统评测七个主流大模型在983项任务上的表现，揭示各模型优势并推动其成为真正的水专家。
2024-07-22 cs.AI cs.CL
LexChronos: An Agentic Framework for Structured Event Timeline Extraction in Indian Jurisprudence
LexChronos通过双代理架构提取印度最高法院判决中的结构化事件时间线，提升法律文本理解和推理能力。
2026-03-02 cs.AI cs.CL
Team UTSA-NLP at SemEval 2024 Task 5: Prompt Ensembling for Argument Reasoning in Civil Procedures with GPT4
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出基于GPT4的提示集成方法，结合思维链推理与上下文学习，用于民事诉讼法律论证推理，在SemEval 2024任务5中取得验证集Macro F1 0.8095、测试集0.7315（21队第5）的成绩。
2024-04-02 cs.CL
LexGPT 0.1: pre-trained GPT-J models with Pile of Law
National Yang Ming Chiao Tung University（国立阳明交通大学）
本研究基于GPT-J和Pile of Law构建法律领域预训练模型LexGPT 0.1，提出无代码微调方案助力法律从业者定制模型，同时指出其分类任务性能低于SOTA，需后续优化。
2023-06-05 cs.CL
NLP at UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA
Baskin School of Engineering（巴斯金工程学院）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
本文针对SemEval-2024法律答案验证任务，提出微调BERT领域模型和GPT少样本多项选择问答重构两种方法，最佳模型在20队中排名第7。
2024-04-04 cs.AI cs.CL
Exploring Large Language Models and Hierarchical Frameworks for Classification of Large Unstructured Legal Documents
Institut de Recherche en Informatique de Toulouse (IRIT)（图卢兹计算机科学研究所（IRIT））
本文提出 MESc 分层框架，结合微调 LLM、多层嵌入、无监督聚类与 transformer 编码器处理超长非结构化法律文档，并在多国法律数据集上验证其判决预测性能。
2024-03-11 cs.AI cs.CL
Legal Minds, Algorithmic Decisions: How LLMs Apply Constitutional Principles in Complex Scenarios
Bank of Italy（意大利银行）
本文以意大利宪法法院生命伦理裁决为样本，实证比较 GPT-4 生成的法律论证，发现其系统性偏向进步主义解释并反映申请人立场，揭示数据偏差对法律决策对齐的影响。
2024-08-09 cs.CL cs.CY
Self-Instructed Derived Prompt Generation Meets In-Context Learning: Unlocking New Potential of Black-Box LLMs
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hefei University of Technology（合肥工业大学）
本文提出自指令上下文学习框架，通过强化学习生成可靠派生提示并构建上下文演示，从而提升黑盒大语言模型如GPT-4的响应质量。
2024-09-03 cs.AI cs.CL
Evaluating o1-Like LLMs: Unlocking Reasoning for Translation through Comprehensive Analysis
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文综合评估多个类o1大语言模型的多语言翻译表现，分析模型规模、成本速度与温度参数的影响，发现DeepSeek-R1等模型建立新基准并兼具文化翻译优势。
2025-02-17 cs.CL
Unlocking the Potential of ChatGPT: A Comprehensive Exploration of its Applications, Advantages, Limitations, and Future Directions in Natural Language Processing
Labged Laboratory, Computer Science department（Labged实验室，计算机科学系）；Badji Mokhtar University（巴吉·莫克塔尔大学）
本文全面综述ChatGPT在NLP中的应用、优势与局限，比较GPT系列与其他LLM，并强调伦理问题及提示工程技术。
2025-05-27 cs.CL
Developing a Pragmatic Benchmark for Assessing Korean Legal Language Understanding in Large Language Models
University of Seoul（首尔大学）；LBox；Hanyang University（汉阳大学）
本文提出KBL基准，通过法律知识、推理任务及韩国律师资格考试，在闭卷和RAG设置下全面评估LLMs的韩语法律语言理解能力，揭示现有模型的改进空间。
2024-10-11 cs.AI cs.CL
Reformulating Domain Adaptation of Large Language Models as Adapt-Retrieve-Revise: A Case Study on Chinese Legal Domain
Kyoto University（京都大学）；Alibaba Health（阿里健康）；Alibaba Quark（阿里夸克）
本文提出一种 adapt-retrieve-revised 框架，通过小模型生成草稿、检索外部证据并由 GPT-4 修订，有效解决大模型在特定领域的幻觉问题，在中国法律任务上显著提升准确率。
2024-08-26 cs.CL
Prediction of Arabic Legal Rulings using Large Language Models
Prince Sultan University（苏丹王子大学）
本研究利用大型语言模型对阿拉伯商业法院判决进行预测分析，评估多种模型与训练范式，发现GPT-3.5性能最佳，并指出非人工评估指标不可靠。
2023-10-16 cs.AI cs.CL cs.LG
Mitigating Manipulation and Enhancing Persuasion: A Reflective Multi-Agent Approach for Legal Argument Generation
Intelligent Systems Program University of Pittsburgh Pittsburgh Pennsylvania USA；Intelligent Systems Program University of Pittsburgh
本文提出反思式多智能体方法，通过迭代精炼生成法律论证，有效缓解操纵、增强说服，提升弃权准确性与事实利用。
2025-10-23 cs.AI cs.CL cs.LG
LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification
Teresina, PI, Brazil（巴西蒂雷西纳州，PI）
本文提出LegalBench-BR，首个公开的巴西法律文本分类评估基准，通过LoRA微调在消费级GPU上实现零边际推理成本，展示领域适应模型在巴西法律分类中的必要性。
2026-04-20 cs.CL
From Drafts to Answers: Unlocking LLM Potential via Aggregation Fine-Tuning
Shanghai AI Laboratory（上海人工智能实验室）；Renmin University of China（中国人民大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出聚合微调（AFT）范式，让模型学习将多个草稿响应合成为精炼答案，并在推理时通过提出并聚合策略迭代提升性能，在AlpacaEval 2上以8B模型超越更大模型，无需增加数据或模型规模。
2025-01-21 cs.AI cs.CL
Large Language Models "Ad Referendum": How Good Are They at Machine Translation in the Legal Domain?
Dublin City University（都柏林城市大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本研究对比评估了LLMs与传统NMT系统在法律领域的机器翻译质量，发现尽管LLMs在自动评估指标上略逊，但在人工评估中表现相当或更优，凸显了人工评估的重要性。
2024-02-12 cs.AI cs.CL
An Senegalese Legal Texts Structuration Using LLM-augmented Knowledge Graph
Sciences and Technologies | Economic and Social Sciences（科技 | 经济和社会科学）；Iba Der Thiam University（伊巴德里亚姆大学）；Social Sciences, Iba Der Thiam University, Thies, Senegal（社会科学，伊巴德里亚姆大学，泰西，塞内加尔）
本研究利用LLM增强的知识图谱对塞内加尔法律文本进行结构化处理，提取7967篇文章并构建图数据库，提升法律信息的可访问性和理解性。
2025-09-27 cs.CL cs.LG
Scale-free Characteristics of Multilingual Legal Texts and the Limitations of LLMs
Faculty of Science and Engineering（科学与工程学系）；Waseda University（早稻田大学）
本文通过Heaps指数、Taylor指数、压缩率和熵等无标度度量比较法律文本、一般文本与GPT生成文本，发现法律文本具有更慢的词汇增长和更高的术语一致性，且当前生成模型未能完全复现法律文本的领域特定结构。
2025-09-22 cs.CL
NESTLE: a No-Code Tool for Statistical Analysis of Legal Corpus
LBox；University of Seoul（首尔大学）
NESTLE是一个无代码工具，利用LLM和定制IE系统实现法律语料库的灵活统计分析，在多个任务上达到GPT-4水平。
2024-02-05 cs.AI cs.CL
LEGAL-UQA: A Low-Resource Urdu-English Dataset for Legal Question Answering
LUMS（拉合尔管理科学大学）
本文提出首个源自巴基斯坦宪法的低资源乌尔都语-英语法律问答数据集LEGAL-UQA，通过评估和微调多语言模型验证了其有效性，为巴基斯坦本地法律信息获取奠定基础。
2024-10-16 cs.AI cs.CL cs.LG
Can Small Models Reason About Legal Documents? A Comparative Study
Independent Researcher（独立研究员）
本文通过测试九种模型在三个法律基准上的表现，发现3B参数的混合专家模型在法律持有识别上优于GPT-4o-mini，且提示策略影响显著，few-shot提示效果最佳。
2026-03-26 cs.AI cs.CL
Exploring the psychology of LLMs' Moral and Legal Reasoning
INSPER Institute of Education and Research（INSPER 教育与研究学院）；FGV Direito Rio（FGV 里约法学院）；PUC-Rio（里约热内卢天主教大学）；Center for Humans and Machines, Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所人类与机器中心）；Ruhr-University Bochum（波鸿鲁尔大学）；Federal University of Rio de Janeiro（里约热内卢联邦大学）；State University of Rio de Janeiro（里约热内卢州立大学）
本研究采用实验心理学方法，复制八项研究，比较四种大语言模型在道德与法律推理上与人类反应的一致性，发现GPT-4领先但存在系统性差异，提示需谨慎用LLM替代人类被试。
2024-03-04 cs.AI cs.CL
LLMs & Legal Aid: Understanding Legal Needs Exhibited Through User Queries
Masaryk University（马萨里克大学）；Faculty of Law（法学院）；Institute of Law and Technology（法律与技术研究所）
本文分析 Frank Bold 实验中1,252名用户向 GPT-4 提交的3,847条法律查询，利用 GPT-4o 零样本分类揭示用户在事实信息、信息或建议需求及回答控制方面的特征。
2025-01-03 cs.AI cs.HC
Chinese Labor Law Large Language Model Benchmark
Department of Mechatronics and Robotics, Xi’an Jiaotong–Liverpool University（机械与机器人系，西安交通大学利物浦大学）；Department of Applied Mathematics, Xi’an Jiaotong–Liverpool University（应用数学系，西安交通大学利物浦大学）；Hansheng Lawyers Building（翰盛律师事务所）；Suzhou Gewu Digital Technology Co., Ltd.（苏州葛武数字技术有限公司）；Kenneth Wang School of Law, Soochow University（肯尼斯·王法学院，苏州大学）；College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学）
本文提出LabourLawLLM和LabourLawBench，专门针对中国劳动法任务，通过精确的法律知识和复杂推理提升法律AI的应用效果。
2026-01-15 cs.AI
Bringing legal knowledge to the public by constructing a legal question bank using large-scale pre-trained language model
The University of Hong Kong（香港大学）；The Australian National University（澳大利亚国立大学）
本文提出三步法（CLIC-pages、法律题库LQB和交互式推荐器CRec）向公众普及法律知识，并重点展示利用GPT-3生成法律问题，发现机器生成问题比人工问题更具可扩展性、成本效益和多样性。
2025-05-07 cs.AI cs.CL
Large Language Models Acing Chartered Accountancy
Sharda University（莎达大学）
本文提出CA-Ben基准，评估LLMs在印度特许会计师考试中的金融、法律和定量推理能力，发现Claude 3.5 Sonnet和GPT-4o表现最佳，并指出数值计算与法律解释是当前主要挑战。
2025-06-26 cs.AI cs.CL
LeCoDe: A Benchmark Dataset for Interactive Legal Consultation Dialogue Evaluation
Zhejiang University（浙江大学）；Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）；Worcester Polytechnic Institute（沃斯通理工学院）
针对法律咨询交互性不足的问题，构建含3696段真实多轮对话的LeCoDe基准，提出双维度12指标评估框架，实验显示GPT-4等模型性能有限，并探索了增强策略。
2025-10-23 cs.AI cs.CL
Retrieval-Based Multi-Label Legal Annotation: Extensible, Data-Efficient and Hallucination-Free
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种基于检索的多标签法律标注方法，该方法通过嵌入文档和标签描述，利用冻结的检索模型进行k近邻搜索，实现了高效的数据标注，同时避免了生成模型的幻觉问题，展示了在高基数和快速变化的法律标签空间中的实用性。
2026-05-16 cs.CL
DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution
DIVE是一种多样性驱动的无参数框架，可让冻结LLM从任务经验和验证器反馈中进化出自然语言技能，在多项推理任务上优于现有方法，还能实现模型间技能迁移，让小模型性能匹配或超越大模型。
2026-08-14 cs.CL
Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
University of Copenhagen（哥本哈根大学）；Faculty of Law, University of Copenhagen（哥本哈根大学法学院）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本研究以欧洲人权法院案件为测试平台，评估OpenAI GPT 5.4的法律推理表现，发现其推理质量不足、LLM评估不可替代人工，且专家提示未提升预测准确率。
2026-11-06 cs.AI cs.CL
Unlocking Structure Measuring: Introducing PDD, an Automatic Metric for Positional Discourse Coherence
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
针对现有指标难以衡量长文本语篇连贯性的问题，本文提出自动指标 PDD 来量化两篇文章的语篇分歧，并在三个领域数据集上验证其更贴合人类与 GPT-4 评价。
2024-04-02 cs.CL
Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models
University of California, Riverside（加州大学河滨分校）
本文提出测试时匹配算法，通过改进评估指标提升多模态模型的组合推理能力，使SigLIP-B16和GPT-4.1在Winoground等基准上取得新突破。
2026-04-24 cs.AI cs.CL cs.CV
From Benchmarking to Reasoning: A Dual-Aspect, Large-Scale Evaluation of LLMs on Vietnamese Legal Text
University of Science, VNUHCM（越南国家大学科学大学）；Vietnam National University（越南国家大学）；Hanoi Open University（河内开放大学）；Ho Chi Minh, Vietnam（胡志明市，越南）
本文提出双视角评估框架，评估四种LLM在越南法律文本的准确性、可读性和一致性，发现Grok-1在可读性和一致性上表现优异但法律准确性不足，而Claude 3 Opus高准确性掩盖了推理错误，揭示当前LLM在法律推理上的核心挑战。
2026-04-17 cs.AI cs.CL
RIRO: Reshaping Inputs, Refining Outputs Unlocking the Potential of Large Language Models in Data-Scarce Contexts
AiTech AU；Faculty of Computer Science, MSA University（MSA大学计算机学院）
提出RIRO双层架构，通过输入重塑与输出精炼提升LLMs在数据稀缺环境下的微调性能，并构建多指标评估基准验证了Phi-2等模型的有效性。
2024-12-15 cs.CL
That's So FETCH: Fashioning Ensemble Techniques for LLM Classification in Civil Legal Intake and Referral
Suffolk University Law School（苏富比大学法学院）
本文提出FETCH分类器，通过混合LLM/ML方法和自动生成后续问题，提升法律问题分类的准确率至97.37%。
2025-09-10 cs.AI cs.CL cs.CY
Can GPT-3 Perform Statutory Reasoning?
University of Maryland School of Law（马里兰大学法学院）；Télécom Paris Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文探讨 GPT-3 在成文法推理任务上的能力，使用 SARA 数据集测试多种提示方法，虽优于先前结果，但在简单合成成文法上表现不佳，揭示其推理局限。
2023-05-10 cs.AI cs.CL
