arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2501.01711cs.HCcs.AI
收藏

大语言模型与法律援助:理解用户查询所展现的法律需求

LLMs & Legal Aid: Understanding Legal Needs Exhibited Through User Queries

Masaryk University(马萨里克大学);Faculty of Law(法学院);Institute of Law and Technology(法律与技术研究所)

Michal Kuk, Jakub Harasta

AI总结:

本文分析 Frank Bold 实验中1,252名用户向 GPT-4 提交的3,847条法律查询,利用 GPT-4o 零样本分类揭示用户在事实信息、信息或建议需求及回答控制方面的特征。

摘要:

本文对捷克专家组织 Frank Bold 开展的一项实验进行初步分析,旨在探索用户如何与 GPT-4 互动以处理法律问题。2023年5月3日至7月25日期间,共有1,252名用户提交了3,847条查询。不同于主要关注大语言模型(LLM)准确性、事实性或幻觉倾向的研究,本文分析聚焦于互动中的用户查询维度。研究使用 GPT-4o 进行零样本分类,从三个方面对查询进行归类:(1)用户是否提供了与其问题有关的事实信息,提供者占29.95%,未提供者占70.05%;(2)用户寻求的是法律信息(64.93%)还是关于行动方案的建议(35.07%);(3)用户是否提出用于塑造或控制模型回答的要求,提出者占28.57%,未提出者占71.43%。本文提供了关于用户需求的定量与定性洞见,并有助于更好地理解用户对 LLM 的参与方式。

英文摘要:

The paper presents a preliminary analysis of an experiment conducted by Frank Bold, a Czech expert group, to explore user interactions with GPT-4 for addressing legal queries. Between May 3, 2023, and July 25, 2023, 1,252 users submitted 3,847 queries. Unlike studies that primarily focus on the accuracy, factuality, or hallucination tendencies of large language models (LLMs), our analysis focuses on the user query dimension of the interaction. Using GPT-4o for zero-shot classification, we categorized queries on (1) whether users provided factual information about their issue (29.95%) or not (70.05%), (2) whether they sought legal information (64.93%) or advice on the course of action (35.07\%), and (3) whether they imposed requirements to shape or control the model's answer (28.57%) or not (71.43%). We provide both quantitative and qualitative insight into user needs and contribute to a better understanding of user engagement with LLMs.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑