ChatGPT for Zero-shot Dialogue State Tracking: A Solution or an Opportunity?
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文评估 ChatGPT research preview 在零样本 DST 上的表现,发现其达到最先进水平,但认为通用模型难以取代专用系统,更可作为动态对话状态跟踪器的开发工具。
2023-06-02 cs.AI cs.CL
AraSpider: Democratizing Arabic-to-SQL
Egypt-Japan University of Science and Technology(埃及日本科学技术大学)
本研究推出首个阿拉伯语版Spider数据集AraSpider,通过评估多语言翻译与SQL生成模型,证明回译策略显著提升ChatGPT 3.5和SQLCoder性能,推动了阿拉伯语NLP研究。
2024-02-12 cs.AI cs.CL cs.DB
Leveraging Table Content for Zero-shot Text-to-SQL with Meta-Learning
Southeast University(东南大学);Alibaba Group(阿里巴巴集团)
单表文本到SQL的目标是根据一个单一的表将一个自然语言问题转换为一个SQL查询。最近的工作已经取得了可喜的进展,通过预训练的语言模型和多子模块框架在这方面的任务。然而,zero-shot table,即训练集中的不可见表,是目前制约现有方法应用于现实场景的最关键瓶颈。虽然有些工作利用辅助任务来帮助处理zero-shot表,但昂贵的额外手动注释限制了它们的实用性。在本文中,我们提出了一种新的方法,zero-shot文本到SQL的任务,不依赖于任何额外的手动注释。我们的方法包括两个部分。首先,我们提出了一个新的模型,利用表格内容的丰富信息,以帮助建立问题和zero-shot表之间的映射。此外,我们提出了一个简单而有效的元学习策略来训练我们的模型。该策略利用两步梯度更新来迫使模型学习对zero-shot表的泛化能力。我们进行了广泛的实验上的公共开放域的文本到SQL数据集WikiSQL和特定于域的数据集ESQL。与使用相同预训练模型的现有方法相比,我们的方法在两个数据集上都取得了显着的改进。与较大的预训练模型和特定于表格的预训练模型相比,我们的方法仍然具有竞争力。更重要的是,在两个数据集的zero-shot子集上,我们的方法进一步提高了改进。
2021-09-12 cs.CL
One-Shot Learning for Text-to-SQL Generation
SAP Labs Korea(SAP韩国实验室);Seoul National University(首尔国立大学)
大多数用于文本到SQL生成的深度学习方法仅限于WikiSQL数据集,该数据集仅支持非常简单的查询。最近,基于模板和序列到序列的方法被提出来支持复杂查询,包括连接查询,嵌套查询和其他类型。然而,Finegan-Dollak等人(2018)证明了这两种方法都缺乏生成看不见的模板的SQL的能力。在本文中,我们提出了一个基于模板的一次性学习模型的文本到SQL生成,使该模型可以生成SQL的一个未经训练的模板的基础上一个单一的例子。首先,我们使用匹配网络对SQL模板进行分类,该匹配网络由我们的新架构候选搜索网络增强。然后,我们使用指针网络填充预测模板中的变量槽。我们表明,我们的模型在两个方面优于各种文本到SQL数据集的最先进方法:1)训练模板的SQL生成准确性,以及2)基于单个示例对未见过的SQL模板的适应性,而无需任何额外的训练。
2019-04-26 cs.CL cs.DB
A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding
Harbin Institute of Technology(哈尔滨工业大学);Central South University(中南大学)
本研究评估了ChatGPT在零样本对话理解任务(含SLU和DST)上的能力,发现其在多轮交互提示下表现优异,但在槽位填充任务上存在困难,为基于LLMs的零样本对话系统研究提供了见解。
2023-04-09 cs.CL
Zero- and Few-shot Named Entity Recognition and Text Expansion in Medication Prescriptions using ChatGPT
Chiang Mai University(清迈大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Universitätsklinikum Erlangen(埃尔朗根大学医院);Center of Data Analytics and Knowledge Synthesis for Health Care(医疗保健数据分析与知识综合中心);Medical University of Graz(格拉茨医科大学)
本研究使用ChatGPT 3.5在零样本和少样本设置下对药物处方进行命名实体识别和文本扩展,少样本方法有效防止了系统幻觉,在处理安全相关药物数据时取得了良好的性能。
2024-09-26 cs.AI cs.CL
Is ChatGPT a General-Purpose Natural Language Processing Task Solver?
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);Nanyang Technological University(南洋理工大学);Shanghai Jiao Tong University(上海交通大学)
本研究在20个NLP数据集上评估了ChatGPT的零样本学习能力,发现其在推理任务上表现良好,但在序列标注等特定任务上仍存在局限。
2023-11-19 cs.AI cs.CL
ChatGPT is a Potential Zero-Shot Dependency Parser
Beijing University of Posts and Telecommunications(北京邮电大学);East China Normal University(华东师范大学)
本文探索了ChatGPT等大型语言模型在零样本场景下的依存句法分析能力,实验表明其具备作为零样本依存句法分析器的潜力,且解析输出具有独特的语言学偏好。
2023-10-25 cs.CL
How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain, and Cross-domain Settings
The Ohio State University(俄亥俄州立大学)
本文针对 text-to-SQL 任务中提示构建缺乏可比性的问题,全面调查了在 Zero-shot、Single-domain 和 Cross-domain 等多种设置下提示构建的影响,为未来研究提供了有效提示构建的见解。
2023-11-27 cs.CL
Progress-SQL: Improving Reinforcement Learning for Text-to-SQL via Progressive Rewards
East China Normal University(华东师范大学)
提出Progress-SQL,一种多轮强化学习框架,通过Oracle引导诊断树(ODT)生成子句级结构反馈,结合渐进式奖励(结构对齐、词汇对齐、延迟奖励和执行状态奖励),提升文本到SQL生成的准确性和鲁棒性。
2026-06-05 cs.AI cs.CL
Is ChatGPT a Good Teacher Coach? Measuring Zero-Shot Performance For Scoring and Providing Actionable Insights on Classroom Instruction
Stanford University(斯坦福大学)
本文提出评分、识别教学亮点与错失机会、给出可操作建议三项任务,评估ChatGPT零样本指导小学数学课堂的能力,发现其反馈相关但缺乏新颖性与洞察力。
2023-06-05 cs.AI cs.CL
Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs
The University of Hong Kong(香港大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Laboratory(上海人工智能实验室)
提出BIRD基准,含12,751对数据、95个数据库,覆盖37领域,强调数据库值理解,ChatGPT执行准确率仅40.08%,远低于人类92.96%,揭示挑战。
2023-11-15 cs.CL
EPI-SQL: Enhancing Text-to-SQL Translation with Error-Prevention Instructions
Jiangxi University of Finance and Economics(江西财经大学)
本文提出EPI-SQL框架,通过从Spider数据集生成通用错误预防指令并结合上下文定制,在零样本下使LLMs规避潜在错误,实现85.1%的执行准确率,性能媲美高级少样本方法。
2024-04-21 cs.AI cs.CL cs.DB
Zero-shot Text-to-SQL Learning with Auxiliary Task
The Ohio State University(俄亥俄州立大学);Fudan University(复旦大学);JD.COM AI Research(京东AI研究院)
近年来,在文本到SQL任务中使用神经seq2seq模型取得了巨大的成功。然而,很少有工作关注这些模型如何推广到现实中看不见的数据,这自然提出了一个问题:这种令人印象深刻的性能是否意味着一个完美的泛化模型,或者仍然存在一些限制?在本文中,我们首先通过提供一个新的测试平台来诊断文本到SQL任务的瓶颈,在该测试平台中,我们观察到现有模型对罕见数据的泛化能力很差。上述分析鼓励我们设计一个简单但有效的辅助任务,作为生成任务的支持模型和正则化项,以提高模型的泛化能力。实验上,我们评估我们的模型上的一个大型的文本到SQL数据集WikiSQL。与强大的基线粗到细模型相比,我们的模型在整个数据集上的绝对准确度提高了3%以上。更有趣的是,在WikiSQL的zero-shot子集测试中,我们的模型在基线上实现了5%的绝对准确率增益,清楚地证明了其优越的泛化能力。
2019-08-29 cs.CL cs.LG
Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies
Yale University(耶鲁大学);Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
本文研究通过上下文学习改进大型语言模型的Text-to-SQL能力,提出利用SQL语法结构检索示例并兼顾多样性与相似性的提示策略,结合数据库知识增强,在Spider数据集上取得优于现有系统的执行准确率。
2023-05-21 cs.CL
SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended)
Cloud AI Research Team(云AI研究团队);Google DeepMind(谷歌DeepMind)
本文提出SQL-PaLM框架,通过少样本提示中的一致性解码与执行错误过滤、指令微调中的数据多样性扩展、合成增强及数据库内容整合,并利用执行反馈进行测试时选择,显著提升了Spider和BIRD基准上的文本到SQL性能。
2024-03-30 cs.AI cs.CL cs.DB
ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT
Beijing Jiaotong University(北京交通大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出ChatIE,一种基于ChatGPT的两阶段多轮问答框架,用于零样本信息抽取,在六个数据集上表现出色,甚至超越部分全样本模型。
2024-05-27 cs.CL
SQL-Trail: Multi-Turn Reinforcement Learning with Interleaved Feedback for Text-to-SQL
Stanford University(斯坦福大学);Amazon Web Services(亚马逊网络服务)
SQL-Trail通过多轮强化学习与交错反馈提升文本到SQL的生成能力,实现更高效率和准确性。
2026-01-25 cs.AI cs.CL
SDE-SQL: Enhancing Text-to-SQL Generation in Large Language Models via Self-Driven Exploration with SQL Probes
South China University of Technology(华南理工大学);Soochow University(苏州大学);Guangdong Laboratory of AI and Digital Economy(广东人工智能与数字经济实验室)
提出SDE-SQL框架,通过生成并执行SQL探针使大语言模型在推理时自驱探索数据库,零样本下在BIRD基准上较基线提升8.02%执行准确率,无需SFT或模型集成即达开源模型最优。
2025-06-19 cs.AI cs.CL
Lightweight Transformers for Zero-Shot and Fine-Tuned Text-to-SQL Generation Using Spider
University of Waterloo(滑铁卢大学)
本研究在Spider数据集上评估三种轻量级Transformer模型,提出模型无关的微调流水线,发现T5-Small以27.8%的LFAcc最优,证明紧凑模型在低资源文本到SQL任务中的可行性。
2025-08-06 cs.CL cs.IR
Interleaving Pre-Trained Language Models and Large Language Models for Zero-Shot NL2SQL Generation
Renmin University of China(中国人民大学);QCRI, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Tsinghua University(清华大学);University of Arizona(亚利桑那大学);MIT(麻省理工学院)
针对零样本NL2SQL任务,提出结合PLMs模式对齐优势与LLMs复杂推理能力的ZeroNL2SQL框架,辅以谓词校准和执行选优策略,在真实基准上的执行准确率显著优于现有两类方法。
2023-06-15 cs.CL
SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学);New York University(纽约大学)
针对缺少相似训练示例的 Text-to-SQL 场景,本文提出 SAFE-SQL,通过 LLM 自生成相关示例并进行三项细粒度相关性过滤,显著提升零样本/少样本执行准确率。
2025-09-30 cs.CL
Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers
York University(约克大学);Dialpad Canada Inc.(Dialpad加拿大公司)
本文首次全面评估ChatGPT在生物医学领域的性能,发现其在小训练集生物医学数据集上的零样本表现优于现有最优微调生成式Transformer模型,可为缺标注数据的生物医学任务提供新工具。
2023-08-24 cs.CL cs.LG
Zero-Shot End-to-End Relation Extraction in Chinese: A Comparative Study of Gemini, LLaMA and ChatGPT
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Simon Fraser University(西蒙菲莎大学);Northeastern University(东北大学)
本文比较了 ChatGPT、Gemini 和 LLaMA 在中文零样本端到端关系抽取中的表现,发现 ChatGPT 综合性能最佳,Gemini 推理最快,LLaMA 需进一步适配。
2025-02-08 cs.AI cs.CL cs.LG
Leveraging Codebook Knowledge with NLI and ChatGPT for Zero-Shot Political Relation Classification
Georgia Institute of Technology(佐治亚理工学院);The University of Texas at Dallas(德克萨斯大学达拉斯分校);The University of Arizona(亚利桑那大学);West Virginia University(西弗吉尼亚大学)
本文研究零样本政治关系分类,提出基于NLI的ZSP模型,通过分解任务并利用码本知识,在无需大量标注的情况下优于词典方法并接近监督模型。
2024-06-06 cs.AI cs.CL cs.IR
Semantic Captioning: Benchmark Dataset and Graph-Aware Few-Shot In-Context Learning for SQL2Text
The Pennsylvania State University(宾夕法尼亚州立大学)
针对代码转自然语言的语义captioning任务受关注较少的问题,聚焦SQL2Text,复用Text2SQL数据集并提出图感知少样本上下文学习方法,实验显示BLEU分数较随机选择提升39%。
2025-02-08 cs.CL cs.LG
ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning
University of Amsterdam(阿姆斯特丹大学);Amsterdam Institute for Social Science Research (AISSR)(阿姆斯特丹社会科学研究所(AISSR))
本文以2020年美国大选政治推文为基准,证明ChatGPT-4在零样本政治立场分类任务中比专家和众包工人在准确性、可靠性和偏差控制上表现更优,并具备传统上被视为人类独有的语境推理与意图推断能力,预示LLM将推动社会科学文本研究的大规模解释性分析。
2023-04-13 cs.AI cs.CL cs.SI
ChatGPT for Suicide Risk Assessment on Social Media: Quantitative Evaluation of Model Performance, Potentials and Limitations
University of Ottawa(渥太华大学);National Research Council Canada(加拿大国家研究委员会)
该研究提出定量评估框架,基于Reddit自杀倾向数据集,通过零样本、少样本实验及不同temperature参数测试,评估ChatGPT的社交媒体自杀风险评估性能,发现其准确率可观但不及经微调的transformer模型,同时明确了超参数调整对其辅助心理健康工作的提升作用。
2023-06-15 cs.AI cs.CL cs.LG
DCMM-SQL: Automated Data-Centric Pipeline and Multi-Model Collaboration Training for Text-to-SQL Model
Platform and Content Group, Tencent(腾讯平台与内容组)
本文提出DCMM-SQL,一种自动化数据为中心流水线与多模型协作训练方法,通过自适应数据修复、错误数据增强及多模型集成,显著提升Text-to-SQL任务准确率,在轻量级模型中取得第一名。
2025-10-27 cs.CL
PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency
SenseTime Research(商汤科技研究院);Peking University(北京大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院);University of Cologne(科隆大学)
提出两阶段框架PET-SQL,通过参考增强提示和模式链接生成SQL,并利用跨LLM交叉一致性进行优化,在Spider基准上以87.6%执行准确率创SOTA。
2024-06-02 cs.AI cs.CL
Query Carefully: Detecting the Unanswerables in Text-to-SQL Tasks
Institute of Computer Science, Zurich University of Applied Sciences(计算机科学研究所,应用科学大学苏黎世);Institute of Medical Virology, University of Zurich(医学病毒学研究所,苏黎世大学);Department of Gastroenterology and Hepatology, University Hospital Zurich, University of Zurich(消化内科与肝病科,苏黎世大学医院,苏黎世大学)
Query Carefully通过集成LLM生成和显式检测不可回答问题,提升生物医学领域文本到SQL的准确性和可靠性。
2025-12-19 cs.AI cs.CL cs.DB
KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
数据库问答的目标是在不同的应用领域中实现对现实生活中的关系数据库的自然语言查询。最近,Spider和WikiSQL等大规模数据集促进了文本到SQL解析的新建模技术,改善了对未知数据库的zero-shot泛化。在这项工作中,我们研究的挑战,仍然阻止这些技术的实际部署。首先,我们介绍了KaggleDBQA,一个新的跨域的真实Web数据库的评估数据集,特定于域的数据类型,原始格式,和无限制的问题。第二,我们重新审视文本到SQL解析器在现实生活中应用的评估任务的选择。最后,我们增加了我们的领域内的评估任务与数据库文档,一个自然发生的源隐含的领域知识。我们表明,KaggleDBQA提出了一个挑战,国家的最先进的zero-shot解析器,但更现实的评估设置和创造性地使用相关的数据库文档提高了13.2%以上的准确性,使其性能翻了一番。
2021-06-22 cs.AI cs.CL cs.DB
BIRD-History: A Benchmark for History-Driven Text-to-SQL with Fine-Grained Knowledge Annotations
Zhejiang University(浙江大学)
本研究推出带细粒度知识标注的BIRD-History基准测试,针对现有Text-to-SQL系统无法利用历史查询日志处理隐含领域知识的问题,提出插件式检索器,可提升多个Text-to-SQL系统的未明确查询处理性能。
2026-09-01 cs.AI cs.CL
Open-SQL Framework: Enhancing Text-to-SQL on Open-source Large Language Models
Shenzhen University(深圳大学);Shenzhen Institute of Advanced Technology (SIAT), Chinese Academy of Sciences (CAS)(中国科学院深圳先进技术研究院)
本文提出Open-SQL框架,通过开放提示、监督微调、思维链少样本示例及多种token高效模式裁剪技术,显著提升开源LLM的Text-to-SQL性能。
2024-05-04 cs.AI cs.CL
MCTS-SQL: Light-Weight LLMs can Master the Text-to-SQL through Monte Carlo Tree Search
MCTS-SQL通过蒙特卡洛树搜索引导轻量级大语言模型高效生成SQL查询,实验证明其在文本到SQL任务中优于现有方法。
2025-11-27 cs.AI cs.CL cs.DB
Zero-shot information extraction from radiological reports using ChatGPT
Zhejiang Lab(之江实验室);Peking University Cancer Hospital and Institute(北京大学肿瘤医院暨北京市肿瘤防治研究所);Zhejiang University(浙江大学)
本研究探索使用ChatGPT进行零样本信息提取,通过设计提示模板和后处理模块,从847份CT报告中提取信息,实验表明其性能与基线系统相当但仍有改进空间。
2023-09-07 cs.CL
The Wall Street Neophyte: A Zero-Shot Analysis of ChatGPT Over MultiModal Stock Movement Prediction Challenges
Wuhan University(武汉大学);Southwest Jiaotong University(西南交通大学);ChanceFocus AMC(ChanceFocus资产管理公司)
该研究通过在三个多模态数据集上的零样本实验,分析ChatGPT的股价走势预测能力,发现其表现逊于传统及前沿方法,且存在可解释性与稳定性局限,为金融领域大模型优化提供参考。
2023-04-28 cs.CL cs.LG q-fin.ST
SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data
Cloud AI Research Team(云AI研究团队);Google DeepMind(谷歌DeepMind)
本研究提出SQLPrompt方法,通过创新提示设计、基于执行的一致性解码及多样化候选SQL策略,大幅提升大模型少样本Text-to-SQL性能,缩小了与大量标注数据微调SOTA模型的差距。
2023-11-06 cs.CL
Bridging the Semantic Gap: Contrastive Rewards for Multilingual Text-to-SQL with GRPO
Independent Researcher(独立研究者);University of Michigan(密歇根大学);Harrisburg University of Science(哈里斯堡科学大学);Forward Labs AI
本研究提出基于GRPO的对比奖励方法,提升多语言文本到SQL系统的执行与语义准确性,通过对比奖励信号实现语义对齐,实验表明小模型在少量数据下表现优于大模型。
2025-11-21 cs.AI cs.CL
Identifying and Extracting Rare Disease Phenotypes with Large Language Models
Vanderbilt University Medical Center(范德堡大学医学中心);University of Texas Health Science at Houston(德克萨斯大学休斯顿健康科学中心);Yale University(耶鲁大学)
本研究针对罕见病表型提取问题,首次构建了评估ChatGPT在零样本和少样本设置下命名实体识别性能的基准,发现通过适当的提示工程,ChatGPT在单样本设置下对特定实体类型的提取效果可媲美甚至超越微调模型。
2023-06-22 cs.AI cs.CL
Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?
Arizona State University(亚利桑那州立大学)
本文评估 ChatGPT 在零样本设置下区分人类撰写与 AI 生成文本的检测能力,并基于公开数据集检验其双向检测的对称性,为自动化检测流水线提供利用 LLM 的新思路。
2023-08-17 cs.AI cs.CL
Prompting Implicit Discourse Relation Annotation
Saarland University(萨尔大学);Utrecht University(乌得勒支大学)
本研究探讨多种提示技术以提升ChatGPT在隐式话语关系分类中的表现,但实验显示即使分解任务和复杂提示,准确率仍无显著提升,表明该任务在零样本或少样本下尚难解决。
2024-02-07 cs.AI cs.CL
Empirical Study of Zero-Shot NER with ChatGPT
Zhejiang University(浙江大学);ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC学院);National University of Singapore(新加坡国立大学)
本研究针对ChatGPT零样本命名实体识别,提出分解问答、句法增强和两阶段投票策略,在七个基准上显著提升性能,并分析错误类型与优化方向。
2023-10-16 cs.CL
Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study
Beijing Key Lab of Traffic Data Analysis and Mining(北京交通数据分析与挖掘重点实验室);Beijing Jiaotong University(北京交通大学)
本研究探索直接提示ChatGPT构建零样本关键短语提取模型,实验表明其性能相比现有最先进无监督和监督模型仍有较大提升空间。
2024-01-10 cs.CL
Adapt and Decompose: Efficient Generalization of Text-to-SQL via Domain Adapted Least-To-Most Prompting
TCS Research(塔塔咨询服务研究部)
本文提出一种离线采样少样本并自动适配数据库领域的分解式最少到最多提示方法,在KaggleDBQA上实现文本到SQL的高效跨领域与跨组合泛化,性能优于通用提示且不依赖特定模型。
2023-08-09 cs.AI cs.CL cs.LG
Rationalization Models for Text-to-SQL
IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
本研究提出生成CoT推理依据的框架,通过手动标注少量示例、迭代动态少样本知识蒸馏训练合理化模型,为text-to-SQL数据集生成合成标注,实验证明该方法可提升小模型在BIRD数据集上的执行准确率与可解释性。
2025-03-20 cs.AI cs.CL cs.DB
LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL
Department of Artificial Intelligence(人工智能系);Trusted Artificial Intelligence(可信人工智能)
LLMSQL为大语言模型时代升级WikiSQL,提供干净的自然语言问题和完整SQL查询,提升文本到SQL模型的生成与评估效率。
2025-12-09 cs.AI cs.CL
Is ChatGPT a Biomedical Expert? -- Exploring the Zero-Shot Performance of Current GPT Models in Biomedical Tasks
University of Regensburg(雷根斯堡大学)
本研究评估GPT-3.5-Turbo与GPT-4在BioASQ 2023生物医学任务的零样本表现,发现其生成任务性能优异、检索任务有提升但不及专用系统,并公开了实验代码。
2023-07-24 cs.CL
Breaking the Bank with ChatGPT: Few-Shot Text Classification for Finance
Athens University of Economics and Business(雅典经济与商业大学)
本研究针对金融领域少样本文本分类,提出基于GPT-3.5/4的上下文学习方案,同时用SetFit微调掩码语言模型取得SOTA,验证了生成式模型的少样本优势及专家选样本的增益,为标签有限的金融文本分类提供实用方案。
2023-08-28 cs.AI cs.CL cs.LG
ACT-SQL: In-Context Learning for Text-to-SQL with Automatically-Generated Chain-of-Thought
Shanghai Jiao Tong University(上海交通大学);X-LANCE Lab(X-LANCE实验室);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室)
本文提出ACT-SQL方法,通过自动生成思维链示例提升大语言模型在文本到SQL任务中的推理能力,无需人工标注且仅需一次API调用,并在Spider开发集上取得SOTA性能。
2023-10-26 cs.CL
Global Reasoning over Database Structures for Text-to-SQL Parsing
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
最先进的语义解析器依赖于自回归解码,每次发出一个符号。当针对在训练时未观察到的复杂数据库(zero-shot)进行测试时,由于解码的局部性质,解析器通常很难在新数据库中选择正确的数据库常量集。在这项工作中,我们提出了一个语义解析器,全局原因的输出查询的结构,使更多的上下文知情的选择数据库常量。我们使用消息传递通过图神经网络软选择一个子集的数据库常量的输出查询,条件的问题。此外,我们训练一个模型来排名查询的基础上,全球对齐的数据库常量的问题的话。我们将我们的技术应用于当前最先进的Spider模型,这是一个具有复杂数据库的zero-shot语义解析数据集,准确率从39.4%提高到47.4%。
2019-08-29 cs.CL
GEMMA-SQL: A Novel Text-to-SQL Model Based on Large Language Models
Bournemouth University(伯恩茅斯大学);Maharaja Surajmal Institute of Technology(马哈拉贾·苏拉杰马尔理工学院);University of Liechtenstein(列支敦士登大学)
本文提出基于Gemma 2B的轻量级文本到SQL模型GEMMA-SQL,通过迭代微调、少样本提示和指令微调,在SPIDER基准上以66.8% Test-Suite准确率超越多个最先进基线,展示了低成本高效文本到SQL方案的可行性。
2025-11-05 cs.CL
ChatGPT may Pass the Bar Exam soon, but has a Long Way to Go for the LexGLUE benchmark
University of Copenhagen(哥本哈根大学)
本文以零样本设置在LexGLUE法律基准上评估首个ChatGPT模型gpt-3.5-turbo,发现其平均micro-F1为47.6%,虽超过猜测基线且在ECtHR B与LEDGAR上表现突出,但整体法律理解能力仍有限。
2023-03-09 cs.CL
Testing the Reliability of ChatGPT for Text Annotation and Classification: A Cautionary Remark
University of Zurich(苏黎世大学)
本文通过新闻/非新闻分类任务测试 ChatGPT 零样本文本标注的一致性,发现提示词微调或重复输入即可改变结果,提示应充分验证且不建议无监督使用。
2023-04-17 cs.CL