Prompting Complexity: Shortest Prompts for Texts and Behaviors in LLMs
Dalle Molle Institute for Artificial Intelligence (IDSIA)(达勒·莫利人工智能研究所)
研究提示复杂性,定义其为固定语言模型产生目标文本的最短合理提示量,类似资源受限柯尔莫哥洛夫复杂性。介绍计算方法、扩展定义到软提示复杂性,定义提示距离等,据此制定研究议程以探究短提示可实现的文本和行为。
2026-07-08 cs.CL
Global Constraints with Prompting for Zero-Shot Event Argument Classification
HKUST(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
确定事件参数的作用是事件提取的一个关键子任务。大多数以前的监督模型利用昂贵的注释,这对于开放域应用程序是不实际的。在这项工作中,我们建议使用全局约束,提示有效地处理事件参数分类没有任何注释和特定于任务的培训。具体来说,给定一个事件及其相关段落,该模型首先通过前缀提示和完形填空提示生成若干新段落,其中前缀提示指示事件类型和触发跨度,完形填空提示将每个候选角色与目标论元跨度连接起来。然后,预先训练的语言模型对新段落进行评分,从而进行初始预测。我们新颖的提示模板可以轻松适应所有事件和参数类型,无需手动操作。接下来,该模型通过利用跨任务、跨参数和跨事件关系的全局约束来正则化预测。大量的实验表明,我们的模型的有效性:它优于最好的zero-shot基线的12.5%和10.9%F1 ACE和ERE与给定的参数跨度和4.3%和3.3%F1,分别没有给定的参数跨度。我们已经公开了我们的代码。
2023-02-09 cs.CL
Keyword-Centric Prompting for One-Shot Event Detection with Self-Generated Rationale Enhancements
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(一般人工智能国家重点实验室,智能科学与技术学院,北京大学)
针对LLM在事件检测中因缺乏触发词理解和过度解读导致ICL失效的问题,提出KeyCP++方法,通过构建触发词判别模板生成理由,减少对关键词依赖并促进规则学习,显著提升一次性事件检测性能。
2025-08-11 cs.CL
Which is better? Exploring Prompting Strategy For LLM-based Metrics
Korea University(高丽大学)
针对传统自然语言生成评估指标与人类评估偏差大的问题,研究系统分析了开源大语言模型作为评估指标的三类方法,通过多组实验得出有效提示策略与相关能力洞见。
2023-11-07 cs.CL
When Less Is Enough: Context Selection and Prompting Strategies for Bengali News Headline Generation
Charles Sturt University(查尔斯斯特大学);Chittagong University of Engineering and Technology(吉大港工程技术大学);Bangladesh Army University of Science and Technology(孟加拉国陆军理工大学)
该研究以孟加拉语新闻标题生成任务为对象,对比Gemini、Llama、GPT-4o,发现选定导语比全文输入更优,跨语言提示结合上下文丰富效果好,少样本提示对Gemini增益显著,为低资源多语言LLM应用提供启示。
2026-08-18 cs.CL
Automatic Prompt Generation via Adaptive Selection of Prompting Techniques
Spike Studio Inc.(Spike Studio公司)
本研究提出一种自适应选择提示技术的自动提示生成方法,通过构建关联任务簇与对应技术的知识库动态生成提示,在BBEH的23项任务上性能优于现有方法,为非专业用户高效使用大语言模型提供支持。
2025-10-20 cs.AI cs.CL
Dynamic Template Selection for Output Token Generation Optimization: MLP-Based and Transformer Approaches
本文提出动态模板选择方法,通过MLP和Transformer路由策略优化输出标记生成,实现成本降低与响应质量的平衡。
2025-11-17 cs.CL
Think Beyond Size: Adaptive Prompting for More Effective Reasoning
Sathyabama Institute of Science and Technology(萨蒂亚巴马科学技术学院)
针对现有静态提示模板无法适应任务复杂度或推理错误的问题,提出自适应提示动态迭代框架,通过实时调整提示结构与验证机制,使小模型在多推理基准上性能显著提升,与大模型竞争且无需微调。
2024-11-29 cs.CL cs.LG
Fooling LLM graders into giving better grades through neural activity guided adversarial prompting
Stanford University(斯坦福大学)
提出一种通过神经活动引导对抗性提示欺骗LLM评分器的方法,揭示并修复了源于聊天模板结构的偏见漏洞,为AI安全提供了系统化解决方案。
2024-12-17 cs.AI cs.CL cs.CR
Implementing Long Text Style Transfer with LLMs through Dual-Layered Sentence and Paragraph Structure Extraction and Mapping
School of Computer Science, Peking University(北京大学计算机学院)
本文提出 ZeroStylus 分层框架,通过句子与段落模板提取及多粒度匹配,在零样本、不微调条件下提升长文本风格迁移的连贯性与内容保留。
2025-05-11 cs.AI cs.CL
Mixture of Reasonings: Teach Large Language Models to Reason with Adaptive Strategies
Dalian University of Technology(大连理工大学);Zhejiang University(浙江大学)
本文提出推理混合(MoR)训练框架,通过将多样化推理策略嵌入大语言模型并利用GPT-4o生成推理链模板进行监督微调,使模型无需任务特定提示即可自适应推理,实验显示MoR150相比基线最高提升13.5%。
2025-07-03 cs.AI cs.CL
Prompt Sketching for Large Language Models
ETH Zurich(苏黎世联邦理工学院)
针对大语言模型顺序提示中间响应脱节冗长的问题,提出提示草图范式,通过调整解码流程优化模板似然,零样本下在多数基准任务上优于现有方案,并发布相关草图和开源库。
2023-11-08 cs.AI cs.CL
SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);Technical University of Munich(慕尼黑工业大学)
SciPrompt框架通过自动检索科学文献中的领域标签词增强verbalizer,并结合相关性分数加权策略,显著提升了低资源场景下细粒度和新兴科学主题分类的性能。
2024-10-02 cs.CL
A Brief History of Prompt: Leveraging Language Models. (Through Advanced Prompting)
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文系统梳理了从早期语言模型到2023年提示工程的演变历程,涵盖注意力机制、强化学习、上下文提示和预训练等关键技术,并强调伦理考量对未来AI系统的重要性。
2023-11-28 cs.AI cs.CL
Does Prompt Formatting Have Any Impact on LLM Performance?
Microsoft(微软公司);MIT(麻省理工学院)
本文研究了不同提示词模板(如纯文本、Markdown、JSON、YAML)对LLM性能的影响,发现格式变化可导致GPT-3.5-turbo性能差异达40%,而GPT-4更具鲁棒性,提示需重新考虑固定模板的使用。
2024-11-15 cs.CL cs.LG
Beyond Meme Templates: Limitations of Visual Similarity Measures in Meme Matching
School of Computer Science University of Galway(计算机科学学院 Galway大学);School of Computer Science Technological University Dublin(计算机科学学院 技术大学都柏林)
针对现有模因匹配局限于模板背景比较的问题,提出更广泛的匹配框架,发现传统及逐段相似性度量在非模板模因上表现不足,而逐段法更优,并探索了多模态大语言模型的提示方法,指出该任务仍需更复杂技术。
2025-08-05 cs.CL cs.CV
Improving Consistency in Large Language Models through Chain of Guidance
Northeastern University(东北大学);Pennsylvania State University(宾夕法尼亚州立大学);Dalhousie University(达尔豪斯大学);Vijil(维吉尔科技)
针对大语言模型推理阶段输出一致性难以控制的问题,提出基于引导链(CoG)的多步提示对齐策略,结合合成数据微调,使模型一致性提升超两倍且泛化性强。
2025-02-21 cs.CL
PrExMe! Large Scale Prompt Exploration of Open Source LLMs for Machine Translation and Summarization Evaluation
University of Mannheim(曼海姆大学);University of Technology Nuremberg (UTN)(纽伦堡工业大学(UTN))
本文提出PrExMe,通过超720个提示模板和660万次评估,全面探索开源LLM在机器翻译与摘要评估中的表现,揭示了提示策略的稳定性与局限性。
2024-11-17 cs.CL
What do Large Language Models Need for Machine Translation Evaluation?
Centre for Translation Studies, University of Surrey(萨里大学翻译研究中心);Institute for People-Centred AI, University of Surrey(萨里大学以人为本人工智能研究所);Lancaster University(兰卡斯特大学);Tilburg University(蒂尔堡大学)
本研究探究大型语言模型用于机器翻译评估所需的信息与提示技术,发现参考译文至关重要,大模型更受益于思维链提示,同时指出其评估可靠性存疑,并公开相关资源以支持复现。
2024-10-09 cs.CL
Natural Language Declarative Prompting (NLD-P): A Modular Governance Method for Prompt Design Under Model Drift
ddai Inc.(ddai公司)
本文提出NLD-P作为模块化治理方法,通过自然语言声明式提示解决模型漂移下的提示设计问题,提供可解释的控制框架。
2026-02-26 cs.AI cs.CL
Automating Intervention Discovery from Scientific Literature: A Progressive Ontology Prompting and Dual-LLM Framework
University at Buffalo(布法罗大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对科学文献中干预措施人工识别效率低易疏漏的问题,提出融合渐进式本体提示算法与双LLM智能体的自动化框架,在言语-语言病理领域语料上效果优于基线,构建了公开干预知识库。
2025-05-20 cs.AI cs.CL
LLM Based Multi-Agent Generation of Semi-structured Documents from Semantic Templates in the Public Administration Domain
Sapienza University of Rome(罗马第一大学)
本文提出将LLM、提示工程与多智能体系统结合,用语义检索生成的任务描述替代人工提示,从语义模板自动生成符合结构的公共行政半结构化文档,并通过实验验证其有效性。
2024-02-21 cs.AI cs.CL cs.HC
Scenarios and Approaches for Situated Natural Language Explanations
Tohoku University(东北大学);Vector Institute for Artificial Intelligence(人工智能矢量研究所);Dalhousie University(达尔豪斯大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出情境化自然语言解释基准数据集 SBE,通过三类提示方法在多种预训练语言模型上定量评估 LLMs 对受众情境的适配能力,并揭示了人设提示与上下文学习提示的局限性。
2024-06-07 cs.AI cs.CL
TransLLM: A Unified Multi-Task Foundation Framework for Urban Transportation via Learnable Prompting
University of Science and Technology of China(科学技术大学);Computer Network Information Center, Chinese Academy of Sciences.(中国科学院计算机网络信息中心)
针对城市交通多任务中现有模型通用性不足或LLM处理时空数据能力弱的问题,提出TransLLM统一框架,通过可学习提示组合集成时空建模与LLM,在多任务多数据集上表现出强通用性和适应性。
2025-08-20 cs.AI cs.CL
Prompting Multilingual Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages
Brown University(布朗大学);UC Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校);HKUST(香港科技大学);Bloomberg(彭博);EleutherAI;Samsung R&D Institute Philippines(三星菲律宾研发中心);Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学);VietAI Research(VietAI研究院);University of Potsdam(波茨坦大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文探索零样本提示多语言LLMs生成东南亚七种语言的语码混合数据,发现现有模型表现不一,建议在此场景下未经大量人工检查勿用。
2023-09-12 cs.AI cs.CL
Can Large Language Models Reliably Extract Physiology Index Values from Coronary Angiography Reports?
FCT-UNL;Nova LINCS;CHULN;Faculdade de Medicina da Universidade de Lisboa
本文研究了使用大型语言模型自动提取葡萄牙语冠状动脉造影报告中的生理指标及解剖位置,提出多阶段评估框架并探讨隐私保护和提示策略对提取效果的影响。
2026-03-21 cs.CL
Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
Google Research(谷歌研究院)
本文提出成对排序提示(PRP)技术,通过让LLM比较文档对来降低排序难度,首次用中等规模开源LLM在多个基准上超越GPT-4等更大模型,并给出线性复杂度的高效变体。
2024-03-28 cs.CL cs.IR cs.LG
A Comparative Study on Large Language Models for Log Parsing
Simula Research Laboratory(西玛拉研究实验室);BI Norwegian Business School(BI挪威商学院)
本文比较了六种最新大语言模型在日志解析任务上的表现,发现免费开放的代码专用模型(如CodeLlama)可超越付费模型GPT-3.5,正确提取模板数高出10%,表明小型免费LLMs能有效辅助日志解析。
2024-09-04 cs.CL cs.SE
Investigating Prompting Techniques for Zero- and Few-Shot Visual Question Answering
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本文研究视觉语言模型在零样本与少样本视觉问答中的提示策略,发现问题模板选择、图像描述增强、自一致性推理及LLM引导预处理能有效提升模型性能。
2025-02-09 cs.CL cs.CV
Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
针对对齐数据不公开、现有开源数据构建难扩展的问题,提出Magpie自合成方法,通过空提示从已对齐LLM生成高质量指令数据,实验证明其微调效果优于现有公开数据集,部分任务性能比肩官方对齐模型。
2024-10-07 cs.AI cs.CL
DayDreamer at CQs-Gen 2025: Generating Critical Questions through Argument Scheme Completion
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学)
本文提出利用大型语言模型和思维链提示,基于沃尔顿论证方案补全生成关键问题,并在CQs-Gen 2025共享任务中取得有竞争力的性能,以促进批判性思维。
2025-05-21 cs.AI cs.CL
Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
Peking University(北京大学);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文提出思维增强推理方法BoT,通过元缓冲区存储跨任务提炼的思维模板并动态实例化,结合缓冲区管理器提升大模型推理准确性与鲁棒性,在10项任务上超越SOTA且成本极低。
2024-10-14 cs.CL
Enhancing News Summarization with ELearnFit through Efficient In-Context Learning and Efficient Fine-Tuning
AllianceBernstein(AllianceBernstein( AllianceBernstein 是一家全球投资管理公司,中文可译为“ AllianceBernstein 公司”,保留原名更准确));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出ELearnFit模型,结合高效上下文学习与参数高效微调,通过增加提示示例、使用简单模板及微调LLMs首层等方法优化XSum新闻摘要性能,并揭示了提示与微调在有限标注样本下的权衡。
2024-05-04 cs.CL
Simplify-This: A Comparative Analysis of Prompt-Based and Fine-Tuned LLMs
Tel Aviv University(特拉维夫大学)
Simplify-This通过对比提示法和微调LLM在文本简化任务中的表现,发现微调模型在结构简化上更优,而提示法在语义相似度上表现较好但易复制输入。
2026-01-09 cs.CL cs.LG
Evaluating Prompt-Based and Fine-Tuned Approaches to Czech Anaphora Resolution
NLP Centre, Faculty of Informatics, Masaryk University(马萨里克大学信息学院自然语言处理中心)
本文比较了提示工程与微调方法在捷克语指代消解中的效果,发现微调模型(尤其mT5-large)以更少资源达到88%准确率,优于提示方法的74.5%。
2025-06-22 cs.CL
Unlocking the Potential of Diffusion Language Models through Template Infilling
Seoul National University(首尔国立大学)
本文提出了一种针对扩散语言模型的模板填充方法,通过在生成响应空间中建立全局蓝图,提升了数学推理、代码生成和旅行规划等任务的性能,同时在多token生成中实现了生成质量与速度的平衡。
2026-05-18 cs.AI cs.CL
Large Language Models as Sous Chefs: Revising Recipes with GPT-3
University of Pennsylvania(宾夕法尼亚大学)
本研究以食谱为例,开发了一种基于原始食谱和配料表的提示,将复杂食谱拆解为更简单步骤,并测试多个大型语言模型,发现 GPT-3.5 效果最佳,人类标注者更偏好修改后的版本。
2023-06-24 cs.CL
How Useful are LLMs for Grammar Engineering? Cantonese ParGram Resources and Controlled Experimental Evaluation with English Baselines
本研究通过对照实验评估LLMs在语法工程中的作用,发现GPT-5.4优于gpt-oss-120b,LLMs可支持语法开发中间阶段但需人类专业知识,还贡献了新粤语符号语法资源。
2026-08-25 cs.CL
Improving Neural Machine Translation by Multi-Knowledge Integration with Prompting
Alibaba Group(阿里巴巴集团)
本文提出统一的多知识提示框架,将句子、术语/短语和翻译模板作为编码器与解码器的前缀提示,在不改变架构、不重新训练的情况下提升领域翻译性能。
2023-12-08 cs.CL
How to Make the Most of LLMs' Grammatical Knowledge for Acceptability Judgments
Nara Institute of Science and Technology(奈良科学技术研究所)
本文通过提示和模板比较九种判断方法,发现in-template LP和Yes/No概率计算两种方法在英汉语法可接受性判断上优于传统方法,且二者集成效果更佳。
2025-02-07 cs.AI cs.CL
Large Language Models are Zero-Shot Rankers for Recommender Systems
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);UC San Diego(加州大学圣迭戈分校);School of Information, Renmin University of China(中国人民大学信息资源管理学院);WeChat, Tencent(腾讯微信)
本文将推荐形式化为条件排序任务,设计提示与自举策略,验证零样本 LLM 在多候选生成场景下可挑战传统推荐排序模型。
2024-01-24 cs.CL cs.IR
Advancing Spatial Reasoning in Large Language Models: An In-Depth Evaluation and Enhancement Using the StepGame Benchmark
University of Leeds(利兹大学);Alan Turing Institute(艾伦·图灵研究所)
本研究改进了StepGame基准以准确评估大型语言模型的空间推理能力,发现GPT在多跳推理上存在局限,并通过结合模板映射与逻辑推理及CoT/ToT提示策略显著提升了其准确性。
2024-01-08 cs.AI cs.CL cs.DB
Don't Prompt, Search! Mining-based Zero-Shot Learning with Language Models
University of Amsterdam(阿姆斯特丹大学);Princeton University(普林斯顿大学);Meta AI
像BERT这样的掩蔽语言模型可以通过将下游任务重新定义为文本填充来以zero-shot方式执行文本分类。然而,这种方法对用于提示模型的模板高度敏感,然而从业者在严格的zero-shot设置中设计它们时是盲目的。在本文中,我们提出了另一种基于挖掘的零样本学习方法。我们不使用提示语言模型,而是使用正则表达式从未标记的语料库中挖掘标记的示例,这些语料库可以通过提示进行过滤,并用于微调预训练模型。我们的方法比提示更灵活,更易于解释,并且在使用可比模板时,在广泛的任务上优于它。我们的研究结果表明,提示的成功可以部分解释为模型在预训练期间暴露于类似的示例,这些示例可以通过正则表达式直接检索。
2022-10-26 cs.AI cs.CL cs.LG
Censored LLMs as a Natural Testbed for Secret Knowledge Elicitation
Harvard University(哈佛大学);Warsaw University of Technology(华沙理工大学);IDEAS Research Institute(IDEAS研究所);CentraleSupélec(中央理工学院);Anthropic(Anthropic公司)
研究利用被屏蔽的LLM测试秘密知识提取技术,发现开放式权重模型在诚实提取和谎言检测中存在局限性,且无法完全消除虚假回应。
2026-03-10 cs.AI cs.CL cs.LG
Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models
Tencent AI Lab(腾讯AI实验室);Xiamen University(厦门大学)
本文提出决策感知与可泛化工具使用框架DEER,通过自动生成多决策分支样本和新颖工具采样策略,提升开源LLMs处理多样查询的灵活性与对未见工具的泛化能力,显著优于基线。
2024-08-28 cs.CL
GIER: Gap-Driven Self-Refinement for Large Language Models
University of Denver(丹佛大学)
本研究提出通用框架GIER,通过推理差距的自然语言描述引导大语言模型迭代自优化输出,在多任务多模型上验证了其可提升推理质量且不降低准确率。
2025-08-30 cs.CL cs.IR
The Price of Format: Diversity Collapse in LLMs
University of California, San Diego(加州大学圣迭戈分校)
本研究揭示指令微调LLM中结构化模板导致“多样性崩溃”,即输出语义趋同;实验表明格式一致性对结构敏感任务重要,但结构令牌抑制多样性,需设计多样性感知提示。
2025-05-25 cs.AI cs.CL cs.LG
Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting
Microsoft Research Asia(微软亚洲研究院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对LLMs多语言能力不均的问题,提出跨语言思考提示(XLT)方法,通过通用模板激发跨语言与逻辑推理,在7个基准上显著提升多语言任务表现并缩小语言间性能差距。
2023-10-22 cs.CL
Supervised Chain of Thought
University of British Columbia(不列颠哥伦比亚大学)
本文研究“一提示通用于所有任务”的CoT方法对LLMs可计算性的负面影响,将解空间划分为提示空间和答案空间,并通过实验证明任务特定监督对提升推理性能至关重要。
2024-10-18 cs.AI cs.CL
"What is the value of {templates}?" Rethinking Document Information Extraction Datasets for LLMs
JPMorgan AI Research(摩根大通人工智能研究院)
针对富视觉文档理解中关键信息抽取依赖简单模板导致模型鲁棒性不足的问题,本文提出包含5个数据集的K2Q,通过定制模板生成多样化问题,实验表明该数据集可提升模型性能与鲁棒性。
2024-10-20 cs.CL
Modular Techniques for Synthetic Long-Context Data Generation in Language Model Training and Evaluation
ServiceNow
针对长上下文高质量数据集匮乏制约大语言模型发展的问题,本研究提出模块化合成数据生成框架,支持多种训练对齐目标与四类生成范式,可构建适配训练与评估的可控长上下文数据集。
2025-09-04 cs.AI cs.CL
BiomedSQL: Text-to-SQL for Scientific Reasoning on Biomedical Knowledge Bases
Center for Alzheimer’s and Related Dementias, NIA, NIH(阿尔茨海默病及相关痴呆症研究中心,国家老龄化研究所,国立卫生研究院);DataTecnica LLC(DataTecnica公司);Johns Hopkins University(约翰霍普金斯大学);Laboratory of Neurogenetics, NIA, NIH(神经遗传学实验室,国家老龄化研究所,国立卫生研究院)
BiomedSQL通过评估文本到SQL生成中的科学推理能力,针对生物医学知识库设计了首个基准测试,展示了不同模型在复杂查询任务中的性能差异。
2026-08-12 cs.AI cs.CL cs.LG
Large Language Models are Zero-Shot Reasoners
The University of Tokyo(东京大学);Google Research(谷歌研究院)
预训练的大语言模型(LLM)被广泛应用于自然语言处理(NLP)的许多子领域,并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是,思维链(CoT)提示,最近的技术,通过一步一步的答案的例子引出复杂的多步推理,实现了最先进的性能在算术和符号推理,困难的系统2的任务,不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力,但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明,我们的零射击CoT,使用相同的单一提示模板,显着优于zero-shot LLM性能在不同的基准推理任务,包括算术(MultiArith,GSM 8 K,AQUA-RAT,SVAMP),符号推理(最后一封信,硬币翻转),以及其他逻辑推理任务(日期理解,跟踪洗牌对象),没有任何手工制作的Few-Shot的例子,例如,使用大型InstructGPT模型,将MultiArith的准确度从17.7%提高到78.7%,将GSM 8 K的准确度从10.4%提高到40.7%(text-davinci-002),以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力,这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
PoeTone: A Framework for Constrained Generation of Structured Chinese Songci with LLMs
PoeTone框架通过约束生成和评估方法,提升LLM在生成结构化中文词中的表现,实现正式符合度提升5.88%。
2026-02-18 cs.CL cs.LG