SpellForger: Prompting Custom Spell Properties In-Game using BERT supervised-trained model
SpellForger利用BERT模型让玩家通过自然语言提示自定义游戏中的咒语属性,通过实时生成咒语验证AI作为游戏机制的可行性。
2025-11-20 cs.AI cs.CL
Casting a SPELL: Sentence Pairing Exploration for LLM Limitation-breaking
Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学)
SPELL框架通过智能句子配对探索LLM在恶意代码生成中的安全漏洞,有效提升对抗测试效果。
2025-12-24 cs.AI cs.CR cs.SE
Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo(布法罗大学)
我们提出了一种新的应用程序,提示预训练的语言模型(PLM)生成类比,并研究如何设计有效的提示两个任务设置:生成一个源概念类似于一个给定的目标概念(又名类比概念生成或ACG),并生成一个解释之间的相似性一对给定的目标概念和源概念(又名类比解释生成或AEG)。我们发现,提示InstructGPT生成有意义的类比是可行的,最好的提示往往是精确的命令式语句,特别是在低温设置下。我们还系统地分析了InstructGPT模型对提示设计、温度和注入拼写错误的敏感性,发现该模型对某些变化特别敏感(例如,问题vs.命令式陈述)。此外,我们对生成的1.4k个类比进行了人工评估,发现生成的质量因模型大小而异。最大的InstructGPT模型可以在为给定目标生成有意义的类比方面实现人类水平的性能,而AEG任务仍有改进的空间。
2022-10-11 cs.AI cs.CL
STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering(信息工程研究所);Beijing Institute of Technology(北京理工大学);Guangzhou University(广州大学)
提示学习的有效性已在不同的预训练语言模型中得到证明。通过构造合适的模板和选择有代表性的标签映射,提示学习可以作为一种有效的知识探测器。然而,现有的方法中,寻找合适的提示需要多次实验尝试或适当的向量初始化来制定合适的模板和选择代表性的标签映射,这在少样本学习任务中更为常见。本文以PLM工作流程为出发点,尝试从任务语义的角度构建提示,提出了STPrompt -语义引导、任务驱动的提示模型。该模型首先在提示词扩充池中构建两个新的提示词,分别由语义依赖树和任务元数据描述生成,并自动选择合适的语义提示词来激励提示词学习过程.实验结果表明,该模型在5个不同的Few-Shot文本分类任务数据集上均取得了较好的性能,证明了语义和显著性更高的提示可以作为更好的知识证明工具。
2022-10-29 cs.AI cs.CL
SPELL: Self-Play Reinforcement Learning for Evolving Long-Context Language Models
Sun Yat-sen University(中山大学);Tongyi Lab, Alibaba Group(阿里云实验室);Shenzhen Loop Area Institute(深圳河套学院)
本文提出SPELL框架,通过自我扮演问答和验证角色实现长上下文推理的无监督优化,实验显示其在多个基准上优于传统微调方法。
2026-03-13 cs.CL
The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
本文通过分析 token 分布偏移验证了表面对齐假说,并提出免调优的 URIAL 方法,仅靠少量上下文示例即可使基础 LLM 达到或超越 SFT/RLHF 对齐性能。
2023-12-04 cs.AI cs.CL
Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across Language Models
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));Huawei Poisson Lab(华为泊松实验室)
针对连续提示跨模型可迁移性差的问题,提出将源提示编码到相对空间并搜索目标提示的零样本迁移方法,证实任务语义可跨模型泛化,多源融合还能进一步提升效果。
2024-07-12 cs.AI cs.CL
Small Language Model Helps Resolve Semantic Ambiguity of LLM Prompt
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Department of Electronic Engineering, Kyung Hee University(庆熙大学电子工程系)
本文提出通过显式提示消歧机制解决LLM提示的语义歧义问题,利用小语言模型高效计算提升推理性能,实验表明方法在多个基准上提升2.5点,成本仅0.02美元。
2026-04-25 cs.AI cs.CL
Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院)
现有的中文文本错误检测主要集中在拼写和简单的语法错误。这些错误已被广泛研究,对人类来说相对简单。相反,汉语的语义错误研究不足,而且更加复杂,人类不容易识别。本文的任务是汉语语义错误识别(CSER),一个二元分类任务,以确定一个句子是否包含语义错误。目前的研究还没有有效的方法来解决这个问题。本文继承了BERT的模型结构,设计了多个与句法相关的预训练任务,使模型能够学习句法知识。我们的预训练任务考虑依赖结构的方向性和依赖关系的多样性。由于目前尚缺乏针对CSER的公开数据集,本文首次建立了一个高质量的CSER数据集--汉语语义可接受性语料库(Corpus of Chinese Linguistic Semantic Acceptability,CoCLSA)。在CoCLSA上的实验结果表明,我们的方法优于通用的预训练模型和语法注入模型。
2022-04-15 cs.AI cs.CL
Semantic Density Effect (SDE): Maximizing Information Per Token Improves LLM Accuracy
Public Health Department, Riyadh First Health Cluster Ministry of Health, Saudi Arabia(沙特阿拉伯利雅得第一健康集群卫生部)
本文提出语义密度效应,通过提高每个token的语义信息量提升LLM准确性,实验显示高密度提示在多个模型和基准测试中表现更优。
2026-04-19 cs.AI cs.CL
SemShareKV: Efficient KVCache Sharing for Semantically Similar Prompts via Token-Level LSH Matching
University of Notre Dame(诺特大学)
SemShareKV通过语义相似提示的令牌级LSH匹配实现高效KV缓存共享,提升LLM推理速度并降低内存占用。
2025-12-16 cs.AI cs.CL
PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions
School of Computation, Information and Technology, TU Munich(计算信息与技术学院,慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出PersLitEval基准,包含4514道波斯文学多选题,评估六种LLM在十种提示策略下的表现,发现模型在概念相似性任务上准确率高,但在拼写和构词等正式语言分析上困难,且提示策略显著影响性能。
2026-05-26 cs.CL
LLMs as Deceptive Agents: How Role-Based Prompting Induces Semantic Ambiguity in Puzzle Tasks
本研究探讨了LLM作为自主智能体如何通过角色注入的对抗性提示利用语义歧义生成欺骗性谜题,发现其显著加剧语义歧义并降低求解公平性,为安全部署自主语言系统提供了伦理见解。
2025-04-03 cs.AI cs.CL
Understanding Prompt Management in GitHub Repositories: A Call for Best Practices
Queen’s University(女王大学);Huawei Technologies(华为技术);L L ahore University of Management Sciences(拉瓦尔管理科学大学)
本研究通过分析GitHub仓库中的开源提示,揭示了提示管理中的关键挑战,并提出了提升提示软件可用性和可维护性的最佳实践建议。
2026-01-04 cs.AI cs.SE
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology(伊利诺伊理工学院)
大型预训练语言模型(PLM)的最新进展通过特定于任务的微调在自然语言理解(NLU)任务方面取得了令人印象深刻的进展。然而,直接微调PLM严重依赖于足够的标记训练实例,这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板,以引出语义从PLM。此外,传统的数据增强策略,如同义词替换,虽然广泛采用在低资源的情况下,只带来边际改进的少样本学习。因此,一个重要的研究问题出现了:如何设计有效的数据增强方法,为基础的Few-Shot调整?为此,考虑到标签语义是必不可少的,在基于标签的调整,我们提出了一种新的标签引导的数据增强的框架BattDA,它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明,该框架通过有效利用标签语义和数据增强进行自然语言理解,具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Semantic Mirror Jailbreak: Genetic Algorithm Based Jailbreak Prompts Against Open-source LLMs
本文提出语义镜像越狱(SMJ)方法,将越狱提示搜索建模为多目标优化问题,利用遗传算法生成与原始问题语义相似且有效的越狱提示,显著提升了对开源大语言模型的攻击成功率并增强了对抗语义防御的能力。
2024-02-27 cs.AI cs.CL cs.NE
Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition
Beijing Institute of Technology(北京理工大学)
本文提出基于提示的逻辑语义增强方法 PLSE,通过连接词预测注入篇章关系知识,并利用互信息最大化自监督目标弥补 MLM 全局语义不足,在 PDTB 2.0 和 CoNLL16 上取得优于现有模型的稳定性能。
2023-11-01 cs.AI cs.CL
Compositional Semantic Parsing with Large Language Models
Google Research(谷歌研究院);UMass Amherst CICS(马萨诸塞大学阿默斯特分校信息与计算机科学学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
当面对新任务时,人类可以进行组合推理。先前的研究表明,适当的提示技术使大语言模型(LLM)能够解决人工合成泛化任务,如SCAN。在这项工作中,我们确定了更多的挑战,更现实的语义解析任务,更大的词汇量和完善这些提示技术来解决这些问题。我们最好的方法是基于最小到最大的提示:它分解的问题,使用基于语法分析的句法分析,然后使用这种分解,以选择适当的样本,并顺序生成语义分析。这种方法使我们能够为CFQ设定一个新的技术水平,同时只需要传统方法使用的训练数据的1%。由于我们的方法的一般性质,我们预计类似的努力将导致在其他任务和领域,特别是知识密集型应用程序的新成果。
2022-09-30 cs.AI cs.CL
Knowledge prompt chaining for semantic modeling
针对结构化数据语义建模需理解图结构知识、人力成本高的问题,提出Knowledge Prompt Chaining框架,序列化图知识并通过提示链注入LLM,在更少输入数据下实现优于主流技术的性能。
2025-01-15 cs.AI cs.CL cs.DB
Sem-DPO: Mitigating Semantic Inconsistency in Preference Optimization for Prompt Engineering
University of Minnesota(明尼苏达大学);Virginia Tech(弗吉尼亚理工大学);Xi’an University of Technology(西安理工大学);Lahore University of Management Sciences(拉合尔管理科学大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
针对DPO用于提示工程时存在的语义不一致问题,提出加入语义权重调整损失的Sem-DPO,证明其语义漂移有界,实验显示其在文本到图像提示优化任务上效果优于DPO及现有最优基线。
2025-07-29 cs.AI cs.CL cs.LG
POSIX: A Prompt Sensitivity Index For Large Language Models
Indian Institute of Technology Delhi(印度理工学院德里分校);Adobe Inc.(奥多比公司)
本文提出提示敏感性指数POSIX,通过衡量替换意图不变提示时响应对数似然的相对变化来评估大语言模型的提示敏感性,并发现增加参数或指令微调未必降低敏感性,而加入few-shot示例通常能显著降低敏感性。
2024-10-04 cs.AI cs.CL cs.LG
Prompt Less, Smile More: Semantic Engineering in Lieu of Prompt Engineering
University of Michigan(密歇根大学);Jaseci Labs(Jaseci实验室)
通过语义工程替代提示工程,提升AI集成编程中提示的准确性与开发者效率。
2026-11-03 cs.AI cs.SE
XML Prompting as Grammar-Constrained Interaction: Fixed-Point Semantics, Convergence Guarantees, and Human-AI Protocols
Lightcap;Institut für die Zukunft(未来研究所);Turkish Aeronautical Association(土耳其航空协会);Aerospace Engineering(航空航天工程)
本文提出XML提示的语法约束交互框架,通过不动点语义和收敛保证统一语法解码与人机协议,实现稳定、可解析的LLM输出。
2025-09-09 cs.AI cs.CL cs.PL
Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models
Fidelity Investments(fidelity投资公司)
本文提出轻量级框架SDM,通过联合聚类与信息论指标测量提示与响应间的语义分歧,以检测大语言模型中的忠实性幻觉与不对齐问题,并构建诊断框架语义盒对响应类型进行分类。
2025-08-13 cs.AI cs.CL cs.LG
Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4
University of Stuttgart(斯图加特大学);Institute for Natural Language Processing(自然语言处理研究所)
本文研究利用GPT-3.5和GPT-4结合自动提示技术实现语义邻近度标注自动化,通过复用人工指南设计提示并集成到开源工具中,发现精确提示设计至关重要且小幅修改人工指南即可提升性能。
2024-07-04 cs.CL
Infusing Prompts with Syntax and Semantics
针对大语言模型生成内容语言结构有缺陷的问题,本文提出向提示注入各类低成本句法与语义信息的方法,在低资源语言的自然语言转SQL任务上验证了该方法的有效性,性能超越此前最优系统。
2024-12-08 cs.CL
Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering
本研究针对低资源的罗马乌尔都语,对比了LLM零样本推理、LoRA的PEFT、混合/人工提示调优、零/少样本提示工程四种仇恨言论分类方法,以确定最有效的技术。
2026-08-25 cs.AI
Generalizable Prompt Tuning for Audio-Language Models via Semantic Expansion
KAIST(韩国科学技术院)
本文提出SEPT框架,通过引入语义扩展损失提升音频-语言模型提示微调的泛化能力,增强嵌入空间语义结构,改进基到新泛化和跨数据集迁移。
2026-04-20 cs.AI cs.SD eess.AS
Show or Tell? Effectively prompting Vision-Language Models for semantic segmentation
IBM Research(IBM研究院);ETH Zurich(苏黎世联邦理工学院)
本文提出PromptMatcher,通过结合文本和视觉提示提升VLMs在语义分割中的性能,实现优于现有方法的改进。
2025-03-25 cs.AI cs.CV
RiOT: Efficient Prompt Refinement with Residual Optimization Tree
Zhejiang University(浙江大学);University College London(伦敦大学学院);Ant Group(蚂蚁集团)
针对自动提示词优化中多样性与语义漂移问题,提出残差优化树框架,通过文本梯度迭代生成多样候选并利用困惑度选择,以残差连接缓解漂移,在五个推理基准上超越现有方法。
2025-06-19 cs.CL
Beyond Human-prompting: Adaptive Prompt Tuning with Semantic Alignment for Anomaly Detection
Silesian University of Technology(西里西亚技术大学);National Cheng Kung University(国立成功大学);Nvidia AI Technology Center(Nvidia AI技术中心)
本文提出无需先验知识的少样本异常检测框架APT,通过自生成异常样本训练可学习提示,并利用自优化元提示引导方案对齐通用异常语义,在多个基准数据集上取得最先进性能。
2025-08-22 cs.AI cs.CV
Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization
Jiangsu universities(江苏大学);NSFC(国家自然科学基金委员会);RDF-24-01-016
提出一种黑盒条件下的自适应贪婪局部搜索方法,通过层次化分解输入文本、掩码关键语言单元并动态调整候选词,在保持语义相似度的同时最大化模型输出与原始意图的偏差,在2400+测试用例中取得更高攻击成功率。
2026-06-16 cs.CL cs.CR
On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Monash University(莫纳什大学)
本文针对大型提示式代码语言模型Codex的对抗鲁棒性开展首次实证研究,发现SOTA代码语言模型易受精心构造的对抗样本攻击,并提出无需大量标注数据或计算资源即可提升鲁棒性的方法。
2026-11-16 cs.CL
PromptPrism: A Linguistically-Inspired Taxonomy for Prompts
Amazon AWS(亚马逊AWS)
PromptPrism通过语言学启发的分类法,为提示的结构、语义和语法分析提供系统框架,提升提示优化和性能评估的效率。
2026-01-23 cs.CL
vCache: Verified Semantic Prompt Caching
University of California, Berkeley(加州大学伯克利分校);Technical University of Munich(慕尼黑技术大学);ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
vCache是一种具有用户定义误差率保证的验证语义缓存,通过在线学习算法动态优化阈值,实现更高的缓存命中率和更低的错误率。
2026-02-21 cs.CL cs.LG
Disentangling Adversarial Prompts: A Semantic-Graph Defense for Robust LLM Security
Xiang Fang(1. 方翔);Wanlong Fang(2. 方万龙)
提出对抗性提示解耦(APD)框架,通过互信息语义分解、图谱分析和轻量级分类器,在输入处理前识别并中和恶意组件,将有害输出减少85%以上。
2026-05-27 cs.AI cs.CR cs.CV
Block the Label and Noise: An N-Gram Masked Speller for Chinese Spell Checking
针对中文拼写检查中现有BERT类方法存在标签泄露、错误干扰的问题,提出n元掩码层及点积门控机制融合多模态信息,可提升主流模型性能且优于多个前沿模型。
2023-05-05 cs.CL
Context-Adaptive Multi-Prompt Embedding with Large Language Models for Vision-Language Alignment
Google DeepMind(谷歌DeepMind)
提出上下文自适应多提示嵌入方法,利用大语言模型在CLIP框架中生成多个自适应提示嵌入,结合多样性正则化和否定感知损失,提升视觉-语言对齐,在图像和视频检索基准上取得一致改进。
2025-08-06 cs.AI cs.LG
SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信)
SSVP通过协同语义-视觉提示机制,提升工业零样本异常检测的细粒度感知能力,实现93.0%的图像AUROC和92.2%的像素AUROC。
2026-01-19 cs.AI cs.CV
BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models
BRAC University(BRAC大学)
针对孟加拉语LLM跨脚本安全评估难题,本文提出BanglaVeilGuard基准与轻量提示防护,可降低攻击成功率,提升不安全请求召回率,但存在方言及带噪良性提示过度拒绝的问题。
2026-08-25 cs.CL cs.CR
Unveiling Factors for Enhanced POS Tagging: A Study of Low-Resource Medieval Romance Languages
Bavarian Academy of Sciences(巴伐利亚科学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Freiburg(弗赖堡大学)
本研究系统探究影响中古罗曼语(奥克语、西班牙语、法语)词性标注性能的关键因素,通过实验评估微调、提示、架构、解码及跨语言迁移方法,揭示LLM局限并提出有效专门技术。
2025-06-21 cs.CL cs.LG
Re-Evaluating Code LLM Benchmarks Under Semantic Mutation
Zhejiang University(浙江大学)
本研究通过提出语义保持的提示变异框架,在8个代码任务和10个开源LLM上实证发现提示敏感性显著影响模型性能及排名,强调未来基准设计需考虑此因素。
2025-06-20 cs.AI cs.SE
From Script to Semantics: Prompting Strategies for African NLI
本研究系统评估了五种提示策略在斯瓦希里语、约鲁巴语和豪萨语的自然语言推理任务上的表现,发现对比提示策略最可靠且能显著提升模型性能。
2026-06-02 cs.CL cs.LG
IDRAAK: From Multi-Agent NLP to Few-Shot Prompting for Semantic Drift Detection in Technical Requirements
Stony Brook University(石溪大学)
IDRAAK是基于语义需求表示的可解释框架,通过含6个少样本示例的LLM单次调用检测技术需求语义漂移,性能优于多种替代方案,证明少样本提示是高效替代方法。
2026-08-11 cs.AR cs.CL cs.ET
Learning Generalizable Prompt for CLIP with Class Similarity Knowledge
Konkuk University(建国大学)
针对提示调优易过拟合基类、损害新类语义关系的问题,本文提出 SAR,借助 ChatGPT-4o 生成相关新类并对齐可学习与手工提示的类别相似性,从而提升 CLIP 对未见过类别的泛化能力。
2025-02-17 cs.AI cs.CV cs.LG
Automatic Real-word Error Correction in Persian Text
本文提出一种多层次方法,结合语义分析、特征选择和分类器,用于波斯文本真词错误纠正,检测F值达96.6%,纠正准确率达99.1%,优于以往模型。
2024-07-20 cs.CL
TextInVision: Text and Prompt Complexity Driven Visual Text Generation Benchmark
Arizona State University(亚利桑那州立大学);Adobe Research(奥多比研究院)
本文提出大规模基准 TextInVision,从文本与提示复杂度、VAE 字符表示等维度评估扩散模型的图像内文本生成能力,并揭示拼写与上下文等共性缺陷。
2025-03-17 cs.CL cs.CV
GRASP: Guiding model with RelAtional Semantics using Prompt for Dialogue Relation Extraction
Korea University(高丽大学)
基于对话的关系抽取(DialogRE)任务旨在预测对话中出现的论元对之间的关系。大多数以前的研究利用微调预训练语言模型(PLM),只有广泛的功能,以补充低信息密度的对话,由多个扬声器。为了有效地利用固有知识的PLM没有额外的层,并考虑分散的语义线索之间的关系参数,我们提出了一个指导模型与关系语义提示(GRASP)。我们采用了一种基于语义的微调方法,并通过1)一个论元感知的提示标记策略和2)关系线索检测任务来捕获给定对话的关系语义线索。在实验中,GRASP在DialogRE数据集上的F1和F1c得分方面达到了最先进的性能,即使我们的方法只利用PLM而不添加任何额外的层。
2022-09-27 cs.AI cs.CL
Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
Fudan University(复旦大学)
提出了一种新的基于语义的文本微调方法(称为DLM-SCS),该方法利用预训练的区分性语言模型ELECTRA来区分标记是原始的还是生成的,用于Few-Shot文本分类。其基本思想是,使用真标签实例化的提示应该比使用假标签的其他提示具有更高的语义一致性得分。由于提示通常由几个组件(或部分)组成,因此可以相应地分解其语义一致性。每个组件的语义一致性计算,然后利用预训练的ELECTRA模型,而不引入额外的参数。大量的实验表明,我们的模型优于几个国家的最先进的基于图像的Few-Shot方法。
2022-10-23 cs.AI cs.CL cs.LG
Multi-modal Visual Understanding with Prompts for Semantic Information Disentanglement of Image
本文研究基于提示的图像多模态视觉理解,结合视觉与语言处理提升语义理解,提出新方法以更好地提取图像语义信息。
2023-05-16 cs.AI cs.CL cs.CV
Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
Tencent Cloud Xiaowei(腾讯云小微);Westlake University(西湖大学)
对比学习已经成为无监督句子嵌入的一种新的范式。以往的研究集中在实例方面的对比学习,试图构建积极的对文本数据增强。本文提出了一种新的基于虚拟语义原型的对比学习方法。具体而言,我们借助提示语,为每个实例构造虚拟语义原型,并利用提示语的否定形式推导出否定原型。利用原型对比损失,我们使锚句子嵌入靠近其对应的语义原型,远离否定原型以及其他句子的原型。语义文本相似性,转移和聚类任务的大量实验结果表明,我们提出的模型相比,强大的基线的有效性。代码可在https://github.com/lemon0830/promptCSE上获得。
2022-12-11 cs.CL
The Power of Prompt Tuning for Low-Resource Semantic Parsing
ServiceNow Research(ServiceNow研究院);Mila(Mila研究所);McGill University(麦吉尔大学);Facebook(脸书)
提示微调最近已经成为一种有效的方法,用于使预训练的语言模型适应许多语言理解和生成任务。在本文中,我们研究提示微调的语义解析-映射自然语言的话语到正式的意义表示的任务。在Overnight和TOPv 2的低资源分割上,我们发现即时调整的T5-xl显著优于其微调的对应物,以及强大的GPT-3和BART基线。我们还在不同的模型规模和目标表示中进行了消融研究,发现随着模型规模的增加,及时调整的T5模型在生成远离训练前分布的目标表示方面有所改善。
2022-04-01 cs.CL
Structured Prompt Optimization for Few-Shot Text Classification via Semantic Alignment in Latent Space
Northwestern University(西北大学);Syracuse University(雪城大学);University of Toronto(多伦多大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学)
本文提出通过潜在空间语义对齐的结构化提示优化方法,解决少样本文本分类中的语义冲突和标签模糊问题,提升分类性能和跨任务适用性。
2026-02-27 cs.CL
Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning
Huawei Technologies(华为技术有限公司);Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心)
基于框架语义的方法在语义解析任务中得到了广泛的应用,并已成为主流。对不同语境下目标词汇单元所诱发的框架表征进行消歧仍然是一个挑战。预训练语言模型(PLM)已被用于语义解析,并显着提高神经解析器的准确性。然而,基于PLM的方法倾向于支持训练数据中呈现的搭配模式,从而导致不准确的结果。这里的直觉是设计一种机制来最佳地使用语义框架中捕获的知识,并结合PLM来消除框架的歧义。我们提出了一种新的知识增强框架语义解析架构(KAF-SPA),以提高语义表示,在框架语义解析过程中,将准确的框架知识到PLM。具体而言,基于记忆的知识提取模块(MKEM)的设计,以选择准确的框架知识,并在高维向量空间中构建连续的模板。此外,我们设计了一个面向任务的知识探测模块(TKPM)使用混合提示(在连续和离散提示),将选定的知识到PLM和适应PLM的框架和参数识别的任务。在两个公共FrameNet数据集上的实验结果表明,我们的方法显著优于强基线(F1中超过+3 $\%$),在当前基准测试中获得了最先进的结果。消融研究验证了KAF-SPA的有效性。
2023-03-25 cs.CL