Using Zero-shot Prompting in the Automatic Creation and Expansion of Topic Taxonomies for Tagging Retail Banking Transactions
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);BTG Pactual(BTG Pactual(巴西BTG银行))
本研究提出一种基于指令微调大语言模型的无监督方法,通过主题建模和零样本提示自动构建和扩展零售银行交易主题分类法,实验显示分类法一致性超90%,父节点预测F1超70%。
2024-02-11 cs.AI cs.CL
CodeTaxo: Enhancing Taxonomy Expansion with Limited Examples via Code Language Prompts
University of Notre Dame(诺丁汉大学);University of Washington(华盛顿大学)
CodeTaxo提出利用代码语言提示的大型语言模型方法,在分类体系较小(少于100实体)时有效扩展分类体系,在五个真实基准上超越现有最先进方法。
2025-05-26 cs.CL cs.IR
Rows from Many Sources: Enriching row completions from Wikidata with a pre-trained Language Model
Microsoft Research(微软研究院);Harbin Institute of Technology(哈尔滨工业大学)
行补全是用额外的相关行来扩充给定的文本和数字表的任务。该任务分为两个步骤:主题建议,填充主列的任务;和空白填充,填充其余列的任务。我们提出了国家的最先进的结果为主题的建议和差距填补衡量的标准基准(WikiTables)。我们的想法是通过和谐地结合知识库表解释和自由文本生成来解决这个任务。我们使用知识库来解释表,以建议新的行并通过属性链接生成像标题这样的元数据。为了提高候选人的多样性,我们通过GPT-3使用自由文本生成来合成额外的行,并且至关重要的是,我们利用我们解释的元数据来产生更好的文本生成提示。最后,我们验证了额外的合成内容可以链接到知识库或可信的网络源,如维基百科。
2022-04-14 cs.AI cs.CL
Enriching Medcial Terminology Knowledge Bases via Pre-trained Language Model and Graph Convolutional Network
East China University of Science and Technology(华东理工大学);Shanghai Hospital Development Center(上海医院发展中心)
丰富现有的医学术语知识库(KBs)是临床研究的一项重要而永无止境的工作,因为新的术语别名可能会不断增加,标准术语可能会重新命名。在本文中,我们提出了一种新的自动术语丰富的方法来补充一组术语知识库。具体来说,首先将术语和实体字符输入到预先训练好的语言模型中,以获得语义嵌入。该方法首先利用预先训练好的模型对术语和实体表示进行初始化,然后通过图卷积网络对术语和实体表示进行结构化嵌入。然后,结合语义嵌入和结构嵌入来衡量术语和实体之间的相关性。最后,根据术语和知识库中所有实体之间的相关性顺序实现最佳对齐。在上海市医院发展中心38家三甲医院的临床指标术语库上的实验结果表明,该方法能有效地丰富临床指标术语库。
2019-09-02 cs.CL
HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies
J.P. Morgan AI Research(摩根大通人工智能研究院)
本文提出合作博弈 HiddenTables 和数据集 PyQTax,通过自然语言模式让 LLM 在保护数据隐私的前提下解决表格问答任务,并揭示现有 LLM 在复杂查询上的不足。
2024-06-16 cs.AI cs.CL cs.IR
Enriching Pre-trained Language Model with Entity Information for Relation Classification
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
关系分类是一项重要的自然语言处理任务,用于提取实体之间的关系。关系分类的最新方法主要基于卷积或递归神经网络。最近,预训练的BERT模型在许多NLP分类/序列标记任务中取得了非常成功的结果。关系分类与这些任务的不同之处在于,它依赖于句子和两个目标实体的信息。在本文中,我们提出了一个模型,既利用预训练的BERT语言模型,并结合来自目标实体的信息来处理关系分类任务。我们定位目标实体并通过预先训练的架构传输信息,并将两个实体的相应编码合并。我们在SemEval-2010任务8关系数据集上实现了对最先进方法的显着改进。
2019-05-20 cs.CL
FLAME: Self-Supervised Low-Resource Taxonomy Expansion using Large Language Models
Indian Institute of Technology Delhi(印度德里理工学院);Samsung Research and Development Institute(三星研发研究院)
本文提出FLAME,一种利用大语言模型和强化学习在低资源场景下自动扩展分类体系的方法,在三个基准上相比八个基线准确率提升18.5%、Wu & Palmer指标提升12.3%。
2024-02-21 cs.CL cs.SI
Enriching Datasets with Demographics through Large Language Models: What's in a Name?
Khalifa University(哈利法大学);Abu Dhabi Investment Authority (ADIA)(阿布扎比投资局)
针对姓名人口统计预测缺乏优质公开数据集和跨域鲁棒方法的问题,本文提出利用大语言模型零样本能力实现与定制模型相当的效果,并评估其固有偏差,推动领域发展并开辟偏差缓解研究方向。
2024-09-17 cs.CL
Enriching Semantic Profiles into Knowledge Graph for Recommender Systems Using Large Language Models
Inha University(成均馆大学);Sogang University(成均馆大学)
本文提出SPiKE模型,利用大语言模型生成知识图谱中的语义轮廓,通过轮廓聚合和偏好匹配提升推荐系统性能。
2026-01-13 cs.AI cs.IR cs.LG
LLMTaxo: Leveraging Large Language Models for Constructing Taxonomy of Factual Claims from Social Media
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出 LLMTaxo 框架,利用大型语言模型在多粒度层级上生成主题,自动构建社交媒体事实性声明分类体系,并通过专用指标和三个数据集验证其有效性。
2025-10-20 cs.AI cs.CL cs.SI
Agentic Artificial Intelligence (AI): Architectures, Taxonomies, and Evaluation of Large Language Model Agents
University College of Engineering, Anna University(安娜大学工程学院);National Institute of Technology Tiruchirappalli(Tiruchirappalli 国家理工学院);School of Computing and Information Systems University of Melbourne(墨尔本大学计算机与信息系统学院)
本文探讨了代理型人工智能的架构、分类及评估,提出统一分类框架,分析从线性推理到原生推理模型的转变,并指出未来研究方向以提升自主系统的可靠性。
2026-01-18 cs.AI cs.MA
Find Parent then Label Children: A Two-stage Taxonomy Completion Method with Pre-trained Language Model
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出两阶段方法ATTEMPT,通过寻找父节点并标记子节点,结合预训练语言模型与提示生成自然句子进行上下位词识别,将新概念插入分类体系正确位置,在多个数据集上表现最优。
2024-06-25 cs.AI cs.CL
Taxonomy Inference for Tabular Data Using Large Language Models
The University of Manchester(曼彻斯特大学)
本文提出EmTT和GeTT两种基于大型语言模型的方法,用于表格数据的分类法推断,通过嵌入和迭代提示构建实体类型层次,实验证明与真值高度一致。
2025-03-25 cs.AI cs.CL cs.DB
Addressing Labelled Data Scarcity: Taxonomy-Agnostic Annotation of PII Values in HTTP Traffic using LLMs
Anonymous Authors(匿名作者)
本文探讨LLMs能否在运行时提供类别信息的情况下,对HTTP消息体中的显式传输PII值进行类别无关的标注,通过多阶段流程实现灵活的标注方法,验证了其在不同PII领域和粒度下的有效性。
2026-05-07 cs.AI cs.IR
Vision-Enabled LLMs in Historical Lexicography: Digitising and Enriching Estonian-German Dictionaries from the 17th and 18th Centuries
University of Tartu(塔尔图大学);Institute of the Estonian Language(爱沙尼亚语言研究所)
本文研究2022-2025年应用大语言模型丰富17-18世纪爱沙尼亚语词典,通过视觉识别和文本处理实现半自动词条丰富与数字化,实验显示显著节省资源潜力。
2025-10-09 cs.CL
Enhancing Job Matching: Occupation, Skill and Qualification Linking with the ESCO and EQF taxonomies
International Hellenic University(国际希伯利安大学);University of Oxford(牛津大学);Tabiya(塔比亚)
本文提出利用ESCO和EQF分类法提升岗位匹配,通过两种方法和新数据集改进劳动力市场信息分类。
2025-12-02 cs.CL cs.LG
280 Birds with One Stone: Inducing Multilingual Taxonomies from Wikipedia using Character-level Classification
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们提出了一个简单而有效的方法,从维基百科诱导多语言分类。给定一个英语分类,我们的方法利用维基百科的跨语言链接,然后通过字符级分类器来诱导其他语言的高精度,高覆盖率的分类。通过实验,我们证明,我们的方法显着优于国家的最先进的,复杂的六种语言的方法。由于我们的工作,我们发布了可能是最大和最准确的多语言分类资源,涵盖280多种语言。
2017-09-12 cs.AI cs.CL cs.IR
Keyphrase Generative Representation of Youth Crisis Conversations Beyond Static Taxonomies
York University(约克大学);Vector Institute(向量研究所);Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程系);Kids Help Phone(儿童援助电话)
本文提出关键词生成表示(KGR)方法,通过约束大语言模型生成对话特定的关键词,将原有19标签分类扩展为39标签层次结构,在129段对话和387个专家注释上评估,准确率达0.96,并发现固定分类中缺失的身份相关主题,将主题检索准确率从0.25提升至0.70。
2026-05-26 cs.CL cs.HC
Deep Emotion Recognition in Textual Conversations: A Survey
INESC-ID;Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Faculdade de Letras(文学院)
本文综述了对话情感识别(ERC)的挑战、数据集、神经架构及实践方法,指出预训练Transformer、图神经网络和生成式大语言模型是当前主流技术路线。
2024-10-19 cs.AI cs.CL
Agentic Clustering: Controllable Text Taxonomies via Multi-Agent Refinement
Burning Glass Institute(Burning Glass研究院);Harvard University(哈佛大学)
提出一种基于多智能体(提议者、合成者、审计者、调查者、批评者)的自适应文本聚类方法,通过编排器LLM动态调整聚类流程,在七个公开基准上实现最先进性能,ARI最高提升32%。
2026-10-14 cs.CL
Prompting or Fine-tuning? A Comparative Study of Large Language Models for Taxonomy Construction
McGill University(麦吉尔大学);Linköping University(林雪平大学)
本研究比较了提示与微调两种方法在分类体系构建中的性能,发现提示方法在无显式训练时更优,但微调方法更易满足结构约束,为方法选择提供指导。
2023-09-04 cs.CL cs.LG
TaBIIC2: Interactive Building of Ontological Taxonomies using Weighted Self-Organizing Maps
LORIA, CNRS, Université de Lorraine(LORIA研究所、法国国家科学研究中心、洛林大学)
本文提出一种工具,通过加权自组织映射聚类方法,支持用户逐步交互式地从表格数据中构建概念分类,并定义概念的内涵,平衡了纯手动分析与自动方法。
2026-05-24 cs.AI
NTULM: Enriching Social Media Text Representations with Non-Textual Units
Twitter, Inc.(推特公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在社交媒体上,额外的上下文通常以注释和元数据的形式存在,例如帖子的作者,提及,主题标签和超链接。我们将这些注释称为非文本单位(NTU)。我们认为,NTU提供超越其文本语义的社会背景,利用这些单位可以丰富社会媒体文本表示。在这项工作中,我们构建了一个以NTU为中心的社会异构网络,共同嵌入NTU。然后,我们主要将这些NTU嵌入集成到一个大型的预训练语言模型通过微调这些额外的单元。这为嘈杂的短文本社交媒体增加了背景。实验表明,利用NTU增强的文本表示在许多下游任务上显著优于现有的纯文本基线2- 5%的相对点,突出了上下文对社交媒体NLP的重要性。我们还强调,包括NTU上下文到语言模型的初始层旁边的文本是更好的比使用它后,文本嵌入生成。我们的工作导致了整体通用社交媒体内容嵌入的生成。
2022-10-29 cs.AI cs.CL cs.LG
Enriching Tabular Data with Contextual LLM Embeddings: A Comprehensive Ablation Study for Ensemble Classifiers
Technical University of Munich(慕尼黑工业大学)
本研究通过消融实验证明,将RoBERTa和GPT-2嵌入与集成分类器结合可提升表格数据预测性能,尤其在不平衡或小样本数据集上效果显著。
2024-11-05 cs.AI cs.LG
A Multi-Stage Framework with Taxonomy-Guided Reasoning for Occupation Classification Using Large Language Models
本研究提出一个包含推理、检索和重排序的多阶段框架,通过集成分类法引导的推理示例,显著提升了LLMs的职业分类性能,为GPT-4o等前沿模型提供了低成本且可扩展的替代方案。
2025-10-31 cs.AI cs.CL cs.SI
Chain-of-Layer: Iteratively Prompting Large Language Models for Taxonomy Induction from Limited Examples
University of Notre Dame(圣母大学);University of Washington(华盛顿大学)
提出 Chain-of-Layer 框架,通过迭代提示大型语言模型自顶向下逐层选择实体并引入基于集成的排序过滤器减少幻觉,在四个基准上实现了最先进的分类体系归纳性能。
2024-07-25 cs.CL
Enriching a Model's Notion of Belief using a Persistent Memory
Allen Institute for AI(艾伦人工智能研究所);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
虽然预训练的语言模型(PTLM)已被证明包含大量的世界知识,但即使在使用专门的训练技术来减少不一致性之后,它们仍然可以在探测时产生不一致的问题答案。因此,很难确定模型实际上“相信”这个世界。我们的目标是减少这个问题,使系统在全球范围内更加一致和准确。我们的方法是添加一个记忆组件--一个BeliefBank --记录模型的答案,以及两个使用它来提高信念一致性的机制。首先,一个推理组件--加权SAT求解器--通过翻转与其他答案明显冲突的答案来提高一致性。其次,反馈组件重新查询模型,但使用已知的信念作为上下文。我们表明,在一个受控的实验设置,这两种机制提高了准确性和一致性。这是重要的,因为这是赋予模型不断发展的记忆的第一步,使它们能够构建一个更连贯的世界图景。
2021-10-07 cs.AI cs.CL
Can Large Language Models Serve as Effective Classifiers for Hierarchical Multi-Label Classification of Scientific Documents at Industrial Scale?
Elsevier(爱思唯尔);SSRN(社会科学研究网络);Leiden University(莱顿大学)
针对工业规模下科学文档分层多标签分类(HMC)的动态标签与分类体系挑战,提出结合大型语言模型(LLMs)与密集检索的零样本HMC方法,在SSRN数据集上提升准确率与成本效率,为动态分类体系下的文档分类提供关键见解。
2024-12-06 cs.AI
ReLTEx: Reliable LLM-based Taxonomy Expansion
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
ReLTEx是结合LLM候选生成、结构感知验证与递归扩展控制的框架,可减少幻觉,在基准分类体系的掩码扩展任务中,能生成更可靠、语义连贯的分类体系扩展。
2026-08-12 cs.AI cs.CL
RaTE: a Reproducible automatic Taxonomy Evaluation by Filling the Gap
Université de Montréal(蒙特利尔大学)
针对自动分类体系构建多依赖人工评估的问题,提出无标注自动评估流程RaTE,依托预训练语言模型,经Yelp领域实验验证其与人类判断相关性好,且能敏感反映分类体系质量变化。
2023-07-19 cs.AI cs.CL cs.LG
Quantifying the Affective Gap: A Zero-Shot Evaluation of LLMs on Fine-Grained Emotion Taxonomies
Old Dominion University(欧道明大学)
本研究对Claude、ChatGPT和Gemini三种商业LLM进行零样本细粒度13类情感分类评估,发现最高准确率仅39.9%,模型在爱情、困惑等情感上表现差,且无显著差异,揭示当前前沿AI在零样本情感分类中的局限性。
2026-07-02 cs.CL cs.HC
TnT-LLM: Text Mining at Scale with Large Language Models
Microsoft Corporation(微软公司);University of Washington(华盛顿大学)
提出TnT-LLM两阶段框架,利用大语言模型自动生成和分配标签分类体系,减少人工干预,在Bing Copilot场景中验证了其生成标签更准确且分类效率与准确性平衡良好。
2024-03-18 cs.AI cs.CL cs.IR
TaxoEnrich: Self-Supervised Taxonomy Completion via Structure-Semantic Representations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
分类法是各个领域中许多实际应用的基础,作为知识的结构表示。为了处理越来越多的新概念需要组织成分类法,研究人员转向用新概念自动完成现有的分类法。在本文中,我们提出了TaxoEnrich,一个新的分类完成框架,它有效地利用了现有分类中的语义特征和结构信息,并提供了一个更好的候选位置表示,以提高分类完成的性能。TaxoEnrich由四个部分组成:(1)分类上下文化嵌入,它基于强大的预训练语言模型,结合概念的语义和分类关系;(2)分类感知的顺序编码器,它通过编码分类的结构信息来学习候选位置表示;(3)查询感知兄弟编码器,其基于候选兄弟对查询-位置匹配的重要性自适应地聚集候选兄弟以增强候选位置表示;(4)一个查询-位置匹配模型,它扩展了现有的工作与我们的新的候选位置表示。在四个不同领域的大型真实数据集上的实验表明,\TaxoEnrich在所有评价指标中取得了最佳的性能,并大大优于以前的最先进的方法。
2022-02-10 cs.AI cs.CL cs.IR
Emojinize: Enriching Any Text with Emoji Translations
EPFL(洛桑联邦理工学院);TUHH(汉堡工业大学)
本研究提出Emojinize方法,借助大语言模型实现文本到表情符号的自动翻译,可上下文消歧、组合表达复杂概念,实验显示其提升词汇可猜测性效果优于人工,为多领域下游应用提供可能。
2024-03-07 cs.CL cs.HC
Ontology engineering with Large Language Models
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本研究通过微调GPT-3模型将自然语言自动翻译为描述逻辑以丰富本体,涵盖多种OWL语法约束,并在人工监督下生成公理,最终作为Protégé插件公开发布。
2023-07-31 cs.AI cs.CL
SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses
University of Connecticut(康涅狄格大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Independent(独立研究者)
研究大语言模型提示安全问题,提出相关分类法,形式化评估元数据,发布模块化平台,通过匹配评估揭示多种因素对安全结论有重大影响,支持可重复、成本感知且基于分类法的评估。
2026-10-20 cs.AI cs.CR
Federated Co-tuning Framework for Large and Small Language Models
Hong Kong University of Science and Technology(香港科技大学);WeBank Co., Ltd(WeBank公司);Hong Kong Polytechnic University(香港理工大学)
本文提出FedCoLLM框架,通过轻量级适配器实现大模型与小模型的协同微调,提升小模型性能并增强大模型领域知识。
2026-04-23 cs.AI cs.CL
PaperWeaver: Enriching Topical Paper Alerts by Contextualizing Recommended Papers with User-collected Papers
School of Computing, KAIST(韩国科学技术院计算机学院);Human-Computer Interaction Institute, Carnegie Mellon University(卡内基梅隆大学人机交互研究所);Allen Institute for AI(艾伦人工智能研究所)
本文提出 PaperWeaver,利用 LLM 结合用户已收集论文生成推荐论文的情境化描述,实验表明其可帮助研究者更准确、自信地判断论文相关性。
2024-05-09 cs.AI cs.CL cs.DL
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
Boston University(波士顿大学)
本文指出开源大语言模型缺乏对视觉世界的层级知识,导致视觉大语言模型在识别如水母鱼但无法识别脊椎动物时存在瓶颈,通过构建六种分类学和四个图像数据集的百万级多项选择视觉问答任务验证了这一问题。
2026-03-26 cs.AI cs.CL cs.CV
Taxonomy Tree Generation from Citation Graph
Emory University(埃默里大学);Shanghai University(上海大学)
针对手动构建分类体系耗时且易有偏见的问题,提出端到端框架HiGTL,通过层次化引文图聚类和基于大语言模型的节点表述,联合优化生成高质量分类树。
2025-02-27 cs.CL cs.LG
Environments as Scaffold: Enriching Feedback to Bootstrap Self-Evolving Agents in Long-Horizon Tasks
Fudan University(复旦大学);CASIA(中国科学院自动化研究所);Shanghai Innovation Institute(上海创新研究院)
针对长时程任务中奖励稀疏问题,提出反馈丰富环境(FEEs)范式,通过环境端观察丰富替代行动引导,在SciWorld和BFCL基准上显著提升多种RL算法的性能。
2026-09-09 cs.AI cs.CL cs.LG
Leveraging Large Language Models for Generating Research Topic Ontologies: A Multi-Disciplinary Study
Knowledge Media Institute, The Open University(开放大学知识媒体学院);The Open University(开放大学);University of Milano Bicocca(米兰比克卡大学);Department of Business and Law, University of Milano Bicocca(米兰比克卡大学商学院与法学院)
本文研究了大型语言模型在生物医学、物理和工程学三个学科中识别研究主题语义关系的能力,通过零样本提示、链式思维提示和在现有本体上微调三种条件评估模型性能,并引入PEM-Rel-8K数据集验证跨学科迁移能力。
2026-06-04 cs.CL cs.DL
Traversing Emotional Landscapes and Linguistic Patterns in Bernard-Marie Koltès' Plays: An NLP Perspective
本研究采用自然语言处理技术分析当代法国戏剧家科尔泰斯戏剧中的语言与情感维度,通过先进计算技术剖析其叙事风格并揭示语言与情感的相互作用,丰富了对其主题探索的理解,推动了数字人文在文学分析领域的发展。
2024-10-12 cs.AI cs.CL
Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);ZJU-Ant Group Joint Lab of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室)
针对大语言模型在知识图谱问答中因结构化图谱与非结构化查询的语义鸿沟导致的幻觉和事实错误问题,提出Enrich-on-Graph框架,利用LLM先验知识丰富图谱、弥合鸿沟,实现精准推理并在基准数据集上取得最优性能。
2026-10-05 cs.CL
Personalization of Large Language Models: A Survey
Dartmouth College(达特茅斯学院);Adobe Research(Adobe研究);Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Pattern Data;Vanderbilt University(范德比尔特大学);Dolby Research(Dolby研究);University of California San Diego(加州大学圣地亚哥分校);Cisco Research(思科研究);University of Oregon(俄勒冈大学)
本文首次通过引入系统分类法,弥合个性化文本生成与下游应用两条研究方向的鸿沟,形式化LLM个性化基础,统一梳理粒度、技术、数据集、评估与应用,并指出开放挑战以指导未来研究。
2025-07-13 cs.CL
Fairness in Large Language Models: A Taxonomic Survey
Florida International University(佛罗里达国际大学)
本综述全面回顾了大型语言模型(LLMs)公平性研究的最新进展,系统分析了偏见来源、公平性概念分类、评估指标与算法,并总结了相关工具包、数据集及未来研究挑战。
2024-12-19 cs.AI cs.CL
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business(雅典经济与商业大学);Athena Research Center(雅典娜研究中心);Stockholm University(斯德哥尔摩大学)
本研究提出一个可推广的系统性单语NLP综述框架,应用于希腊语(2012-2023),通过结构化搜索、任务与资源分类法分析现状与资源空白,并提供公开更新的常青资源,展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
Pre-Trained Language Models for Keyphrase Prediction: A Review
Kyung Hee University(庆熙大学);Hajee Mohammad Danesh Science and Technology University(哈吉·穆罕默德·达内什科技大学)
本文系统综述了利用预训练语言模型进行关键短语抽取与生成的研究,提出分类体系并指出未来方向,填补了现有综述的空白。
2024-09-02 cs.AI cs.CL
Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
AWS AI
预训练的语言模型(PLM)通过在大规模文本语料库上学习信息性的上下文化表示建立了一种新的范式。这种新的范式彻底改变了整个自然语言处理领域,并为各种NLP任务设置了新的最先进的性能。然而,尽管PLM可以存储来自训练语料库的某些知识/事实,但它们的知识感知仍然远远不能令人满意。为了解决这个问题,将知识集成到PLM中最近已经成为一个非常活跃的研究领域,并开发了各种方法。在本文中,我们提供了一个全面的调查,这一新兴的和快速增长的领域-知识增强预训练语言模型(KE-PLMs)的文献。我们引入三个分类法来分类现有的工作。此外,我们还调查了各种NLU和NLG应用程序,KE-PLM在这些应用程序上表现出优于普通PLM的性能。最后,我们讨论了KE-PLM面临的挑战,也有前途的未来研究方向。
2021-10-16 cs.CL
VAP-Diffusion: Enriching Descriptions with MLLMs for Enhanced Medical Image Generation
College of Biomedical Engineering, Fudan University, Shanghai 200433, China(复旦大学生物医学工程学院);Key Laboratory of Medical Imaging Computing and Computer Assisted Intervention of Shanghai, Shanghai 200032, China(上海医学影像计算与计算机辅助干预重点实验室)
本文提出VAP-Diffusion框架,利用预训练MLLMs的外部知识,通过Chain-of-Thoughts提示生成无幻觉的详细描述,并结合Prototype Condition Mechanism提升对未见描述组合的鲁棒性,有效增强了医学图像生成的质量与多样性。
2025-06-30 cs.AI cs.CV
Bridging the Evaluation Gap: Leveraging Large Language Models for Topic Model Evaluation
L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB))
针对科学文献动态主题分类法的评估问题,本研究提出基于大型语言模型(LLMs)的自动化评估框架,通过定制提示衡量连贯性等质量维度,实验验证其在基准语料库上的稳健性、可扩展性和适应性,为传统评估提供更全面动态的替代方案。
2025-02-11 cs.AI cs.CL cs.DL
Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens
Tel Aviv University(特拉维夫大学)
标准的预训练语言模型对子字标记序列进行操作,而不直接存取组成每个标记的字符串表示的字符。我们探测了预训练的语言模型的嵌入层,并表明模型在令人惊讶的程度上学习了整个单词和子单词标记的内部字符组成,而从未看到与标记相结合的字符。我们的研究结果表明,RoBERTa的嵌入层拥有足够的信息,可以准确拼写多达三分之一的词汇,并在所有标记类型上达到高平均字符ngram重叠。我们进一步测试了用额外的字符信息丰富子词模型是否可以改善语言建模,并观察到这种方法具有与没有基于拼写的丰富训练几乎相同的学习曲线。总的来说,我们的研究结果表明,语言建模目标激励模型隐式地学习一些拼写的概念,而明确地教模型如何拼写似乎并不能提高其在这些任务上的表现。
2022-06-08 cs.AI cs.CL cs.LG
Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
大语言模型生成类人文本的能力的最新进展导致它们在面向用户的设置中的采用增加。与此同时,这些改进也引发了一场激烈的讨论,围绕着它们所带来的社会危害的风险,无论是无意的还是恶意的。一些研究已经探索了这些危害,并呼吁通过开发更安全,更公平的模型来减轻这些危害。除了列举危害的风险,这项工作提供了一个调查的实用方法,以解决潜在的威胁和社会危害的语言生成模型。我们借鉴了几个以前的作品的语言模型风险的分类,提出了一个结构化的概述策略,用于检测和改善不同类型的风险/危害的语言生成器。这项调查旨在为LM研究人员和从业人员提供实用指南,并解释不同缓解策略的动机,其局限性以及未来研究的开放问题。
2023-02-21 cs.CL
A Fully Automated Pipeline for Conversational Discourse Annotation: Tree Scheme Generation and Labeling with Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出利用大语言模型自动生成树状标注方案并完成对话语篇标注的全自动流程,在SFs和SWBD-DAMSL上验证其可超越人工设计树方案并达到或超过人类标注水平。
2025-06-03 cs.CL