Memory-Augmented Generative Adversarial Transformers
Leiden University(莱顿大学);TNO(荷兰应用科学研究组织);University of Applied Sciences, Utrecht(乌得勒支应用科学大学);Institute of Psychology, Leiden University(莱顿大学心理学院);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
本文提出记忆增强的生成对抗 Transformer,通过外部记忆库与额外注意力层融入事实等信息,以支持事实问答和风格适应。
2024-02-29 cs.CL
mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis
Children’s National Hospital(儿童国家医院);George Washington University(乔治·华盛顿大学)
本研究提出轻量级生成式预训练Transformer模型mhGPT,通过整合多元心理健康数据、自定义分词器并优化小模型架构,在低算力、少数据条件下实现了优于大模型的心理健康文本分析性能,助力低资源地区的AI心理健康护理发展。
2024-08-15 cs.CL
Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering
University of Information Technology, Ho Chi Minh city, Vietnam(胡志明市信息技术大学);Vietnam National University, Ho Chi Minh city, Vietnam(越南国立大学胡志明市分校)
本文针对越南语社区COVID-19问答研究不足的问题,提出GPT-2实现方案,并通过与多种Transformer及SOTA模型的比较实验证明其性能优于现有越南语社区问答模型。
2023-10-31 cs.CL
Biologically Inspired Design Concept Generation Using Generative Pre-Trained Transformers
自然界中的生物系统已经进化了数百万年,以适应和生存的环境。他们开发的许多功能可以启发和有益于解决现代工业中的技术问题。这导致了一种特殊形式的类比设计,称为生物启发设计(BID)。虽然BID作为一种设计方法已被证明是有益的,生物学和工程学之间的差距不断阻碍设计师有效地应用该方法。因此,我们探讨了人工智能(AI)的最新进展,以数据驱动的方法来弥合这一差距。提出了一种基于生成式预训练语言模型(PLM)的生物类比自动检索和映射方法,并以自然语言的形式生成生物类比。最新的生成预训练Transformer,即GPT-3,被用作基础PLM。三种类型的设计概念生成器的识别和微调,从PLM根据松散的问题空间表示。机器评估器也被微调以评估所生成的BID概念内的域之间的映射相关性。该方法的评估,然后在一个现实世界的项目设计的轻型飞行汽车在其概念设计阶段,结果表明,我们的方法可以生成BID概念具有良好的性能。
2022-12-26 cs.CL
Subformer: Exploring Weight Sharing for Parameter Efficiency in Generative Transformers
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
Transformers与之前的序列处理架构(如RNN)相比,表现出了更好的性能。尽管他们的相当大的性能增益,最近建议,该模型是计算昂贵的训练和高参数预算。鉴于此,我们探讨参数共享方法在Transformers与生成模型的具体重点。我们对不同的参数共享/缩减方法进行了分析,并开发了Subformer。我们的模型结合了自适应风格的参数共享,克服了生成模型中天真的跨层参数共享,以及自关注嵌入因子分解(SAFE)。在机器翻译、抽象摘要和语言建模方面的实验表明,Subformer即使在使用显著较少的参数时也能优于Transformer。
2021-09-08 cs.CL cs.LG
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design(新加坡科技设计大学)
新颖的概念对于设计创新是必不可少的,并且可以在数据刺激和计算机的帮助下产生。然而,目前的生成式设计算法集中在图形或空间的概念,要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers(GPT)的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation
Heriot-Watt University(赫瑞瓦特大学);Microsoft Research(微软研究院)
领域自适应是近年来对话系统研究中的一个关键问题。深度学习虽然是建模此类系统的首选技术,但在给定大量训练数据的情况下效果最佳。然而,在现实世界的场景中,这样的资源并不适用于每个新领域,因此使用一些对话示例进行训练的能力可以被认为是必不可少的。在大数据源上进行预训练并适应目标数据已经成为深度学习框架内解决Few-Shot问题的标准方法。在本文中,我们提出了获奖作品在快速领域自适应任务的DSTC 8,混合生成检索模型的基础上GPT-2微调到多域MetaLWOz数据集。我们的模型在响应生成方面具有强大和多样性,使用检索逻辑作为后备,在人类评估中是MetaLWOz上的SoTA(比第二名系统提高了>4%),并在适应看不见的MultiWOZ数据集方面获得了有竞争力的泛化性能。
2020-03-06 cs.CL
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski(数学与信息学系,索菲亚大学);Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题,提出精确位置嵌入ExPE,通过覆写嵌入向量特定维度编码精确位置信息,在因果语言建模长序列测试中显著降低困惑度,提升模型长序列泛化能力。
2025-09-23 cs.CL
Discriminative and Generative Transformer-based Models For Situation Entity Classification
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
我们重新检查的情况实体(SE)分类任务与不同数量的可用训练数据。我们利用一个基于transformer的变分自编码器将句子编码到一个低维的潜在空间中,该潜在空间用于生成文本和学习SE分类器。测试集和跨体裁评估表明,当训练数据是丰富的,该模型可以改善以往的歧视性国家的最先进的模型。我们的方法在使用少量训练数据的情况下表现得不成比例地更好,但是当面对非常小的集合(每个标签4个实例)时,生成RNN方法的性能优于Transformers。我们的工作为SE和语义预测任务以及低标签训练机制的未来工作提供了指导。
2021-09-15 cs.AI cs.CL
Visual Analytics for Generative Transformer Models
University of British Columbia(不列颠哥伦比亚大学);University of Fraser Valley(弗雷泽河谷大学)
针对基于 transformer 的生成模型黑盒特性导致的可解释性挑战,提出一种新型可视化分析框架,支持编码器-解码器和仅解码器模型的生成与分类任务分析,并通过三个真实NLP案例验证了其可行性与实用性。
2023-11-21 cs.CL cs.HC
A Conditional Generative Chatbot using Transformer Model
Semnan University(塞姆南大学);Electrical and Computer Engineering Faculty(电气与计算机工程学院)
本文提出一种结合条件Wasserstein生成对抗网络与Transformer模型的新架构,通过在生成器使用完整Transformer、判别器使用Transformer编码器,有效解决了序列模型的准确度问题,提升了聊天机器人的回答生成质量。
2023-09-08 cs.CL cs.CV
Nepali Legal Expertise through Generative and Extractive Pre-trained Transformers (NepLEGiT)
Kathmandu University(加德满都大学)
针对尼泊尔法律信息获取难的问题,提出NepLEGiT小型语言模型,基于约400万token法律文本预训练GPT-2,在验证集上困惑度1.8,准确率82.9%,并对比mBERT和MuRIL编码器基线,以普及法律知识。
2026-09-16 cs.CL
On Task-Level Dialogue Composition of Generative Transformer Model
McGill University(麦吉尔大学);Mila(米拉);OpenAI(开放人工智能研究中心);Google Brain(谷歌大脑)
面向任务的对话系统通过对话帮助用户完成诸如预定电影票和订购食物之类的任务。由深度神经网络参数化的生成模型被广泛用于这种系统中的下一个转弯响应生成。对于系统的用户来说,想要在同一会话中完成多个任务是很自然的,但是生成模型组合多个任务的能力还没有得到很好的研究。在这项工作中,我们首先研究的影响,训练人与人的任务导向的对话,以提高能力,组成多个任务的Transformer生成模型。为此,我们提出并探索了两种解决方案:(1)从人与人的单任务对话中创建用于训练的合成多任务对话数据,以及(2)使用辅助损失强制编码器表示对单任务和多任务对话保持不变。我们的实验结果突出了即使是Transformer模型的复杂变体在学习从单个任务对话组成多个任务时的困难。
2020-10-09 cs.AI cs.CL
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business(雅典经济与商业大学)
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中,我们提出了一种使用Transformers(特别是自回归语言模型)从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集,我们尝试训练模型来识别烹饪技术,提出新的食谱,并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
GenTUS: Simulating User Behaviour and Language in Task-oriented Dialogues with Generative Transformers
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
用户模拟器(US)通常用于通过强化学习来训练面向任务的对话系统(DS)。为了提高效率,交互通常发生在语义级别上,但是从语义动作到自然语言仍然存在差距,这导致训练和部署环境之间的不匹配。在训练过程中使用US来描述自然语言生成(NLG)模块可以部分地处理这个问题。然而,由于US的策略和NLG是单独优化的,因此这些模拟的用户话语在给定的上下文中可能不够自然。在这项工作中,我们提出了一个基于生成变换的用户模拟器(GenTUS)。GenTUS由编码器-解码器结构组成,这意味着它可以同时优化用户策略和自然语言生成。Gentus生成语义动作和自然语言话语,保持可解释性并增强语言变化。此外,通过将输入和输出表示为单词序列,并通过使用大型预训练的语言模型,我们可以实现特征表示的通用性。我们通过自动指标和人工评估来评估GenTUS。我们的研究结果表明,GenTUS生成更多的自然语言,并能够转移到一个看不见的本体在一个zero-shot的时尚。此外,通过强化学习可以进一步塑造其行为,从而为训练专门的用户模拟器打开大门。
2022-08-23 cs.CL
The Chess Transformer: Mastering Play using Generative Language Models
PeopleTec;Auburn University(奥本大学)
这项工作表明,自然语言Transformers可以支持更通用的战略建模,特别是对文本存档的游戏。除了学习自然语言技能之外,抽象的Transformer架构还可以在棋盘上生成有意义的移动。通过进一步的微调,Transformer通过在Portable Game Notation中对280万盘国际象棋进行训练来学习复杂的游戏玩法。经过30,000个训练步骤后,OpenAI的生成式预训练Transformer(GPT-2)优化了7.74亿个参数的权重。这款经过微调的国际象棋Transformer可以生成合理的策略,并显示可识别为经典开局的游戏阵型,例如英语或斯拉夫交换。最后,在现场比赛中,新模型展示了一个人对Transformer的界面,正确过滤非法移动,并提供了一种新的方法来挑战Transformer的象棋策略。我们预计未来的工作将建立在这个Transformer的承诺,特别是在其他战略游戏中,功能可以捕获简单但富有表现力的玩家注释的基础复杂的规则语法。
2020-09-18 cs.AI cs.CL cs.GT
Generative or Discriminative? Revisiting Text Classification in the Era of Transformers
Amazon Inc.(亚马逊公司)
本文在Transformer时代重新审视文本分类,比较生成式与判别式模型的性能,揭示不同架构下的表现差异并提供实际应用指导。
2026-01-09 cs.CL cs.LG
Generative Video Transformer: Can Objects be the Words?
Rutgers University(罗格斯大学);SAP Labs(SAP实验室);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
Transformers已经成功地用于许多自然语言处理任务。然而,由于高计算复杂性和缺乏自然标记化,将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中,我们提出了以对象为中心的视频Transformer(OCVT),它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象,我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态,并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率,因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示,在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
Contrastive Triple Extraction with Generative Transformer
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
三元抽取是信息抽取中自然语言处理和知识图谱构建的一项重要任务。在本文中,我们重新审视了端到端的三重提取任务的序列生成。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组,因此我们引入了一种新的模型,具有生成Transformer的对比三元组提取。具体来说,我们引入了一个共享的Transformer模块,用于基于编码器-解码器的生成。为了生成可靠的结果,我们提出了一种新的三元组对比训练对象。此外,我们引入了两种机制来进一步提高模型性能(即,分批动态注意力掩蔽和三重校准)。三个数据集(即,NYT,WebNLG和MIE)表明,我们的方法比基线实现了更好的性能。
2022-07-21 cs.AI cs.CL cs.DB
LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation
Rutgers University(罗格斯大学)
本文提出轻量级深窄Transformer模型LightLM,结合SCI和GCI索引方法及约束生成过程,在生成式推荐中兼顾准确性与效率并超越大规模语言模型。
2023-10-30 cs.CL cs.IR
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo(滑铁卢大学)
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性,符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年,但基于深度学习的方法相对较新,是一个活跃的研究领域。在这项工作中,我们提出了SymbolicGPT,一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点,包括性能和灵活性方面的优势。通过全面的实验,我们表明,我们的模型表现强劲的竞争模型的准确性,运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
MAGVLT: Masked Generative Vision-and-Language Transformer
Korea University(高丽大学);Kakao Brain
虽然已经利用大规模成对数据集积极开发了多模态图像-文本数据的生成建模,但是通过单个模型而不是以另一模态为条件的一个固定模态的生成来生成图像和文本数据的尝试有限。在本文中,我们探讨了一个统一的生成视觉和语言(VL)模型,可以产生图像和文本序列。特别地,我们提出了一种基于非自回归掩模预测的生成VL Transformer,称为MAGVLT,并将其与自回归生成VL Transformer(ARGVLT)进行了比较。与ARGVLT相比,所提出的MAGVLT能够实现双向上下文编码,通过迭代细化中的并行令牌预测进行快速解码,以及扩展的编辑功能,例如图像和文本填充。为了从头开始使用图像-文本对严格训练我们的MAGVLT,我们结合了图像到文本,文本到图像以及联合图像和文本掩码预测任务。此外,我们设计了两个额外的任务的基础上的步骤展开掩模预测和选择性预测的混合物的两个图像-文本对。各种下游生成任务的VL基准测试的实验结果表明,我们的MAGVLT优于ARGVLT的大幅利润,即使有显着的推理加速。特别是,MAGVLT实现了竞争力的结果zero-shot图像到文本和文本到图像生成任务从MS-COCO的一个中等大小的模型(小于500 M参数),即使没有使用单峰数据和网络。
2023-03-21 cs.CL cs.CV cs.LG
Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers
York University(约克大学);Dialpad Canada Inc.(Dialpad加拿大公司)
本文首次全面评估ChatGPT在生物医学领域的性能,发现其在小训练集生物医学数据集上的零样本表现优于现有最优微调生成式Transformer模型,可为缺标注数据的生物医学任务提供新工具。
2023-08-24 cs.CL cs.LG
Generative Pre-Trained Transformers for Biologically Inspired Design
Singapore University of Technology and Design(新加坡科技设计大学);Tsinghua University(清华大学)
自然界中的生物系统已经进化了数百万年,以适应和生存的环境。他们开发的许多功能可以启发和有益于解决现代工业中的技术问题。这导致了一种新的类比设计形式,称为生物启发设计(BID)。虽然BID作为一种设计方法已被证明是有益的,生物学和工程学之间的差距不断阻碍设计师有效地应用该方法。因此,我们探讨了人工智能(AI)的最新进展,以寻找一种弥合这一差距的计算方法。提出一种基于预训练语言模型(PLM)的生物类比自动检索和映射生成方法,并以自然语言的形式生成生物类比。最新的生成预训练Transformer,即GPT-3,被用作基础PLM。三种类型的设计概念生成器的识别和微调,从PLM根据松散的问题空间表示。机器评估器也被微调以评估所生成的BID概念中的域之间的相关性。然后通过案例研究对该方法进行测试,其中微调的模型被应用于生成和评估受自然启发的轻型飞行汽车概念。实验结果表明,该方法可以生成性能良好的BID概念。
2022-03-31 cs.CL cs.LG
Understanding Transformers for Bot Detection in Twitter
Expert.ai Research Lab(Expert.ai研究实验室)
在本文中,我们阐明了微调对社交媒体数据在神经语言模型内部表示中的影响。我们专注于Twitter中的机器人检测,这是减轻和抵消社交媒体中虚假信息和偏见自动传播的一项关键任务。我们研究了使用预先训练的语言模型来解决检测由机器人或人类帐户完全基于其内容生成的推文。与GLUE等基准测试的一般趋势不同,BERT在常规文本的大多数分类任务中通常优于GPT和GPT-2等生成Transformers,我们观察到,在机器人检测任务中微调生成Transformers会产生更高的准确性。我们分析了每个Transformer的架构组件,并研究了微调对它们的隐藏状态和输出表示的影响。在我们的研究结果中,我们表明,BERT在预训练过程中捕获的部分语法信息和分布特性在微调时丢失,而生成式预训练方法设法保留这些特性。
2021-04-13 cs.CL cs.LG
Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale
Ant Group(蚂蚁集团);ShanghaiTech University(上海科技大学)
本文提出大规模无监督句法语言模型GPST,通过表示代理和硬EM实现句法建模与组合模型的并行预训练,在语言理解、生成及语法归纳上优于GPT-2和现有无监督SLM,并显著加速训练。
2024-06-17 cs.AI cs.CL
Beyond Binary: Multiclass Paraphasia Detection with Generative Pretrained Transformers and End-to-End Models
University of Michigan(密歇根大学)
本文提出使用GPT和端到端模型进行多类别错语检测,证明单序列模型优于GPT基线,有助于失语症临床评估与治疗规划。
2024-07-16 cs.CL cs.SD eess.AS
Analyzing Encoded Concepts in Transformer Language Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学);Steven Institute of Technology(史蒂文斯理工学院)
我们提出了一个新的框架ConceptX,分析潜在的概念是如何编码的表示内预先训练的语言模型学习。它使用聚类来发现编码的概念,并通过与大量人类定义的概念对齐来解释它们。我们对七个Transformer语言模型的分析揭示了有趣的见解:i)学习表示中的潜在空间在不同程度上与不同的语言概念重叠,ii)模型中的较低层由词汇概念主导(例如,词缀),而核心语言概念(例如,形态或句法关系)在中间层和更高层中得到更好的表示,iii)一些编码概念是多方面的,并且不能使用现有的人类定义的概念来充分解释。
2022-06-27 cs.AI cs.CL
Vision-and-Language Navigation Generative Pretrained Transformer
School of Artificial Intelligence and Automation(人工智能与自动化学院);Huazhong University of Science and Technology(华中科技大学)
提出VLN-GPT,采用GPT2解码器建模轨迹序列以替代历史编码模块,结合模仿学习预训练和强化学习微调,在VLN数据集上超越现有编码器模型。
2024-05-27 cs.AI cs.CL cs.CV
Learning from flowsheets: A generative transformer model for autocompletion of flowsheets
University of Freiburg(弗赖堡大学)
受文本自动补全启发,提出基于SFILES 2.0字符串表示和Transformer语言模型的化工流程图自动补全方法,通过预训练和微调实现交互式流程图合成辅助。
2026-06-08 cs.CL cs.LG
Do Sentence Transformers Learn Quasi-Geospatial Concepts from General Text?
University College London(伦敦大学学院);SpaceTimeLab(时空实验室)
本文研究经通用问答数据微调的 sentence transformers 能否理解准地理空间概念,发现其可在零样本条件下关联英国徒步路线描述与体验查询,具有路线推荐应用潜力。
2024-04-05 cs.CL cs.LG
From Concrete to Abstract: A Multimodal Generative Approach to Abstract Concept Learning
University of Manchester(曼彻斯特大学);Manchester Centre for Robotics and AI(曼彻斯特机器人与人工智能中心)
本文提出一种多模态生成方法,通过从具体概念逐步组合并抽象出高阶抽象概念,实验证明该模型在语言理解和命名任务上表现良好。
2024-10-03 cs.AI cs.CL
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa(渥太华大学);American University(美利坚大学)
计算机生成文本的检测是一个重要性迅速增加的领域,因为新生的生成模型允许有效创建引人注目的类人文本,这些文本可能被滥用于垃圾邮件,虚假信息,网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测,但尽管威胁形势不断发展,但对检测方法对对抗攻击的鲁棒性分析很少。为此,我们评估了神经和非神经方法检测计算机生成的文本的能力,对文本对抗攻击的鲁棒性,以及成功的对抗攻击对人类判断文本质量的影响。我们发现,虽然统计特征的表现不如神经特征,但统计特征提供了额外的对抗鲁棒性,可以在集成检测模型中加以利用。在这个过程中,我们发现,以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小,并确定有前途的统计功能,而不是使用。最后,我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG
Generative Adversarial Transformers
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院);Facebook, Inc.(脸书公司)
我们介绍了GANformer,一种新型高效的Transformer,并将其用于可视化生成建模任务。该网络采用了一种二分结构,可以在图像上进行长距离交互,同时保持线性效率的计算,可以很容易地扩展到高分辨率合成。它迭代地将信息从一组潜在变量传播到不断发展的视觉特征,反之亦然,以支持根据另一个对每个特征的改进,并鼓励出现对象和场景的组合表示。与经典的Transformer架构相比,它利用乘法积分,允许灵活的基于区域的调制,因此可以被视为成功的StyleGAN网络的推广。我们通过对一系列数据集(从模拟的多对象环境到丰富的真实世界室内和室外场景)进行仔细评估,展示了该模型的强度和鲁棒性,表明它在图像质量和多样性方面取得了最先进的结果,同时享受快速学习和更好的数据效率。进一步的定性和定量实验为我们提供了一个深入了解模型的内部工作,揭示了改进的可解释性和更强的解纠缠,并说明了我们的方法的好处和功效。该模型的实现可在https://github.com/dorarad/gansformer上获得。
2022-03-29 cs.AI cs.CL cs.CV
Sentiment Analysis in Software Engineering: Evaluating Generative Pre-trained Transformers
该研究针对软件工程领域情感分析的语境细微性问题,对比评估了BERT等双向Transformer与GPT-4o-mini在不同数据集、不同配置下的性能,揭示了微调与预训练模型的权衡关系,为领域适配工具优化提供了方向。
2025-04-22 cs.CL cs.LG cs.SE
From Discrimination to Generation: Knowledge Graph Completion with Generative Transformer
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
知识图谱完成旨在解决扩展具有缺失三元组的KG的问题。在本文中,我们提供了一种方法GenKGC,它转换知识图谱完成序列到序列生成任务与预先训练的语言模型。我们进一步引入了关系引导的演示和实体感知的分层解码,以实现更好的表示学习和快速推理。在三个数据集上的实验结果表明,该方法可以获得比基线更好或相当的性能,并且与先前使用预训练语言模型的方法相比,可以获得更快的推理速度。我们还发布了一个新的大规模中文知识图谱数据集AliopenKG 500用于研究目的。代码和数据集可在https://github.com/zjunlp/PromptKG/tree/main/GenKGC上获得。
2023-03-14 cs.AI cs.CL cs.DB
Does Entity Abstraction Help Generative Transformers Reason?
Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));Polytechnique Montreal(蒙特利尔理工学院);ServiceNow Research(ServiceNow研究院);McGill University(麦吉尔大学)
我们研究了将实体类型抽象纳入预先训练的Transformers的实用性,并在四个需要不同形式逻辑推理的NLP任务上测试这些方法:(1)基于文本的关系推理(CLUTRR)的组合语言理解,(2)溯因推理(ProofWriter),(3)多跳问答(HotpotQA),以及(4)会话问答(CoQA)。我们提出并经验性地探索了三种添加这种抽象的方法:(i)作为额外的输入嵌入,(ii)作为单独的编码序列,以及(iii)作为模型的辅助预测任务。总体而言,我们的分析表明,模型与抽象实体知识的表现优于没有它。最好的抽象感知模型实现了88.8%和91.8%的整体准确率相比,基线模型实现62.9%和89.8%的CLUTRR和ProofWriter分别。然而,对于HotpotQA和CoQA,我们发现F1分数平均只提高了0.5%。我们的研究结果表明,显式抽象的好处是显着的,在正式定义的逻辑推理设置需要许多推理跳,但点的概念,它是不太有益的NLP任务具有不太正式的逻辑结构。
2022-11-21 cs.AI cs.CL cs.LG
Foresight -- Generative Pretrained Transformer (GPT) for Modelling of Patient Timelines using EHRs
Guy's and St Thomas' NHS Foundation Trust(盖伊和圣托马斯NHS基金会信托);University College London(伦敦大学学院)
背景资料:电子健康记录保存有关每个患者的健康状况和一般临床病史的详细纵向信息,其中大部分存储在非结构化文本中。现有的方法主要集中在结构化数据和单域结果的子集。我们探讨了如何使用深度生成Transformers从自由文本和结构化数据中对患者进行时间建模,以预测各种未来的疾病、物质、程序或发现。研究方法:我们提出了一种新的基于转换器的管道,它使用命名实体识别和链接工具将文档文本转换为结构化的编码概念,然后为未来的医疗事件提供概率预测,如疾病,物质,程序和发现。我们处理了来自三个不同医院数据集的整个自由文本部分,共有811336名患者,涵盖身体和精神健康。调查结果:在两个英国医院(国王学院医院,伦敦南部和Maudsley)和美国MIMIC-III数据集的测试中,在预测患者时间轴的下一个疾病时,达到了0.68,0.76和0.88的精度@10,而在预测下一个生物医学概念时,达到了0.80,0.81和0.91的精度@10。五位临床医生还在34个合成患者时间轴上验证了Focal,并实现了97%的预测候选疾病的相关性。作为一个生成模型,它可以根据需要预测后续的生物医学概念。释义:Focal是一种通用的生物医学概念建模模型,可用于现实世界的风险预测,虚拟试验和临床研究,以研究疾病的进展,模拟干预和反事实以及教育目的。
2023-01-24 cs.AI cs.CL cs.LG