Headline Generation: Learning from Decomposable Document Titles
Primer
我们提出了一种新的方法来生成非结构化文本文档的标题。我们将问题重新定义为一个连续的问答任务。深度神经网络在具有可分解标题的文档-标题对上进行训练,这意味着标题的词汇表是文档的词汇表的子集。为了训练模型,我们使用了数百万个公开可用的文档标题对的语料库:新闻文章和标题。我们提出了一项随机双盲试验的结果,其中受试者不知道哪些标题是人类或机器生成的。当对大约150万篇新闻文章进行训练时,该模型生成的标题在大多数情况下被人类判断为与原始人类撰写的标题一样好或更好。
2019-05-10 cs.CL
PEFTT: Parameter-Efficient Fine-Tuning for low-resource Tibetan pre-trained language models
Tibet University(西藏大学);Collaborative Innovation Center for Tibet Informatization by MOE and Tibet Autonomous Region(教育部与西藏自治区藏文信息化协同创新中心);Engineering Research Center of Tibetan Information Technology, Ministry of Education(教育部藏文信息技术工程研究中心)
本文针对低资源藏语预训练语言模型,在 TNCC-title 数据集上比较提示微调、Adapter 轻量微调及其组合方法,验证了参数高效微调对藏语 NLP 任务的有效性。
2023-09-21 cs.AI cs.CL
RecipeGPT: Generative Pre-training Based Cooking Recipe Generation and Evaluation System
Singapore Management University(新加坡管理大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在过去的几年里,由于大量的在线烹饪食谱,人们对烹饪食谱自动生成的兴趣一直在稳步增长。我们提出RecipeGPT,一种新的在线配方生成和评价系统。该系统提供两种文本生成模式:(1)根据给定的食谱标题和配料生成指令;(2)根据食谱标题和烹饪指令生成配料。其后端文本生成模块包括一个生成的预训练语言模型GPT-2,该模型在大型烹饪食谱数据集上进行了微调。此外,配方评估模块允许用户方便地检查所生成的配方内容的质量并存储结果以供将来参考。RecipeGPT可以在https://recipegpt.org/上在线访问。
2020-03-05 cs.CL cs.IR cs.LG
Predicting Job Titles from Job Descriptions with Multi-label Text Classification
University of Information Technology Vietnam National University Ho Chi Minh City(胡志明市越南国家大学信息技术大学)
找到一份合适的工作,寻找合格的候选人是重要的求职和人力资源机构。由于职位描述的信息量巨大,员工和雇主需要帮助才能根据职位描述文本自动检测职位。在本文中,我们提出了多标签分类的方法来预测相关的职位描述文本的职位,并实现了Bi-GRU-LSTM-CNN与不同的预训练语言模型应用于职位预测问题。多语言预训练模型的BERT在开发集和测试集上的F1分数都最高,在开发集上为62.20%,在测试集上为47.44%。
2022-02-09 cs.CL
Automatic Generation of Titles for Research Papers Using Language Models
Jadavpur University(贾达沃尔大学);Indian Association for the Cultivation of Science(印度科学培养协会)
提出利用预训练语言模型和大语言模型从摘要生成论文标题的方法,通过微调PEGASUS-large在多个数据集上取得最优性能。
2026-06-03 cs.AI cs.CL
Overview of the TalentCLEF 2025: Skill and Job Title Intelligence for Human Capital Management
Avature Machine Learning(Avature机器学习)
TalentCLEF 2025 推出首个面向技能与职位名称智能的公开评测基准,涵盖多语言职位匹配和技能预测任务,吸引 76 支团队参与,发现训练策略比模型规模更关键,推动公平可迁移的劳动力市场语言技术发展。
2025-07-17 cs.AI cs.CL cs.IR
ForeCite: Adapting Pre-Trained Language Models to Predict Future Citation Rates of Academic Papers
Memorial University of Newfoundland and Labrador(纽芬兰纪念大学)
本文提出 ForeCite 框架,在预训练因果语言模型上增加线性头以回归预测论文月均引用率,并在大规模生物医学论文数据集上显著刷新性能。
2025-05-13 cs.CL cs.LG
Domain Controlled Title Generation with Human Evaluation
Maharaja Agrasen Institute of Technology
我们研究了自动标题生成,并提出了一种方法来生成域控制的科技文章的标题。一个好的标题可以让你得到你的研究应得的关注。标题可以被解释为包含关于所实现的过程的信息的文档的高压缩描述。对于域控制的标题,我们使用了预训练的文本到文本的Transformer模型和附加的令牌技术。标题标记是从特定领域词汇表而不是全局词汇表的局部分布(其是全局词汇表的子集)中采样的,从而生成吸引人的标题并将其紧密地链接到其对应的摘要。生成的标题看起来真实,令人信服,非常接近地面真相。我们使用ROUGE度量进行了自动评估,并使用五个参数进行了人工评估,以比较人工和机器生成的标题。制作的标题被认为是可以接受的,与原始标题相比,度量评级更高。因此,我们的研究提出了一个有前途的方法域控制的标题生成。
2021-03-08 cs.CL
Sentiment Analysis of Spanish Political Party Tweets Using Pre-trained Language Models
Fudan University(复旦大学);Beijing Institute of Technology(北京理工大学)
本研究利用BETO和RoBERTuito预训练模型分析2019至2024年西班牙主要政党推文,发现中性情感主导,且情感表达与意识形态相关,展示了预训练模型在非英语情感分析中的潜力。
2024-11-07 cs.CL cs.CY
Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition
University of Maryland(马里兰大学);Mila(米拉研究所);Stanford(斯坦福大学);Technical University of Sofia(索非亚技术大学);University of Milan(米兰大学);NYU(纽约大学);University of Arizona(亚利桑那大学)
研究通过全球提示词黑客竞赛收集 60 万余条对抗性提示词,验证了三个先进 LLM 的提示注入与越狱漏洞,并构建了对抗性提示词分类体系。
2024-03-03 cs.AI cs.CL cs.CR
Discriminative Pre-training for Low Resource Title Compression in Conversational Grocery
Walmart Labs(沃尔玛实验室)
无处不在的智能语音助手使对话式购物变得司空见惯。对于像杂货店这样的低考虑细分市场来说尤其如此。对话式杂货店的一个核心问题是自动生成简短的产品标题,这些标题可以在对话中快速读出。在文献中已经提出了几种监督模型,这些模型利用手动标记的数据集和附加的产品功能来自动生成简短的标题。然而,获取大量的标记数据是昂贵的,大多数杂货项目页面的功能并不像其他类别那样丰富。为了解决这个问题,我们提出了一个基于预训练的解决方案,该解决方案利用未标记的数据来学习上下文产品表示,然后可以进行微调,即使在低资源设置下也可以获得更好的标题压缩。我们使用一个自关注的BiLSTM编码器网络,带有一个时间分布式的softmax层来完成标题压缩任务。我们克服了词汇不匹配的问题,通过使用混合嵌入层,结合预先训练的词嵌入与可训练的字符级卷积。我们将这个网络作为一个预训练器,在大量未标记的杂货产品标题上进行标记令牌检测任务。最后,我们微调这个网络,没有任何修改,使用一个小的标签数据集进行标题压缩任务。沃尔玛的在线杂货目录上的实验表明,我们的模型实现了性能媲美国家的最先进的模型,如BERT和XLNet。当对所有可用的训练数据进行微调时,我们的模型的F1得分为0.8558,落后于性能最好的模型BERT-Base 2.78%和XLNet 0.28%,同时使用的参数比两者少55倍。此外,当仅允许对5%的训练数据进行微调时,我们的模型…
2020-12-13 cs.AI cs.CL
DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization
JD.com Silicon Valley Research Center(京东硅谷研发中心)
本文提出了一种新的特定领域生成式预训练(DS-GPT)文本生成方法,并将其应用于电子商业移动显示的产品标题和评论摘要问题。首先,我们采用了一种仅解码器的Transformer架构,通过将输入和输出结合在一起,适合于微调任务。其次,我们证明了在相关领域中仅利用少量的预训练数据是强大的。从维基百科或CommonCrawl等通用语料库中预训练语言模型需要大量的时间和资源投入,如果下游任务的种类有限,则可能是浪费。OurDSGPT是在有限的数据集上进行预训练的,即中文短文本摘要数据集(LCSTS)。第三,我们的模型不需要与产品相关的人工标记数据。对于标题摘要任务,现有技术在训练和预测阶段明确使用额外的背景知识。相比之下,我们的模型隐含地捕获了这些知识,并在公共淘宝网上进行微调后,实现了对其他方法的显着改进。对于评论摘要任务,我们利用JD.com内部数据集,并观察到与标准机器翻译方法相比类似的改进,这些方法缺乏微调的灵活性。我们提出的工作可以简单地扩展到其他领域的文本生成任务。
2021-12-15 cs.AI cs.CL
The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles
Naver(纳维尔)
本文研究了不同预训练数据集和预训练选项对MLM预训练模型在检索微调中的影响,发现高检索效果模型多基于通用语料库并使用较高学习率,但检索成本和posting列表长度变异较大,且通用预训练数据集重复对检索效果影响有限。
2026-05-02 cs.CL cs.IR
Diverse Title Generation for Stack Overflow Posts with Multiple Sampling Enhanced Transformer
Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学);Wuhan University of Technology(武汉理工大学);Deakin University(迪肯大学);City University of Hong Kong(香港城市大学)
Stack Overflow是最受欢迎的编程社区之一,开发人员可以在这里为遇到的问题寻求帮助。然而,如果没有经验的开发人员不能清楚地描述他们的问题,他们很难引起足够的注意并得到预期的答案。我们提出了M $_3$ NSCT 5,一种新的方法来自动生成多个职位的标题从给定的代码片段。开发人员可以使用生成的标题来查找密切相关的帖子并完成其问题描述。M $_3$ NSCT 5采用CodeT5主干,这是一个预先训练的Transformer模型,具有出色的语言理解和生成能力。为了减轻歧义问题,相同的代码片段可以对齐不同的标题在不同的上下文,我们提出了最大边际多核抽样策略,以产生多个高质量和多样化的标题候选人在同一时间供开发人员选择。我们构建了一个包含890,000个问题帖子的大规模数据集,涵盖8种程序设计语言,以验证M $_3$ NSCT 5的有效性。BLEU和ROUGE指标的自动评估结果证明了M $_3$ NSCT 5优于六种最先进的基线模型。此外,具有值得信赖的结果的人类评估也证明了我们的方法在现实世界中应用的巨大潜力。
2022-08-24 cs.CL cs.SE
Towards Continual Entity Learning in Language Models for Conversational Agents
Amazon(亚马逊)
已知在不同语料库上训练的神经语言模型(LM)在先前看到的实体上工作良好,然而,用动态变化的实体(例如地名、歌曲标题和购物项目)更新这些模型需要从头开始重新训练并收集包含这些实体的完整句子。我们的目标是解决这个问题,通过引入实体感知的语言模型(EALM),在那里我们集成的实体模型训练的目录实体到预先训练的LM。我们的组合语言模型根据句子上下文自适应地将来自实体模型的信息添加到预训练的LM中。我们的实体模型可以独立于预训练的LM进行更新,使我们能够影响最终LM输出的实体分布,而无需对预训练的LM进行任何进一步的训练。我们在面向任务的对话数据集上显示出显着的困惑改善,特别是在长尾话语上,具有不断适应新实体的能力(在一定程度上)。
2021-09-15 cs.AI cs.CL
Classifying Math KCs via Task-Adaptive Pre-Trained BERT
Penn State University(宾夕法尼亚州立大学);Worcester Polytechnic Institute(伍斯特理工学院);University of Arkansas(阿肯色大学);K12.com
标记有适当知识组件(KCs)的教育内容对教师或内容组织者特别有用。然而,手动标记教育内容是劳动密集型的并且容易出错。为了应对这一挑战,先前的研究提出了基于机器学习的解决方案来自动标记教育内容,但成功有限。在这项工作中,我们通过(1)扩展输入类型以包括KC描述、教学视频标题和问题描述(即,三种类型的预测任务),(2)将预测的粒度从198加倍到385 KC标签(即,更实际的设置,但更难的多项式分类问题),(3)使用任务自适应预训练BERT将预测准确率提高0.5-2.3%,优于六个基线,以及(4)提出一个简单的评估措施,通过该措施,我们可以恢复56-73%的错误预测KC标签。实验中的所有代码和数据集可在https://github.com/tbs17/TAPT-BERT上获得
2021-05-24 cs.AI cs.CL
DTATG: An Automatic Title Generator based on Dependency Trees
University of Massachusetts(马萨诸塞大学)
我们研究了给定文本块的自动标题生成,并提出了一种称为DTATG的方法来生成标题。DTATG首先提取少量的中心句子,这些句子传达了文本的主要含义,并且结构适合转换为标题。然后,DTATG为这些句子中的每一个构建依赖树,并使用我们设计的依赖树压缩模型删除某些分支。我们还设计了一个标题测试来确定一个句子是否可以用作标题。如果一个修剪过的句子通过了标题测试,那么它就成为标题候选。DTATG选择具有最高排名分数的标题候选者作为最终标题。实验结果表明,DTATG可以生成足够的标题。我们还表明,DTATG生成的标题有更高的F1分数比以前的方法产生的。
2017-10-01 cs.CL cs.IR
Multi-lingual neural title generation for e-Commerce browse pages
MT Science Team(机器翻译科学团队);eBay(亿贝)
为了更好地向买家提供库存访问和更好的搜索引擎优化,电子商业网站自动生成数百万个易于搜索的浏览页面。浏览页面由给定类别中的一组槽名称/值对组成,对共享某些特征的多个项目进行分组。这些浏览页面需要一个描述页面内容的标题。由于浏览页面的数量巨大,手动创建这些标题是不可行的。以前的统计和神经方法严重依赖于语言中大量数据的可用性。在这项研究中,我们应用序列到序列模型,通过利用迁移学习来生成高资源和低资源语言的标题。我们在多语言数据上训练这些模型,从而创建一个可以生成各种不同语言标题的联合模型。标题生成系统的性能进行了评估三种不同的语言:英语,德语和法语,特别是对低资源的法语。
2018-04-03 cs.CL
Is it Required? Ranking the Skills Required for a Job-Title
Utrecht University(乌得勒支大学);TechWolf;Ghent University(根特大学)
在本文中,我们描述了我们的方法排名所需的技能,为一个给定的职位。我们的分析表明,重要/相关技能在类似的职位中出现得更频繁。我们训练一个与存储无关的BERT语句编码器(LaBSE)模型,以预测使用弱监督的技能的重要性。我们证明了该模型可以学习技能的重要性,并在其他语言中表现良好。此外,我们展示了技能的逆文档频率因子如何提高专业技能。
2022-11-28 cs.CL
A Fine-Tuned BERT Classifier for Personal-Letter Titles in Late-Ming and Early-Qing Collected Works
Harvard University(哈佛大学)
提出Lepton模型,通过微调BERT-base-chinese对明清文集目录中的标题进行分类,区分个人书信与易混淆的序文,已应用于中国传记数据库识别约五万五千封书信。
2026-05-21 cs.AI cs.CL cs.CY
A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data
iDST, Alibaba Group(阿里巴巴集团iDST);School of Computer Science and Software Engineering, East China Normal University(华东师范大学计算机科学与软件工程学院);Onehome (Beijing) Network Technology Co. Ltd.(北京一居网络科技有限公司);Shanghai Key Laboratory of Multidimensional Information Processing, P.R.China(上海市多维度信息处理重点实验室)
如何有效地压缩电子商务中冗长的产品标题是一个具有挑战性和实用性的研究问题。这一点尤其重要,因为越来越多的用户浏览移动电子商务应用程序,越来越多的商家使原始产品标题变得多余和冗长,以便进行搜索引擎优化。传统的文本摘要方法往往需要大量的预处理成本,并没有抓住电子商务中的重要问题的转换率。本文提出了一种新的多任务学习方法,以提高产品标题压缩与用户搜索日志数据。特别是,使用基于指针网络的序列到序列方法进行标题压缩,并使用注意机制作为提取方法,并且使用注意编码器-解码器方法来生成用户搜索查询。编码参数(即,原始标题的语义嵌入)在两个任务之间共享,并且注意力分布被联合优化。一组广泛的实验与人类注释的数据和在线部署证明了所提出的研究的压缩质量和在线业务价值的优势。
2018-01-05 cs.CL
Pre-Trained Multilingual Sequence-to-Sequence Models: A Hope for Low-Resource Language Translation?
Sway AI(Sway人工智能公司);Johns Hopkins University(约翰斯·霍普金斯大学);University of Toronto(多伦多大学);University of Moratuwa(莫拉图瓦大学);IIT(BHU) Varanasi(瓦拉纳西印度理工学院(班纳拉斯印度大学));Saarland University(萨尔大学)
预训练的多语言序列到序列模型(如mBART)对翻译低资源语言有什么贡献?我们在10种语言中进行了彻底的实证实验来确定这一点,考虑了五个因素:(1)微调数据的数量,(2)微调数据中的噪声,(3)模型中预训练数据的数量,(4)域不匹配的影响,以及(5)语言类型。除了产生几个语法,实验形成了一个框架,用于评估数据的灵敏度的机器翻译系统。虽然mBART对领域差异很强大,但它对看不见的和类型学上遥远的语言的翻译仍然低于3.0 BLEU。在回答我们的标题的问题,mBART不是一个低资源的灵丹妙药;因此,我们鼓励将重点从新模型转移到新数据。
2022-04-30 cs.CL
NLPnorth @ TalentCLEF 2025: Comparing Discriminative, Contrastive, and Prompt-Based Methods for Job Title and Skill Matching
Aalborg University(奥尔堡大学);IT University of Copenhagen(哥本哈根IT大学)
本研究比较了判别式、对比式和提示方法在职位名称匹配和技能预测任务上的表现,发现提示方法在任务A最佳,分类方法在任务B最佳,且大型多语言模型表现最优。
2025-06-23 cs.CL
"A Passage to India": Pre-trained Word Embeddings for Indian Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究学院);Monash University(莫纳什大学)
密集的词向量或“词嵌入”对词的语义属性进行编码,现在已经成为机器翻译(MT)、问答(QA)、词义消歧(WSD)和信息检索(IR)等NLP任务的组成部分。在本文中,我们使用各种现有的方法来创建多个词嵌入的14种印度语言。我们为所有这些语言放置这些嵌入,即,阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、康卡尼语、马拉雅拉姆语、马拉地语、尼泊尔语、奥迪亚语、旁遮普语、梵语、泰米尔语和泰卢固语。相对较新的方法,强调迎合上下文(BERT,ELMo等)已经显示出显著的改进,但是需要大量的资源来生成可用的模型。我们发布使用上下文和非上下文方法生成的预训练嵌入。我们还使用MUSE和XLM来训练上述所有语言对的跨语言嵌入。为了展示我们嵌入的有效性,我们评估了所有这些语言的XPOS,UPOS和NER任务的嵌入模型。我们使用8种不同的方法发布了总共436个模型。我们希望它们对资源受限的印度语言NLP有用。本文的题目是E.M.福斯特,最初出版于1924年。
2021-12-27 cs.CL
Originality in scientific titles and abstracts can predict citation count
GESIS – Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所);Technion - Israel Institute of Technology(以色列理工学院)
本文将发散语义整合(DSI)应用于Web of Science的99,557篇科学标题和摘要,发现DSI在学科间存在显著差异且随时间略升,并与5年后被引次数的对数呈显著正相关(调整后$R^2$为0.13)。
2025-02-03 cs.CL cs.DL
VBART: The Turkish LLM
VNGRS-AI;YTÜ Teknopark(伊斯坦布尔理工大学科技园)
本文提出VBART,首个土耳其语序列到序列大语言模型,基于BART/mBART思想,在摘要、问答等任务上超越SOTA,性能优于多语言模型3倍,并公开模型与语料。
2024-03-14 cs.AI cs.CL cs.LG
Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
Cognitive Computational Neuroscience Group(认知计算神经科学组);Friedrich-Alexander-Universität Erlangen–Nürnberg (FAU)(弗赖堡-亚历山大-大学埃尔兰根-纽伦堡(FAU));Mannheim Center for Neuromodulation and Neuroprosthetics (MCNN)(曼海姆神经调制与神经假体中心(MCNN));University Hospital Mannheim, University Heidelberg(曼海姆大学医院,海德堡大学)
本研究将强化学习中的后继表示(SR)框架应用于自然语言,通过训练神经网络预测未来词分布,发现无监督下词类(如名词、动词、形容词)的几何结构自发涌现,且预测时域影响结构层次。
2026-10-28 cs.CL q-bio.NC
Overview of the TalentCLEF 2026: Skill and Job Title Intelligence for Human Capital Management
Avature Machine Learning, Spain(Avature机器学习实验室,西班牙);TechWolf, Belgium(TechWolf,比利时);NLP & IR Group at UNED, Madrid, Spain(西班牙国立远程教育大学自然语言处理与信息检索组,马德里,西班牙)
本文介绍 TalentCLEF 2026 挑战赛,包含职位-人员匹配与职位-技能匹配两项任务,吸引113支队伍提交超400次,推动人力资本管理中的NLP研究。
2026-07-01 cs.CL
TalentCLEF at CLEF2026: Skill and Job Title Intelligence for Human Capital Management
Avature Machine Learning(阿瓦图尔机器学习公司);NLP & IR Group at UNED(西班牙国立远程教育大学自然语言处理与信息检索组)
TalentCLEF挑战赛第二版作为CLEF 2026评估实验室,旨在推动HCM领域NLP发展。今年设两项任务,任务A是情境化职位与人匹配,任务B是带技能类型分类的职位与技能匹配,通过建立公共基准促进相关系统和方法发展。
2026-07-23 cs.CL
Two Huge Title and Keyword Generation Corpora of Research Articles
Institute of Formal and Applied Linguistics, Charles University(查理大学形式与应用语言学研究所)
最近的发展,序列到序列学习与神经网络已大大提高了自动生成的文本摘要和文档关键字的质量,规定需要更大的训练语料库。研究文章的元数据通常很容易在网上找到,并可用于执行各种任务的研究。在本文中,我们介绍了两个用于文本摘要(OAGSX)和关键字生成(OAGKX)研究的巨大数据集,分别包含3400万和2300万条记录。这些数据来自开放学术图谱,这是一个研究概况和出版物的网络。我们仔细处理了每一个记录,并尝试了两个任务的几种提取和抽象方法,为其他研究人员创建性能基线。我们进一步说明了这些方法预览其输出的性能。在不久的将来,我们希望在这两个集合上应用主题建模,以从更具体的学科中获得研究文章的子集。
2020-02-11 cs.CL cs.IR
Unveiling factors influencing judgment variation in Sentiment Analysis with Natural Language Processing and Statistics
Universidade da Coruña(拉科鲁尼亚大学);University of Augsburg(奥格斯堡大学)
本研究以西班牙语TripAdvisor评论为对象,利用单词标题和统计检验分析词性、情感词与中性词对众包极性判断差异的影响,发现形容词和情感词可降低差异、中性词提高差异,但该效应在长标题中未必复现。
2024-05-20 cs.CL