TalentCLEF at CLEF2026: Skill and Job Title Intelligence for Human Capital Management
Avature Machine Learning(阿瓦图尔机器学习公司);NLP & IR Group at UNED(西班牙国立远程教育大学自然语言处理与信息检索组)
TalentCLEF挑战赛第二版作为CLEF 2026评估实验室,旨在推动HCM领域NLP发展。今年设两项任务,任务A是情境化职位与人匹配,任务B是带技能类型分类的职位与技能匹配,通过建立公共基准促进相关系统和方法发展。
2026-07-23 cs.CL
Automated title and abstract screening for scoping reviews using the GPT-4 Large Language Model
The University of Adelaide(阿德莱德大学)
本文介绍GPTscreenR,一个基于GPT-4和思维链技术的R包,用于自动筛选范围综述的标题与摘要,验证显示其性能与零样本方法相当,具有71%敏感性和89%特异性。
2023-11-14 cs.CL
Predicting Job Titles from Job Descriptions with Multi-label Text Classification
University of Information Technology Vietnam National University Ho Chi Minh City(胡志明市越南国家大学信息技术大学)
找到一份合适的工作,寻找合格的候选人是重要的求职和人力资源机构。由于职位描述的信息量巨大,员工和雇主需要帮助才能根据职位描述文本自动检测职位。在本文中,我们提出了多标签分类的方法来预测相关的职位描述文本的职位,并实现了Bi-GRU-LSTM-CNN与不同的预训练语言模型应用于职位预测问题。多语言预训练模型的BERT在开发集和测试集上的F1分数都最高,在开发集上为62.20%,在测试集上为47.44%。
2022-02-09 cs.CL
Learning Job Title Representation from Job Description Aggregation Network
Chulalongkorn University(朱拉隆功大学);Faculty of Engineering, Chulalongkorn University(朱拉隆功大学工程学院);Faculty of Arts, Chulalongkorn University(朱拉隆功大学文学院)
针对现有职位名称表示学习过度依赖技能抽取的问题,提出基于JD、聚合器与双向对比损失的框架,并在域内外实验中优于技能方法。
2024-06-12 cs.CL
Product Title Generation for Conversational Systems using BERT
Walmart Labs(沃尔玛实验室)
通过语音技术的最新进步和智能设备的引入,例如Amazon Alexa和Google Home,越来越多的用户通过语音与应用程序进行交互。电子商务公司通常在其网页上显示简短的产品标题,无论是人工策划还是算法生成,当需要简洁时,但这些标题与自然口语不同。例如,“Lucky Charms Gluten Free Break-fast Cereal,20.5盎司一盒Lucky Charms Gluten Free”可以在网页上显示,但“20.5盎司一盒Lucky Charms Gluten Free Cereal”在对话系统上更容易理解。与可以向用户呈现图像和详细产品信息的显示器相比,当与语音助理交互时,产品的简短标题是必要的。我们提出了一个序列到序列的方法,使用BERT生成短,自然,口语标题从输入的Web标题。我们在真实世界的行业数据集上进行的大量实验和对模型输出的人工评估表明,BERT摘要优于可比的基线模型。
2020-07-23 cs.CL cs.LG
A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data
iDST, Alibaba Group(阿里巴巴集团iDST);School of Computer Science and Software Engineering, East China Normal University(华东师范大学计算机科学与软件工程学院);Onehome (Beijing) Network Technology Co. Ltd.(北京一居网络科技有限公司);Shanghai Key Laboratory of Multidimensional Information Processing, P.R.China(上海市多维度信息处理重点实验室)
如何有效地压缩电子商务中冗长的产品标题是一个具有挑战性和实用性的研究问题。这一点尤其重要,因为越来越多的用户浏览移动电子商务应用程序,越来越多的商家使原始产品标题变得多余和冗长,以便进行搜索引擎优化。传统的文本摘要方法往往需要大量的预处理成本,并没有抓住电子商务中的重要问题的转换率。本文提出了一种新的多任务学习方法,以提高产品标题压缩与用户搜索日志数据。特别是,使用基于指针网络的序列到序列方法进行标题压缩,并使用注意机制作为提取方法,并且使用注意编码器-解码器方法来生成用户搜索查询。编码参数(即,原始标题的语义嵌入)在两个任务之间共享,并且注意力分布被联合优化。一组广泛的实验与人类注释的数据和在线部署证明了所提出的研究的压缩质量和在线业务价值的优势。
2018-01-05 cs.CL
Zero-shot topic generation
Primer
我们提出了一种方法来生成主题,使用一个模型训练只为文档标题生成,在训练过程中给出零个主题的例子。我们利用的功能,捕捉文档中的候选跨度的相关性,为该文档生成一个标题。输出是与描述文档最相关的短语的加权集合并在语料库中区分它,而无需访问语料库的其余部分。我们进行了一项双盲试验,其中人类注释者对我们机器生成的主题以及与《卫报》和《赫芬顿邮报》的新闻文章相关的原始人类写作主题的质量进行了评分。结果表明,我们的zero-shot模型生成的新闻文档的主题标签,平均质量等于或高于人类编写的,由人类判断。
2020-04-29 cs.CL
Overview of the TalentCLEF 2025: Skill and Job Title Intelligence for Human Capital Management
Avature Machine Learning(Avature机器学习)
TalentCLEF 2025 推出首个面向技能与职位名称智能的公开评测基准,涵盖多语言职位匹配和技能预测任务,吸引 76 支团队参与,发现训练策略比模型规模更关键,推动公平可迁移的劳动力市场语言技术发展。
2025-07-17 cs.AI cs.CL cs.IR
Evaluating Deduplication Techniques for Economic Research Paper Titles with a Focus on Semantic Similarity using NLP and LLMs
The World Bank(世界银行);New York University(纽约大学)
本研究针对经济研究论文标题的大型NLP数据集,探索了结合Levenshtein距离、余弦相似度及sBERT模型的去重技术,发现重复率较低,并通过人工标注数据集验证了基于NLP和LLM的距离度量结果。
2025-06-30 cs.AI cs.CL
Fine-Tuning A Large Language Model for Systematic Review Screening
University of Florida(佛罗里达大学)
本文通过微调大型语言模型提升系统综述中文献筛选效率,实验显示微调模型在F1分数和与人类评分者的一致性上显著优于基础模型。
2026-03-25 cs.CL
Generating Titles for Web Tables
Stanford University(斯坦福大学);Google(谷歌)
描述性标题为解释从网页中提取的表格提供了重要的上下文,并且是基于表格的Web应用程序的关键组件。先前的方法已经尝试通过选择与表格相关联的现有文本片段来产生标题。然而,这些方法受限于它们对先验存在的合适标题的依赖。在我们的用户研究中,我们观察到标题的相关信息往往分散在页面上,并且通常-超过80%的时间-不会逐字出现在页面的任何地方。我们建议,而不是序列到序列的应用程序神经网络模型作为一个更普遍的手段,产生高质量的标题。这是通过提取许多具有潜在相关信息的文本片段,将其编码到输入序列中,并在解码器中使用复制和生成机制来平衡生成标题的相关性和可读性来实现的。我们通过对样本Web表格的人工评估来验证这种方法,并报告说,虽然仅具有复制机制或仅具有生成机制的序列模型很容易被简单的基于选择的基线所超越,但具有这两种功能的模型表现优于所有模型,接近众包标题的质量,同时训练不到一万个示例。据我们所知,所提出的技术是第一个考虑表格标题的文本生成方法,并建立了一个新的艺术状态。
2019-06-05 cs.CL cs.LG stat.ML
Generating Rich Product Descriptions for Conversational E-commerce Systems
Walmart Global Tech(沃尔玛全球科技)
通过语音技术的最新进步和智能助手的引入,如亚马逊Alexa,苹果Siri和谷歌Home,越来越多的用户通过语音命令与各种应用程序进行交互。电子商业公司通常在其网页上显示简短的产品标题,无论是人工策划还是算法生成,当需要简洁时。然而,这些标题与自然口语不同。例如,“Lucky Charms Gluten Free Break-fast Cereal,20.5 oz a box Lucky Charms Gluten Free”可以在网页上显示,而类似的标题不能在基于语音的文本到语音应用程序中使用。在这样的会话系统中,容易理解的句子,例如“一盒20.5盎司的幸运符无麸质麦片”是优选的。与可以向用户呈现图像和详细产品信息的显示器相比,当与语音助理交互时,传达最重要信息的产品的简短标题是必要的。我们提出了电子BERT,序列到序列的方法,进一步预训练的BERT嵌入的电子商业产品描述语料库,然后微调产生的模型,以产生短,自然,口语标题从输入的Web标题。我们在真实世界的行业数据集上进行了广泛的实验,以及对模型输出的人工评估,结果表明,eBERT摘要的性能优于可比的基线模型。由于该模型的有效性,该模型的一个版本已部署在现实世界的设置。
2021-11-30 cs.CL cs.LG
A Multi-Modal Chinese Poetry Generation Model
Sichuan University(四川大学)
最近的序列到序列学习研究表明,RNN编码器-解码器结构可以成功地生成中文诗歌。然而,现有的方法只能生成具有给定的第一行或用户意图主题的诗歌。本文提出了一种三阶段多模态汉语诗歌生成方法。给定一幅图画,诗的第一行、标题和其他几行依次在三个阶段中生成。针对中文诗歌的特点,提出了一种分层注意seq 2seq模型,该模型能够有效地捕捉上下文之间的字、短语和句子信息,提高诗歌的对称性。此外,潜在狄利克雷分配(LDA)模型被用于标题生成,提高了整首诗和标题的相关性。与强基线相比,实验结果证明了我们的方法的有效性,使用机器评估以及人类的判断。
2018-06-26 cs.CL
Diverse Title Generation for Stack Overflow Posts with Multiple Sampling Enhanced Transformer
Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学);Wuhan University of Technology(武汉理工大学);Deakin University(迪肯大学);City University of Hong Kong(香港城市大学)
Stack Overflow是最受欢迎的编程社区之一,开发人员可以在这里为遇到的问题寻求帮助。然而,如果没有经验的开发人员不能清楚地描述他们的问题,他们很难引起足够的注意并得到预期的答案。我们提出了M $_3$ NSCT 5,一种新的方法来自动生成多个职位的标题从给定的代码片段。开发人员可以使用生成的标题来查找密切相关的帖子并完成其问题描述。M $_3$ NSCT 5采用CodeT5主干,这是一个预先训练的Transformer模型,具有出色的语言理解和生成能力。为了减轻歧义问题,相同的代码片段可以对齐不同的标题在不同的上下文,我们提出了最大边际多核抽样策略,以产生多个高质量和多样化的标题候选人在同一时间供开发人员选择。我们构建了一个包含890,000个问题帖子的大规模数据集,涵盖8种程序设计语言,以验证M $_3$ NSCT 5的有效性。BLEU和ROUGE指标的自动评估结果证明了M $_3$ NSCT 5优于六种最先进的基线模型。此外,具有值得信赖的结果的人类评估也证明了我们的方法在现实世界中应用的巨大潜力。
2022-08-24 cs.CL cs.SE
LDKP: A Dataset for Identifying Keyphrases from Long Scientific Documents
Moody’s Analytics(穆迪分析);IIIT-Delhi(德里英迪拉·甘地信息技术学院);IIT-Dhanbad(印度理工学院丹巴德分校);NYU(纽约大学);Adobe Media Data Science Research(奥多比媒体数据科学研究院);UT Austin(德克萨斯大学奥斯汀分校)
从文本中识别关键词是自然语言处理和信息检索中的一项基本任务。绝大多数用于此任务的基准数据集来自仅包含文档标题和摘要信息的科学领域。这限制了关键短语提取(KPE)和关键短语生成(KPG)算法从通常非常短(大约8句)的人类书面摘要中识别关键短语。这对现实世界的应用程序提出了三个挑战:大多数文档都无法使用人类编写的摘要,文档几乎总是很长,并且很高比例的KP可以在标题和摘要的有限上下文之外直接找到。因此,我们发布了两个广泛的语料库,映射了约130万和约10万科学文章的KP,以及它们的完整提取文本和额外的元数据,包括出版地点、年份、作者、研究领域和引文,以促进对这个现实世界问题的研究。
2022-04-01 cs.CL
When a Computer Cracks a Joke: Automated Generation of Humorous Headlines
University of Helsinki(赫尔辛基大学);Faculty of Arts(文学院)
自动新闻生成在过去已经成为新机构的主要兴趣。通常,这种自动生成的新闻文章的标题是缺乏想象力的,因为它们是用现成的模板生成的。我们提出了一个计算创造性的方法,标题生成,可以生成幽默版本的现有标题。我们评估我们的系统与人类法官和比较的结果,人类创作的幽默标题。由该系统产生的标题被认为是有趣的36%的时间由人类评估员。
2021-09-17 cs.CL
PaperRobot: Incremental Draft Generation of Scientific Ideas
Rensselaer Polytechnic Institute(伦斯勒理工学院);DiDi Labs(滴滴实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Washington(华盛顿大学)
我们提出了一个PaperRobot,它可以作为一个自动的研究助手,通过(1)对目标领域的大量人类书面论文进行深入理解,并构建全面的背景知识图(KG);(2)通过结合图形注意力和上下文文本注意力,通过预测背景KG的链接来创造新的想法;(3)基于记忆-注意力网络,逐步写出一篇新论文的一些关键要素:从输入的标题以及预测的相关实体生成论文摘要,从摘要生成结论和未来的工作,最后,从未来的工作中产生一个标题,为后续的文件。图灵测试要求生物医学领域专家比较系统输出和人类编写的字符串,显示PaperRobot生成的摘要,结论和未来的工作部分,并且选择新标题而不是人类编写的标题的比例分别高达30%,24%和12%。
2019-05-31 cs.AI cs.CL cs.LG
The Promise and Challenges of Using LLMs to Accelerate the Screening Process of Systematic Reviews
University of Helsinki(赫尔辛基大学);Dalhousie University(达尔豪斯大学);University of Oulu(奥卢大学)
本文通过人类与GPT-3.5/GPT-4对照实验评估LLM简化摘要及自动化系统综述标题-摘要筛选的效果,发现其前景可观但准确性尚未显著超越人类。
2024-05-08 cs.AI cs.CL
DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization
JD.com Silicon Valley Research Center(京东硅谷研发中心)
本文提出了一种新的特定领域生成式预训练(DS-GPT)文本生成方法,并将其应用于电子商业移动显示的产品标题和评论摘要问题。首先,我们采用了一种仅解码器的Transformer架构,通过将输入和输出结合在一起,适合于微调任务。其次,我们证明了在相关领域中仅利用少量的预训练数据是强大的。从维基百科或CommonCrawl等通用语料库中预训练语言模型需要大量的时间和资源投入,如果下游任务的种类有限,则可能是浪费。OurDSGPT是在有限的数据集上进行预训练的,即中文短文本摘要数据集(LCSTS)。第三,我们的模型不需要与产品相关的人工标记数据。对于标题摘要任务,现有技术在训练和预测阶段明确使用额外的背景知识。相比之下,我们的模型隐含地捕获了这些知识,并在公共淘宝网上进行微调后,实现了对其他方法的显着改进。对于评论摘要任务,我们利用JD.com内部数据集,并观察到与标准机器翻译方法相比类似的改进,这些方法缺乏微调的灵活性。我们提出的工作可以简单地扩展到其他领域的文本生成任务。
2021-12-15 cs.AI cs.CL
Automated Paper Screening for Clinical Reviews Using Large Language Models
Cumming School of Medicine, University of Calgary(卡尔加里大学卡明医学院);Temerty Faculty of Medicine, University of Toronto(多伦多大学特默蒂医学院)
本研究提出基于OpenAI GPT API的临床综述论文自动筛选工作流,在6篇综述超24000条数据上实现0.91的准确率,可辅助提升临床综述效率与质量。
2023-05-01 cs.AI cs.CL
Paper Abstract Writing through Editing Mechanism
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Southern California(南加州大学)
我们提出了一个论文摘要写作系统的基础上,注意神经序列到序列模型,可以采取的标题作为输入,并自动生成摘要。我们设计了一个新颖的排版编辑网络,它可以同时处理标题和先前生成的摘要草稿,然后迭代地修改和润色摘要。通过两个系列的图灵测试,要求人类法官区分系统生成的摘要和人类编写的摘要,我们的系统通过初级领域专家的图灵测试的比率高达30%,通过非专家的图灵测试的比率高达80%。
2018-05-15 cs.AI cs.CL
Towards Explainable Job Title Matching: Leveraging Semantic Textual Relatedness and Knowledge Graphs
ADAPT Centre, Munster Technological University, Cork, Ireland(ADAPT中心,穆斯林科技学院,科克,爱尔兰)
本研究提出结合密集嵌入与知识图谱的自监督混合架构,通过分层评估语义文本相关性,在职位匹配中实现可解释性并降低高相关区域RMSE达25%。
2025-09-11 cs.AI cs.CL
Mimicking How Humans Interpret Out-of-Context Sentences Through Controlled Toxicity Decoding
Department of Computer Science(计算机科学系)
本文通过生成多样化的无上下文句子解读,模拟人类对不同毒性水平内容的感知,通过控制生成解读中的毒性来提高对人类写作解读的对齐性。
2025-03-11 cs.CL
Seeking Diverse Reasoning Logic: Controlled Equation Expression Generation for Solving Math Word Problems
Meituan(美团);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
为了解决数学应用题,人类学生利用不同的推理逻辑,达到不同的可能方程的解决方案。然而,自动求解器的主流序列到序列方法旨在解码由人类注释监督的固定解方程。在本文中,我们提出了一个控制方程生成求解器,利用一组控制代码来引导模型考虑一定的推理逻辑和解码相应的方程表达式转换从人类的参考。实验结果表明,我们的方法普遍提高了单未知(Math23K)和多未知(DRAW1K,HMWP)基准测试的性能,在具有挑战性的多未知数据集上的准确率大幅提高了13.2%。
2022-11-30 cs.CL
Improving Stack Overflow question title generation with copying enhanced CodeBERT model and bi-modal information
Wuhan University of Technology(武汉理工大学);Wuhan University(武汉大学);Wuhan University of Technology Chongqing Research Institute(武汉理工大学重庆研究院);Sanya Science and Education Innovation Park of Wuhan University of Technology(武汉理工大学三亚科教创新园);City University of Hong Kong(香港城市大学)
上下文:Stack Overflow对于寻求编程问题答案的软件开发人员非常有帮助。以往的研究表明,越来越多的问题是低质量的,从而获得较少的关注,从潜在的回答。Gao等人提出了一种基于LSTM的模型(即,BiLSTM-CC)从代码片段自动生成问题标题,以提高问题质量。但是,仅使用问题主体中的代码片段无法为标题生成提供足够的信息,并且LSTM无法捕获令牌之间的长范围依赖关系。目的:本文提出了一种基于深度学习的新模型CCBERT,通过充分利用整个问题体的双模态信息来提高问题标题生成的性能。方法:CCBERT遵循编码器-解码器范式,并使用CodeBERT将问题主体编码为隐藏表示,使用堆栈Transformer解码器生成预测令牌,并使用额外的复制注意力层优化输出分布。编码器和解码器都执行多头自注意操作以更好地捕获长程依赖性。本文从Stack Overflow官方发布的数据中筛选出约20万个高质量问题,构建了一个数据集,以验证CCBERT模型的有效性。结果:CCBERT在数据集上优于所有基线模型。在纯代码和低资源数据集上的实验表明了CCBERT的优越性,性能下降较小。人工评估也显示了CCBERT在可读性和相关性标准方面的出色表现。
2022-08-25 cs.AI cs.CL cs.PL
Vectors from Larger Language Models Predict Human Reading Time and fMRI Data More Poorly when Dimensionality Expansion is Controlled
The Ohio State University(俄亥俄州立大学);Shanghai Jiao Tong University(上海交通大学)
本研究控制维度扩展后发现,当使用参数达660亿的未训练LLM评估时,更大LLM的向量对人类阅读时间和fMRI数据的预测效果更差,训练LLM的贡献在数十亿参数时归零。
2026-09-01 cs.CL
When Does Span-Guided Detoxification Help? Human Preferences and Evaluator Diagnostics in a Controlled Comparison
Yonsei University(延世大学)
该研究对比跨度引导与无引导解毒方法的人类偏好,发现二者存在权衡,不同分层偏好不同,自动评估无法替代人类判断,推动了新评估协议的发展。
2026-07-30 cs.CL
Dutch Named Entity Recognition and De-identification Methods for the Human Resource Domain
Utrecht University(乌得勒支大学)
人力资源(HR)域包含各种类型的隐私敏感文本数据,例如电子邮件通信和绩效评估。对这些文件进行研究带来了一些挑战,其中之一就是匿名化。在本文中,我们评估了目前的荷兰语文本去识别方法的HR域在四个步骤。首先,通过使用最新的命名实体识别(NER)模型更新这些方法之一。结果是基于CoNLL 2002语料库的NER模型结合BERTje Transformer给出了抑制人(召回0.94)和位置(召回0.82)的最佳组合。对于抑制性别,DEDUCE表现最好(回忆0.53)。第二种NER评价是基于实体的严格去身份化(一个人必须作为一个人被压制)和第三种评价是基于松散的去身份化(无论一个人如何被压制,只要它被压制)。在第四步也是最后一步中,测试了一种新的NER数据集,用于识别文本中的职位。
2021-06-04 cs.CL
MTG: A Benchmark Suite for Multilingual Text Generation
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们介绍MTG,一个新的基准套件,用于训练和评估多语言文本生成。它是第一个提出的多语言多路文本生成数据集,具有最大的人类注释数据(400k)。它包括五种语言(英语,德语,法语,西班牙语和中文)的四个生成任务(故事生成,问题生成,标题生成和文本摘要)。多路设置可以跨语言和任务测试模型的知识转移能力。利用MTG对几种流行的多语言生成模型进行了不同角度的训练和分析。我们的基准测试套件通过更多人工注释的并行数据来增强模型性能。它提供了全面的评估与不同的发电方案。代码和数据可在\url{https://github.com/zide05/MTG}上获得。
2022-06-10 cs.CL
Evaluating LLMs as Human Surrogates in Controlled Experiments
University of Notre Dame(诺特达姆大学)
本文通过比较LLM生成数据与人类数据,探讨在准确性感知实验中LLM能否作为人类替代品,发现LLM能复现部分人类效应,但效果大小和调节模式因模型而异。
2026-03-08 cs.AI cs.CL cs.HC
Evaluating the Performance of LLMs on Technical Language Processing tasks
本文以CFR第47篇为上下文评估多款聊天式LLM回答电信法规问题的能力,为自动化理解无线频谱治理信息、支持动态频谱接入提供性能依据。
2024-03-21 cs.CL cs.IR
TocBERT: Medical Document Structure Extraction Using Bidirectional Transformers
Institute of Research and Technology b-com(b-com研究院)
本研究提出TocBERT,一种基于双向Transformer的监督式文本分割方法,将其构建为NER问题并微调Bio-ClinicalBERT以分割MIMIC-III出院小结,在250份标注语料上F1分数达84.6%和72.8%,优于规则方法。
2024-06-27 cs.CL cs.IR cs.LG
Macaron: Controlled, Human-Written Benchmark for Multilingual and Multicultural Reasoning via Template-Filling
MBZUAI;Meta;Capital One
Macaron通过模板填充方法构建多语言多文化推理基准,包含11862个实例,涵盖20个国家文化背景、10种文字体系和20种语言方言,评估了21种多语言大模型的推理能力,发现文化相关数学和计数模板最难。
2026-04-20 cs.CL
Sequentially Controlled Text Generation
Bloomberg(彭博)
虽然GPT-2生成的句子非常像人类,但较长的文档可能会漫无边际,并且不遵循类似人类的写作结构。我们研究的问题强加结构的长距离文本。我们提出了一种新的受控文本生成任务,顺序控制的文本生成,并确定一个数据集,NewsDiscourse作为这个任务的起点。我们开发了一个具有生成和编辑功能的顺序控制文本生成管道。我们测试不同程度的结构意识,并表明,在一般情况下,更多的结构意识的结果更高的控制准确性,语法,连贯性和话题性,接近人类水平的写作表现。
2023-01-05 cs.AI cs.CL cs.LG
STRUCTURALCOST: A controlled reading time dataset for modeling human sentence processing difficulty
LLF, CNRS, Université Paris Cité(巴黎西岱大学语言与法国语言学实验室,法国国家科学研究中心);COLT, Universitat Pompeu Fabra(庞培法布拉大学计算语言学与语言技术实验室);Unicog, Neurospin, CEA(法国原子能委员会神经自旋神经影像研究中心,认知神经科学单元);LNC2, ENS-PSL(巴黎高等师范学院认知神经科学实验室);INSERM, CNRS(法国国家健康与医学研究院,法国国家科学研究中心)
本文提出STRUCTURALCOST数据集,包含475名参与者的40,800个观测,用于隔离长距离主谓依存解析成本,并发现语言模型低估了人类整合成本,为评估模型认知合理性提供数据。
2026-10-07 cs.AI cs.CL
Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
该研究通过重复启动实验对比基础大语言模型、指令调优大语言模型与人类的重复信息加工差异,发现训练后模型加工模式发生质变,且Qwen 2.5家族中该差异随规模增大而增强。
2026-08-18 cs.AI cs.CL
Exemplars-guided Empathetic Response Generation Controlled by the Elements of Human Communication
Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学);Instituto Politécnico Nacional(国立理工学院);University of Michigan(密歇根大学)
现有的大多数移情反应生成方法依赖于情境的情感来生成移情反应。然而,共情不仅仅是用适当的情绪产生反应。它还常常意味着微妙地表达对对方处境的理解和个人共鸣。不幸的是,这些质量很难量化,数据集缺乏相关的注释。为了解决这个问题,在本文中,我们提出了一种方法,依赖于范例提示生成模型的优良的文体属性,信号移情的对话者。为此,我们采用密集通道检索,从训练集中提取相关的示例性响应。人类交流的三个要素-情感存在,解释和探索,以及情感,使用合成标签来引导一代人走向同理心。人类的评价也被人类交流的这些要素所延伸。我们的经验表明,这些方法在自动化和人工评估的指标方面都显着提高了移情响应质量。该实现可在https://github.com/declare-lab/exemplary-empathy上获得。
2021-08-05 cs.AI cs.CL
LLMs struggle to simulate human belief updates in controlled environments
IT:U, Interdisciplinary Transformation University Austria(奥地利跨学科转型大学(IT:U))
该研究测试六个LLMs模拟人类信念更新的能力,发现Qwen3-32B和GPT-5-Mini仅在提供人类实际初始立场时能匹配人类后立场分布,所有模型存在系统性偏差,模拟仅在现实起始条件下可靠。
2026-11-03 cs.CL cs.SI
Measuring the Gap Between Human and LLM Research Ideas
Yale University(耶鲁大学);University of Chicago(芝加哥大学)
本文构建大规模评估框架,通过逆向工程提取论文核心想法,引入双轴研究品味分类法,发现LLM想法集中在桥梁式机会和综合方法,而人类想法分布更广,揭示两者系统性差距。
2026-07-02 cs.AI cs.CL
Pron vs Prompt: Can Large Language Models already Challenge a World-Class Fiction Author at Creative Text Writing?
School of Computer Science, UNED, Madrid, Spain(计算机科学学院,UNED,马德里,西班牙);Faculty of Education, UCM, Madrid, Spain(教育学院,UCM,马德里,西班牙);Faculty of Philosophy, UNED, Madrid, Spain(哲学学院,UNED,马德里,西班牙)
本文通过让获奖小说家 Patricio Pron 与 GPT-4 进行标题创作和短篇小说写作竞赛,并由文学专家依据 Boden 创造力定义进行人工评估,发现当前 LLMs 仍远未达到顶尖人类创意写作水平,且仅靠扩大模型规模难以实现这一目标。
2024-10-28 cs.AI cs.CL
Adaptive Rigor in AI System Evaluation using Temperature-Controlled Verdict Aggregation via Generalized Power Mean
Independent Researcher(独立研究员)
本文提出TCVA方法,结合五级判决评分系统和通用幂均值聚合,通过温度参数控制评估严格性,实验显示其在忠实度上与RAGAS相当,且优于DeepEval。
2026-04-04 cs.AI cs.CL
A Voice Controlled E-Commerce Web Application
Queen’s University(女王大学)
自动语音控制系统改变了人类与计算机交互的方式。语音或语音识别系统允许用户向计算机发出免提请求,计算机继而处理该请求并向用户提供适当的响应。经过多年的机器学习和人工智能的研究和开发,今天语音控制技术已经变得更加有效,并广泛应用于许多领域,以实现和改善人与人和人与计算机的交互。最先进的电子商业应用程序借助网络技术提供了交互式和用户友好的界面。然而,在某些情况下,人们,特别是视力残疾人,无法充分体验这些应用程序的可用性。嵌入在web应用中的语音控制系统可以增强用户体验并且可以提供语音作为控制电子商业网站的功能的手段。在本文中,我们提出了一个语音识别系统(SRS)的分类,并提出了一个语音控制的商品购买电子商业应用程序使用IBM沃森语音到文本来展示其可用性。该原型可以扩展到其他应用场景,如政府服务亭,并支持对转换后的文本数据进行分析,用于诊所的医疗诊断等场景。
2018-11-16 cs.CL cs.CY cs.HC
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院)
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果,与人类判断弱相关,而监督度量可能过度拟合特定于任务的数据,对其他数据集的泛化能力较差。在本文中,我们提出了一个无监督的无参考度量称为CTRLEval,从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上,度量从预训练的语言模型组装生成概率,而无需任何模型训练。实验结果表明,我们的度量有更高的相关性与人类的判断比其他基线,同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
Instruct-SCTG: Guiding Sequential Controlled Text Generation through Instructions
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
针对大语言模型生成文本难维持类人语篇结构的问题,提出序列式框架Instruct-SCTG,通过自然语言指令逐节生成结构连贯的文本,还提出语篇差异模糊衡量指标,在多数据集上实现最优性能。
2023-12-19 cs.AI cs.CL
"What makes a question inquisitive?" A Study on Type-Controlled Inquisitive Question Generation
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Educational Testing Service(教育考试服务中心)
我们提出了一个类型控制的框架,好奇的问题生成。我们用问题类型注释一个查询问题数据集,训练问题类型分类器,并为类型控制的问题生成微调模型。实验结果表明,我们可以生成各种问题,坚持特定类型,同时从源文本中提取。我们还研究了从生成的集合中选择单个问题的策略,考虑到信息与~好奇问题分类器和从专家注释的小集合训练的成对排序器。使用成对排序器的问题选择在自动和手动评估中产生强有力的结果。我们的人工评估评估了生成的问题的多个方面,发现排名者选择了具有最佳语法(4.59),语义(4.37)和好奇心(3.92)的问题,评分范围为1-5,甚至可以与人类书面问题的表现相媲美。
2022-05-19 cs.AI cs.CL cs.LG