Learning Fine-Grained Visual Understanding for Video Question Answering via Decoupling Spatial-Temporal Modeling
National Taiwan University(台湾大学);Mobile Drive Technology(Mobile Drive科技公司)
虽然最近的大规模视频语言预训练在视频问答中取得了很大进展,但视频语言模型的空间建模的设计不如图像语言模型的设计细粒度;现有的时间建模实践也遭受模态之间的弱对齐和噪声对齐。为了学习细粒度的视觉理解,我们解耦时空建模,并提出了一个混合管道,解耦时空编码器,集成了图像和视频语言编码器。前者编码的空间语义从较大的,但稀疏采样帧独立于时间,而后者模型的时间动态在较低的空间,但较高的时间分辨率。为了帮助视频-语言模型学习视频QA的时间关系,我们提出了一种新的预训练目标,时间参考建模,它要求模型识别视频序列中事件的时间位置。大量的实验表明,我们的模型优于以前在数量级更大的数据集上预训练的工作。
2022-10-08 cs.CL cs.CV
Domain Specific Author Attribution Based on Feedforward Neural Network Language Models
Purdue University(普渡大学)
作者归属是指根据给定的文本样本自动确定作者的任务。它是一个历史悠久、应用广泛的问题。使用语言模型构建作者配置文件是自动化此任务的最成功的方法之一。基于神经网络的新语言建模方法缓解了维数灾难,并且通常优于传统的N-gram方法。然而,还没有太多的研究将它们应用于作者归属。在本文中,我们提出了一种新的神经网络语言模型(NNLM)的设置,并将其应用到一个数据库的文本样本来自不同的作者。我们研究了NNLM如何在中等作者集大小和相对有限的训练和测试数据的任务上执行,以及文本样本的主题如何影响准确性。NNLM实现了近2.5%的困惑减少,这是一个训练的语言模型对测试数据的适应度的度量。在5个随机测试句子的情况下,与使用SRILM工具的N-gram方法相比,作者分类准确率平均提高了3.43%。我们的方法的开源实现可以在https://github.com/zge/authorship-attribution/上免费获得。
2016-02-24 cs.CL cs.LG cs.NE
T5 meets Tybalt: Author Attribution in Early Modern English Drama Using Large Language Models
Cornell University(康奈尔大学)
本文研究大型语言模型在早期现代英语戏剧作者归属中的应用,发现微调后的 t5-large 在小段落归属上优于逻辑回归、线性核 SVM 和 cosine delta 等基线,但模型存在自信误判及预训练数据作者偏差等隐患。
2023-10-27 cs.CL cs.LG
Adapting Language Models for Non-Parallel Author-Stylized Rewriting
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);Adobe Research(奥多比研究院)
鉴于最近的进展,在语言建模中使用基于transformer的神经模型和积极的兴趣,在生成风格化的文本,我们提出了一种方法,利用泛化能力的语言模型重写输入文本的目标作者的风格。我们提出的方法采用预训练的语言模型,通过使用级联编码器-解码器框架中的去噪自动编码器(DAE)损失对作者特定的语料库进行微调来生成作者风格化的文本。通过对DAE损失进行优化,我们的模型可以在不依赖并行数据的情况下学习作者风格的细微差别,这是该领域以前相关工作的严重限制。为了评估我们的方法的有效性,我们提出了一个语言动机的框架来量化生成的文本的风格对齐目标作者在词汇,句法和表面水平。评估框架是可解释的,因为它导致了关于模型的几个见解,并且是自包含的,因为它不依赖于外部分类器,例如情感或形式分类器。定性和定量评估表明,所提出的方法重写输入文本与目标风格更好地对齐,同时保留原始内容比国家的最先进的基线。
2020-10-31 cs.CL cs.LG
DRAG: Director-Generator Language Modelling Framework for Non-Parallel Author Stylized Rewriting
Adobe Research(奥多比研究院);Georgia Tech(佐治亚理工学院)
作者风格化改写是指按照作者的风格对输入文本进行改写。最近在这方面的工作已经在去噪自动编码器设置中利用基于transformer的语言模型来生成作者风格化的文本,而不依赖于并行的数据语料库。然而,这些方法受到缺乏对目标属性的显式控制以及完全数据驱动的限制。在本文中,我们提出了一个Director-Generator框架,以目标作者的风格重写内容,特别关注某些目标属性。我们表明,我们提出的框架工作良好,即使是一个有限大小的目标作者语料库。我们的实验语料库由三个不同的作者创作的相对较小的文本显着改善现有的作品重写输入文本的目标作者的风格。我们的定量和定性分析进一步表明,我们的模型有更好的意义保持和更流畅的一代的结果。
2021-01-28 cs.AI cs.CL cs.LG
Too good to be true? Predicting author profiles from abusive language
University College London(伦敦大学学院)
在线威胁和滥用问题可能会通过计算方法得到缓解,通过作者特征分析更好地了解或确定滥用的来源。然而,辱骂性语言构成了一个特定的语言领域,它还没有被测试是否出现基于文本作者的个性,年龄或性别的差异。本研究探讨作者人口统计学和滥用与正常语言之间的统计关系,并进行预测实验的个性,年龄和性别。虽然作者特征和语言使用之间建立了一些统计关系,但这些模式并没有转化为高预测性能。人格特征的预测值在实际值的15%以内,年龄的预测误差为10年,性别的分类正确率为70%。这些结果是穷人相比,以前的研究作者剖析,因此,我们敦促谨慎应用这在辱骂性语言和威胁评估的背景下。
2020-09-03 cs.CL
Including Dialects and Language Varieties in Author Profiling
University of Bucharest(布加勒斯特大学);University of Cologne(科隆大学);Harvard Medical School(哈佛医学院)
本文提出了一种计算方法,作者分析考虑到性别和语言的多样性。我们应用集成系统与字符和单词$n$ -gram训练的多个线性SVM分类器的输出。我们使用2017年PAN实验室组织者提供的关于作者分析的数据集来评估该系统。我们的方法实现了75%的平均准确性性别识别的推文写在四种语言和97%的准确性语言品种识别葡萄牙语。
2017-07-03 cs.CL
ALMs: Authorial Language Models for Authorship Attribution
University of Birmingham(伯明翰大学)
本文提出作者语言模型(ALMs),通过计算候选作者语料微调的因果语言模型对存疑文档的困惑度来识别作者,在Blogs50和CCAT50数据集上表现优异,并在短文本上进行了消融测试。
2024-02-13 cs.CL
Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models
University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
针对AI生成与人类撰写文本的区分需求,提出基于多预训练语言模型嵌入融合的作者归属识别框架,在五类大模型生成的平衡数据集上实现超96%的分类准确率与0.93以上的MCC,验证了方法的有效性与鲁棒性。
2024-11-01 cs.CL cs.LG
Sui Generis: Large Language Models for Authorship Attribution and Verification in Latin
Radboud University(拉德堡德大学);HSE University(高等经济大学);THWS(维尔茨堡-施韦因富特应用科学大学)
该研究评估大语言模型在教父时代拉丁语文本作者归属与验证任务的表现,发现其零样本验证有鲁棒性但易受语义干扰,且难引导决策,特定场景超传统基线但获可解释结果需大量实验。
2024-10-11 cs.CL
Authorship Attribution Using a Neural Network Language Model
Purdue University(普渡大学)
在实践中,由于有限的数据资源,为单个作者训练语言模型通常是昂贵的。在这种情况下,神经网络语言模型(NNLM)通常优于传统的非参数N-gram模型。在这里,我们研究了前馈NNLM在作者归属问题上的性能,适度的作者集大小和相对有限的数据。我们还考虑了文本主题如何影响性能。与构造良好的N-gram基线方法与Kneser-Ney平滑相比,该方法实现了近2:5%的困惑减少,平均提高作者分类准确率3:43%,给出了5个测试句子。在准确性和对测试数据的要求方面,其性能与最先进的技术相比具有很强的竞争力。源代码、预处理数据集、方法和结果的详细描述可在https://github.com/zge/authorship-attribution上获得。
2016-02-17 cs.AI cs.CL
LG4AV: Combining Language Models and Graph Neural Networks for Author Verification
L3S Research Center(L3S研究中心);University of Kassel(卡塞尔大学)
文档作者的自动验证在各种设置中都很重要。例如,研究人员根据其出版物的数量和影响进行评判和比较,公众人物则根据他们在社交媒体平台上的帖子进行评判和比较。因此,经常使用的Web服务和平台中的作者身份信息是正确的,这一点很重要。一个给定的文档是否由给定的作者撰写的问题通常被称为作者身份验证(AV)。虽然AV是一个广泛研究的问题,一般来说,只有少数作品考虑设置的文件是短的,写在一个相当统一的风格。这使得大多数方法对于学术领域中的在线数据库和知识图谱是不实用的。在这里,科学出版物的作者必须得到验证,通常只有摘要和标题可用。在这一点上,我们提出了我们的新方法LG4AV结合语言模型和图神经网络的作者身份验证。通过直接在预先训练的Transformer架构中提供可用文本,我们的模型不需要任何手工制作的样式特征,这些特征在写作风格至少在某种程度上是标准化的场景中没有意义。通过将一个图神经网络结构,我们的模型可以受益于作者之间的关系,是有意义的验证过程。例如,科学作者更有可能写与他们的合著者有关的主题,而twitter用户则倾向于发布与他们关注的人相同的主题。我们实验评估我们的模型和研究在何种程度上包括合作作者提高了文献计量环境中的验证决策。
2021-09-03 cs.AI cs.CL cs.LG
Gender Gap in Natural Language Processing Research: Disparities in Authorship and Citations
National Research Council Canada(加拿大国家研究委员会)
性别之间在作者和引用方面的差异不仅对弱势性别,而且对整个研究领域都可能产生重大不利影响。衡量性别差距是解决这些问题的关键一步。在这项工作中,我们研究了女性第一作者的百分比和引用他们的论文在自然语言处理(1965年至2019年)。我们使用现有的手动策划的作者-性别列表以及与性别密切相关的名字来确定聚合级统计数据。我们发现,只有大约29%的第一作者是女性,只有大约25%的最后作者是女性。值得注意的是,这一比例自2000年代中期以来没有改善。我们还表明,平均而言,女性第一作者被引用的次数少于男性第一作者,即使在控制经验和研究领域的情况下。最后,我们讨论了自动人口统计分析中涉及的伦理问题。
2020-09-03 cs.CL cs.DL
Leveraging Multilingual Training for Authorship Representation: Enhancing Generalization across Languages and Domains
University of Michigan(密歇根大学)
本文提出一种多语言作者表征学习方法,通过概率内容掩码和语言感知批处理两项创新,在36种语言、13个领域、450余万作者上训练,显著优于单语基线并增强跨语言与跨领域泛化。
2025-09-20 cs.CL
DataTales: Investigating the use of Large Language Models for Authoring Data-Driven Articles
Tableau Research(Tableau研究院)
本文通过设计原型系统DataTales,探究利用大型语言模型辅助数据驱动文章撰写的可行性与价值,并基于11位专业人士的定性研究提炼出LLM作为撰写助手的设计机会。
2023-08-08 cs.CL cs.HC
Multilingual Normalization of Temporal Expressions with Masked Language Models
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学)
时态表达式的检测和规范化是许多应用的重要任务和预处理步骤。然而,以前的规范化工作是基于规则的,这严重限制了在现实世界中的多语言设置的适用性,由于昂贵的创建新的规则。我们提出了一种新的神经方法规范化的时间表达式的基础上掩蔽语言建模。我们的多语言方法在许多语言中的性能优于先前的基于规则的系统,特别是对于低资源语言,与最先进的语言相比,平均性能提高高达33 F1。
2023-02-10 cs.CL cs.LG
Author Identification using Multi-headed Recurrent Neural Networks
循环神经网络(RNN)非常擅长对文本流进行建模,但通常需要在比PAN 2015作者识别任务大得多的语料库上进行训练。本文描述了一种新的方法,其中字符级RNN语言模型的输出层被分成几个独立的预测子模型,每个子模型代表一个作者,而递归层由所有人共享。这允许循环层将语言作为一个整体进行建模,而不会过度拟合,而输出则选择底层模型中反映作者风格的方面。该方法具有竞争力,在四种语言中的两种中排名第一。
2016-08-16 cs.CL cs.LG cs.NE
Personalized Author Obfuscation with Large Language Models
The Graduate Center CUNY(纽约大学研究生中心);Hunter College CUNY(纽约大学亨特学院);Brooklyn College CUNY(纽约大学布鲁克林学院)
本研究针对大语言模型作者身份混淆效果的用户间双峰分布差异问题,提出个性化提示方法,性能优于标准提示技术,可部分缓解该问题。
2025-05-17 cs.AI cs.CL
Attentive Temporal Pooling for Conformer-based Streaming Language Identification in Long-form Speech
Google LLC(谷歌有限责任公司)
本文介绍了一种基于一致性层的语言识别系统。我们提出了一个专注的时间池机制,允许模型通过循环形式在长格式音频中携带信息,从而可以以流式方式执行推理。此外,我们研究了两个域适应方法,允许适应现有的语言识别模型,而无需重新训练模型参数为一个新的域。我们在不同的模型大小约束下对不同的模型拓扑进行了比较研究,发现基于一致性的模型显著优于基于LSTM和Transformer的模型。我们的实验还表明,注意的时间池和域适应提高模型的准确性。
2022-05-01 cs.CL cs.LG eess.AS
Document Author Classification Using Parsed Language Structure
Utah State University(犹他州立大学)
本文提出利用统计自然语言解析器提取的语法结构信息进行文档作者分类,在《联邦党人文集》等文本上的实验证明该特征降维后能有效区分作者。
2024-03-20 cs.CL eess.AS
Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings
LIP6, Sorbonne University, CNRS, France(LIP6,索邦大学,国家科学研究中心,法国)
研究通过控制文学数据集量化风格变化对嵌入分散性的影响,发现嵌入可靠捕捉作者风格特征,且重写后仍保持。
2026-05-11 cs.AI cs.CL
AIDBench: A benchmark for evaluating the authorship identification capability of large language models
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);HKUST(香港科技大学)
本文提出AIDBench基准,通过一对一和一对多两种评估方式并结合RAG方法,系统评估大语言模型识别匿名文本作者身份的能力,揭示其带来的新隐私风险。
2024-11-20 cs.CL
A Stylometric Application of Large Language Models
Dartmouth College(达特茅斯学院)
本研究证明,从零训练的GPT-2模型能通过预测准确度区分作者风格,并在八位作者及奥兹系列第15本书的作者归属上验证了有效性。
2025-10-24 cs.CL cs.DL
How Can Large Language Models Understand Spatial-Temporal Data?
Dalian University of Technology(大连理工大学)
针对大语言模型难以适配时空数据的问题,研究提出STG-LLM框架,通过时空图分词器与极简适配器微调少量参数,实现了与专用最优方法相当的时空预测性能。
2024-05-17 cs.CL cs.LG
P^3SUM: Preserving Author's Perspective in News Summarization with Diffusion Language Models
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);Xi’an Jiaotong University(西安交通大学)
针对新闻摘要常改变作者政治立场的问题,提出由政治视角分类器控制的扩散模型P^3SUM,在推理时逐步纠偏,立场保留成功率最高提升13.7%。
2024-04-04 cs.CL cs.LG
Authorship Without Writing: Large Language Models and the Senior Author Analogy
National University of Singapore(新加坡国立大学);University of Copenhagen(哥本哈根大学);University of Oxford(牛津大学)
本文提出LLM在特定条件下可类比资深作者,其生成完整草稿可视为合法作者身份,否则需修订作者标准。
2025-09-05 cs.AI cs.CL cs.CY
Is AI Catching Up to Human Expression? Exploring Emotion, Personality, Authorship, and Linguistic Style in English and Arabic with Six Large Language Models
College of Computer and Information Sciences, King Saud University(计算机与信息科学学院,沙特阿拉伯国王沙德大学)
本文研究六种大语言模型在英语和阿拉伯语中模仿情感和个性的能力,发现AI生成文本可被识别,但分类性能下降,揭示了LLM在情感信号编码上的差异。
2026-03-24 cs.CL cs.LG
Assessing the Stylistic Properties of Neurally Generated Text in Authorship Attribution
University of Antwerp(安特卫普大学);Ghent University(根特大学)
近年来,神经语言模型的应用引起了人们对自动生成自然语言的兴趣。然而令人印象深刻的是,迄今为止,对神经生成文本的评估仍然相当非正式和轶事。在这里,我们提出了一种尝试,在系统评估的一个方面的质量神经生成的文本。我们专注于神经语言生成的一个特定方面:它再现作者写作风格的能力。使用已建立的作者归属模型,我们经验性地评估神经生成文本的文体质量。与传统的语言模型相比,神经模型生成更模糊的文本,这相对更难正确地归属。然而,我们的研究结果也表明,神经生成的文本提供了更有价值的观点,为增强训练数据。
2017-08-18 cs.CL
Temporal Entailment Pretraining for Clinical Language Models over EHR Data
本文提出面向EHR数据的时序蕴含预训练目标,将EHR片段构建为时序句子对以训练模型进行潜在临床推理,在时序临床问答、早期预警预测和疾病进展建模任务上取得最优结果。
2025-04-25 cs.CL cs.LG
Localizing Moments in Video with Temporal Language
UC Berkeley(加州大学伯克利分校);Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所)
在语言和视频理解的交叉点上,通过自然语言查询定位较长视频中的时刻是一项新的、具有挑战性的任务。虽然使用自然语言的矩定位类似于其他语言和视觉任务,如图像中的自然语言对象检索,但矩定位提供了一个有趣的机会来建模文本中的时间依赖性和推理。我们提出了一个新的模型,明确的原因在视频中的不同的时间段,并表明,时间上下文是重要的本地化短语,其中包括时间的语言。为了衡量我们的模型和其他最近的视频定位模型是否可以有效地推理时间语言,我们收集了新的TEMPoral推理视频和语言(TEMPO)数据集。我们的数据集由两部分组成:一个是包含真实视频和模板句子的数据集(TEMPO -模板语言),它允许对时间语言进行受控研究,另一个是由人类注释的时间句子组成的人类语言数据集(TEMPO -人类语言)。
2018-09-05 cs.CL cs.CV
Neural Authorship Attribution: Stylometric Analysis on Large Language Models
Arizona State University(亚利桑那州立大学)
本文针对专有与开源 LLM 生成文本的来源识别问题,结合词汇、句法和结构文体特征增强预训练分类器,并通过实证比较揭示不同模型的写作签名。
2023-08-14 cs.AI cs.CL
Figuratively Speaking: Authorship Attribution via Multi-Task Figurative Language Modeling
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文首次从修辞语言使用角度研究作者归属问题,提出多任务修辞语言模型MFLM同时检测多种修辞特征,并验证其嵌入能提升作者归属性能。
2024-06-12 cs.CL
Uddessho: An Extensive Benchmark Dataset for Multimodal Author Intent Classification in Low-Resource Bangla Language
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学)
针对低资源孟加拉语社交媒体帖子的作者意图分类难题,该研究提出多模态MABIC框架,构建含3048个样本的Uddessho基准数据集,多模态方法准确率达76.19%,较单模态提升11.66%,为该领域首项研究。
2024-09-14 cs.CL
NeSTR: A Neuro-Symbolic Abductive Framework for Temporal Reasoning in Large Language Models
National Key Laboratory of Big Data and Decision(大数据与决策国家重点实验室)
NeSTR通过结合符号表示与反思推理,提升大语言模型在复杂时间约束下的推理能力。
2025-12-08 cs.AI cs.CL cs.LG
Whodunit? Learning to Contrast for Authorship Attribution
National University of Singapore(新加坡国立大学);AWS AI Research & Education(亚马逊云科技人工智能研究与教育部门)
作者归属是识别给定文本的作者的任务。关键是找到可以区分作者的表示。现有的方法通常使用手动设计的功能来捕获数据集的内容和样式,但这些方法依赖于数据集,并且在语料库中产生不一致的性能。在这项工作中,我们提出了\textit{learning}作者特定的表示微调预训练的通用语言表示与对比的目标(对比-X)。我们表明,反X学习表示,形成高度可分离的集群不同的作者。它在多个人类和机器作者归属基准上推进了最先进的技术,使交叉熵微调的改进高达6.8%。然而,我们发现,对某些作者来说,Contra-X以牺牲性能为代价提高了整体准确性。化解这一紧张关系将是今后工作的重要方向。据我们所知,我们是第一个将对比学习与预训练的语言模型微调结合起来的作者归属。
2022-10-10 cs.AI cs.CL cs.LG
Examining Temporal Bias in Abusive Language Detection
The University of Sheffield(谢菲尔德大学)
该研究通过跨时期、跨语言数据集评估辱骂性语言检测模型,结合历时语言学分析,证实时间偏差会导致模型性能显著下降,并为缓解该问题提供洞见。
2023-09-25 cs.CL
Authorship Verification of Transcribed German-Language Videos
Fraunhofer Institute for Secure Information Technology SIT(弗劳恩霍夫安全信息技术研究所SIT)
该研究针对德语视频转录文本的作者身份验证缺口,实验发现传统n元语法AV方法在该任务上优于Transformer方法,验证了传统AV方法的竞争力。
2026-10-05 cs.CL
Detecting Mode Collapse in Language Models via Narration
McGill University(麦吉尔大学)
本研究通过分析OpenAI GPT-3系列模型生成的4,374个故事,发现对齐训练导致语言模型出现模式坍缩,使其丧失模拟多样作者视角的能力,对社会学模拟应用具有警示意义。
2024-02-06 cs.AI cs.CL
N-GrAM: New Groningen Author-profiling Model
University of Groningen(格罗宁根大学)
我们描述了我们参与PAN 2017作者分析的共享任务,确定作者的性别和英语,西班牙语,阿拉伯语和葡萄牙语的语言多样性。我们描述了最终提交的系统和一系列负面结果。我们的目标是为性别和语言以及所有语言种类创建一个单一的模型。我们表现最好的系统(交叉验证的结果)是一个线性支持向量机(SVM)的字unigram和字符3至5克作为功能。一组附加功能,包括POS标签、附加数据集、地理实体和Twitter句柄,损害而不是提高性能。交叉验证的结果表明整体性能较高,测试集的结果证实了这一点,平均准确率为0.86,子任务的性能范围为0.68至0.98。
2017-07-12 cs.CL
Probing Language Models for Understanding of Temporal Expressions
University of Washington(华盛顿大学)
我们提出了三个自然语言推理(NLI)的挑战集,可以评估NLI模型的时间表达式的理解。更具体地说,我们探测这些模型的三个时间属性:(a)时间点之间的顺序,(b)两个时间点之间的持续时间,(c)在不同的单位指定的时间的大小之间的关系。我们发现,虽然大语言模型微调MNLI有一些基本的时间点之间的顺序的看法,在大,这些模型没有一个彻底的时间表达式之间的关系的理解。
2021-10-03 cs.CL
Where Does Authorship Signal Emerge in Encoder-Based Language Models?
Inria Paris(巴黎国家信息与自动化研究所);Sorbonne Université(索邦大学);IRIF(IRIF研究所);LRE, EPITA Ecole nationale des chartes – PSL(LRE,EPITA国立档案馆 – 法国社会科学研究院)
通过机械可解释性工具,研究不同评分机制对基于编码器的作者身份归因模型性能的影响,发现评分机制决定了编码器在何处整合作者身份信号。
2026-05-25 cs.CL
ViTL: Temporal Logic-Guided Zero-Shot Natural Language Navigation via Vision-Language Models
Lehigh University(里海大学)
提出ViTL框架,利用大语言模型将自然语言命令编译为线性时序逻辑公式,并引入方向性评分,实现零样本多目标时序约束导航。
2026-07-01 cs.CL cs.LG cs.RO
Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models
South China University of Technology(华南理工大学);University of Innsbruck(因斯布鲁克大学)
针对传统预训练模型时间信息捕获不足的问题,提出在时间新闻语料上预训练的时间感知语言模型BiTimeBERT 2.0,通过ETAMLM、DD和TSER三个预训练目标融入多维度时间信息,并优化预处理使训练时间减少近53%,在多项时间相关任务上取得显著提升。
2025-03-05 cs.CL
Incorporating Stylistic Lexical Preferences in Generative Language Models
Adobe Research(奥多比研究院)
虽然语言建模的最新进展已经产生了强大的生成模型,但它们的生成风格仍然隐式地依赖于训练数据,并且不能模拟特定的目标风格。利用基于转换器的语言模型的生成能力,我们提出了一种方法,通过将作者的连续多维词汇偏好纳入生成语言模型中来诱导某些目标作者属性。我们在一个强化学习框架中引入奖励策略,该框架鼓励在不同程度上使用跨多个类别维度的单词。我们的实验表明,所提出的方法可以生成的文本,明显符合给定的目标作者的词汇风格。我们进行定量和定性的比较与竞争和相关的基线,以说明所提出的方法的好处。
2020-10-22 cs.CL
Improving Temporal Generalization of Pre-trained Language Models with Lexical Semantic Change
Soochow University(苏州大学);Microsoft Research Asia(微软亚洲研究院)
最近的研究表明,大规模的神经语言模型具有较差的时间泛化能力,即,在来自过去几年的静态数据上预训练的语言模型在新兴数据上随着时间的推移表现更差。现有方法主要执行连续训练以减轻这种不对准。虽然在一定程度上有效,但在语言建模和下游任务上都远未得到解决。词汇语义变化是自然语言的基本现象之一,时间泛化与词汇语义变化密切相关。基于这一观察,我们提出了一个简单而有效的词汇级掩蔽策略来后训练收敛的语言模型。在两个预训练的语言模型、两个不同的分类任务和四个基准数据集上的实验证明了我们提出的方法比现有的时间适应方法的有效性,即,用新数据进行持续训练。我们的代码可在\url{https://github.com/zhaochen0110/LMLM}上获得。
2022-10-31 cs.CL
Temporal Meaning Representations in a Natural Language Front-End
以前的工作在时间数据库的自然语言查询的上下文中已经建立了一种方法,自动映射从一个大的英语时间相关的问题的子集,以适当的表达的时间逻辑类语言,称为TOP。还定义了从TOP到TSQL 2时态数据库语言的转换算法。本文展示了如何将TOP表达式翻译成一种更简单的类似逻辑的语言,称为BOT。BOT非常接近传统的一阶谓词逻辑(FOPL),因此可以利用现有的方法来操作FOPL表达式,以连接到TSQL2数据库以外的时间敏感应用程序,保持现有的英语到TOP映射。
1999-06-22 cs.CL
T-CLAP: Temporal-Enhanced Contrastive Language-Audio Pretraining
University of Surrey(萨里大学);ByteDance(字节跳动);Shanghai Jiao Tong University(上海交通大学)
针对CLAP难以捕捉时间信息的问题,提出T-CLAP模型,利用LLM生成时间对比描述并设计时间聚焦对比损失微调模型,显著提升了音频事件时间关系的捕捉能力。
2024-04-27 cs.CL cs.LG cs.SD
Time Masking for Temporal Language Models
Technion(以色列理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们的世界在不断发展,网络上的内容也是如此。因此,我们的语言,通常被认为是世界的镜子,本质上是动态的。然而,大多数当前的上下文语言模型是静态的,不能适应随着时间的变化。在这项工作中,我们提出了一个时间上下文语言模型称为TempoBERT,它使用时间作为文本的附加上下文。我们的技术是基于修改文本的时间信息和执行时间掩蔽特定掩蔽的补充时间信息。我们利用我们的方法进行语义变化检测和句子时间预测的任务,在时间,大小,体裁和语言方面对不同的数据集进行实验。我们广泛的评估表明,这两个任务受益于利用时间掩蔽。
2022-01-24 cs.CL
IGA : An Intent-Guided Authoring Assistant
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(Adobe研究院)
虽然大规模预训练的语言模型已经显著改善了自动完成等写作辅助功能,但更复杂和可控的写作助手还有待探索。我们利用语言建模的进步来构建一个交互式写作助手,根据细粒度的作者规范生成和重新措辞文本。用户以文本的形式向我们的意图引导助理(IGA)提供输入,其中穿插着与特定修辞指令相对应的标签(例如,添加描述或对比,或改写特定句子)。我们在一个以作者意图为标签的数据集上微调了一个语言模型,这允许IGA用生成的文本填充这些标签,用户随后可以根据自己的喜好编辑这些文本。一系列的自动和众包的评估确认了IGA的生成输出的质量,而一个小规模的用户研究表明,在一个创造性的写作任务中,作者对IGA的偏好超过了基线方法。我们发布了我们的数据集,代码和演示,以促进对AI辅助写作的进一步研究。
2021-09-19 cs.CL
Time Matters: Examine Temporal Effects on Biomedical Language Models
University of Memphis(孟菲斯大学);Florida State University(佛罗里达州立大学)
该研究针对生物医学语言模型训练与部署数据存在时间偏移却缺乏相关研究的问题,通过三项任务探究模型性能与数据偏移的关联,证实时间对模型部署有重要影响,并建立了相关评估基准。
2024-08-11 cs.CL
HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
视频语言预训练提高了各种下游视频语言任务的表现。然而,大多数先前的方法直接继承或适应典型的图像语言预训练范例到视频语言预训练,因此没有充分利用视频的独特特性,即,暂时的在本文中,我们提出了一个分层的时间感知的视频语言预训练框架,HiTeA,有两个新的预训练任务,用于建模时刻和文本之间的跨模态对齐以及视频-文本对的时间关系。具体来说,我们提出了一个跨模态的时刻探索任务,以探索视频中的时刻,这导致详细的视频时刻表示。此外,内在的时间关系被捕获对齐视频文本对作为一个整体,在不同的时间分辨率与多模态时间关系探索任务。此外,我们引入了洗牌测试来评估数据集和视频语言预训练模型的时间依赖性。我们在15个成熟的视频语言理解和生成任务上取得了最先进的结果,特别是在面向时间的数据集上(例如,SSv 2-模板和SSv 2-标签)分别提高了8.6%和11.1%。当以zero-shot方式直接转移到下游任务时,HiTeA也表现出很强的泛化能力。模型和演示将在ModelScope上提供。
2022-12-30 cs.CL cs.CV cs.MM
Time, Tense and Aspect in Natural Language Database Interfaces
大多数现有的自然语言数据库接口(NLDBs)被设计为与数据库系统一起使用,这些数据库系统提供非常有限的操作时间相关数据的设施,并且它们不支持充分的时间语言机制(动词时态,时间状语,时间从句等)。数据库社区对时态数据库系统越来越感兴趣,时态数据库系统旨在以原则性的方式存储和操作不仅关于现在,而且关于过去和未来的信息。当与时态数据库接口时,支持时态语言机制变得至关重要。我们提出了一个框架,构建时态数据库(NLTDBs)的自然语言接口,借鉴了时态和方面的理论,时态逻辑和时态数据库的研究。该框架包括一个时间的中间表示语言,称为TOP,HPSG语法,映射到适当的TOP表达式的时间机制的广泛的问题,和一个可证明正确的方法从TOP翻译到TSQL2,TSQL2是最近提出的SQL数据库语言的时间扩展。该框架被用来实现一个原型NLTDB使用ALE和Prolog。
1998-03-22 cmp-lg cs.CL
Exploring Contextualized Neural Language Models for Temporal Dependency Parsing
Harvard University(哈佛大学);Raytheon BBN Technologies(雷神BBN技术公司)
提取事件和时间表达式之间的时间关系具有许多应用,例如构建事件时间轴和与时间相关的问答。这是一个具有挑战性的问题,它需要句子或话语级别的句法和语义信息,这些信息可以由诸如BERT(Devlin等人,2019年)。在本文中,我们开发了几种基于BERT的时态依赖解析器的变体,并证明了BERT显着改进了时态依存句法分析(Zhang和Xue,2018 a)。我们还详细分析了为什么深度情境化神经LM有帮助以及它们可能存在的不足。源代码和资源可在https://github.com/bnmin/tdp_ranking上获得。
2020-10-03 cs.CL
Temporal Analysis of Language through Neural Language Models
New York University(纽约大学);Google Inc.(谷歌公司)
我们提供了一种通过按时间顺序训练的神经语言模型自动检测语言随时间变化的方法。我们在Google Books Ngram语料库上对模型进行训练,以获得特定于每一年的词向量表示,并识别出从1900年到2009年发生了显著变化的词。该模型将诸如“cell”和“gay”之类的词识别为在该时间段内发生了变化。该模型同时确定了这些词发生变化的具体年份。
2014-05-14 cs.CL