A Readable Read: Automatic Assessment of Language Learning Materials based on Linguistic Complexity
University of Gothenburg(哥德堡大学);Universität Tübingen(图宾根大学)
语料库和网络文本可以成为一个丰富的语言学习资源,如果我们有一种方法来评估他们是否是语言适当的学习者在给定的熟练程度。在本文中,我们的目的是解决这个问题,提出了第一种方法来预测语言的复杂性,瑞典第二语言学习材料的5点量表。在表明传统的瑞典可读性指标Läsbarhetsindex(LIX)不适合这项任务后,我们提出了一个有监督的机器学习模型,该模型基于一系列语言特征,可以根据难度对文本进行可靠的分类。我们的模型获得了81.3%的准确度和0.8的F分数,这与英语的最新水平相当,并且大大高于之前报道的其他语言的结果。我们进一步研究了我们的功能与单句,而不是全文的效用,因为句子是一个共同的语言单位在语言学习练习。我们在五个类的数据上训练了一个单独的模型,其准确率为63.4%。虽然这低于文档级性能,但我们实现了92%的相邻准确率。此外,我们发现,与单独使用词汇特征相比,使用不同特征的组合在句子级别上的分类准确率提高了7%,而在文档级别上,词汇特征更占主导地位。我们的模型旨在用于免费访问的基于网络的语言学习平台,用于自动生成练习。
2016-03-29 cs.CL
Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects
University of Stuttgart(斯图加特大学)
本文通过对比不同大小和架构的Transformer模型,评估其在英语一致吸引配置中的表现,发现模型在处理宾语提取相对从句时表现不佳,无法复制人类的不对称干扰模式。
2026-08-31 cs.CL
A Comprehensive Survey of Document-level Relation Extraction (2016-2023)
Univ. La Rochelle(拉罗谢尔大学);L3i(L3i实验室)
本文综述了2016至2023年间文档级关系抽取(DocRE)的最新进展,强调其跨句识别实体关系的挑战,并对比句子级方法,展示其在自动构建知识库中的应用价值。
2023-10-12 cs.CL
Evaluation of sentence embeddings in downstream and linguistic probing tasks
尽管新的句子嵌入方法发展迅速,但要找到这些不同技术的综合评价仍然具有挑战性。在过去的几年里,我们看到了句子嵌入领域的显著进步,特别是在开发通用句子编码器方面,它可以为各种下游任务提供归纳传输。在这项工作中,我们使用各种各样的下游和语言特征探测任务对最近的方法进行了全面评估。我们证明了一种简单的方法,使用词袋与最近引入的深度上下文相关的词嵌入的语言模型,与在蕴涵数据集上训练的句子编码器相比,在许多任务中都能产生更好的结果。然而,我们也表明,我们仍然远离一个通用的编码器,可以在几个下游任务中一致地执行。
2018-06-16 cs.CL
Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation
Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学)
本研究通过改变模型大小、文本复杂度等系统分析句子级与词元级知识蒸馏的适用场景,并提出基于门控机制的混合方法,显著提升了蒸馏性能。
2024-04-23 cs.CL
A Comprehensive Comparative Study of Word and Sentence Similarity Measures
句子相似度是信息检索、问答和文本摘要等自然语言处理任务的基础。对比文本片段之间的语义是基于词语的语义特征及其相互关系。本文回顾了一组单词和句子相似性度量,并在基准数据集上进行了比较。在所研究的数据集上,结果表明,混合语义度量的性能优于基于知识和语料库的度量。
2016-02-17 cs.CL cs.IR
Evaluation of Sentence Representations in Polish
National Information Processing Institute(国家信息处理研究所)
近年来,学习句子表征的方法得到了积极的发展。然而,缺乏预先训练的模型和在句子级别注释的数据集一直是波兰语等低资源语言的一个问题,这导致人们对将这些方法应用于特定语言任务的兴趣降低。在这项研究中,我们引入了两个新的波兰数据集,用于评估句子嵌入,并提供了一个全面的评估,包括波兰语和多语言模型的八个句子表示方法。我们考虑经典的词嵌入模型,最近开发的上下文嵌入和多语言句子编码器,显示特定方法的优点和缺点。我们还研究了将词向量聚合成单个句子向量的不同方法。
2020-01-23 cs.CL
KnowRA: Knowledge Retrieval Augmented Method for Document-level Relation Extraction with Comprehensive Reasoning Abilities
Nanjing Normal University, School of Computer Science and Electronic Informatics(南京师范大学计算机科学与电子信息学院);State Key Laboratory for Novel Software Technology at Nanjing University(南京大学新型软件技术国家重点实验室);Nanjing University, School of Computer Science(南京大学计算机科学学院)
KnowRA通过构建文档图、检索外部知识并过滤、以及轴注意力机制,实现文档级关系抽取的全面推理,在两个数据集上验证了有效性。
2025-08-04 cs.CL
On the Dimensionality of Sentence Embeddings
Tencent AI Lab(腾讯人工智能实验室)
针对句子嵌入维度探索不足的问题,提出分离优化编码器与池化器的两步训练方法,显著提升了低维句子嵌入在多项任务上的性能。
2023-10-23 cs.CL
Sentence Correction Based on Large-scale Language Modelling
Peking University(北京大学)
随着信息化的进一步发展,越来越多的数据以文本的形式存储。在它们的生成和传播过程中,有一些文本的丢失。本文旨在建立一个基于大规模语料库的语言模型来完成缺失文本的恢复。本文介绍了一种新的方法来寻找遗漏的单词,并建立一个全面的候选词典插入正确的选择的单词。本文还介绍了一些有效的优化方法,大大提高了文本恢复的效率,将处理1000个句子的时间缩短到3.6秒。\keywords {语言模型、句子校正、单词填充、并行优化
2017-11-02 cs.CL
Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation
University of Macau(澳门大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Soochow University(苏州大学)
本文全面评估了ChatGPT在语法错误纠正(GEC)任务中的能力,通过设计零样本和少样本思维链设置进行多语言及文档级测试,发现其错误检测与流利度表现出色,但在跨句错误纠正及遵循最小编辑原则上存在局限。
2023-04-04 cs.CL
Finding Similar Exercises in Retrieval Manner
Tencent Inc. China(腾讯公司(中国))
当学生在练习中出现错误时,可以通过具有相同概念、目的和方法的“类似练习”来巩固。通常,对于某一学科和某一学习阶段,习题库的规模在数百万甚至数千万之间,如何为给定的习题找到相似的习题成为一个关键的技术问题。一般我们可以给练习分配各种显式标签,然后通过标签进行查询,但是标签标注费时费力,成本高,精度和粒度有限,因此不可行。在实践中,我们将“相似练习”定义为基于回忆、排名和重新排名程序找到一组相似练习的检索过程,称为\textbf{FSE}问题(查找相似练习)。通过表示学习,获得了练习语义信息的综合表征。除了合理的架构外,我们还从预训练和监督学习两个方面探讨了什么样的任务更有利于运动语义信息的学习。相似习题的注释难度大,专家注释一致性差。因此,本文还提供了解决低质量标注数据问题的解决方案。与其他方法相比,本文在结构合理性和算法精度上都具有明显的优势,现已服务于数百所学校的日常教学。
2023-03-15 cs.AI cs.CL cs.CY
Generating Reading Comprehension Exercises with Large Language Models for Educational Applications
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai, China(光学电子与计算机工程学院,上海理工大学,上海,中国);Chongqing Academy of Science and Technology, Chongqing, China(重庆市科学技术院,重庆,中国)
本文提出RCEG框架,利用大语言模型自动生成高质量、个性化的英语阅读理解练习,通过内容候选生成、判别器筛选和综合评估指标提升练习质量。
2025-11-24 cs.AI cs.CL
Lexical Complexity Controlled Sentence Generation
Beijing Language and Culture University(北京语言大学);Shanghai University of Finance and Economics(上海财经大学)
文本生成很少考虑对词汇复杂度的控制,这限制了它更全面的实际应用。我们引入了一个新的任务词汇复杂度控制的句子生成,其目的是关键字的句子生成所需的复杂度水平。它在年级阅读、语言教学和语言习得等领域有着巨大的潜力。这项任务的挑战是只使用给定复杂程度的单词生成流利的句子。我们提出了一个简单而有效的方法,这项任务的基础上复杂性嵌入。与现有的解决方案相比,我们的方法将单词复杂度的表示融合到模型中,以更好地控制词汇复杂度。我们证明了这种方法对于从头开始训练模型和微调预训练模型的可行性。为了便于研究,我们分别开发了英文和中文两个数据集,并在其上进行了广泛的实验。结果表明,我们的方法更好地控制词汇的复杂性,并产生更高质量的句子比基线方法。
2022-11-26 cs.CL
How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation
Technische Universität Darmstadt(达姆施塔特工业大学)
句子编码器将句子映射到实值向量以供下游应用使用。为了窥视这些表示-例如,为了增加其结果的可解释性,已经设计了探测任务,该探测任务向它们询问语言知识。然而,为资源较少的语言设计探测任务是棘手的,因为这些语言通常缺乏大规模的注释数据或(高质量)依赖解析器作为英语探测任务设计的先决条件。为了研究如何在这种情况下探测句子嵌入,我们调查了探测任务结果对结构设计选择的敏感性,进行了第一次这样的大规模研究。我们表明,设计选择,如标注探测数据集的大小和用于评估的分类器类型(有时会大大)影响探测结果。然后,我们探测嵌入在一个多语言的设置与设计选择,位于一个“稳定的区域”,因为我们确定为英语,并发现英语的结果不转移到其他语言。因此,今后应该对多种语文进行更公平、更全面的探究性评价。
2020-10-28 cs.CL
Let GPT be a Math Tutor: Teaching Math Word Problem Solvers with Customized Exercise Generation
University of Notre Dame(圣母大学);Georgia Institute of Technology(佐治亚理工学院);Allen Institute for AI(艾伦人工智能研究所)
本文提出一种将LLM数学应用题求解能力蒸馏到学生模型的新方法,利用GPT-3作为导师迭代评估弱点并生成定制练习进行训练,在三个基准上以更少参数超越GPT-3和PaLM。
2023-05-22 cs.AI cs.CL cs.LG
Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning
Singapore University of Technology and Design(新加坡科技设计大学);DAMO Academy, Alibaba Group, Singapore(阿里巴巴集团达摩院(新加坡));Nanyang Technological University, Singapore(南洋理工大学);Hupan Lab(湖畔实验室)
针对对比学习句子表示受LLM生成句子对质量限制的问题,提出三阶段优化的MultiCSR框架,可让弱模型超ChatGPT、强模型刷新SOTA。
2024-05-17 cs.CL
Word Embedding-based Text Processing for Comprehensive Summarization and Distinct Information Extraction
School of Systems and Enterprises, Stevens Institute of Technology(史蒂文斯理工学院系统与企业学院)
在本文中,我们提出了两个自动化的文本处理框架,专门设计用于分析在线评论。第一个框架的目标是通过提取基本句子来总结评论数据集。这是通过将句子转换为数字向量并使用基于其相似性水平的社区发现算法对其进行聚类来执行的。然后,测量每个句子的相关性得分,以确定其在每个聚类中的重要性级别,并将其分配为该社区的标签。第二个框架是基于一个问答神经网络模型训练,以提取多个不同的问题的答案。收集的答案被有效地聚类,以找到客户可能提出的单个问题的多个不同答案。拟议的框架比现有的审查处理解决方案更全面。
2020-04-21 cs.CL cs.LG
Thunder-NUBench: A Benchmark for LLMs' Sentence-Level Negation Understanding
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);Dept. of Computer Science and Engineering, Seoul National University(首尔国立大学计算机科学与工程系)
本文提出Thunder-NUBench,专门评估大语言模型对句子级否定的理解,通过对比标准否定与结构多样化的替代形式,如局部否定、矛盾和改写,提供全面的评估方法。
2026-01-21 cs.CL
Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models
School of Software, Tsinghua University(清华大学软件学院)
该研究针对生成式语言模型句子嵌入直接推理方法研究不足的问题,通过实验质疑了显式单字限制的必要性,提出两种提示工程技术提升PLMs嵌入表达力并验证了有效性。
2024-05-15 cs.CL
CrisisTransformers: Pre-trained language models and sentence encoders for crisis-related social media texts
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
针对危机相关社交媒体文本分析的现有模型适配性不足问题,本研究提出在超150亿词元的多类危机推文语料上训练的CrisisTransformers模型组,在18个数据集上分类与句子编码任务均取得更优性能,且模型已公开。
2024-04-11 cs.CL
ANUBHUTI: A Comprehensive Corpus For Sentiment Analysis In Bangla Regional Languages
Ahsanullah University of Science and Technology(阿萨努拉大学科学与技术学院)
ANUBHUTI是一个包含10000个句子的全面数据集,用于孟加拉语方言的情感分析,通过双标注方案和多类主题标注,提供政治、宗教和中性内容,以支持更准确的自然语言处理。
2026-01-17 cs.CL cs.LG
Controlling Neural Machine Translation Formality with Synthetic Supervision
Amazon AWS AI(亚马逊AWS人工智能);University of Maryland(马里兰大学)
这项工作的目的是产生翻译,传达源语言内容在正式的水平,是适合特定的观众。将这个问题框架为神经序列到序列任务,理想情况下需要训练由标有目标语言形式的双语句子对组成的三元组。然而,在实践中,现有的训练样本仅限于不同风格的英语句子对和形式不明的双语平行句。我们为多任务模型引入了一种新的训练方案,该方案通过动态推断缺失的元素来自动生成合成训练三元组,从而实现端到端训练。全面的自动和人工评估表明,我们的最佳模型通过生成更好地匹配所需正式级别的翻译,同时保留源含义,从而优于现有模型。
2019-11-28 cs.CL
Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出了TGEA,首个针对预训练语言模型生成文本的全面错误标注数据集,涵盖24种错误类型,并基于此构建了错误检测、分类等基准任务以促进自动错误诊断与纠正研究。
2025-03-06 cs.CL
Resolving Word Vagueness with Scenario-guided Adapter for Natural Language Inference
Fudan University(复旦大学);University of Trento(特伦托大学)
针对传统NLI模型因缺乏情境视觉信息导致词语语义模糊、推理受限的问题,提出融合预训练语言知识与视觉信息的ScenaFuse适配器,通过交互与融合模块实现模态协同,经基准实验验证可有效提升NLI性能。
2024-05-21 cs.CL
Evaluating Multilingual Long-Context Models for Retrieval and Reasoning
Department of Computer Science(计算机科学系);Portland State University(波特兰州立大学)
本文创建了mLongRR数据集,评估多语言长上下文LLM在五种语言中的检索与推理能力,发现模型在处理多目标句子和低资源语言时性能显著下降。
2024-10-12 cs.CL
LaViSA: A Language and Vision Structural Ambiguity Benchmark
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Guardian Robot Project RIKEN(RIKEN守护机器人项目);The University of Osaka(大阪大学)
提出LaViSA基准,通过七类歧义句及对应图像评估视觉语言模型利用视觉场景解决结构歧义的能力,实验显示现有模型虽能部分利用视觉信息,但在特定歧义类型和细微语义区分上仍有局限。
2026-06-19 cs.CL
Tibyan Corpus: Balanced and Comprehensive Error Coverage Corpus Using ChatGPT for Arabic Grammatical Error Correction
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Saudi Electronic University(沙特电子大学)
本研究利用ChatGPT构建阿拉伯语语法纠错语料库Tibyan,包含约600K标记和七类错误,旨在弥补阿拉伯语GEC资源不足。
2024-11-07 cs.AI cs.CL
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);China Agricultural University(中国农业大学)
对抗攻击是NLP中神经网络模型面临的主要挑战,这阻碍了模型在安全关键应用中的部署。最近的一项工作,基于检测的防御,旨在区分敌对的句子和良性的句子。然而,{以前的检测方法的核心限制是无法对对抗性句子给出正确的预测,这与其他范式的防御方法不同。针对这一问题,本文提出了文本屏蔽:(1)发现文本攻击与显著性信息之间的联系,提出了一种基于显著性的检测器,可以有效地检测输入句子是否具有对抗性。(2)我们设计了一个基于显著性的校正器,它将检测到的敌对句子转换为良性的。通过结合基于显著性的检测器和校正器,TextShield将仅检测范式扩展为检测-校正范式,从而填补了现有基于检测的防御的空白。综合实验表明,(a)在不同基准的各种攻击中,TextShield始终比最先进的防御方法具有更高或相当的性能。(b)我们的基于显著性的检测器在检测对抗性句子方面优于现有的检测器。
2023-02-03 cs.AI cs.CL
Constrained Text Generation with Global Guidance -- Case Study on CommonGen
Interactive Entertainment Group, Tencent Inc.(腾讯公司互动娱乐集团);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Engineering, Westlake University(西湖大学工程学院)
本文研究的是约束文本生成,即在一定的前提条件下生成句子。我们专注于CommonGen,基于一组概念生成文本的任务,作为受约束的文本生成的代表任务。传统的自回归解码方法主要依赖于有监督训练来最大化目标句子的似然性,但在自回归解码过程的似然性目标中,无法考虑常识和覆盖率等全局约束。在本文中,我们考虑使用强化学习来解决这个局限性,测量全局约束,包括流畅性,常识和概念覆盖率与综合得分,这作为强化学习的奖励。此外,我们还设计了一个词、片段和句子三个层次的引导解码方法。实验表明,我们的方法显着增加的概念覆盖率,并优于现有的模型在各种自动评估。
2021-03-12 cs.CL
Mining Clinical Notes for Physical Rehabilitation Exercise Information: Natural Language Processing Algorithm Development and Validation Study
University of Pittsburgh(匹兹堡大学);Umm Al-Qura University(乌姆古拉大学)
本研究开发并比较了多种NLP算法,从卒中患者临床笔记中提取康复锻炼信息,发现基于规则的方法在多数任务中表现最佳,而基于LLM的ChatGPT在特定运动检测上具有优势。
2024-03-15 cs.AI cs.CL
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval
Microsoft Research Asia(微软亚洲研究院)
针对跨语言稠密检索缺乏定制化多语言预训练模型的问题,该研究提出MSM模型,通过建模跨语言通用的序列句子关系,结合掩码句子预测任务与分层对比损失训练,显著提升了跨语言检索性能。
2025-09-05 cs.CL cs.IR
AzSLD: Azerbaijani Sign Language Dataset for Fingerspelling, Word, and Sentence Translation with Baseline Software
Azerbaijan State Oil and Industry University(阿塞拜疆国立石油与工业大学);French-Azerbaijani University(法国-阿塞拜疆大学);ADA University(ADA大学)
本研究推出阿塞拜疆手语数据集AzSLD,含3万段多视角、多人群采集的标注视频及配套文档代码,严格遵循伦理规范,为手语识别、翻译等研究提供宝贵数据资源。
2024-11-23 cs.CL
Sentences as connection paths: A neural language architecture of sentence structure in the brain
University of Twente(特文特大学)
本文提出了一种大脑中句子结构的神经语言架构,其中句子是将单词背后的神经结构互连起来的时间连接路径。单词保持“原位”,因此它们总是内容可寻址的。任意和新颖的句子(用新颖的单词)可以用单词和句子的“神经黑板”来创建。因此,自然语言的无限生产力可以通过“固定”的小世界网络结构来实现。本文重点讨论句子的神经黑板。该架构仅使用一个“连接矩阵”来绑定句子中单词之间的所有结构关系。它表示任意(英语)句子的能力进行了详细讨论,在全面分析它们的基础上。该架构模拟了在句子处理过程中观察到的颅内大脑活动以及与句子复杂性和歧义相关的fMRI观察。模拟结果表明,所观察到的效果涉及到全球控制的架构,而不是所涉及的句子结构,这预示着更高的活动差异与更高的理解能力的复杂性和歧义。讨论的其他方面是“内在的”句子结构提供的连接路径和它们的关系的范围和变形,使用的依赖分析器控制的绑定,长距离的依赖关系和差距,问答,模糊性的解决方案的基础上向后处理没有明确的回溯,花园路径,和嵌入相关的性能困难。
2022-05-19 cs.CL cs.NE q-bio.NC
A Hard Nut to Crack: Idiom Detection with Conversational Large Language Models
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心);University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU))
本研究探索大语言模型的习语处理能力,推出专家设计的难例数据集IdioTS,提出基于习语检测任务的综合评估方法,并完成全面的自动、人工评估与错误分析。
2024-05-17 cs.CL
DocMSU: A Comprehensive Benchmark for Document-level Multimodal Sarcasm Understanding
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
针对文档级新闻中讽刺线索稀疏且隐蔽的问题,提出包含102,588条图文新闻、覆盖9个主题的DocMSU基准,并引入细粒度对齐方法作为基线,实验验证其有效性。
2023-12-26 cs.CL cs.MM
ReSCo-CC: Unsupervised Identification of Key Disinformation Sentences
NIT Durgapur(杜尔加布尔国家理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
虚假信息经常出现在长篇文本文章中,特别是当它涉及到健康等领域时,通常与COVID-19有关。这些文章通常被观察到有一些值得信赖的句子,其中分散着核心的虚假信息句子。在本文中,我们提出了一种新的无监督的任务,识别句子中包含关键的虚假信息的文件是不可信的。我们为任务设计了一个三阶段的统计NLP解决方案,首先将句子嵌入到为任务设计的定制特征空间中。然后,使用这些特征表示的句子被聚类,然后通过接近度评分来识别关键句子。我们还策划了一个新的数据集,其中包含句子级别的虚假信息评分,以帮助评估这项任务;该数据集将公开提供,以促进进一步的研究。基于对相关任务(如索赔检测和摘要)的技术以及我们所提出的方法的简化变体的全面实证评估,我们说明了我们的方法能够有效地识别核心虚假信息。
2020-10-21 cs.AI cs.CL cs.LG
A Cross-Task Analysis of Text Span Representations
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
许多自然语言处理(NLP)任务涉及文本跨度的推理,包括问答、实体识别和共指消解。虽然广泛的研究集中在表示单词和句子的功能架构上,但在表示句子中任意跨度的文本方面的工作较少。在本文中,我们使用八个预训练的语言表征模型对六个跨度表征方法进行了全面的实证评估,包括我们介绍的两个任务。我们发现,虽然一些简单的跨度表示是相当可靠的跨任务,在一般情况下,最佳跨度表示不同的任务,也可以在不同方面的个别任务。我们还发现,跨度表示的选择对固定的预训练编码器的影响比微调编码器的影响更大。
2020-06-06 cs.CL
SC-Ques: A Sentence Completion Question Dataset for English as a Second Language Learners
TAL Education Group(好未来教育集团);Guangdong Institute of Smart Education, Jinan University(暨南大学广东省智慧教育研究院);City University of Hong Kong(香港城市大学);Shenzhen Everants Technology(深圳云之鼎科技有限公司)
本文提出了面向ESL学习者的大规模句子填空数据集SC-Ques,包含289,148道真实考试题目,并基于预训练语言模型构建自动解题基准,通过详细分析模型性能、局限性与权衡推动该领域研究。
2023-04-07 cs.AI cs.CL
GhanaNLP Parallel Corpora: Comprehensive Multilingual Resources for Low-Resource Ghanaian Languages
Ghana Natural Language Processing(加纳自然语言处理);Khaya AI LTD(Khaya AI有限公司);Department of Mathematics, University of Cape Coast(海岸角大学数学系)
本文介绍了为加纳五种语言构建的平行语料库,通过人工翻译和标注确保数据质量,支持机器翻译和语言保护等应用,推动非洲语言的AI普及。
2026-03-30 cs.AI cs.CL
SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization
Huazhong University of Science and Technology(华中科技大学);Xidian University(西安电子科技大学)
自然语言视频定位是视觉-语言理解领域的一个重要课题,它不仅需要深入理解计算机视觉和自然语言这两个方面,更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题,这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究,但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此,本文的目的是全面调查的对抗鲁棒性NLVL模型,从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标,我们提出了一种新的对抗攻击范式,称为同义词感知的对抗攻击NLVL(SNEAK),它捕捉视觉和语言侧之间的跨通道相互作用。
2021-12-08 cs.AI cs.CL cs.CV
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学)
针对视频句子定位中模态间的领域差距问题,提出伪查询中介网络(PIN),利用时间全局文本知识的伪查询特征,通过对比学习和可学习提示增强多模态特征对齐,在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
A Comprehensive Attempt to Research Statement Generation
Peking University(北京大学)
对于研究人员来说,写一份好的研究报告是至关重要的,但需要花费大量的时间和精力。为了帮助研究人员,在本文中,我们提出了研究报告生成(RSG)的任务,旨在总结一个人的研究成果,并帮助准备一个正式的研究报告。针对这一课题,我们进行了包括语料库建设、方法设计、性能评估等多方面的尝试。首先,我们构建了一个RSG数据集,其中包含62个研究声明和相应的1,203篇出版物。由于我们的资源的限制,我们提出了一个实用的RSG方法,确定一个研究人员的研究方向的主题建模和聚类技术和提取突出的句子神经文本摘要。最后,实验表明,我们的方法优于所有的基线具有更好的内容覆盖率和一致性。
2021-04-25 cs.CL cs.IR
COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences
University of Southern California(南加州大学);Sharif University of Technology(谢里夫理工大学);University of California, Los Angeles(加州大学洛杉矶分校)
常识推理对人类来说是直观的,但对人工智能(AI)来说是一个长期的挑战。预训练语言模型的最新进展在几个常识基准数据集上显示出有希望的结果。然而,这些基准评估模型的常识推理能力的可靠性和全面性仍然不清楚。为此,我们引入了一个新的常识推理基准数据集,包括自然语言真/假语句,每个样本与其互补配对,产生4k个句子对。我们提出了一个成对的准确性度量,可靠地衡量代理的能力,执行常识推理在给定的情况下。该数据集是众包的,并通过对抗性模型在环设置进行增强,以激励具有挑战性的样本。为了便于系统地分析常识能力,我们沿着知识领域,推理场景和计算能力的维度设计我们的数据集。实验结果表明,我们最强的基线(UnifiedQA-3B),微调后,达到约71%的标准准确度和约51%的成对准确度,远低于人类的表现(两个指标约95%)。该数据集可在https://github.com/PlusLabNLP/Com2Sense上获得。
2021-06-02 cs.AI cs.CL
Impact of enriched meaning representations for language generation in dialogue tasks: A comprehensive exploration of the relevance of tasks, corpora and metrics
University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
本文研究了在对话任务中,通过提供任务示范器是否能提升微调模型的生成质量,分析了不同领域、语料特征和评估指标对生成质量的影响,发现意义增强输入在复杂任务和小数据集上效果显著,且语义指标比词汇指标更准确。
2026-03-31 cs.AI cs.CL
Uni-EDEN: Universal Encoder-Decoder Network by Multi-Granular Vision-Language Pre-training
JD AI Research(京东人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
视觉语言预训练是一个新兴且发展迅速的研究课题,它将多通道知识从资源丰富的预训练任务转移到资源有限的下游任务。与主要学习单个通用编码器的现有作品不同,我们提出了一个可预训练的通用编码器-解码器网络(Uni-EDEN),以促进视觉语言感知(例如,视觉问答)和生成(例如,图像描述)。Uni-EDEN是一个基于双流Transformer的结构,由三个模块组成:对象和句子编码器,分别学习每个模态的表示,句子解码器,通过模态间的交互实现多模态推理和句子生成。考虑到每个图像的语言表示可以跨越这个层次结构中的不同粒度,包括从简单到全面的单个标签,短语和自然句子,我们通过多粒度视觉语言代理任务预训练Uni-EDEN:掩蔽对象分类(MOC),掩蔽区域短语生成(MRPG),图像-句子匹配(ISM)和掩蔽句子生成(MSG)。通过这种方式,Uni-EDEN被赋予了多模态表示提取和语言建模的能力。大量的实验表明,令人信服的概括性的Uni-EDEN微调到四个视觉语言感知和生成下游任务。
2022-01-11 cs.CL cs.CV cs.MM
A Comprehensive Part-of-Speech Tagging to Standardize Central-Kurdish Language: A Research Guide for Kurdish Natural Language Processing Tasks
Koya University(科亚大学);Knowledge University(知识大学);University of Sulaimani(苏莱曼尼大学)
针对中部库尔德语缺乏标准化词性标签集的问题,本研究综合多方来源构建了全面准确的POS标签集,初步验证表明其能更精准地支持库尔德语NLP任务。
2025-04-28 cs.AI cs.CL
BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models
California Institute of Technology(加州理工学院);NVIDIA(英伟达)
本文提出 BiasTestGPT,利用 ChatGPT 按任意社会群体与属性组合可控生成多样化测试句,并以开源框架接入 PLM,从而更有效地检测包括交叉性偏见在内的社会偏见。
2023-12-06 cs.CL cs.CY
Overview of the VLSP 2023 -- ComOM Shared Task: A Data Challenge for Comparative Opinion Mining from Vietnamese Product Reviews
VNU University of Engineering and Technology(越南国家大学工程技术大学)
本文介绍VLSP 2023的ComOM共享任务,旨在推动越南语产品评论比较观点挖掘技术发展,构建了含120篇文档的标注数据集,要求模型提取比较五元组,以宏平均五元组F1值评估参赛模型。
2024-03-04 cs.CL cs.LG
A Multi-Perspective Analysis of Memorization in Large Language Models
The University of Tokyo(东京大学)
本研究从多视角全面分析大语言模型的记忆现象,揭示了记忆与模型规模、续写和上下文大小的关系,并通过嵌入分析、n-gram统计和熵解码动态发现边界效应,最终证明可通过上下文预测记忆。
2024-06-04 cs.AI cs.CL