Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus
Department of Electrical Engineering, Indian Institute of Technology Delhi(电子工程系,印度理工学院德里);Bharti School of Telecommunication, Indian Institute of Technology Delhi(电信学院,印度理工学院德里);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(人工智能学院,印度理工学院德里)
本文构建了全球首个含11万句的Bhili-Hindi-English平行语料库,评估多种多语言大模型并证实微调NLLB-200 distilled 600M效果最优,填补了低资源部落语言的翻译基准空白。
2025-11-01 cs.CL
Probabilistic Linguistic Knowledge and Token-level Text Augmentation
Stony Brook University(石溪大学)
本文开发了REDA和REDA$_{NG}$两种词元级文本增强程序,通过中英文二元问题匹配任务实验发现,五种词元级增强技术及概率语言学知识均缺乏一般有效性。
2023-07-03 cs.CL
Disentangling the Linguistic Competence of Privacy-Preserving BERT
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本研究通过解释技术分析差分隐私对BERT内部表示的影响,发现其降低整体相似性并损害跨词上下文的语言能力。
2023-10-17 cs.CL
A Systematic Analysis of Linguistic Features in AI-Generated English Text Detection Across Domains and Models
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所);Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart(智能系统反思交流论坛,斯图加特大学);GESIS Leibniz Institute for the Social Sciences(莱比锡社会科学院);Heinrich-Heine University Düsseldorf(杜塞尔多夫海因里希-海涅大学)
通过大规模实证研究,系统评估284个可解释语言特征在27个LLM和10个文本领域中的鲁棒性,发现词汇丰富度是跨模型和领域的最可靠信号。
2026-11-03 cs.AI cs.CL
Linguistic complexity: English vs. Polish, text vs. corpus
Institute of Nuclear Physics, Polish Academy of Sciences(波兰科学院核物理研究所);Faculty of Mathematics and Natural Sciences, University of Rzeszów(热舒夫大学数学与自然科学学院)
我们分析了在选定的英语和波兰语文本中的单词的等级频率分布。我们发现,lemmatized(基本)的单词形式的规模不变制度打破后约二十年,而它可能是一致的,为整个范围的曲折的单词形式的排名。我们还发现,由不同作者写的文本组成的语料库的基本规模不变制度被打破更强烈的情况下,可比语料库由同一作者写的文本。类似地,对于由从其他语言翻译成波兰语的文本组成的语料库,尺度不变的制度被打破得比本地波兰语文本的可比语料库更强烈。此外,我们发现,如果用适当的词性标记单词,只有动词才会显示出几乎尺度不变的秩频分布。
2010-07-06 cs.CL physics.soc-ph
Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models
University of Konstanz(康斯坦茨大学)
本文基于M4数据集和250个语言特征,结合LFTK、句法深度、语义与情感度量及PCA分析,识别人类与LLM文本在特征变异性、认知负荷和内容丰富度上的差异。
2024-12-04 cs.CL
On Detecting Messaging Abuse in Short Text Messages using Linguistic and Behavioral patterns
Symantec Ltd.(赛门铁克公司)
在过去几年中,在社交媒体和即时消息中使用短文本消息已经成为流行的通信渠道。这种日益流行的趋势导致了邮件威胁的增加,如垃圾邮件、网络钓鱼或恶意软件以及其他威胁。这些短文本消息威胁的处理可能会带来额外的挑战,例如词汇变体的存在,SMS类缩写或高级混淆,这些都会降低传统过滤解决方案的性能。通过使用来自美国的大型电信运营商和社交媒体语料库的真实短信数据集,本文分析了基于语言和行为模式的机器学习过滤器的有效性,以检测短文本垃圾邮件和网络中的滥用用户。我们还探索了不同的方法来处理短文本消息的挑战,如令牌化和实体检测使用文本规范化和子串聚类技术。结果表明,所提出的解决方案的有效性,通过增强基线的方法。
2014-08-18 cs.AI cs.CL cs.SI
Detecting Bot-Generated Text by Characterizing Linguistic Accommodation in Human-Bot Interactions
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
语言生成模型的民主化使许多领域受益,从回答与健康相关的问题到通过提供人工智能驱动的辅导服务来加强教育。然而,语言生成模型的民主化也使其更容易大规模地生成用于邪恶活动的类人文本,从传播错误信息到针对特定群体的仇恨言论。因此,了解人们如何与机器人交互并开发检测机器人生成的文本的方法至关重要。这篇论文表明,如果我们使用人们如何回应的信息,而不是直接使用机器人的文本,机器人生成的文本检测方法在数据集和模型中更鲁棒。我们还分析了语言对齐,深入了解人与人和人与机器人对话之间的差异。
2021-06-02 cs.CL
Personalized Text Generation with Fine-Grained Linguistic Control
New York University Abu Dhabi(纽约大学阿布扎比分校);Grammarly(Grammarly公司)
本文针对大语言模型可控文本生成中细粒度语言属性(如词汇和句法)控制不足的问题,提出新基准以训练和评估模型,并系统分析多种大模型性能,公开代码、数据和预训练模型。
2024-02-07 cs.CL
Language Use Matters: Analysis of the Linguistic Structure of Question Texts Can Characterize Answerability in Quora
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
Quora是近年来最受欢迎的社区Q&A网站之一。然而,这个Q&A网站上的许多问题帖子往往得不到回答。在本文中,我们量化了各种语言活动,区分一个回答的问题从一个未回答的。我们的中心发现是,用户使用语言的方式,而写的问题文本可以是一个非常有效的手段来表征可回答性。这种表征有助于我们早期预测在特定时间段t内未回答的问题最终是否会得到回答,并实现76.26%(t = 1个月)和68.33%(t = 3个月)的准确率。值得注意的是,代表用户的语言使用模式的功能是最具歧视性的,仅占74.18%的准确率。我们还比较了我们的方法与一些类似的作品(Dror等人,Yang等人)在准确度方面实现了~39%的最大改进。
2017-03-11 cs.CL cs.SI
Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text
UT Austin(得克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校);Boston University(波士顿大学)
本文研究了如何从大型文本语料库中挖掘语言知识,以帮助生成视频的自然语言描述。具体来说,我们将神经语言模型和分布式语义训练的大型文本语料库到最近的LSTM为基础的架构的视频描述。我们评估我们的方法上收集的Youtube视频,以及两个大型电影描述数据集显示显着改善语法,同时适度提高描述质量。
2016-11-29 cs.CL cs.CV
AdParaphrase: Paraphrase Dataset for Analyzing Linguistic Features toward Generating Attractive Ad Texts
CyberAgent, Inc.(CyberAgent公司);Nara Institute of Science and Technology(奈良科学技术研究所);Institute of Science Tokyo(东京科学大学)
针对广告文本吸引力相关语言特征研究缺乏含人类偏好的公开数据集等问题,提出复述数据集AdParaphrase,分析得出人类偏好的广告文本特征,并基于此提升生成模型的广告吸引力。
2025-02-11 cs.AI cs.CL
IWLV-Ramayana: A Sarga-Aligned Parallel Corpus of Valmiki's Ramayana Across Indian Languages
Insight Publica(洞察公共)
本文介绍了一个跨印度语言的瓦尔米基Ramayana章节对齐平行语料库,包含英语、马拉雅拉姆语等完整层,其他语言层正在生产中,采用结构化JSONL格式,具备明确的来源元数据,适用于比较文学、语料库语言学等领域。
2026-03-21 cs.CL
GRUEN for Evaluating Linguistic Quality of Generated Text
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动评估指标是必不可少的评估生成的文本。到目前为止,这些指标几乎完全集中在系统输出的内容选择方面,完全忽略了语言质量方面。我们通过提出GRUEN来评估生成文本的语法性、非冗余性、焦点、结构和连贯性,从而弥合了这一差距。GRUEN利用基于BERT的模型和一类语法、语义和上下文特征来检查系统输出。与大多数现有的评估指标需要人类参考作为输入不同,GRUEN是无参考的,只需要系统输出。此外,它具有无监督,确定性和适应各种任务的优点。在七个数据集上进行的四个语言生成任务的实验表明,该度量与人类的判断高度相关。
2020-10-06 cs.CL
ERUPD -- English to Roman Urdu Parallel Dataset
Muffakham Jah College of Engineering and Technology(穆法卡姆·贾工程技术学院)
本研究构建了包含75,146个句子对的英语至罗马乌尔都语平行数据集ERUPD,通过结合高级提示工程生成的合成数据与真实对话数据,并经人工评估完善,为机器翻译等任务提供重要资源。
2024-12-23 cs.CL
Diverse Linguistic Features for Assessing Reading Difficulty of Educational Filipino Texts
National University(国立大学);De La Salle University(德拉萨大学)
为了保证学习的质量和有效性、流畅性和理解力,应注意正确识别阅读材料的难度。在本文中,我们描述了开发的自动机器学习为基础的可读性评估模型的教育菲律宾语文本使用最多样化的语言功能。结果表明,使用随机森林模型获得了62.7%的准确率方面的高性能,和66.1%时,使用的最佳组合的特征集组成的传统和音节模式为基础的预测。
2021-07-31 cs.CL cs.LG
The Parallel Meaning Bank: A Framework for Semantically Annotating Multiple Languages
Center for Language and Cognition, University of Groningen(格罗宁根大学语言与认知中心)
本文给出了一个一般性的描述的想法背后的并行意义银行,一个框架,旨在提供一个简单的方法来注释组成语义的语言以外的其他语言写的文本。注释过程是半自动的,包括七层语言信息:分割,符号化,语义标记,词义消歧,句法结构,主题角色标签,和共指。只要文档是基于英语翻译的,就可以将新的语言添加到意义库中,但也会对并行意义库的语言学假设提出新的有趣挑战。
2020-12-29 cs.CL
Enhancing Linguistic Competence of Language Models through Pre-training with Language Learning Tasks
School of Computer Science, University of Sheffield, United Kingdom(谢菲尔德大学计算机科学学院,英国)
本文提出L2T框架,结合语言学习任务与标准预测任务,提升语言模型在语言能力评估中的表现,同时保持推理任务的竞争力。
2026-04-15 cs.CL
A new approach for extracting the conceptual schema of texts based on the linguistic Thematic Progression theory
Complutense University of Madrid(马德里康普顿斯大学)
本文旨在通过主位推进理论的应用,提出一种新的发现和标记语篇内隐概念图式的方法。基本的概念模式是生成真正符合文本语义的摘要的核心组成部分。
2020-10-14 cs.CL
How Well Does Mathematical Reasoning Transfer Across Languages in English-Centric LLMs?
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
该研究从跨语言视角探究大型推理模型的推理泛化问题,提出并行缩放定律等三项关键发现,揭示跨语言推理迁移的幂律规律,为开发语言无关的推理模型提供参考。
2026-10-23 cs.AI cs.CL
Explaining Generalization of AI-Generated Text Detectors Through Linguistic Analysis
University of Vienna(维也纳大学);Saarland University(萨尔大学)
本文通过语言分析研究AI生成文本检测器的泛化行为,发现其性能与动词时态和代词频率等语言特征密切相关。
2026-01-26 cs.CL
Linguistic Structure as Composition and Perturbation
本文讨论了从未经处理的文本和语音信号中学习语言的问题,重点讨论了学习词汇的问题。特别是,它认为语言的表示,其中语言参数,如单词是通过扰动现有参数的组成。在文本分割和压缩,从原始语音的词典的收购,以及收购文本和人工表示的意义之间的映射的几个例子证明了这种表示的力量。
1996-06-21 cmp-lg cs.CL
Towards automatic identification of linguistic politeness in Hindi texts
Dr. Bhim Rao Ambedkar University(比姆·拉奥·安贝德卡博士大学)
在本文中,我提出了一个分类的自动识别语言礼貌印地语文本。我已经使用了超过25,000条博客评论的手动注释语料库来训练SVM。本文运用话语礼貌和插入礼貌的研究方法,阐述了印地语中规范的、规约化的礼貌结构。可以看出,使用这些手动识别的结构作为训练SVM的特征,显着提高了测试集上的分类器的性能。经过训练的系统提供了超过77%的显着高准确度,这是人类准确度的2%以内。
2021-11-30 cs.CL
Integration Of Visual Inter-word Constraints And Linguistic Knowledge In Degraded Text Recognition
降级文本识别是一项艰巨的任务。给定一个有噪声的文本图像,可以应用单词识别器来为每个单词图像生成几个候选。然后,可以使用高级知识源从每个单词图像的候选集合中选择决策。在本文中,我们提出,视觉字间的限制,可以用来促进候选人的选择。视觉词间约束提供了一种在文本页面内链接词图像并系统地解释它们的方法。
1994-05-06 cmp-lg cs.CL
Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures
Google Research(谷歌研究院)
语言类型资源在自然语言处理中的应用越来越受欢迎。已经观察到,类型信息的使用,通常与分布式语言表示相结合,导致更强大的模型。虽然来自各种资源的语言类型学表示主要用于调节模型,但相对较少关注从输入数据预测来自这些资源的特征。在本文中,我们调查是否可以可靠地推断出从多语种文本的语言结构(WALS)的世界地图集的各种语言特征。这样的预测器可以用于推断从未在训练数据中观察到的语言的结构特征。我们将此任务视为一个多标签分类,涉及预测非互斥和极其稀疏的多值标签(WALS特征)的集合。我们构建了一个基于字节嵌入和卷积层的递归神经网络预测器,并在556种语言上测试了其性能,为各种语言类型、宏观区域、语言家族和个体特征提供了分析。我们表明,从各种语言类型的一些功能可以可靠地预测。
2020-05-04 cs.CL cs.LG
Differentiating Between Human-Written and AI-Generated Texts Using Automatically Extracted Linguistic Features
University of Nicosia(尼科西亚大学)
本研究通过分析人类与AI生成文本的语言特征,揭示了AI在模仿人类写作方面的局限性,并强调了自动化工具在语言评估中的重要性。
2026-02-17 cs.AI cs.CL
The effect of linguistic constraints on the large scale organization of language
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学)
本文研究了语言约束对语言大规模组织的影响。它描述了语言网络的性质,使用书面语言的文本与随机的话。这些属性相比,获得的网络建立在文本中的自然顺序。研究发现,“随机”网络也具有小世界和无标度特性。它们也显示出高度的集群性。这确实是一个令人惊讶的结果-一个在文献中没有得到充分解决的结果。我们假设,这里研究的许多网络统计数据实际上是构建网络的基础数据分布的函数,并且可能不指示有关网络的性质。
2011-02-15 cs.CL cs.SI
Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models
Google Research(谷歌研究院)
针对LLM合成数据集在语义、句法和词汇上的重复问题,本文提出交互式可视化工具LinguisticLens,通过多轴聚类与分层浏览帮助分析其语言多样性。
2023-09-27 cs.AI cs.CL
Linguistic and Embedding-Based Profiling of Texts generated by Humans and Large Language Models
Department of Politics and Public Administration University of Konstanz(政治与公共管理系 康斯坦茨大学)
本研究针对LLM生成文本与人类文本难区分的问题,通过多层面语言学特征及风格嵌入分析8领域11种LLM的文本,发现人类文本句法更简单语义更多样,且新模型生成文本呈同质化趋势。
2025-09-30 cs.AI cs.CL
Linear models and linear mixed effects models in R with linguistic applications
University of California, Merced(加州大学默塞德分校)
本文是一个概念性的介绍混合效果建模与语言应用,使用R编程环境。读者被引入到线性建模和假设,以及混合效应/多水平建模,包括随机截距,随机斜率和似然比检验的讨论。在整个文本中使用的例子集中在语音音高数据的语音分析。
2013-08-26 cs.CL
PAT: Parallel Attention Transformer for Visual Question Answering in Vietnamese
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
该研究提出并行注意力机制与层级语言特征提取器,构建 PAT 模型,用于越南语视觉问答,并在 ViVQA 上超过基线及 SAAA、MCAN 等方法,取得最佳准确率。
2023-07-17 cs.CL
Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models
Boston University(波士顿大学);Deccan AI(德干人工智能公司);Monash University Indonesia(莫纳什大学印度尼西亚分校);Capital One(第一资本金融公司)
本研究提出融合等价约束理论与大语言模型的EZSwitch框架,生成符合语言学规则的流畅语码转换文本,构建CSPref人类偏好数据集,验证了语言学约束可提升生成质量与人类对齐度。
2024-10-30 cs.CL
Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
语言隐写学研究如何在自然语言的封面文本中隐藏秘密信息。传统的方法是通过词汇替换或语法修改将秘密消息转换为无害的文本。最近,神经语言模型(LM)的进步使我们能够直接生成的秘密消息的条件下的封面文字。在这项研究中,我们提出了一种新的语言隐写方法,使用自调整算术编码的秘密信息的神经语言模型的基础上。我们正式分析了该方法的统计不可感知性,并在四个数据集上实证表明,在比特/字和KL度量方面,它分别比以前的最先进方法高出15.3%和38.9%。最后,人工评估表明,51%的生成的封面文本确实可以欺骗窃听者。
2020-10-01 cs.CL cs.CR
How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
当前的语言模型可以生成高质量的文本。他们只是简单地复制他们以前看过的文本,还是他们学会了概括的语言抽象?为了梳理除了这些可能性,我们介绍了RAVEN,一套分析,用于评估生成的文本的新颖性,专注于顺序结构(n-gram)和句法结构。我们将这些分析应用于四个神经语言模型(LSTM,Transformer,Transformer-XL和GPT-2)。对于本地结构-例如,个体依赖性-模型生成的文本基本上不如我们从每个模型的测试集中人工生成的文本的基线新颖。对于较大规模的结构,例如,整体句子结构-模型生成的文本与人类生成的基线一样新颖,甚至更新颖,但模型有时仍然大量复制,在某些情况下,从训练集中复制超过1,000个单词的段落。我们还进行了大量的手动分析,表明GPT-2的小说文本通常在形态和句法上都是格式良好的,但有相当频繁的语义问题(例如,自相矛盾)。
2021-11-18 cs.CL
CLARITY: Contextual Linguistic Adaptation and Accent Retrieval for Dual-Bias Mitigation in Text-to-Speech Generation
CLARITY通过双信号优化缓解文本到语音生成中的双偏见问题,通过语境语言适应和检索增强口音提示提高口音准确性和公平性。
2026-02-17 cs.CL cs.SD
Fishing for Clickbaits in Social Images and Texts with Linguistically-Infused Neural Network Models
University of Notre Dame(圣母大学);Western Washington University(西华盛顿大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文介绍了我们参与2017年关于社交媒体中自动点击诱饵检测的Clickbait挑战赛的结果和结论。我们首先描述语言注入神经网络模型和识别信息表示来预测Twitter帖子中存在的点击诱饵的水平。我们的模型不仅可以回答帖子是否是点击诱饵的问题,还可以回答在多大程度上是点击诱饵的问题,例如,使用0到1的分数,完全没有、轻微、相当大或严重的点击率。我们评估了在从推文中提取的各种文本和图像表示上训练的模型的预测能力。我们的最佳性能模型依赖于从推文和相应页面中提取的推文文本和偏见语言的语言标记,在保留的测试数据上产生的均方误差(MSE)为0.04,平均绝对误差(MAE)为0.16,R2为0.43。对于二进制分类设置(点击诱饵与非点击诱饵),我们的模型获得了0.69的F1分数。我们还没有发现图像表示与文本相结合会产生显着的性能改善。尽管如此,这项工作是第一次对使用Google Tensorflow目标检测API从点击诱饵与非点击诱饵Twitter帖子中的图像中提取的对象进行初步分析。最后,我们概述了几个步骤,以提高模型的性能,作为未来工作的一部分。
2017-10-17 cs.CL cs.LG cs.SI
Linguistic Descriptions for Automatic Generation of Textual Short-Term Weather Forecasts on Real Prediction Data
Research Centre on Information Technologies (CiTIUS), University of Santiago de Compostela(圣地亚哥-德孔波斯特拉大学信息技术研究中心(CiTIUS));MeteoGalicia(加利西亚气象局)
在本文中,我们提出了一个应用程序,自动生成文本的每个城市在加利西亚(西班牙西北部)的短期天气预报,使用加利西亚气象局(MeteoGalicia)提供的真实数据。该解决方案以创新的方式将计算与感知技术和数据语言描述策略与自然语言生成(NLG)系统相结合。名为GALiWeather的应用程序从天气预报输入数据中提取相关信息,并使用语言变量和时间参考将其编码为中间描述。这些描述随后由自然语言生成系统翻译成自然语言文本。所获得的预测结果已经由来自MeteoGalicia的气象专家使用质量评估方法进行了彻底验证,该方法涵盖了文本的两个关键方面:其内容的准确性和其形式的正确性。在此验证之后,GALiWeather将作为一项真正的服务发布,为广大公众提供定制预报。
2014-11-18 cs.AI cs.CL
Contrastive Analysis of Linguistic Representations in Large Language Model Outputs through Structured Synthetic Data Generation and Abstracted N-gram Associations
Universidad Nacional de Córdoba(国家科罗纳大学);CONICET
本文提出一种通过对比合成文本生成和统计分析发现不同社会群体关联语言和论述模式的方法,重点在于识别细微的偏见表达而非预定义词汇列表诊断偏见,利用上下文数据进行分析。
2026-04-19 cs.CL
Linguistic Information Energy
CACI(CACI公司)
在这种处理中,文本被认为是一系列以恒定速率阅读的单词脉冲。然后,大脑将这些信息单元组装成更高的意义单元。一个经典的系统方法是用来模拟这个装配过程的初始部分。定义并分析了语言系统反应、信息能和有序能的概念。最后,作为一个示范,信息能量被用来估计一系列文本的出版日期和一组文本的相似性。
2007-10-14 cs.CL cs.IT math.IT
Linguistic Characteristics of AI-Generated Text: A Survey
Faculty of Arts, University of Ljubljana(卢布尔雅那大学文学院);Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Jožef Stefan Institute(约瑟夫·斯特凡研究所)
本综述系统梳理AI生成文本的语言特征研究,发现其更正式、词汇多样性低且重复,并指出当前研究集中于英语和GPT模型,呼吁跨语言跨模型及多提示研究。
2025-10-01 cs.AI cs.CL
Tabula nearly rasa: Probing the Linguistic Knowledge of Character-Level Neural Language Models Trained on Unsegmented Text
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院);UPF Linguistics Department(庞培法布拉大学语言学系)
递归神经网络(RNN)在许多自然语言处理任务中取得了惊人的性能。这重新引起了人们对这些通用序列处理设备是否诱导真正的语言知识的兴趣。然而,几乎所有当前的分析研究都用已知单词的词汇表初始化RNN,并在训练过程中为它们提供标记化的输入。我们提出了一个多语言的语言知识编码的RNN训练字符级语言模型,在输入数据与词边界删除的研究。这些网络面临着一个更艰难、更现实的认知任务,必须根据输入统计数据从头开始发现任何有用的语言单元。结果表明,我们的“near tabula rasa”RNN大多能够解决直观地假设单词级别知识的形态,句法和语义任务,并且确实在某种程度上学会了跟踪单词边界。我们的研究为语言学习和使用中明确的、严格的词汇库的必要性的思考打开了大门。
2019-06-17 cs.CL
The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text
École Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院、巴黎理工学院);Linagora(Linagora公司);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inria(法国国家信息与自动化研究所)
该研究通过递归微调实验和词汇、句法、语义多样性指标,揭示语言模型在前代生成的合成文本上反复训练会导致输出多样性持续下降。
2024-04-16 cs.CL
CLEAR: A Comprehensive Linguistic Evaluation of Argument Rewriting by Large Language Models
University of St. Gallen(圣加尔登大学)
本文提出CLEAR评估流程,通过57个指标从词汇、句法、语义和语用四个层面分析大语言模型在论辩改进任务中的重写行为,发现模型倾向于缩短文本、增加平均词长并合并句子,从而提升说服力与连贯性。
2025-09-18 cs.AI cs.CL
LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching
State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院教育部人工智能重点实验室)
中文短文本匹配是自然语言处理中的一项基本任务。现有的方法通常采用汉字或词作为输入标记。它们有两个局限性:1)有些汉语词是多义词,语义信息没有得到充分利用。2)某些模型会遇到由分词引起的潜在问题。在这里,我们引入知网作为外部知识库,并提出了一个语言知识增强图Transformer(LET)来处理单词歧义。此外,我们采用词格图作为输入,以维护多粒度的信息。我们的模型也是对预训练的语言模型的补充。在两个中文数据集上的实验结果表明,我们的模型优于各种典型的文本匹配方法。消融研究还表明,语义信息和多粒度信息是文本匹配建模的重要。
2021-02-25 cs.AI cs.CL
Understanding Social Media Cross-Modality Discourse in Linguistic Space
The Hong Kong Polytechnic University(香港理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
带有文本和图像的多媒体通信在社交媒体上很受欢迎。然而,有限的研究关注如何图像与文本的结构,形成连贯的意义在人类认知。为了填补这一空白,我们提出了一个新的跨模态话语的概念,反映了人类读者如何耦合图像和文本的理解。在多媒体环境中,文本描述首先来自图像(称为字幕)。五个标签-实体级插入,投影和具体化和场景级重述和扩展-进一步被用来塑造字幕和文本的结构,并呈现它们的联合意义。作为试点研究,我们还建立了第一个包含16 K多媒体推文的数据集,其中包含手动注释的话语标签。实验结果表明,基于带字幕的多头注意力的多媒体编码器能够获得较好的编码效果。
2023-02-26 cs.CL cs.MM cs.SI
Controlling Linguistic Style Aspects in Neural Language Generation
Bar-Ilan University(巴伊兰大学)
神经自然语言生成(NNLG)的大部分工作都集中在控制生成文本的内容上。我们尝试控制生成的文本的几个风格方面,除了它的内容。该方法基于条件RNN语言模型,其中所需的内容以及风格参数作为条件上下文。我们展示了电影评论域的方法,并表明它是成功的生成连贯的句子对应所需的语言风格和内容。
2017-07-09 cs.CL
Explainability of machine learning approaches in forensic linguistics: a case study in geolinguistic authorship profiling
University of Birmingham(伯明翰大学);University of Helsinki(赫尔辛基大学);University of Oslo(奥斯陆大学);University Sorbonne Nouvelle(新索邦大学)
本文以德语区社交媒体数据为对象,研究机器学习语言变体分类在法庭地理语言画像中的可解释性,识别出最具影响力的词汇特征,并发现模型分类同时依赖代表性词汇和地名。
2024-07-01 cs.CL
Ace-CEFR -- A Dataset for Automated Evaluation of the Linguistic Difficulty of Conversational Texts for LLM Applications
针对短对话文本语言难度评估需求未被满足的问题,研究推出经专家标注难度等级的英语对话数据集Ace-CEFR,实验显示基于该数据集训练的模型难度测量准确度优于人类专家且延迟适配生产环境,数据集已公开供研发使用。
2025-06-16 cs.AI cs.CL
Visualizing Linguistic Shift
Stony Brook University(石溪大学)
基于神经网络的模型是创建词嵌入的非常强大的工具,这些模型的目标是将相似的词组合在一起。这些嵌入已被用来作为功能,以改善在各种应用程序,如文档分类,命名实体识别等神经语言模型的结果能够学习单词表示已被用来捕捉跨时间和地理的语义变化。本文的目的是首先识别,然后可视化如何在不同的文本语料库中的词的意义变化。我们将训练一个神经语言模型的文本从不同的学科,哲学,宗教,小说等,每个文本将改变嵌入的话,以代表该文本中的单词的含义。我们将提出一种计算技术来检测在意义和用法上表现出显著语言转变的单词。然后,我们使用增强的散点图和故事情节可视化可视化的语言转变。
2016-11-20 cs.CL cs.HC
Exploiting Language Model for Efficient Linguistic Steganalysis
语言隐写分析的最新进展相继应用了CNN、RNN、GNN和其他有效的深度模型来检测生成文本中的秘密信息。这些方法倾向于寻求更强的特征提取器以达到更高的隐写分析效果。然而,我们通过实验发现,在单个单词的条件概率分布方面,自动生成的隐写文本与载体文本实际上存在显著差异。这种差异可以通过用于生成隐写文本的语言模型自然地捕获。通过进一步的实验,我们得出结论,这种能力可以移植到一个文本分类器的预训练和微调,以提高检测性能。基于这种认识,我们提出了两种有效的语言隐写分析方法。一种是基于RNN预训练语言模型,另一种是预训练序列自动编码器。结果表明,与随机初始化的RNN相比,两种方法都有不同程度的性能增益,且收敛速度明显加快。此外,我们的方法取得了最好的性能相比,相关的作品,同时提供了一个解决方案,为现实世界中的情况下,有更多的封面文本比隐写文本。
2022-02-02 cs.CL cs.MM
Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts
CNRS(法国国家科学研究中心);University of Lorraine(洛林大学);Sorbonne Nouvelle University(新索邦大学);Institut Universitaire de France(法国大学研究院);University of Strasbourg(斯特拉斯堡大学)
本文提出Chain-of-MetaWriting方法,通过细粒度语言学与文本分析探究小型语言模型(SLMs)模仿人类写作步骤的能力,发现其在法语写作任务中处理敏感话题及文本连贯性上存在不足。
2024-12-19 cs.CL
Contrasting Linguistic Patterns in Human and LLM-Generated News Text
Universidade da Coruña(拉科鲁尼亚大学);CITIC
本文通过多维度语言特征定量对比人类与六种LLM生成的新闻文本,发现两者在句法、词汇、情绪、毒性及偏见等方面存在显著差异,且LLM间差异小于人机差异。
2024-09-02 cs.CL
Open architecture for multilingual parallel texts
多语言平行文本(英语:Multilingual parallel texts,缩写为parallel texts)是相同内容的语言版本(“translations”);例如,《马斯特里赫特条约》英文本和西班牙文本是平行文本。本文档是关于创建一个开放式架构的整个创作,翻译和出版链(ATP链)的并行文本处理。
2008-08-28 cs.CL
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来,非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功,但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力,这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品,并且本质上具有有限的基于规则的模型空间,因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此,我们提出了一种称为基于图Transformer的自动编码器(GTAE)的方法,该方法将句子建模为语言图,并在图级别上执行特征提取和风格转换,以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明,我们的模型优于国家的最先进的方法,在内容保存,同时实现了相当的性能,转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV