Dynamically Allocated Interval-Based Generative Linguistic Steganography with Roulette Wheel
School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院)
本文提出DAIRstega,一种基于动态区间分配和轮盘赌的生成式语言学隐写方案,通过按令牌条件概率分配区间长度提升隐写质量与隐蔽性,并支持可控生成和反隐写分析。
2025-03-28 cs.CL
LSTMs Exploit Linguistic Attributes of Data
University of Washington(华盛顿大学);University of Colorado(科罗拉多大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
虽然递归神经网络在各种自然语言处理应用中取得了成功,但它们是序列数据的通用模型。我们研究了自然语言数据的属性如何影响LSTM学习非语言任务的能力:从输入中回忆元素。我们发现,在自然语言数据上训练的模型比在非语言序列数据上训练的模型能够从更长的序列中召回令牌。此外,我们证明了LSTM通过显式使用其神经元的子集来计算输入中的时间步来学习解决记忆任务。我们假设自然语言数据中的模式和结构使LSTM能够通过提供减少损失的近似方法来学习,但是理解不同训练数据对LSTM可学习性的影响仍然是一个悬而未决的问题。
2019-04-05 cs.CL
A Latent-Variable Model for Intrinsic Probing
本文提出一种潜变量模型用于内在探针,通过变分近似估计互信息,能更精确地定位语言属性编码位置,并发现预训练表示具有跨语言纠缠的形态句法特征。
2025-08-07 cs.CL
(Psycho-)Linguistic Features Meet Transformer Models for Improved Explainable and Controllable Text Simplification
RWTH Aachen University(亚琛工业大学);University of Amsterdam(阿姆斯特丹大学)
现有的文本简化系统采用端到端的神经网络模型来直接生成输入文本的简化版本,并且通常起到黑盒的作用。此外,TS通常被视为一个通用的通用任务的假设下的同质性,其中相同的简化是适合所有。然而,近年来,人们日益认识到,有必要使简化方法适应不同目标群体的具体需要。在这项工作中,我们的目标是从两个方面推进当前对可解释和可控TS的研究:首先,基于最近提出的增加TS系统透明度的工作,我们使用了大量的(心理)语言特征与预先训练的语言模型相结合,以提高可解释的复杂性预测。其次,基于这个初步任务的结果,我们扩展了最先进的Seq 2Seq TS模型ACCESS,以实现对10个属性的显式控制。实验结果表明:(1)我们的方法提高了预测可解释复杂度的最新模型的性能;(2)明确地将Seq 2Seq模型条件化为10个属性,导致域内和域外设置的性能显着提高。
2022-12-19 cs.CL
Profiling Patient Transcript Using Large Language Model Reasoning Augmentation for Alzheimer's Disease Detection
Inventec Corporation(英业达股份有限公司)
提出利用大语言模型推理增强的患者转录分析框架,系统提取语言缺陷属性并整合到Albert模型,在ADReSS数据集上显著提升AD检测准确率和F1,增强可解释性。
2024-09-19 cs.CL
Linguistic Binding in Diffusion Models: Enhancing Attribute Correspondence through Attention Map Alignment
Bar-Ilan University(巴伊兰大学);Allen Institute for AI(艾伦人工智能研究所);NVIDIA(英伟达)
本文提出SynGen方法,通过句法分析识别实体与修饰语,并在推理时优化交叉注意力图对齐语言绑定,无需重新训练即可显著提升文本到图像生成中属性对应的忠实度。
2024-01-23 cs.CL cs.CV
From Visual Attributes to Adjectives through Decompositional Distributional Semantics
Thomas J. Watson Research Center, IBM(IBM托马斯·J·沃森研究中心);Center for Mind/Brain Sciences(心智/脑科学中心);University of Trento(特伦托大学)
随着自动化图像分析的发展,人们越来越感兴趣的是图片的更丰富的语言注释,具有对象的属性(例如,毛茸茸的,棕色的.)吸引了最多的注意力。通过建立在最近的“零样本学习“的方法,并注意到作为名词修饰语的属性的语言性质,特别是形容词,我们表明,即使没有包含相关注释的训练数据,也可以用表示属性的形容词来标记图像。我们的方法依赖于两个关键的观察结果。首先,对象可以被看作是属性的集合,通常用形容词修饰语来表示(狗是毛茸茸的、棕色的东西等),并且因此被训练为将对象的视觉表示映射到名义标签的函数可以隐式地学习将属性映射到形容词。第二,对象和属性在图片中聚集在一起(同样的东西是一只狗,它是棕色的)。因此,我们可以实现更好的属性(和对象)标签检索处理图像作为“视觉短语”,并将其语言表示分解成一个属性表示形容词和对象表示名词。我们的方法执行的方法,利用手动属性标注,它优于各种竞争对手的替代品在属性和对象注释,它自动构造属性为中心的表示,显着提高性能的监督对象识别。
2015-03-24 cs.CL cs.CV
Diversidade linguística e inclusão digital: desafios para uma ia brasileira
Departamento de Letras Vernáculas(本土语言系);Universidade Federal de Sergipe - UFS(塞尔希培联邦大学 - UFS)
本文探讨语言多样性在生成AI发展中的威胁,分析技术应用中多样性选择偏差的影响及标准化语言的恶性循环。
2024-11-02 cs.CL cs.CY
A Layered Grammar Model: Using Tree-Adjoining Grammars to Build a Common Syntactic Kernel for Related Dialects
GRIMAAG;Université des Antilles et de la Guyane(安的列斯-圭亚那大学)
本文描述了一组相关方言的核心语法的通用句法描述的设计。通用描述不依赖于抽象的子语言结构,如元语法:它包含在单个FS-LTAG中,其中实际的特定语言作为为特征定义的属性类型集中的属性之一。当lang属性被实例化时,所选的语法子集等价于一种方言的语法。当它不是,我们有一个混合多方言语言系统的模型。这一原则适用于西大西洋地区的一组克里奥尔语,即海地,瓜德罗普岛,马提尼克岛和法属圭亚那的法语克里奥尔语。
2008-10-07 cs.CL
Comprehending Lexical and Affective Ontologies in the Demographically Diverse Spatial Social Media Discourse
Old Dominion University(欧道明大学);University of Memphis(孟菲斯大学)
本研究通过机器学习分类器分析两个人口多样化群体的空间社交媒体评论,发现语言和情感特征能有效区分群体(宏F1约0.85),而n-gram词汇特征与微调变换器模型表现更优(准确率超95%,宏F1超0.96),为社交媒体文本人口模式分析提供指导。
2023-11-12 cs.CL
Predictive linguistic cues for fake news: a societal artificial intelligence problem
Universiti Brunei Darussalam(文莱达鲁萨兰大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
媒体新闻是公众舆论的重要组成部分,因此,绝不能是假的。网站、博客和社交媒体上的新闻在发布之前必须进行分析。在本文中,我们提出了媒体新闻项目的语言特征,以区分假新闻和真正的新闻使用机器学习算法。神经假新闻生成,机器创建的标题,机器生成的文本和图像标题中的语义不一致是其他类型的假新闻问题。这些问题使用神经网络,主要控制分布特征,而不是证据。我们提出了应用特征集和类之间的相关性,以及特征之间的相关性来计算相关属性评价度量和协方差度量来计算新闻项上属性的方差。观察到具有高度量值的特征唯一、负、正和基数,以提供高的曲线下面积(AUC)和F1分数。
2022-11-26 cs.CL cs.LG
Blackbird Language Matrices: A Framework to Investigate the Linguistic Competence of Language Models
Idiap Research Institute(Idiap研究机构);University of Geneva(日内瓦大学)
黑鸟语言矩阵通过结构化数据集研究语言模型的语言能力与系统性模式识别
2026-02-24 cs.CL
Calculated attributes of synonym sets
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心应用数学研究所)
本文提出的形式化的目标是尽可能地将同义词概念的理论语言学问题和通常基于经验直觉的不合理因素的计算机语言学方法结合起来。利用词向量表示方法,提出了同义词集的几何建模方法。词嵌入是基于神经网络(Skip-gram,CBOW)的,由T.米科洛夫标准余弦相似度被用作词向量之间的距离。介绍了同义集合词的几个几何特征:同义集合内部、同义集合词的秩和中心性。这些概念旨在选择最重要的同义词集单词,即意义最接近同义词集意义的单词。一些实验提出的概念,根据RusVectores资源,表示。有关这项工作的简要说明,请参见幻灯片https://goo.gl/K82Fei
2018-03-05 cs.CL cs.IR
Marked Pedagogies: Examining Linguistic Biases in Personalized Automated Writing Feedback
Stanford University(斯坦福大学)
研究探讨了四种常用LLM在不同学生属性下生成写作反馈的偏见,揭示了基于种族、语言等属性的反馈偏差,提出需提高自动反馈工具的透明度和问责性。
2026-03-12 cs.CL cs.HC
DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity
University of Pennsylvania(宾夕法尼亚大学);National Institutes of Health(美国国立卫生研究院)
本文提出DiverseDialogue方法,通过基于真实人类交互特征自动优化提示,显著提升LLM模拟对话的人类相似性和语言多样性,平均特征误差降低54%。
2024-08-30 cs.CL
Systematic improvement of user engagement with academic titles using computational linguistics
State University of New York at Albany(纽约州立大学奥尔巴尼分校);The Academic College of Tel Aviv Yaffo(特拉维夫雅法学院)
本文介绍了一种新的方法,系统地改善信息的互动,完全基于它的措辞。在跨学科的文献回顾之后,我们认识到了推动用户参与的三个关键属性:(1)新颖性(2)熟悉性(3)重复性。基于这些属性,我们开发了一个模型,使用计算语言学,自然语言处理(NLP)和文本分析(词频,情感分析和词汇替换)系统地改进给定的内容。我们进行了一项试点研究(n=216),其中该模型被用来正式评估和优化的学术职称。使用组间设计(A/B检验)比较对原始和修改(治疗)标题的反应。收集数据用于选择和评估(用户参与度量表)。试点结果表明,用户对数字信息的参与是由所使用的措辞促进的,也许取决于所使用的措辞。它们还提供了经验支持,可以系统地评估和制作引人入胜的内容。初步结果表明,修改后的标题(治疗)有显着更高的分数的信息使用和用户参与(选择和评价)。我们建议,计算语言学是一个有用的方法来优化信息交互。基于经验的见解可以为数字内容战略的制定提供信息,从而提高信息交互的成功率。
2019-06-23 cs.CL cs.DL cs.HC
Characterizing Interconnections and Linguistic Patterns in Twitter
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
社交媒体被认为是一个民主的空间,人们在其中相互联系和互动,而不管他们的性别,种族或任何其他人口统计学方面。尽管许多人努力探索社交媒体中的人口统计学方面,但仍不清楚社交媒体是否会延续线下世界的旧不平等。在这篇论文中,我们尝试使用Face++中先进的图像处理算法来识别位于美国的Twitter用户的性别和种族。我们调查了不同的人口群体如何相互联系,并在语言风格和他们的兴趣方面区分他们。我们量化了一个群体在多大程度上相互关注和互动,以及这些联系和互动在多大程度上反映了Twitter中的不平等。我们还提取语言特征,从六个类别(情感属性,认知属性,词汇密度和意识,时间参考,社会和个人的关注,以及人际焦点),以确定他们在Twitter上分享的消息的相似性和差异。此外,我们提取了人口统计组之间的顶级短语的绝对排名差异。作为多样性的一个维度,我们使用我们从每个用户那里检索到的感兴趣的主题。我们的分析表明,在Twitter上,被识别为白人和男性的用户往往在追随者数量和在另一个用户列表中的次数方面获得更高的位置。在性别和种族领域以及感兴趣的主题方面,不同人口群体的写作方式存在明显差异。我们希望我们的努力能够促进在线空间人口统计信息新理论的发展。最后,我们开发了一个基于Web的系统,利用用户的人口统计方面提供透明度的Twitter趋势主题系统。
2018-03-30 cs.CL cs.SI
Development of Compositionality and Generalization through Interactive Learning of Language and Action of Robots
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出一种基于自由能原理的脑启发神经网络模型,整合视觉、本体感觉与语言进行预测编码与主动推理,发现增加任务组合训练变体可显著提升机器人对未学习动名词组合的泛化能力,且视觉注意力与工作记忆对实现目标至关重要。
2024-07-23 cs.AI cs.CL cs.RO
A Predictive Model of Digital Information Engagement: Forecasting User Engagement With English Words by Incorporating Cognitive Biases, Computational Linguistics and Natural Language Processing
State University of New York at Albany(纽约州立大学奥尔巴尼分校);Google(谷歌公司)
本研究提出READ模型,结合认知偏差、计算语言学和自然语言处理预测数字信息参与度,通过大规模调查验证,以84%准确率区分同义词参与度,具有跨领域应用潜力。
2023-07-26 cs.CL cs.HC cs.LG
Analyzing the temporal dynamics of linguistic features contained in misinformation
Misinformation-Monitor(虚假信息监测机构)
本研究利用自然语言处理分析2010-2024年PolitiFact陈述,揭示错误信息语言特征的时间动态,发现情感随时间下降、近期错误信息集中于社交网络来源且负面情感更多,并识别出不同实体类型在错误与准确信息中的分布差异。
2025-03-10 cs.CL cs.SI
Demographic Attributes Prediction from Speech Using WavLM Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种基于 WavLM 嵌入的语音人口统计属性预测框架,在年龄和性别等任务上显著提升准确率与误差表现。
2025-02-17 cs.AI cs.CL
Human Preferences for Constructive Interactions in Language Model Alignment
University of Cambridge(剑桥大学);King’s College London(伦敦国王学院)
本研究基于74国、7500余段对话的多文化数据集,探究人类对LLM建设性互动的偏好特征,发现用户普遍偏好严谨细致的回复,且用户可设定对话基调,LLM会复刻用户的语言特征。
2025-03-05 cs.AI cs.CL cs.CY
Gaussian Smoothen Semantic Features (GSSF) -- Exploring the Linguistic Aspects of Visual Captioning in Indian Languages (Bengali) Using MSCOCO Framework
Computer & Information Science & Engineering Department, University of Florida(佛罗里达大学计算机与信息科学与工程系)
在这项工作中,我们引入了高斯平滑语义特征(GSSF),以更好地为印度区域语言为基础的图像描述的语义选择,并介绍了一个程序,我们使用现有的翻译和英语众包的句子进行训练。我们已经证明,这种架构是一个有前途的替代来源,在那里有一个紧缩的资源。我们这项工作的主要贡献是为孟加拉语(世界上第五种广泛使用的语言)开发深度学习架构,它具有完全不同的语法和语言属性。我们已经证明,这些对于从图像上下文生成语言生成等复杂应用非常有效,并且可以通过引入约束、更广泛的特征和独特的特征空间来实现表示的多样化。我们还确定,当我们使用平滑的语义张量与传统的LSTM和特征分解网络时,我们可以实现绝对的精度和多样性。通过更好的学习架构,我们成功地建立了一个自动化的算法和评估程序,可以帮助评估合格的应用程序,而无需专业知识和人工干预。
2020-02-16 cs.CL cs.CV cs.LG
Don't Judge a Language Model by Its Last Layer: Contrastive Learning with Layer-Wise Attention Pooling
Korea University(高丽大学);George Washington University(乔治华盛顿大学)
最近的预训练语言模型(PLM)通过学习语言特征和上下文化的句子表示,在许多自然语言处理任务上取得了巨大的成功。由于在PLM的堆叠层中捕获的属性没有被清楚地识别,因此通常首选直接的方法,例如嵌入最后一层,以从PLM中导出句子表示。本文介绍了基于注意力的池化策略,该策略使模型能够保留在每一层中捕获的逐层信号,并为下游任务学习消化的语言特征。对比学习目标可以使逐层注意力池适应无监督和有监督的方式。它导致预训练嵌入的各向异性空间正则化,并且更加均匀。我们评估我们的模型上的标准语义文本相似性(STS)和语义搜索任务。因此,我们的方法提高了基本对比学习BERT_base和变体的性能。
2022-09-13 cs.AI cs.CL
Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(中国科学技术大学,教育部脑启发智能感知与认知重点实验室);Independent Researcher(独立研究员)
提出MACCO框架,通过掩码一个模态的组合概念并从另一模态完整上下文重建,增强视觉-语言模型的组合理解能力,在五个基准上显著提升。
2026-06-12 cs.AI cs.CL cs.CV