Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences for Image-Text Retrieval
Fudan University（复旦大学）；Princeton University（普林斯顿大学）；Research Institute of Intelligent and Complex Systems, Fudan University（复旦大学智能与复杂系统研究院）
匹配模型是图文检索框架的核心。现有的研究通常训练模型，并探索各种策略来检索数据集中的难否定句。我们认为，目前基于检索的负样本构建方法是有限的，在数据集的规模，从而无法识别每一个图像的高难度的负样本。我们提出了带有识别和纠正的TAILOing否定句（TAGS-DC）来自动生成合成句子作为否定样本。TAGS-DC由掩蔽和再填充两部分组成，以生成更高难度的合成否定句。为了保持训练过程中的难度，我们通过参数共享来相互改进检索和生成。为了进一步利用否定句中不匹配的细粒度语义，我们提出了两个辅助任务，即单词识别和单词纠正，以改善训练。在MS-COCO和Flickr 30 K上的实验中，我们验证了我们的模型的有效性与当前最先进的模型相比，并在进一步的分析中证明了它的鲁棒性和忠实性。我们的代码可以在https://github.com/LibertFan/TAGS上找到。
2021-11-05 cs.CL cs.CV cs.IR
A Novel Way of Identifying Cyber Predators
Concordia University（康考迪亚大学）
具有长短期记忆单元的递归神经网络（LSTM-RNN）在序列数据处理方面具有很强的能力，特别是在语言模型的建立和文本分类方面。本研究将情感分析、句子向量新方法和LSTM-RNN相结合，提出了一种新的性捕食者识别方法。应用LSTM-RNN语言模型生成句子向量，句子向量是语言模型中的最后隐藏状态。句子向量被送入另一个LSTM-RNN分类器，以捕获可疑会话。隐藏状态可以为以前从未见过的句子生成矢量。Fasttext用于过滤对话内容并生成情感评分，以识别潜在的捕食者。实验取得了破纪录的准确率和精确率为100%，召回率为81.10%，超过了SPI比赛的第一名。
2017-12-11 cs.CL cs.CY
Center-Embedding and Constituency in the Brain and a New Characterization of Context-Free Languages
Columbia University（哥伦比亚大学）
最近，一种专门通过神经元的尖峰放电实现的计算系统被证明具有句法能力，即能够对简单的英语句子进行依存句法分析。我们解决了两个最重要的问题留下开放的工作：选区（识别句子的关键部分，如动词短语）和处理的依赖句，特别是中心嵌入的。我们表明，语言的这两个方面也可以通过神经元和突触来实现，其方式与已知的或广泛认为的语言器官的结构和功能是一致的。令人惊讶的是，我们实现中心嵌入的方式指向了上下文无关语言的新特征。
2022-06-27 cs.CL
Sentence Smith: Controllable Edits for Evaluating Text Embeddings
University of Zurich（苏黎世大学）
Sentence Smith通过可控编辑生成文本，用于评估文本嵌入模型的细粒度性能。
2025-11-24 cs.CL
Tell Me Why You Feel That Way: Processing Compositional Dependency for Tree-LSTM Aspect Sentiment Triplet Extraction (TASTE)
University of Hamburg（汉堡大学）；Umeå University（于默奥大学）
情感分析已经从对整个句子的情感进行分类转变为提供句子中存在什么目标、各个目标具有什么情感以及负责该情感的因果词是什么的上下文信息。然而，这导致了对数据集的详细要求，这些数据集需要训练神经网络来完成确定实体、其情感以及该情感的因果词的联合三元组任务。需要这类数据来训练系统是有问题的，因为它们会受到叠加主观注释和域过度拟合的影响，导致在新的环境中应用时模型泛化能力差。随着我们今后试图共同确定其他背景要素，这些问题也可能变得更加复杂。为了缓解这些问题，我们提出了一种混合神经-符号方法，该方法利用依赖树-LSTM的组合情感解析结构和补充符号规则来正确地从句子中提取目标-情感-原因三元组，而不需要三元组训练数据。我们表明，这种方法有可能与最先进的方法保持一致，同时还简化了所需的数据，并通过Tree-LSTM提供了一定程度的可解释性。
2021-03-10 cs.CL
DisSim: A Discourse-Aware Syntactic Text Simplification Frameworkfor English and German
University of St.Gallen（圣加仑大学）；University of Passau（帕绍大学）；University of Manchester（曼彻斯特大学）
我们介绍了DisSim，一个话语意识的句子分裂框架，英语和德语，其目标是转换成一个中间表示，提出了一个简单的，更规则的结构，更容易处理的下游语义应用句法复杂的句子。为此，我们把输入的句子成一个两层的语义层次结构的形式的核心事实和伴随的上下文，同时确定它们之间的修辞关系。通过这种方式，我们保留了输入的连贯性结构，从而保留了其对下游任务的可解释性。
2019-09-26 cs.CL
Controllable Sentence Simplification
Facebook AI Research（Facebook人工智能研究院）；Inria（法国国家信息与自动化研究所）
文本简化的目的是通过简化语法和结构，使文本更容易阅读和理解，同时保持基本信息的一致性。它通常被认为是一个通用的通用任务，其中同样的简化适用于所有人;然而，多种受众可以以不同的方式从简化的文本中受益。我们适应离散参数化机制，提供显式控制的简化系统的基础上序列到序列模型。因此，用户可以根据诸如长度、释义量、词汇复杂性和句法复杂性等属性来调整模型返回的简化。我们还表明，精心选择的值，这些属性允许开箱即用的序列到序列模型，以超越他们的标准同行的简化基准。我们的模型，我们称之为ACCESS（作为AudienCe-Centric Sentence Simplification的简写），在WikiLarge测试集上建立了41.87 SARI的最新水平，比之前报道的最佳分数提高了1.42。
2020-04-20 cs.CL
Unaligning Everything: Or Aligning Any Text to Any Image in Multimodal Models
Florida State University（佛罗里达州立大学）
本文提出一种基于梯度的对抗攻击方法，通过微调图像使其嵌入与任意文本匹配，在多模态模型中实现100%攻击成功率，揭示了共享嵌入空间的对齐漏洞。
2024-07-01 cs.AI cs.CL cs.CV
A Simple and Plug-and-play Method for Unsupervised Sentence Representation Enhancement
Tencent AI Lab（腾讯人工智能实验室）
本文提出RepAL，一种无需训练、即插即用的后处理方法，通过弱化预训练句子嵌入中的冗余信息来增强句子表示，可与多数无监督句子学习模型结合，提升语义匹配和检索性能。
2023-05-13 cs.AI cs.CL
Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs
文本转语音系统通常在单个句子上进行评估。当考虑长格式内容时，例如由完整段落或对话组成的数据，孤立地评估句子并不总是合适的，因为缺少合成句子的上下文。在本文中，我们研究了三种不同的方法来评估自然的长形式的文本转语音合成。我们比较了孤立地评价句子，评价整个段落的讲话，并提出了一个选择的语音或文本作为上下文，并评估随后的讲话。我们发现，即使这三个评估是基于相同的材料，结果不同的设置，而且这些结果不一定相互关联。我们表明，我们的研究结果是一致的，一个单一的扬声器设置的阅读段落和两个扬声器的对话场景。我们的结论是，要评估长格式语音的质量，传统的评价孤立的句子的方式是不够的，需要多个评价。
2019-09-09 cs.CL cs.LG cs.SD
Any-gram Kernels for Sentence Classification: A Sentiment Analysis Case Study
ADAPT Centre（ADAPT中心）；School of Computing（计算机学院）；Dublin City University（都柏林城市大学）
Any-gram内核是一种灵活有效的方法，可以在从文本数据中学习时使用bag-of-n-gram特征。它们还与词嵌入的使用兼容，以便可以考虑词的相似性。虽然原始的任意文法核是在树核之上实现的，但我们提出了一种新的方法，该方法独立于树核，并且更有效。我们还提出了一个更有效的方式来利用词嵌入比原来的任意语法公式。当应用于情感分类的任务时，我们的新配方实现了显着更好的性能。
2017-12-19 cs.AI cs.CL stat.ML
Robustness of sentence length measures in written texts
Universidade Estadual de Maringá（马林加州立大学）
在过去的几十年里，书面语篇中隐藏的结构模式一直是大量研究的主题。特别是，将文本映射到句子长度的时间序列是研究文本结构的自然方法。通常，句子长度已经通过使用基于单词数量和字符数量的度量来量化，但其他变化也是可能的。为了量化不同句子长度度量的鲁棒性，我们分析了包含约500本英语书籍的数据库。对于每本书，我们提取了六个不同的句子长度度量，包括单词数量和字符数量（考虑到词形还原和停止词删除）。我们比较了这六个措施，为每本书使用i）皮尔逊系数调查线性相关性; ii）Kolmogorov-Smirnov测试比较分布;和iii）去趋势波动分析（DFA）量化自相关性。我们发现，所有六个指标都表现出非常相似的行为，这表明句子长度是与文本结构相关的鲁棒指标。
2018-05-02 cs.CL physics.soc-ph
Rewriting Meaningful Sentences via Conditional BERT Sampling and an application on fooling text classifiers
大多数设计用于欺骗文本分类器的对抗攻击方法通过修改几个单词或字符来改变文本分类器的预测。很少有人试图通过重写整个句子来攻击分类器，这是因为在句子级改写中存在固有的困难以及为合法重写设置标准的问题。在本文中，我们探讨了使用事务级重写创建对抗性示例的问题。我们设计了一个新的采样方法，命名为ParaphraseSampler，有效地改写了原始句子的多种方式。然后，我们提出了一个新的标准的修改，所谓的威胁级别的威胁模型。该标准允许单词和句子级别的变化，并且可以在两个维度上独立调整：语义相似性和语法质量。实验结果表明，这些改写的句子中有许多被分类器错误分类。在所有6个数据集上，我们的ParaphraseSampler实现了比我们的基线更好的攻击成功率。
2022-10-19 cs.AI cs.CL cs.LG
Coherent Multi-Sentence Video Description with Variable Level of Detail
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔兰大学）；Technische Universität München（慕尼黑工业大学）
人类可以很容易地以连贯的方式和不同的细节描述他们所看到的东西。然而，现有的自动视频描述方法主要集中在单个句子的生成和产生的描述在一个固定的细节水平。在本文中，我们解决了这两个限制：对于可变的细节水平，我们产生连贯的多句描述复杂的视频。我们遵循一个两步的方法，我们首先学习预测的语义表示（SR）从视频，然后生成自然语言描述SR。要产生一致的多句描述，我们模型跨句子的一致性在SR的水平，通过执行一个一致的主题。我们还有助于提出一个以手为中心的方法，以及强大的生成句子使用词格的对象的视觉识别。人类裁判认为我们的多句描述比相关的工作更可读，更正确，更相关。为了理解更详细和更短的描述之间的区别，我们收集和分析了三个细节层次的视频描述语料库。
2014-03-24 cs.CL cs.CV
Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
在递归神经网络（RNN）中，以次优或错误的方式编码信息可能会影响基于序列中后续元素的表示质量，并随后导致错误的预测和更差的模型性能。在人类中，像花园小径句子这样具有挑战性的案例（例如臭名昭著的“马跑过谷仓瀑布”）会导致他们的语言理解误入歧途。然而，它们仍然能够相应地纠正它们的表示，并在遇到新信息时恢复。受此启发，我建议以基于梯度的校正机制的形式对标准RNN进行增强：通过这种方式，我希望使这些模型能够动态地适应句子的内部表示，增加一种方法来纠正偏差。因此，这可能会导致更强大的模型使用更灵活的表示，即使在推理时间。我在语言建模的背景下进行了不同的实验，详细研究了使用这种机制的影响。为此，我研究了基于不同类型的时间相关误差信号的修改以及它们如何影响模型性能。此外，这项工作包含了一个研究模型的信心，在其预测在训练过程中，并具有挑战性的测试样本和其操作的效果。最后，我还研究了这些新模型与标准LSTM基线相比的行为差异，并详细研究了错误情况，以确定未来研究的重点。我表明，虽然所提出的方法具有有前途的理论保证和吸引人的直觉，但由于其实际应用中的挑战和测试模型变体的有效性，它只能在基线上产生微小的改进。
2021-01-03 cs.AI cs.CL
Extracting Ontological Knowledge from Textual Descriptions
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
OWL-DL本体的创作在智力上是具有挑战性的，为了使这个过程更简单，许多系统接受自然语言文本作为输入。一个基于文本的本体创作方法只有与一种有效的从文本中提取本体公理的方法相结合才能取得成功。由于语言的丰富性，从不受限制的英语输入中提取公理是一项非常具有挑战性的任务。受控自然语言（CNLs）已经在这种情况下提出，这些往往是高度限制性的。在本文中，我们提出了一个新的CNL称为TEDEI（文本描述标识符），其语法的灵感来自不同的方式OWL-DL结构表示在英语中。我们建立了一个系统，将TEDEI语句转换为相应的OWL-DL公理。现在，由于句子的不同可能的词汇化和句子中存在的语义歧义，在这种情况下是一个挑战。我们发现，处理这些挑战的最佳方法是构建公理对应的替代形式化的句子，使最终用户可以做出适当的选择。将输出与人类创作的公理进行比较，并且在大量情况下，人类创作的公理确实是系统给出的替代方案之一。所提出的系统大大提高了类型的句子结构，可用于本体创作。
2017-09-28 cs.AI cs.CL
Deep Enhanced Representation for Implicit Discourse Relation Recognition
Shanghai Jiao Tong University（上海交通大学）
隐含语篇关系识别是一项具有挑战性的任务，因为在语篇分析中，没有显式连接词的关系预测需要理解文本跨度，并且不能轻易地从输入句子对的表面特征中获得。因此，正确地表达文本对这项任务至关重要。在本文中，我们提出了一个模型增强了不同粒度的文本表示，包括字符，子字，单词，句子和句子对水平。在基准树库上对所提出的更深层次模型进行了评估，并根据我们的最佳知识首次在11路分类中实现了最先进的准确率大于48%，并且在4路分类中$F_1$得分大于50%。
2018-07-13 cs.AI cs.CL cs.LG
Discovering Explanatory Sentences in Legal Case Decisions Using Pre-trained Language Models
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
法律文本通常使用难以理解的概念。律师们详细阐述这些概念的含义，除其他外，仔细调查它们在过去是如何使用的。查找以有用的方式提到特定概念的文本片段是乏味、耗时的，因此是昂贵的。我们收集了一个由26,959个句子组成的数据集，这些句子来自法律案件的判决，并根据它们对解释选定的法律概念的有用性对它们进行了标记。使用该数据集，我们研究了在大型语言语料库上预训练的基于transformer的模型的有效性，以检测哪些句子是有用的。根据模型的预测，我们分析了解释性语句的各种语言属性以及它们与需要解释的法律概念的关系。我们表明，基于transformer的模型能够学习令人惊讶的复杂功能，并优于以前的方法的任务。
2021-12-14 cs.CL cs.IR
High Recall Data-to-text Generation with Progressive Edit
POSTECH（浦项科技大学）；Graduate School of Artificial Intelligence（人工智能研究生院）
数据到文本（D2T）生成是从结构化输入生成文本的任务。我们观察到，当相同的目标句子被重复两次，Transformer（T5）的模型生成的输出由结构化的输入不对称的句子。换句话说，这些句子在长度和质量上都不同。我们称这种现象为“不对称生成”，并在D2T生成中利用这一点。一旦生成了不对称的句子，我们就在输出的第一部分添加一个不重复的目标。当这经过渐进式编辑（ProEdit）时，召回增加。因此，这种方法比编辑之前更好地覆盖了结构化输入。ProEdit是一种简单但有效的方法来提高D2T生成的性能，它在ToTTo数据集上实现了最新的结果
2022-08-09 cs.AI cs.CL
A Better Way to Attend: Attention with Trees for Video Question Answering
Zhejiang University（浙江大学）
提出了一种新的视频问答注意力模型。注意力模型的主要思想是定位于视觉数据中信息量最大的部分。注意力机制现在很流行。然而，大多数现有的视觉注意力机制将问题视为一个整体。它们忽略了词级语义，每个词可以有不同的注意力，有些词不需要注意。他们也不考虑句子的语义结构。虽然用于视频问答的扩展软注意（E-SA）模型利用了词级注意，但它在长问句上表现不佳。在本文中，我们提出了异构树结构记忆网络（HTreeMN）的视频问答。我们提出的方法是基于问句的语法分析树。HTreeMN不同地处理单词，其中\textit{visual}单词用注意模块处理，而\textit{verbal}单词不用注意模块处理。它还利用了句子的语义结构，通过结合邻居的递归结构的分析树。对文字的理解和对视频的理解从叶子到根进行传播和融合。此外，我们建立了一个层次化的注意力机制来提取关注特征。我们在两个数据集上评估我们的方法。实验结果表明，我们的HTreeMN模型优于其他注意力模型，特别是在复杂的问题。我们的代码可以在github上找到。我们的代码可在www.example.com上获得
2019-09-05 cs.CL cs.CV cs.LG
