A Statistical Parsing Framework for Sentiment Classification
Beihang University(北京航空航天大学);Microsoft Research(微软研究院)
在这篇文章中,我们提出了一个统计分析框架,用于情感分类。不同于以往的作品,采用句法分析结果的情感分析,我们开发了一个统计分析器,直接分析句子的情感结构。我们证明了情感分析中的复杂现象(例如,否定、强化和对比)可以以统一和概率的方式与简单和直接的情感表达相同地处理。我们制定的情感语法上上下文无关文法(CFGs),并提供了一个正式的描述的情感分析框架。我们开发的解析模型,以获得可能的情感分析树的句子,从极性模型提出了推导出的情感强度和极性,和排名模型是专门选择最好的情感树。我们训练的解析器直接从句子的例子注释只有情感极性标签,但没有任何句法注释或极性注释的成分在句子内。因此,我们可以很容易地获得训练数据。特别是,我们训练一个情感分析器,S.分析器,从大量的评论句子与用户的评级作为粗略的情感极性标签。在现有基准数据集上进行的大量实验表明,与基线情感分类方法相比,该方法有显着的改进。
2015-03-05 cs.CL
Identification of significant features in DNA microarray data
DNA微阵列是一种相对较新的技术,可以同时测量数千个基因的表达水平。它们已成为各种生物实验的重要工具。DNA微阵列实验最常见的目标之一是识别与感兴趣的生物过程相关的基因。由于小的样本量、噪声数据和基因表达水平之间的相关性,传统的统计检验在应用于微阵列数据时通常产生差的结果。因此,需要新的统计方法来识别DNA微阵列实验中的重要基因。本文讨论了DNA微阵列分析中固有的挑战,并描述了一系列可用于克服这些挑战的统计技术。多个假设检验的问题,它与微阵列研究的关系也被认为是,随着几种可能的解决方案。
2013-04-13 q-bio.GN q-bio.QM stat.AP
Discussion of "Causal inference using invariant prediction: identification and confidence intervals" by Peters, Bühlmann and Meinshausen
贡献的文件“因果推断使用不变的预测:识别和置信区间“的讨论彼得斯,Bühlmann和Meinshausen,出现在皇家统计学会杂志,系列B。
2016-05-24 stat.ME
Statistical Performance Guarantee for Subgroup Identification with Generic Machine Learning
针对机器学习识别治疗受益或受害子组时的偏差、噪声与多重检验问题,本文提出无需建模假设和重抽样的 GATES 统一置信带,并通过模拟和前列腺癌临床试验验证其有效性。
2025-08-31 math.OC stat.AP stat.ME
Synthetic Control with Weight Uncertainty: Robust Identification and Statistical Inference
Columbia University Mailman School of Public Health(哥伦比亚大学米兰恩公共卫生学院);Center for Data Science, Zhejiang University(浙江大学数据科学中心)
DRoSC方法通过解决控制单位高度相关和关系变化问题,提供了一种更鲁棒的因果估计方法。
2026-08-18 econ.EM stat.ME
The Categorical Instrumental Variable Model: Characterization, Partial Identification, and Statistical Inference
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);University of Washington(华盛顿大学)
该研究针对分类工具变量模型,推导潜在结果联合分布的闭式刻画与统一不等式,构建线性因果泛函的有限样本置信区间,并通过明尼阿波利斯家庭暴力实验数据验证方法。
2026-08-05 math.ST stat.TH
Asymptotic inference in system identification for the atom maser
系统辨识是控制理论的重要组成部分,在量子工程中扮演着越来越重要的角色。在量子设置中,系统识别通常等同于过程层析成像,即通过用不同的输入状态重复探测来估计信道。然而,对于像量子马尔可夫过程这样的量子动力学系统,更自然的是考虑基于输出的连续测量的估计,其中给定的输入可能是平稳的。我们解决这个问题,使用渐近统计工具,估计原子脉泽的拉比频率的具体例子。计算了不同测量过程的Fisher信息以及原子脉泽的量子费舍尔信息,建立了这些统计模型的局部渐近正态性。的统计概念可以表示在某些变形马尔可夫生成器的谱特性和连接到大的偏差进行了简要讨论。
2011-12-09 math.ST quant-ph stat.TH
Identification of Emotionally Stressful Periods Through Tracking Changes in Statistical Features of mHealth Data
University of Alabama(阿拉巴马大学);Cornell University(康奈尔大学);Weill Cornell Medicine(韦尔康奈尔医学院)
提出一种热点检测框架,通过扩展移动和方案识别mHealth数据中统计特征变化与压力指标变化在时间上相近的时期,无需显式建模变量关系,模拟和真实数据验证了其有效性。
2026-09-15 stat.ME
Sentiment Identification in Code-Mixed Social Media Text
Rutgers University(罗格斯大学);MAKAUT(毛拉纳阿布卡拉姆阿扎德技术大学);Jadavpur University(贾达普大学)
情感分析是自然语言处理(NLP)任务,处理文本中情感的检测和分类。虽然有些任务处理识别文本中的情感存在(主观性分析),但其他任务旨在确定文本的极性,将其分类为积极,消极和中性。每当文本中存在情感时,它都有一个来源(人,一群人或任何实体),并且情感指向某个实体,对象,事件或人。情感分析任务旨在确定情感的主体、目标和极性或效价。在我们的工作中,我们尝试使用机器学习方法从Facebook帖子中自动提取情感(积极或消极)。虽然已经在代码混合的社交媒体数据和情感分析中分别完成了一些工作,但我们的工作是第一次尝试(截至目前),旨在对代码混合的社交媒体文本进行情感分析。我们使用了大量的预处理来去除原始文本中的噪声。多层感知器模型已被用来确定的极性的情绪。我们还通过手动标记Facebook帖子及其相关情绪来开发此任务的语料库。
2017-07-04 cs.AI cs.CL cs.SI
Statistical analysis of factor models of high dimension
本文考虑高维因子模型的极大似然估计,其中变量数N与观测数T相当甚至大于.一个推理理论的发展。我们不仅建立了一致性,而且还建立了收敛速率和极限分布。五组不同的识别条件被认为是。我们证明了极大似然估计的分布依赖于识别限制。与主成分方法不同,最大似然估计明确允许异方差,这是联合估计与其他参数。效率的MLE相对于主成分方法也被认为是。
2012-05-30 math.ST stat.TH
Nonparametric identification is not enough, but randomized controlled trials are
我们认为,随机对照试验(RCT)是特殊的,即使在设置中,平均处理效应确定的非参数unconfoundedness假设。这一主张来自Robins和Ritov(1997)的两个结果:(1)在至少一个连续协变量控制下,不存在在没有进一步假设的情况下一致一致的平均处理效应的估计量,(2)了解倾向得分产生一致相合估计量和诚实置信区间,其随着样本量的增加以参数速率缩小,而不管倾向得分函数有多复杂。我们强调后一点,并注意到成功进行的随机对照试验为研究者提供了倾向得分的知识。我们讨论了RCT协变量调整的现代发展,注意到统计模型和机器学习方法可以用来提高效率,同时保持有限样本的无偏性。我们的结论是,统计推断有可能从根本上更困难的观察设置比随机对照试验,即使所有的混杂因素进行了测量。
2021-09-27 stat.ME
Jointly Modeling Aspect and Polarity for Aspect-based Sentiment Analysis in Persian Reviews
University of Tabriz(大不里士大学)
从自然语言文本中识别用户意见已经成为一个令人兴奋的研究领域,由于其在现实世界中的应用越来越多。其研究领域被称为情感分析和分类,其中体类别检测(ACD)和体类别极性(ACP)是基于体的情感分析的两个重要子任务。ACD的目标是指定实体的哪个方面出现在意见中,而ACP的目标是指定ACD任务中每个方面类别的极性。以前的工作大多提出了这两个子任务的单独的解决方案。本文重点讨论ACD和ACP子任务,以同时解决这两个问题。所提出的方法进行多标签分类,其中采用了四种不同的深度模型,并进行了比较评估,以检查它们的性能。从CinemaTicket网站收集了波斯语评论的数据集,包括来自14个类别的2200个样本。开发的模型进行了评估,使用收集的数据集在基于实例和基于标签的指标。结果表明,与LSTM和Bi-LSTM相比,CNN和GRU模型具有较高的适用性和偏好性。
2021-10-17 cs.AI cs.CL
Polarity Detection of Sustainable Development Goals in News Text
LinkaLab
介绍可持续发展目标极性检测新任务,提出SDG - POD数据集,评估六种开源大语言模型在零样本和微调设置下的表现,发现微调模型性能更佳,合成训练数据可提升模型鲁棒性和分类性能。
2026-07-07 cs.AI cs.CL cs.DL
Unveiling factors influencing judgment variation in Sentiment Analysis with Natural Language Processing and Statistics
Universidade da Coruña(拉科鲁尼亚大学);University of Augsburg(奥格斯堡大学)
本研究以西班牙语TripAdvisor评论为对象,利用单词标题和统计检验分析词性、情感词与中性词对众包极性判断差异的影响,发现形容词和情感词可降低差异、中性词提高差异,但该效应在长标题中未必复现。
2024-05-20 cs.CL
Context-aware Sentiment Word Identification: sentiword2vec
Peking University(北京大学)
传统的情感分析通常使用情感词典来提取文本中的情感信息并对文档进行分类。然而,在用户生成的内容中出现的非正式单词和短语需要对上下文进行分析。通常,它们在特定的上下文中具有特殊的含义。由于情感词向量在表达词间关系方面的出色表现,我们使用情感词向量来识别特殊词。本文基于分布式语言模型word2vec,提出了一种特定语境下词语情感表达的新方法,并对长答案中情感极性异常的词语进行了识别。实验结果表明,改进后的模型在表示特殊意义的词时表现出了更好的性能,而在表示特殊惯用模式时表现出了较好的性能。最后,我们将讨论向量表示在情感领域中的意义,这可能不同于一般的基于对象的条件。
2016-12-12 cs.AI cs.CL
ATP: A holistic attention integrated approach to enhance ABSA
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);Indian Institute of Technology(印度理工学院)
基于方面的情感分析(ABSA)处理的是识别评论句子对给定方面的情感极性。深度学习序列模型,如RNN,LSTM和GRU是目前最先进的推断情感极性的方法。这些方法可以很好地捕捉复习句子中单词之间的上下文关系。然而,这些方法在捕获长期依赖性方面是微不足道的。注意力机制通过只关注句子中最关键的部分而发挥重要作用。在ABSA的情况下,体位置起着至关重要的作用。接近体的词在决定对体的情感时贡献更大。因此,我们提出了一种方法,捕获基于位置的信息,使用依存句法分析树,并帮助注意力机制。在简单的基于单词距离的位置上使用这种类型的位置信息可以增强深度学习模型的性能。我们在SemEval'14数据集上进行了实验,以证明基于依存句法分析关系的注意对ABSA的影响。
2022-08-04 cs.CL
Hitachi at SemEval-2020 Task 12: Offensive Language Identification with Noisy Labels using Statistical Sampling and Post-Processing
Research & Development Center, Hitachi India Pvt Ltd.(日立印度私人有限公司研发中心);Research & Development Group, Hitachi, Ltd.(日立有限公司研发集团)
在本文中,我们介绍了我们参与SemEval-2020 Task-12 Subtask-A(英语语言)的情况,该任务侧重于从嘈杂的标签中识别攻击性语言。为此,我们开发了一个混合系统与BERT分类器训练的推文选择使用统计抽样算法(SA)和后处理(PP),使用一个进攻性的词表。我们开发的系统取得了第34位的宏观平均F1得分(宏观F1)的0.90913在进攻和非进攻类。我们进一步展示了全面的结果和错误分析,以协助未来的研究在攻击性语言识别与嘈杂的标签。
2020-05-01 cs.CL cs.LG
Language Identification With Confidence Limits
描述了一种统计分类算法及其在噪声输入中的语言识别中的应用。主要的创新是计算分类的置信限,这样当有足够的证据做出明确的决定时,算法就终止了,从而避免了具有相似特征的类别的问题。第二个应用程序,体裁识别,简要审查。结果表明,其他语言识别技术的一些问题可以避免,并说明了一个更重要的一点:统计语言过程可以用来提供有关其自身成功率的反馈。
1999-07-07 cs.CL
On the Benefit of Combining Neural, Statistical and External Features for Fake News Identification
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校);Graphic Era University(格拉菲克时代大学)
识别新闻文章的真实性是一个有趣的问题,而自动化这个过程可能是一项具有挑战性的任务。检测新闻文章是否为假仍然是一个悬而未决的问题,因为它取决于当前最先进的模型未能纳入的许多因素。在本文中,我们探讨了假新闻识别的一个子任务,即立场检测。给定一篇新闻文章,任务是确定主体及其声明的相关性。我们提出了一个新的想法,结合神经,统计和外部功能,提供一个有效的解决方案,这个问题。我们从深度递归模型计算神经嵌入,从加权n-gram词袋模型计算统计特征,并在特征工程算法的帮助下手工制作外部特征。最后,使用深层神经层将所有特征组合起来,从而将标题-正文新闻对分类为同意、不同意、讨论或不相关。我们将我们提出的技术与当前最先进的模型在假新闻挑战数据集上进行了比较。通过大量的实验,我们发现所提出的模型优于所有最先进的技术,包括提交给假新闻挑战。
2017-12-11 cs.CL
Combining Context-Free and Contextualized Representations for Arabic Sarcasm Detection and Sentiment Identification
Savitribai Phule Pune University(萨维特里巴伊·普勒浦那大学)
自诞生以来,基于transformer的语言模型已经在多个自然语言处理任务中带来了令人印象深刻的性能提升。对于阿拉伯语,大多数数据集上的当前最先进的结果是通过AraBERT语言模型实现的。尽管最近取得了这些进展,讽刺和情感检测仍然是阿拉伯语中具有挑战性的任务,因为该语言具有丰富的形态,语言差异和方言变化。本文提供了SPPU-AASM团队提交的WANLP ArSarcasm共享任务2021,该任务围绕阿拉伯语推文的讽刺和情感极性检测。该研究提出了一种混合模型,将AraBERT的句子表示与在阿拉伯语社交媒体语料库上训练的静态词向量相结合。所提出的系统实现了F1讽刺得分为0.62和F-PN得分为0.715的讽刺和情感检测任务,分别。仿真结果表明,该系统优于现有的多种方法的任务,这表明,上下文无关和上下文相关的文本表示的融合,可以帮助捕捉阿拉伯语单词意义的互补方面。该系统在讽刺检测和情感识别的子任务中分别排名第二和第十。
2021-03-09 cs.CL cs.LG cs.NE
Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees
Monash University(莫纳什大学);The University of Melbourne(墨尔本大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出保形隐私审计(CPA),一种无分布校准框架,为每个发布文档提供针对LLM赋能攻击者的重识别风险统计证书,通过保形模糊集实现校准覆盖,并揭示不同配置下的可识别性变化。
2026-09-21 cs.CL cs.CR
Native Language Identification using Stacked Generalization
Harvard Medical School(哈佛医学院);Macquarie University(麦考瑞大学)
使用多个分类器的集成方法已被证明是最成功的母语识别(NLI)的任务,实现当前的艺术状态。然而,集成方法的NLI尚未进行系统的检查。此外,更深层次的集成架构,如分类器堆叠尚未密切评估。我们提出了一组实验,使用三个基于集成的模型,测试每个与多种配置和算法。这包括严格应用NLI的元分类模型,在来自不同语言的三个数据集上获得最先进的结果。我们还提出了第一次使用统计显著性检验比较NLI系统,表明我们的结果是显着优于以前的最先进的状态。我们提供了一个测试集的预测,以方便未来的统计测试。
2017-03-19 cs.CL
Universal and non-universal text statistics: Clustering coefficient for language identification
在这项工作中,我们分析了91个相对较小的文本在7种不同的语言(西班牙语,英语,法语,德语,土耳其语,俄语,冰岛语)以及随机插入空格的文本的统计特性。尽管大小(约11260个不同的单词),众所周知的普遍统计规律-即齐普夫和赫丹堆的法律-得到证实,并在密切的协议与其他地方获得的结果。我们还构建了每个文本的词共现网络。虽然度分布也是普遍的,但我们注意到,聚类系数的分布强烈依赖于网络的局部结构,可以用来区分语言,以及区分自然语言和随机文本。
2019-12-07 cs.CL physics.soc-ph
MAXIMUM LIKELIHOOD AND MINIMUM ENTROPY IDENTIFICATION OF GRAMMARS
使用热力学形式主义,我们介绍了一个吉布斯模型的识别规则文法的基础上,只有积极的证据。该模型模拟了由韵律驱动的自然语言习得过程,韵律在这里由语音势表示。我们所面临的统计问题是如何从已知势能的Gibbs态产生的样本中估计有限型子移位的关联矩阵。该模型同时考虑了语言习得过程和语言变化的鲁棒性。我们使用的概率方法避免了调用ad-hoc限制Berwick的子集原则。
1995-04-13 cmp-lg cs.CL
Evaluating statistical language models as pragmatic reasoners
MIT(麻省理工学院)
本研究评估大语言模型(LLMs)的语用推理能力,通过可分级形容词“strong”的阈值估计及多种组合语境测试,发现LLMs能生成类人的语境化语用解读分布,但否定组合表现不佳,为其语义解析应用提供参考。
2023-05-01 cs.AI cs.CL
Agnostic Language Identification and Generation
Aarhus University and University of Oxford(奥胡斯大学和牛津大学);Stanford University(斯坦福大学)
本文在不假设数据分布的情况下,研究了语言识别与生成问题,得出了新的特性描述和接近最优的速率。
2026-11-10 cs.AI cs.CL cs.LG
Unsupervised neural adaptation model based on optimal transport for spoken language identification
National Institute of Information and Communications Technology(日本国立信息与通信技术研究所);Research Center for Information Technology Innovation, Academic Sinica(中央研究院资讯科技创新研究中心)
由于训练集和测试集之间声学语音的统计分布的不匹配,口语识别(SLID)的性能会急剧下降。在本文中,我们提出了一个无监督的神经适应模型来处理SLID的分布失配问题。在我们的模型中,我们明确地制定了适应,以减少训练和测试数据集的特征和分类器的分布差异。此外,受最优运输(OT)的强大功能来衡量分布差异的启发,Wasserstein距离度量的适应损失。通过最小化训练数据集和测试数据集上的自适应损失以及训练数据集上的分类损失,减小了训练域和测试域之间的统计分布差异。我们在东方语言识别(OLR)挑战数据集上进行了SLID实验,其中训练和测试数据集是从不同条件下收集的。我们的研究结果表明,跨领域测试任务取得了显着的改善。
2020-12-24 cs.CL cs.LG cs.SD