TreeMix: Compositional Constituency-based Data Augmentation for Natural Language Understanding
Fudan University（复旦大学）；CMU（卡内基梅隆大学）；Georgia Tech（佐治亚理工学院）
数据增强是解决过拟合问题的有效方法。许多以前的工作已经提出了不同的数据增强策略的自然语言处理，如噪声注入，单词替换，回译等，虽然有效，他们错过了一个重要的特征-组合性，一个复杂的表达式的意义是建立在它的子部分。出于这一动机，我们提出了一种组合数据增强方法称为TreeMix的自然语言理解。具体而言，TreeMix利用选区解析树将句子分解为组成子结构，并利用Mixup数据增强技术将它们重新组合以生成新句子。与以前的方法相比，TreeMix为生成的样本引入了更大的多样性，并鼓励模型学习NLP数据的组合性。在文本分类和SCAN上的大量实验表明，TreeMix优于当前最先进的数据增强方法。
2022-07-12 cs.CL
BEATS: Optimizing LLM Mathematical Capabilities with BackVerify and Adaptive Disambiguate based Efficient Tree Search
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Baichuan Inc（百川智能）；Shanghai AI Laboratory（上海人工智能实验室）
BEATS通过迭代提示、反向验证和剪枝树搜索提升大语言模型数学推理能力，在MATH基准上使Qwen2-7b-Instruct得分从36.94提升至61.52，超过GPT4。
2024-09-29 cs.CL cs.LG
Natural Language Inference for Arabic Using Extended Tree Edit Distance with Subtrees
University of Basrah（巴士拉大学）；University of Manchester（曼彻斯特大学）
许多自然语言处理（NLP）应用需要计算句法或语义树对之间的相似性。许多研究人员使用树编辑距离来完成这项任务，但这种技术的缺点是它只处理单节点操作。我们扩展了标准树编辑距离算法，以处理子树转换操作以及单节点。与标准算法相比，扩展的TED+ST算法更加有效和灵活，特别是对于那些关注节点间关系的应用（例如，在语言树中，删除一个修饰子树的代价应该比删除其各个组成部分的代价之和更低）。我们描述了使用TED+ST检查两个阿拉伯语文本片段之间的蕴涵。与两种基于字符串的方法和标准算法相比，使用TED+ST的初步结果令人鼓舞。
2014-02-04 cs.CL
A Transformer Architecture for Online Gesture Recognition of Mathematical Expressions
University of Pisa（比萨大学）；University College Dublin（都柏林大学学院）
Transformer架构提供了一个强大的框架，作为一个端到端的模型，用于从对应于手写笔画的在线手写手势中构建表达式树。特别地，注意力机制被成功地用于编码、学习和执行表达式的底层语法，从而创建被正确解码为精确的数学表达式树的潜在表示，从而为消融的输入和看不见的字形提供鲁棒性。第一次，编码器被馈送有可能形成无限大的词汇表的时空数据令牌，其发现在线手势识别之外的应用。一个新的监督数据集的在线手写手势的训练模型提供了通用的手写识别任务，并提出了一个新的度量的输出表达式树的语法正确性的评估。一个适合于边缘推断的小型Transformer模型被成功训练到94%的平均归一化Levenshtein准确度，从而导致94%的预测的有效后缀RPN树表示。
2022-11-04 cs.CL cs.CV
LLMs Are Not Intelligent Thinkers: Introducing Mathematical Topic Tree Benchmark for Comprehensive Evaluation of LLMs
Carnegie Mellon University（卡内基梅隆大学）；Megagon Labs（美高仑实验室）
本研究提出数学主题树（MaTT）基准，含1,958个问题，全面评估LLMs数学推理，发现GPT-4准确率仅54%，且思维链无显著提升，揭示模型缺乏真正推理能力。
2025-03-29 cs.AI cs.CL cs.LG
LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback
Peking University（北京大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Alibaba Group（阿里巴巴集团）；Microsoft（微软公司）
本文提出Math-Minos验证器，通过引入逐步自然语言反馈和两阶段训练范式，弥补二分类标签信息不足的问题，显著提升数学验证与强化学习性能。
2024-10-18 cs.CL
Token-Supervised Value Models for Enhancing Mathematical Problem-Solving Capabilities of Large Language Models
NAVER Cloud（NAVER云）；KAIST AI（韩国科学技术院人工智能学院）；NAVER AI Lab（NAVER人工智能实验室）；SNU（首尔大学）；AITRICS
本文提出令牌监督价值模型（TVMs），通过为每个令牌赋予到达正确答案的概率，实现对部分解的直接显式评估，从而在树搜索中避免过早剪枝有前景的中间步骤，显著提升大语言模型的数学求解准确率。
2025-03-10 cs.AI cs.CL
Law to Binary Tree -- An Formal Interpretation of Legal Natural Language
National Institute of Informatics（国立信息学研究所）；The Institute of Statistical Mathematics (ISM)（统计数学研究所）；Vietnam Judicial Academy（越南司法学院）；Hanoi Law University（河内法律大学）；VINASECO JSC（VINASECO股份公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
法律中的知识表示和推理对于促进法律分析和决策任务的自动化至关重要。在本文中，我们提出了一种新的方法，基于法律科学，特别是法律分类，表示和推理的法律文件。我们的方法将法律文件中的规则解释为二叉树，这有助于法律推理系统做出决策和解决逻辑矛盾。这种方法的优点有两方面。首先，法律推理可以在规则的二叉树表示的基础上进行。其次，二叉树表示的法规是更容易理解的比现有的基于数据的表示。我们提供了一个例子，说明我们的方法如何用于解释法律文件中的规定。
2022-12-16 cs.CL
FMC: Formalization of Natural Language Mathematical Competition Problems
State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，PKU-Anker LLM实验室，北京大学，北京，中国）；Paul G. Allen School of Computer Science（保罗·G·阿伦计算机科学学校）；Engineering, University of Washington, U.S.A.（工程，华盛顿大学，美国）
本文提出一种基于大语言模型与错误反馈的无需训练自动形式化流程，构建了包含3,922道自然语言与9,787道Lean问题的奥林匹克级基准数据集，并验证了少样本学习等方法对自动形式化的提升及该数据集在形式推理中的挑战价值。
2025-07-15 cs.CL
How to enumerate trees from a context-free grammar
本研究提出一种基于配对函数建立CFG推导与自然数双射的树枚举算法，可用于自然逻辑语言表达式编号，还能推广至更通用推导形式及树上类Lempel-Ziv编码场景。
2023-04-30 cs.CL
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University（南洋理工大学）
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势，主要是通过最近的方法，如Gumbel LSTM和有序神经元（ON-LSTM）推广。本文提出了FASTTREES，一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同，我们的工作探索了并行树归纳的概念，即，以一种可并行的、非自回归的方式，将我们的模型与分层归纳偏差相结合。为此，我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能，即，语言建模、逻辑推理、情感分析和自然语言推理。此外，我们表明，FASTTREES模块可以应用于增强Transformer模型，实现三个序列转导任务（机器翻译，主谓一致性和数学语言理解）的性能增益，铺平了道路，模块化树归纳模块。总体而言，我们在逻辑推理任务上的表现优于现有的最先进模型+4%，在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
A Lie-algebraic perspective on Tree-Adjoining Grammars
Yale University（耶鲁大学）；California Institute of Technology（加州理工学院）
本文用图的组合定义给出树邻接语法的新数学实现，证明邻接操作构成预李运算与李代数，并表明该表述可自然捕捉空邻接约束和特征TAG等性质，无需额外设定。
2025-07-04 cs.CL math.QA math.RA
NaturalProver: Grounded Mathematical Proof Generation with Language Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
自然数学语言中的定理证明--人类使用的符号语言和自然语言的混合--在数学进步和教育中发挥着核心作用，并测试了智力核心的推理方面。然而，现代生成模型对它的探索仍然不足。我们研究大规模的语言模型上的两个新一代的任务：建议在数学证明的下一步，并充分证明一代。我们开发了NaturalProver，这是一种语言模型，它通过对背景参考（例如，检索到的或人类提供的定理和定义）进行调节来生成证明，并可选地通过约束解码来强制执行它们的存在。在NaturalProofs基准中的定理上，NaturalProver根据大学数学学生的人工评估，提高了下一步建议的质量，并在微调的GPT-3上生成了证明。NaturalProver能够证明一些需要简短（2-6步）证明的定理，并提供超过40%的时间被评为正确和有用的下一步建议，据我们所知，这是使用神经语言模型首次展示这些功能。
2022-10-31 cs.AI cs.CL
LLMs for Mathematical Modeling: Towards Bridging the Gap between Natural and Mathematical Languages
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出面向过程的评估框架与含1,209题的Mamo基准，自动评测LLMs构建数学模型的能力，结果显示现有模型在复杂任务上仍明显不足。
2025-02-15 cs.AI cs.CL
CATE: CAusality Tree Extractor from Natural Language Requirements
Technical University of Munich（慕尼黑工业大学）；Qualicen GmbH（Qualicen有限公司）；Blekinge Institute of Technology（布莱金厄理工学院）；University of Cologne（科隆大学）
因果关系（如果A，那么B）在需求工件中很普遍。从需求中自动提取因果关系对于各种RE活动（例如，自动导出合适的测试用例）。然而，我们缺乏一种能够以合理的性能从自然语言中提取因果关系的方法。在本文中，我们提出了我们的工具CATE（因果树提取器），这是能够解析的因果关系组成的树结构。CATE不仅提供了一个句子中的原因和结果的概述，而且还通过将因果关系转化为二叉树来揭示它们的语义连贯性。我们鼓励其他研究人员和从业人员使用CATE，网址为https://causalitytreeextractor.com/
2021-07-22 cs.CL cs.IR
Natural Language Inference by Tree-Based Convolution and Heuristic Matching
Peking University（北京大学）；Baidu Inc.（百度公司）
在本文中，我们提出了TBCNN-pair模型来识别两个句子之间的蕴涵和矛盾。在我们的模型中，一个基于树的卷积神经网络（TBCNN）捕获句子级语义;然后启发式匹配层，如连接，元素乘积/差异组合单个句子中的信息。实验结果表明，我们的模型优于现有的句子编码为基础的方法由一个大的利润。
2016-05-13 cs.CL cs.LG
Explaining Tree Model Decisions in Natural Language for Network Intrusion Detection
University of Notre Dame（圣母大学）
本文研究利用大语言模型为网络入侵检测中的决策树模型生成自然语言解释，并提出基于自动生成测验问题的人工评估框架，证明LLM解释在可读性、质量和背景知识运用上与人类评分高度相关，同时提升对决策边界的理解。
2023-10-30 cs.AI cs.CL
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University（波士顿大学）；Draper（德雷珀实验室）
许多常见的顺序数据源（如源代码和自然语言）都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成，从而产生序列中标记的层次排序。这种结构编码了高度的句法信息，使其成为解决语法纠正等问题的理想方法。然而，很少有工作已经做了开发神经网络，可以操作和利用树结构的数据。在本文中，我们提出了树转换器\textemdash{}，一种新的神经网络架构，旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上，我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面，我们取得了与最复杂的最先进系统相当的结果，在CoNLL 2014基准测试中获得了$10\%$召回率的改善，并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Tree-Structured Semantic Encoder with Knowledge Sharing for Domain Adaptation in Natural Language Generation
University of Cambridge（剑桥大学）
自然语言生成中的领域自适应由于输入语义跨领域的高度复杂性和目标领域的有限数据而仍然具有挑战性。对于对话系统尤其如此，我们希望能够将新的域无缝地包含到对话中。因此，它是至关重要的生成模型，以共享知识的领域有效地适应从一个领域到另一个。在这项研究中，我们利用一个树形结构的语义编码器来捕捉多域对话所需的复杂语义表示的内部结构，以促进跨领域的知识共享。此外，在树型编码器和解码器之间采用分层注意力机制，进一步提高了模型的性能。自动评估结果表明，我们的模型优于以前的方法在BLEU分数和插槽出错率，特别是当适应数据是有限的。在主观评价中，人类法官倾向于更喜欢我们的模型生成的句子，在信息量和自然性方面比其他系统更高。
2019-10-02 cs.CL cs.LG
Entity Aware Syntax Tree Based Data Augmentation for Natural Language Understanding
Nanyang Technological University（南洋理工大学）；North Carolina State University（北卡罗来纳州立大学）
理解用户的意图并从其句子中识别语义实体，也称为自然语言理解（NLU），是许多自然语言处理任务的上游任务。主要挑战之一是收集足够数量的带注释的数据来训练模型。现有的文本增强研究没有充分考虑实体，因此在自然语言理解任务中表现不佳。为了解决这个问题，我们提出了一种新的NLP数据增强技术，实体感知数据增强（EADA），它采用了一个树结构，实体感知树（EAST），表示句子结合实体上的注意。我们的EADA技术从少量的注释数据中自动构建EAST，然后生成大量的训练实例用于意图检测和槽填充。在4个数据集上的实验结果表明，该方法在准确率和泛化能力方面均明显优于现有的数据增强方法.
2022-09-06 cs.AI cs.CL cs.LG
Tree Matching Networks for Natural Language Inference: Parameter-Efficient Semantic Understanding via Dependency Parse Trees
Eastern Washington University（东部华盛顿大学）
树匹配网络通过依赖解析树实现参数高效的自然语言推理，显著提升SNLI任务性能，同时减少内存和训练时间。
2025-12-16 cs.AI cs.CL cs.LG
Autograding Mathematical Induction Proofs with Natural Language Processing
本文提出利用大型语言模型和机器学习技术自动评分自由格式的数学归纳法证明，发现最佳模型准确率超越多数人类评分员，能帮助学生显著改进证明，但学生对AI的信任度仍低于人类。
2025-02-19 cs.AI cs.CL cs.HC
Synthesis of Mathematical programs from Natural Language Specifications
Tata Consultancy Services Research（塔塔咨询服务研究院）
本研究针对从自然语言规范自动合成数学规划的问题，通过使用CodeT5结合数据增强、beam后处理及线性规划规则校正，显著提升了执行准确率，优于ChatGPT和Codex的零样本表现。
2023-03-30 cs.AI cs.CL cs.LG
Monte Carlo Tree Search for Interpreting Stress in Natural Language
Stanford University（斯坦福大学）
自然语言处理可以帮助从一个人所写的文本中分析他的精神状态。以前的研究已经开发出了模型，可以从社交媒体帖子中预测一个人是否正在经历高准确性的心理健康状况。然而，这些模型无法解释为什么人会经历一种特定的精神状态。在这项工作中，我们提出了一种新的方法来解释一个人的精神状态，从文本使用蒙特卡罗树搜索（MCTS）。我们的MCTS算法采用经过训练的分类模型来指导搜索关键短语，以简洁，可解释的方式解释作者的精神状态。此外，我们的算法可以找到依赖于文本的特定上下文的两种解释（例如，最近分手）和那些上下文无关的。使用Reddit上显示压力的帖子的数据集，我们展示了MCTS算法以依赖于上下文和独立于上下文的方式识别一个人的压力感觉的可解释的能力。
2022-04-17 cs.CL cs.IT math.IT
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
