KBSET -- Knowledge-Based Support for Scholarly Editing and Text Processing with Declarative LaTeX Markup and a Core Written in SWI-Prolog
Martin-Luther Universität Halle-Wittenberg(哈雷-维滕贝格马丁·路德大学)
KBSET是一个支持学术编辑的环境,有两种:首先,作为一个实用的工具,KBSET/Letters伴随着通信版本的发展(特别是从18世纪和19世纪),完全从源文件到PDF和HTML演示文稿。第二,作为一个原型工具KBSET/NER的实验研究的新形式的工作围绕自动命名实体识别的版本。KBSET可以处理以LaTeX表示法表示的声明性应用程序特定标记,并合并通常在RDF中提供的大型外部事实库。KBSET包括专门开发的LaTeX风格和一个用SWI-Prolog编写的核心系统,该系统在许多角色中使用,利用它实现了Prolog作为统一语言的潜力。
2020-02-24 cs.AI cs.CL
Markup-to-Image Diffusion Models with Scheduled Sampling
Cornell University(康奈尔大学);Harvard University(哈佛大学)
基于图像生成的最新进展,我们提出了一个完全数据驱动的方法来渲染标记到图像中。该方法是基于扩散模型,参数化的分布数据使用一系列的去噪操作的高斯噪声分布的顶部。我们认为扩散去噪过程作为一个顺序的决策过程,并表明它表现出复合错误类似于暴露偏差问题中的模仿学习问题。为了缓解这些问题,我们将预定采样算法应用于扩散训练。我们在四个标记数据集上进行实验:数学公式(LaTeX),表格布局(HTML),乐谱(LilyPond)和分子图像(SMILES)。这些实验都验证了扩散过程的有效性和使用计划采样来解决生成问题。这些结果还表明,标记到图像的任务提出了一个有用的控制组成设置诊断和分析生成图像模型。
2022-10-11 cs.CL cs.CV cs.LG
An Annotation Scheme for Reichenbach's Verbal Tense Structure
University of Sheffield(谢菲尔德大学)
在本文中,我们提出了RTMML,一个置标语言的动词时态和动词之间的时间关系。语言中时态的丰富性并没有被现有的时间注释图式完全捕获。继赖兴巴赫,我们提出了一个分析时态的抽象时间点,支持自动化处理的时态和时间关系的语言的目的。这允许对文档中的时态进行精确的推理,并推断话语中时间和言语事件之间的时间关系。我们定义了RTMML的语法,并在一系列情况下演示了标记。
2012-03-22 cs.CL
SenTag: a Web-based Tool for Semantic Annotation of Textual Documents
European University Institute(欧洲大学学院);University of Padova(帕多瓦大学)
在这项工作中,我们提出了SenTag,一个轻量级的基于Web的工具,专注于文本文档的语义注释。该平台允许多个用户处理文档语料库。该工具能够通过采用可扩展置标语言(XML)作为输出格式的直观和易于使用的用户界面来标记文档语料库。该应用程序的主要目标是双重的:促进标记过程,减少或避免输出文档中的错误。此外,它允许识别用于构建参数图的参数和其他实体。也可以评估在文本语料库上工作的注释者的一致性水平。
2021-09-16 cs.CL cs.DL
PAWLS: PDF Annotation With Labels and Structure
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
Adobe的可移植文档格式(PDF)是一种流行的方式,用于分发具有丰富视觉标记的仅限查看的文档。这对希望使用PDF文档中包含的信息进行训练模型或数据分析的NLP从业者提出了挑战,因为注释这些文档很困难。在本文中,我们提出了PDF注释与标签和结构(PAWLS),一个新的注释工具,专为PDF文档格式。PAWLS特别适用于混合模式注释和注释者需要扩展上下文来准确注释的场景。PAWLS支持基于跨度的文本注释、N元关系和自由形式的非文本边界框,所有这些都可以以方便的格式导出,用于训练多模态机器学习模型。只读PAWLS服务器可在https://pawls.apps.allenai.org/上获得,源代码可在https://github.com/allenai/pawls上获得。
2021-01-25 cs.CL
Symlink: A New Dataset for Scientific Symbol-Description Linking
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究)
数学符号和描述以各种形式出现在文档节边界上,没有显式标记。在本文中,我们提出了一个新的大规模数据集,强调提取科学文献中的符号和描述。Symlink注释了5个不同领域的科学论文(即,计算机科学、生物学、物理学、数学和经济学)。我们在Symlink上的实验证明了现有模型的符号描述链接任务的挑战,并呼吁在这一领域进行进一步的研究工作。我们将公开发布Symlink,以方便未来的研究。
2022-04-26 cs.CL
English to Arabic machine translation of mathematical documents
Ibnou Zohr University(伊本佐赫尔大学)
本文提出面向英文 LATEX 数学文档的阿语翻译系统,以 Transformer 为核心并结合 RyDArab 与规则式表达式翻译,提升复杂数学内容翻译的准确性和流畅性。
2023-12-02 cs.CL
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学);FIZ Karlsruhe(卡尔斯鲁厄专业信息中心);George Washington University(乔治华盛顿大学)
在本文中,我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点,这些文档、章节和摘要都是按其主题类(数学、计算机科学、物理等)标记的。比较文本和公式的不同编码,并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$(集群的数量等于类的数量),和$99.9\%$(未指定的集群数量)分别。我们观察到文本和数学相似性之间的相关性相对较低,这表明文本和公式的独立性,并激励将它们作为文档的单独特征。可以采用分类和聚类,例如,用于文档搜索和推荐。此外,我们表明,计算机在分类文档时优于人类专家。最后,我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering
Microsoft Research(微软研究院);Singapore Management University(新加坡管理大学);University of Pennsylvania(宾夕法尼亚大学)
本研究评估LLMs在金融表格问答中的数学推理能力,提出一种针对半结构化文档的新型提示技术,匹配或超越基线性能。
2025-10-09 cs.CL
KBSET -- Knowledge-Based Support for Scholarly Editing and Text Processing
Martin-Luther-Universität Halle-Wittenberg(马丁·路德·哈雷-维滕贝格大学)
KBSET支持学术编辑的实用工作流程,基于使用LaTeX和面向语义的标记的专用命令以及Prolog实现的核心系统。Prolog扮演着各种角色:作为大型语义Web事实库的查询语言和访问机制,作为结构化文档的数据表示以及作为高级应用任务的工作流模型。核心系统包括一个LaTeX解析器和一个用于识别命名实体的工具。我们还勾画了未来的观点,这种方法的基础上计算逻辑技术的学术编辑。
2019-08-29 cs.AI cs.CL
Using General Large Language Models to Classify Mathematical Documents
International Mathematical Knowledge Trust(国际数学知识信托);University of Waterloo(滑铁卢大学)
本文初步验证了通用大语言模型依据标题和摘要对 arXiv 数学预印本进行 MSC 2020 分类的可行性,发现约 60% 与现有主分类一致,且在多数不一致案例中模型建议的分类更优。
2024-06-11 cs.CL cs.DL cs.IR
Machine Translation of Mathematical Text
我们已经实现了一个机器翻译系统,PolyMath翻译器,包含数学文本的LaTeX文档。目前的实现将英语LaTeX翻译为法语LaTeX,在数学句子的测试语料库上获得了53.5的BLEU分数。它可以生成LaTeX文档,无需进一步编辑即可编译为PDF。系统首先使用pandoc通用文档转换器解析LaTeX输入,将输入LaTeX文档的主体转换为包含数学符号的英语句子。我们使用OpenNMT在包含一小部分特定领域句子的组合语料库上训练了一个基于transformer的翻译器模型。我们的完整系统同时使用这个Transformer模型和Google翻译,后者被用作备份,以更好地处理我们的训练数据集中没有出现的语言特征。如果Transformer模型对其翻译没有信心,这是由高困惑分数确定的,那么我们使用带有自定义词汇表的Google翻译。这个备份在我们的数学句子测试语料库中使用了26%的时间。PolyMath翻译器可在www.polymathtrans.ai上作为网络服务提供。
2020-10-11 cs.CL
STEM-POM: Evaluating Language Models Math-Symbol Reasoning in Document Parsing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出STEM-PoM基准数据集,评估LLMs在科学文本中对数学符号的推理能力,发现现有模型分类准确率有限,改进符号分类可提升下游数学推理。
2025-05-31 cs.CL
RetrieveGPT: Merging Prompts and Mathematical Models for Enhanced Code-Mixed Information Retrieval
IIT Kharagpur(印度理工学院克勒格布尔分校)
针对罗马音译孟加拉语与英语混合的代码混合对话,提出基于GPT-3.5 Turbo提示与顺序相关文档数学模型的方法,在Facebook数据集上有效识别相关答案。
2025-03-26 cs.CL
SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics
提出首个无需专家标注的数学信息检索自动化基准SABER-Math,通过三步构建重排序任务,评估检索器在数学领域的效果,发现通用基准无法可靠预测数学检索性能。
2026-09-03 cs.AI cs.CL cs.IR
OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);University of Cambridge(剑桥大学);Princeton University(普林斯顿大学)
OpenWebMath是一个从Common Crawl提取的包含147亿数学网页词元的开放数据集,通过忠实保留数学符号的提取与过滤方法,训练出的14亿参数模型在推理任务上优于使用20倍通用数据训练的模型。
2023-10-10 cs.AI cs.CL cs.LG
MATATA: Weakly Supervised End-to-End MAthematical Tool-Augmented Reasoning for Tabular Applications
Docugami Inc(Docugami公司);University of Toronto(多伦多大学)
MATATA提出一种弱监督端到端方法,利用多步推理链的最终结果训练3.8B/8B小型语言模型智能体,在FinQA和TAT-QA上达到最先进水平,并在TabMWP上接近GPT-4框架性能。
2025-08-20 cs.CL cs.LG
What Makes a Good Dataset for Symbol Description Reading?
IBM Research Europe(IBM欧洲研究院);University of Rostock(罗斯托克大学)
本文针对数学标识符描述阅读任务,提出含7508个标注实例的MFQuAD数据集,并改进短语排名方法,通过实验建立性能基线并总结有效数据集特征。
2023-04-17 cs.AI cs.CL
A mathematical model for universal semantics
Princeton University(普林斯顿大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们通过对文本中重复出现的模式进行数学分析,用独立于语言的数字指纹来表征单词的含义。在长时间尺度上通过马尔可夫过程近似文本,我们能够从中等长度的特定文档中提取主题,发现同义词,并勾画语义场,而无需咨询外部知识库或词库。我们的马尔可夫语义模型使我们能够代表每个主题的概念由一个低维向量,解释为代数不变量的简洁的统计操作的文件,针对本地环境的个别单词。这些独立于语言的语义表示使机器人阅读器能够理解给定语言的短文本(自动问答),并在不同语言之间匹配中等长度的文本(自动单词翻译)。我们的语义指纹量化了5个主要语系14种代表性语言中单词的本地含义,提出了一种通用且具有成本效益的机制,可以在语义层面处理人类语言。我们的协议和源代码可在https://github.com/yajun-zhou/linguae-naturalis-principia-mathematica上公开获取
2020-07-12 cs.AI cs.CL cs.LG