Structure-Tags Improve Text Classification for Scholarly Document Quality Prediction
Center for Information Technology, University of Groningen（格罗宁根大学信息技术中心）；Kapteyn Astronomical Institute, University of Groningen（格罗宁根大学卡普泰恩天文研究所）
Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, Lambert Schomaker
备注：
This new version of the paper brings the paper up-to-date with the improved paper, published at the First Workshop on Scholarly Document Processing, at EMNLP 2020. .Additionally, minor corrections were made including addition of color to Figures 1,2. The changes in comparison to the first arXiv version are substantial, including various additional results, and substantial improvements to the text
在长文本（特别是学术文档）上训练递归神经网络会给学习带来问题。虽然层次注意力网络（HAN）在解决这些问题方面是有效的，但它们仍然丢失了关于文本结构的重要信息。为了解决这些问题，我们建议使用HAN与结构标签相结合，标记文档中句子的作用。为句子添加标签，将它们标记为与标题，摘要或主体文本相对应，从而改进了学术文档质量预测的最新技术。所提出的系统被应用到接受/拒绝的PeerRead数据集上的预测任务，并与最近的基于BiLSTM的模型和联合文本+视觉模型以及普通HAN进行比较。与普通HAN相比，在所有三个域上的准确性都有所提高。在计算和语言领域，我们的新模型总体上效果最好，比最佳文献结果提高了4.7%的准确性。我们还在引入用于预测我们从Allen AI S2 ORC数据集编译的88 k科学出版物的引用数量的标签时获得了改进。对于我们的HAN系统与结构标签，我们达到了28.5%的解释方差，比我们的基于BiLSTM的模型的重新实现提高了1.8%，比普通HAN提高了1.0%。
英文摘要：
Training recurrent neural networks on long texts, in particular scholarly documents, causes problems for learning. While hierarchical attention networks (HANs) are effective in solving these problems, they still lose important information about the structure of the text. To tackle these problems, we propose the use of HANs combined with structure-tags which mark the role of sentences in the document. Adding tags to sentences, marking them as corresponding to title, abstract or main body text, yields improvements over the state-of-the-art for scholarly document quality prediction. The proposed system is applied to the task of accept/reject prediction on the PeerRead dataset and compared against a recent BiLSTM-based model and joint textual+visual model as well as against plain HANs. Compared to plain HANs, accuracy increases on all three domains. On the computation and language domain our new model works best overall, and increases accuracy 4.7% over the best literature result. We also obtain improvements when introducing the tags for prediction of the number of citations for 88k scientific publications that we compiled from the Allen AI S2ORC dataset. For our HAN-system with structure-tags we reach 28.5% explained variance, an improvement of 1.8% over our reimplementation of the BiLSTM-based model as well as 1.0% improvement over plain HANs.
Falcon 7b for Software Mention Detection in Scholarly Documents
Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所）；University of Koblenz（科布伦茨大学）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；University Hospital of Cologne（科隆大学医院）
NeuroSym-BioCAT: Leveraging Neuro-Symbolic Methods for Biomedical Scholarly Document Categorization and Question Answering
TIB—Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心（TIB））；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Daffodil International University（水仙国际大学）
Comparison of Feature Learning Methods for Metadata Extraction from PDF Scholarly Documents
Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所FIT）；University Hospital of Cologne（科隆大学医院）；University of Koblenz（科布伦茨大学）；Soochow University（苏州大学）
NFDI4DS Shared Tasks for Scholarly Document Processing
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)（德意志人工智能研究中心有限公司）；Leuphana University of Lüneburg（吕贝克大学）；TIB Leibniz Information Centre for Science and Technology（科学与技术信息中心）；Fraunhofer Institute for Open Communication Systems FOKUS（开放通信系统研究所）；GESIS – Leibniz Institute for the Social Sciences（社会科学莱比锡研究所）；University Hospital Cologne, University of Cologne, Institute for Biomedical Informatics（科隆大学医院，生物医学信息学研究所）；FIZ-Karlsruhe – Leibniz-Institute for Information Infrastructure（信息基础设施莱比锡研究所）
GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews
International Laboratory on Learning Systems（国际学习系统实验室）；MILA - Quebec AI Institute（MILA - 魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS, CentraleSupélec（法国国家科学研究中心、中央高等电力学院）
Overview of the SV-Ident 2022 Shared Task on Survey Variable Identification in Social Science Publications
University of Mannheim（曼海姆大学）；GESIS – Leibniz Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）；Fraunhofer ISI（弗劳恩霍夫系统与创新研究所）；Stuttgart Media University（斯图加特传媒大学）
The Semantic Reader Project: Augmenting Scholarly Documents through AI-Powered Interactive Reading Interfaces
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；KAIST（韩国科学技术院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Minnesota（明尼苏达大学）；University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文介绍 Semantic Reader 项目，利用 AI 与 HCI 将遗留 PDF 转化为智能、交互式、可访问的学术阅读界面，并通过十个原型和 300 多名用户验证其效果。
Large Scale Subject Category Classification of Scholarly Papers with Deep Attentive Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）；Old Dominion University（奥多明尼昂大学）
学术论文的主题类别通常是指论文所属的知识领域，例如计算机科学或物理学。利用学科分类信息可以构建数字图书馆搜索引擎的分面搜索。这可以极大地帮助用户缩小相关文档的搜索空间。不幸的是，许多学术论文的元数据中并没有这样的信息。解决这一问题的现有方法通常集中在无监督学习上，而无监督学习往往依赖于引文网络。然而，引用当前论文的完整列表可能不容易获得。特别是，引用很少或没有引用的新论文不能使用这种方法进行分类。在这里，我们提出了一个深度关注的神经网络（DANN），分类学术论文只使用他们的摘要。该网络使用来自Web of Science（WoS）的900万篇摘要进行训练。我们还使用了WoS模式，涵盖了104个主题类别。该网络由两个双向递归神经网络和一个注意层组成。我们通过改变架构和文本表示来将我们的模型与基线进行比较。我们最好的模型实现了0.76的微观F1测量值，单个主题类别的F1范围为0.50-0.95。结果表明，重新训练词嵌入模型的重要性，以最大限度地提高词汇重叠和注意力机制的有效性。词向量与TFIDF的组合优于字符和句子级别的嵌入模型。我们讨论了不平衡的样本和重叠的类别，并提出了可能的缓解策略。我们还通过对100万篇学术论文的随机样本进行分类来确定CiteSeerX中的主题类别分布。
Complex Mathematical Symbol Definition Structures: A Dataset and Model for Coordination Resolution in Definition Extraction
University of Minnesota（明尼苏达大学）；University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
Span-level Detection of AI-generated Scientific Text via Contrastive Learning and Structural Calibration
Beijing Renhe Information Technology Co., Ltd.（北京润和信息技术有限公司）；Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals（科技期刊数字出版与全流程管理重点实验室）
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
Beijing Renhe Information Technology Co., Ltd.（北京人和信息技术有限公司）；Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals（科技期刊数字出版与全程管理重点实验室）
Efficient Social Network Multilingual Classification using Character, POS n-grams and Dynamic Normalization
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；École Polytechnique de Montréal（蒙特利尔理工学院）；Centro Nacional de Investigación y Desarrollo Tecnológico（国家研究与技术开发中心）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）
