On the Ethical Limits of Natural Language Processing on Legal Text
University of York（约克大学）；University of Sheffield（谢菲尔德大学）
用于分析法律文本的自然语言处理（NLP）方法为法律学者和实践者提供了一系列允许大规模地实证分析法律的工具。然而，研究人员似乎很难确定使用NLP系统获得关于法律和系统预测能力的真正见解的道德限制。在本文中，我们提出了一些系统地思考这些问题的方法。我们把重点放在三个关键的规范参数，据我们所知，被低估了目前的辩论：（a）学术自由的重要性，（b）存在的法律和道德规范的广泛多样性国内，但更是如此国际和（c）道德主义的威胁，在有关计算法的研究。对于这三个参数，我们为法律NLP社区提供了具体的建议。我们的讨论是围绕着一个现实生活中的场景进行的，这个场景最近引发了法律NLP研究界的争论。
2021-05-25 cs.AI cs.CL
The Whole is Better than the Sum: Using Aggregated Demonstrations in In-Context Learning for Sequential Recommendation
Singapore Management University（新加坡管理大学）
提出LLMSRec-Syn方法，通过聚合多个演示用户增强上下文学习，在序列推荐中超越现有LLM方法，部分情况媲美监督学习。
2024-03-15 cs.AI cs.CL cs.IR
Leveraging LLMs for Mental Health: Detection and Recommendations from Social Discussions
TCS Research（塔塔咨询服务研究中心）；IIT Kharagpur（印度理工学院克勒格布尔分校）
本文提出一个综合框架，结合 NLP 和生成式 AI 技术，利用基于规则和预训练模型及 LLMs 微调的混合方法，从 Reddit 帖子中识别心理健康障碍并评估严重程度，以提供行为改变和治疗干预建议，促进早期检测与个性化护理。
2025-03-03 cs.AI cs.IR cs.SI
Large Language Models for Generative Recommendation: A Survey and Visionary Discussions
Hong Kong Baptist University（香港浸会大学）；Rutgers University（罗格斯大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东省人工智能与数字经济实验室）
本综述探讨了基于大型语言模型的生成式推荐，指出其能将传统多阶段推荐简化为直接生成，并系统总结了该领域的进展、方法与未来方向。
2024-03-23 cs.AI cs.CL cs.IR
Similar Cases Recommendation using Legal Knowledge Graphs
University of Delhi（德里大学）；IBM Research（IBM研究院）；University of Toronto（多伦多大学）
针对印度法院判决的相似案例推荐问题，本文提出基于法律知识图谱的预测方案，并评估大语言模型对该任务的影响。
2024-03-02 cs.AI
An evaluation of DeepSeek Models in Biomedical Natural Language Processing
University of Minnesota Twin Cities（明尼苏达大学双子城分校）
本研究使用12个数据集评估了DeepSeek模型在四项生物医学NLP任务上的表现，发现其在命名实体识别和文本分类上表现优异，但在事件和关系抽取上存在挑战，为模型部署提供了指导。
2025-03-01 cs.AI cs.CL
Challenges and Opportunities of NLP for HR Applications: A Discussion Paper
Coburg University of Applied Sciences（科堡应用技术大学）；University of Sheffield（谢菲尔德大学）
本文梳理了人力资源管理领域文本分析的已落地及潜在应用场景，分析了自然语言技术在该领域应用的机遇与风险。
2024-05-13 cs.AI cs.CL
Who Annotates in NLP? A Large-scale Assessment of Human Annotation Reporting between 2018 and 2025
NLLG Lab University of Technology Nuremberg（NLLG实验室 梅尔堡技术大学）；Interdisciplinary Transformation University（跨学科转型大学）
本研究通过大规模审计NLP论文中的人工标注报告，发现标注细节报告不完整，并提出了改进报告质量的框架和建议。
2026-09-03 cs.AI cs.CL
A Survey on Large Language Models for Personalized and Explainable Recommendations
本综述分析了推荐系统如何利用大语言模型提升个性化和可解释推荐，并探讨了个性化解释生成任务中的冷启动、不公平与偏见等主要挑战。
2023-11-21 cs.AI cs.IR
Mining Healthcare Procurement Data Using Text Mining and Natural Language Processing -- Reflection From An Industrial Project
Information School, the University of Sheffield（谢菲尔德大学信息学院）；Vamstar Ltd.（Vamstar有限公司）
虽然文本挖掘和NLP研究已经建立了几十年，但在报告这些技术在构建真实世界应用程序中的使用的文献中仍然存在空白。例如，他们通常只关注单一的，有时甚至是简化的任务，而不深入讨论现实世界中常见的数据异构性和不一致性，或者它们对方法开发的影响。此外，很少有以前的工作集中在医疗保健领域。在这项工作中，我们描述了一个行业项目，该项目开发了文本挖掘和NLP解决方案，以挖掘医疗保健行业数百万个异构的多语言采购文档。我们提取结构化的采购合同数据，用于为动态评估供应商风险的平台提供动力。我们的工作在许多方面做出了独特的贡献。首先，我们处理高度异构的多语言数据，并记录我们应对这些挑战的方法。这主要是基于一种有效使用领域知识并推广到多种文本挖掘和NLP任务和语言的方法。其次，应用这种方法挖掘数以百万计的采购文件，我们开发了第一个结构化的采购合同数据库，这将有助于促进招标过程。第二，最后，我们讨论了实际的文本挖掘/NLP开发的经验教训，并为未来的研究和实践提出建议。
2023-01-09 cs.AI cs.CL
Trusted Knowledge Extraction for Operations and Maintenance Intelligence
本研究针对运维智能中的知识提取挑战，分解知识图谱构建过程，评估16种NLP工具与LLMs在航空领域零样本性能，提出信任增强建议并开源数据集。
2025-10-25 cs.AI cs.CL
PALR: Personalization Aware LLMs for Recommendation
Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出PALR框架，结合用户历史行为、候选检索与微调的70亿参数LLM排序模型，在多种序列推荐任务上超过现有最先进方法。
2023-06-07 cs.AI cs.CL cs.IR
State-of-the-art generalisation research in NLP: A taxonomy and review
FAIR；University of Amsterdam（阿姆斯特丹大学）；ETH Zürich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）；Reka AI；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；University of Cambridge（剑桥大学）；Amazon Alexa AI（亚马逊Alexa AI）；École Normale Supérieure-PSL（巴黎高等师范学院-PSL）；The World Bank（世界银行）；Harvard University（哈佛大学）；University of Aberdeen（阿伯丁大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Pioneer Centre for Artificial Intelligence（先锋人工智能中心）；Textshuttle；National University of Mongolia（蒙古国立大学）；Hong Kong University of Science and Technology（香港科技大学）；MIT（麻省理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出一个包含五个维度的NLP泛化研究分类体系，对400余篇论文的600多个实验进行分类综述，分析现状并提出未来研究方向。
2024-01-12 cs.AI cs.CL
GenRec: Generative Sequential Recommendation with Large Language Models
University of Michigan（密歇根大学）
将序列推荐视为序列到序列生成任务，提出基于大型语言模型的轻量级生成式模型GenRec，采用掩码物品预测目标学习双向序列模式，在多个公开数据集上取得最先进结果。
2024-08-29 cs.AI cs.CL cs.IR
Enhance Large Language Models as Recommendation Systems with Collaborative Filtering
本研究提出Critic-LLM-RS，通过训练独立的Critic模型实现协同过滤，为非微调LLM推荐系统提供评论以优化推荐，实验验证其有效性。
2025-10-17 cs.AI cs.IR
CARTS: Collaborative Agents for Recommendation Textual Summarization
本文提出CARTS多智能体大语言模型框架，通过生成增强生成、精炼循环和仲裁三阶段协作生成推荐系统商品标题，实验表明其显著优于单次生成和思维链基线，提升了标题相关性与用户参与度。
2025-07-01 cs.AI cs.IR
IDGenRec: LLM-RecSys Alignment with Textual ID Learning
Rutgers University（罗格斯大学）
针对生成式推荐中物品ID编码难题，提出IDGen方法生成语义文本ID，实现LLM与推荐系统对齐，在序列推荐任务上性能超越现有模型，且跨平台零样本基础模型性能可媲美监督训练的传统推荐模型。
2024-05-17 cs.AI cs.CL cs.IR
Emerging Synergies Between Large Language Models and Machine Learning in Ecommerce Recommendations
Northern Arizona University（北亚利桑那大学）；Northeastern University（东北大学）；Tianjin University of Technology（天津理工大学）；University of Southern California（南加州大学）
本文针对传统DNN推荐系统的局限性，系统综述了LLM驱动的电子商务推荐系统研究，涵盖特征编码方法、三种协同过滤增强范式及未来方向。
2024-03-12 cs.AI
GenRecEdit: Adapting Model Editing for Generative Recommendation with Cold-Start Items
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学全球化人工智能学院）；School of Information Technology and Management, University of International Business and Economics（国际经济贸易大学信息科学技术与管理学院）
GenRecEdit通过模型编辑技术解决生成推荐中冷启动问题，通过迭代token级编辑和一对一触发机制提升冷启动项目推荐性能，仅需9.5%的训练时间。
2026-05-01 cs.AI cs.IR
Where to Move Next: Zero-shot Generalization of LLMs for Next POI Recommendation
Centre for Frontier AI Research（前沿人工智能研究中心）；Institute of High Performance Computing（高性能计算研究所）；A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Hong Kong Polytechnic University（香港理工大学）
本研究针对LLM在下一个POI推荐中的零样本泛化能力，设计了新颖的提示策略，将推荐任务表述为排序问题，考虑用户地理偏好、空间距离和顺序转移，并在真实数据集上验证了LLM的零样本推荐能力及其对地理上下文理解的局限性。
2024-04-22 cs.AI cs.IR
LLMRec: Benchmarking Large Language Models on Recommendation Task
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）；University of Technology Sydney（悉尼科技大学）；Yale University（耶鲁大学）；University of Illinois Chicago（芝加哥伊利诺伊大学）
本研究提出LLMRec基准框架，在五类推荐任务上测试多款现成LLM的性能，探究监督微调的作用，发现LLM在可解释性推荐任务上表现接近最优，为LLM在推荐领域的研究提供参考。
2026-10-14 cs.AI cs.IR
Gender and Race Bias in Consumer Product Recommendations by Large Language Models
University of Victoria, British Columbia, Canada（维多利亚大学）
本文研究了大型语言模型在消费者产品推荐中存在性别和种族偏见的问题，通过提示工程和三种分析方法揭示了推荐中的不平等现象，并强调了构建更公平推荐系统的重要性。
2026-02-08 cs.AI cs.CL cs.LG
A Survey on Large Language Models for Recommendation
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室）；Career Science Lab, BOSS Zhipin（BOSS直聘职业科学实验室）
该综述将基于大语言模型的推荐系统划分为判别式和生成式两大范式（首次系统梳理生成式范式），系统分析各范式下的方法技术与性能，指出关键挑战并提供启发，同时搭建了相关论文索引仓库。
2024-06-18 cs.AI cs.IR
Improving Academic Skills Assessment with NLP and Ensemble Learning
University of Chicago（芝加哥大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；san jose state university（圣何塞州立大学）；Tulane University（杜兰大学）
本研究利用集成学习框架结合BERT等多个先进NLP模型，通过堆叠技术与伪标签学习优化性能，显著提升了学术技能评估的准确性与效率，为教育技术研究提供了新方案。
2024-10-13 cs.AI cs.CL cs.CY
VIP5: Towards Multimodal Foundation Models for Recommendation
Rutgers University（罗格斯大学）
提出 VIP5 多模态基础模型，统一视觉、文本和个性化模态，通过多模态个性化提示和参数高效训练（冻结主干、微调适配器）提升推荐性能与效率。
2023-10-14 cs.AI cs.HC cs.IR
How to Write a Bias Statement: Recommendations for Submissions to the Workshop on Gender Bias in NLP
IT University of Copenhagen（哥本哈根信息技术大学）；Uppsala University（乌普萨拉大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Google AI Language（谷歌人工智能语言部门）；Canva；Microsoft Research（微软研究院）
在NLP中的性别偏见研讨会（GeBNLP）上，我们希望鼓励作者明确考虑偏见及其社会影响的更广泛方面。因此，对于2020年版的研讨会，我们要求所有作者在他们的工作中包括一个明确的偏见声明，以澄清他们的工作如何与使用NLP系统的社会背景相关。讲习班的方案委员会包括一些具有人文和社会科学背景的审查人员，此外还有从事大部分审查工作的自然语言处理专家。每一篇论文都被分配了一名评审员，他们被要求在评审中特别注意所提供的偏倚声明。这一举措受到了向研讨会提交论文的作者的好评，其中一些人说他们从偏倚评审员那里得到了有用的建议和文献提示。因此，我们计划在今后的讲习班中保留审查进程的这一特点。
2021-04-07 cs.CL
NLP Privacy Risk Identification in Social Media (NLP-PRISM): A Survey
George Mason University（乔治·马歇尔大学）
本文提出NLP-PRISM框架，系统评估社交媒体中NLP处理的隐私风险，揭示模型隐私保护与效用之间的权衡，并呼吁加强隐私保护措施。
2026-01-26 cs.AI cs.CL cs.CR
ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation
Shanghai Jiao Tong University（上海交通大学）
本文提出检索增强大语言模型框架ReLLa，通过语义用户行为检索和检索增强指令微调解决LLM在推荐中的终身序列行为理解问题，在零样本和少样本推荐中显著优于基线模型。
2024-06-26 cs.AI cs.IR
SupervisorBot: NLP-Annotated Real-Time Recommendations of Psychotherapy Treatment Strategies with Deep Reinforcement Learning
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个建议系统，建议治疗策略的治疗师在心理治疗会话期间在实时的【形】。我们的系统使用了一个回合级别评级机制，通过计算评分清单的深度嵌入和患者正在说话的当前句子之间的相似性得分来预测治疗结果。该系统自动转录一个连续的音频流，并将其分为轮流的病人和治疗师，并执行实时的【形】推理他们的治疗工作联盟。然后，将对话对及其计算出的工作联盟作为评级馈送到深度强化学习推荐系统中，在该系统中，会话被视为用户，主题被视为项目。除了评估现有心理治疗会话数据集的核心组件的经验优势外，我们还在Web应用程序中展示了该系统的有效性。
2022-10-29 cs.AI cs.CL cs.HC
TutorialBank: A Manually-Collected Corpus for Prerequisite Chains, Survey Extraction and Resource Recommendation
Department of Computer Science, Yale University（耶鲁大学计算机科学系）
自然语言处理（NLP）领域正在迅速发展，每天都有新的研究成果发表，同时还有大量的教程、代码库和其他在线资源。为了了解这个充满活力的领域或保持最新的最新研究，学生以及教育工作者和研究人员必须不断筛选多个来源，以找到有价值的相关信息。为了解决这种情况，我们引入了TutorialBank，这是一个新的公开数据集，旨在促进NLP教育和研究。我们已经手动收集和分类了超过6，300个关于NLP以及人工智能（AI），机器学习（ML）和信息检索（IR）相关领域的资源。值得注意的是，我们的数据集是用于NLP教育的最大的手动挑选的资源语料库，其中不仅包括学术论文。此外，我们还为资源创建了一个搜索引擎和一个命令行工具，并对语料库进行了注释，以包括研究主题列表、每个主题的相关资源、主题之间的先决条件关系、单个资源的相关子部分以及其他注释。我们正在发布数据集，并提出了几种进一步研究的途径。
2018-05-11 cs.CL
Language (Technology) is Power: A Critical Survey of "Bias" in NLP
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）；University of Maryland（马里兰大学）
我们调查了146篇分析NLP系统中“偏见”的论文，发现他们的动机往往是模糊的，不一致的，缺乏规范性推理，尽管分析“偏见”是一个固有的规范过程。我们进一步发现，这些论文提出的用于测量或减轻“偏见”的定量技术与他们的动机不匹配，并且没有与NLP之外的相关文献相结合。基于这些发现，我们通过提出三项建议来描述前进道路的开始，这些建议应该指导分析NLP系统中的“偏见”的工作。这些建议基于对语言和社会等级之间关系的更大认识，鼓励研究人员和实践者阐明他们对“偏见”的概念-即，什么样的系统行为是有害的，以什么方式，对谁，为什么，以及这些陈述背后的规范性推理-并围绕受NLP系统影响的社区成员的生活经验开展工作，同时询问和重新想象技术人员与这些社区之间的权力关系。
2020-05-29 cs.CL cs.CY
Template-based Recruitment Email Generation For Job Recommendation
University of Copenhagen（哥本哈根大学）
文本生成一直是自然语言处理领域的研究热点。然而，在工作推荐场景中，从招聘人员向候选人生成招聘电子邮件的任务很少受到研究界的关注。这项工作的目的是定义主题的自动电子邮件生成的工作建议，确定的挑战，并提供一个基线模板为基础的解决方案，丹麦的工作。人类专家的评估表明，我们的方法是有效的。最后，我们讨论了未来的研究方向，以更好地解决这一任务。
2022-12-06 cs.CL
Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Northeastern University（东北大学）
本文针对NLP模型能耗快速增长的问题，研究了能耗测量技术及可调的硬件、数据中心设置，经实验验证功率封顶等技术可在小幅增加计算时间的前提下显著降低语言模型训练与推理能耗。
2022-05-19 cs.AI cs.CL cs.PF
What Factors Should Paper-Reviewer Assignments Rely On? Community Perspectives on Issues and Ideals in Conference Peer-Review
University of Copenhagen（哥本哈根大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）
科学进步和研究人员个人的职业生涯都取决于同行评议的质量，而同行评议的质量又取决于论文评审者的匹配。令人惊讶的是，这个问题主要是作为一个自动化的推荐问题，而不是作为一个问题，不同的利益相关者（地区主席，评审员，作者）积累了值得考虑的经验。我们提出了对NLP社区的第一次调查的结果，确定了论文评审匹配系统应该考虑哪些因素的共同问题和观点。这项研究有助于改善未来的NLP会议的可操作的建议，并为可解释的同行评审任务。
2022-05-03 cs.CL
Which anonymization technique is best for which NLP task? -- It depends. A Systematic Study on Clinical Text Processing
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
临床文本处理近年来受到越来越多的关注。另一方面，访问敏感的患者数据仍然是一个巨大的挑战，因为在没有法律障碍和不删除个人信息的情况下，无法共享文本。有许多技术可以修改或删除患者相关信息，每种技术都具有不同的优势。本文研究了不同匿名化技术对ML模型性能的影响，这些模型使用了对应于五个不同NLP任务的多个数据集。提出了一些经验教训和建议。这项工作证实，特别强的匿名技术会导致性能显着下降。除此之外，大多数提出的技术对于基于相似性搜索的重新识别攻击是不安全的。
2022-09-01 cs.CL
WorkRB: A Community-Driven Evaluation Framework for AI in the Work Domain
University of Copenhagen（哥本哈根大学）；Edinburgh Napier University（爱丁堡纳皮尔大学）；Leiden University（莱顿大学）；University of Amsterdam（阿姆斯特丹大学）；Ghent University - imec（根特大学 - imec）；AIDA-IDLab, Ghent University（AIDA-IDLab，根特大学）；IT University of Copenhagen（哥本哈根IT大学）
本文提出WorkRB，首个开源社区驱动的工作领域AI评估框架，涵盖13种任务，支持单语和多语评估，模块化设计便于集成私有任务。
2026-03-17 cs.AI cs.CL
Colombian Waitresses y Jueces canadienses: Gender and Country Biases in Occupation Recommendations from LLMs
Erasmus Mundus Master in Language and Communication Technologies（埃拉斯谟 Mundus 语言与沟通技术硕士项目）；HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)（巴斯克国家大学（UPV/EHU）HiTZ中心 - Ixa）；Cohere（Cohere公司）；Saarland University（萨尔兰州大学）
本文构建涵盖英语、西班牙语、德语及25个国家、四组代词的职业推荐基准，评估5个基于Llama的模型，揭示LLM存在显著的交叉性国家与性别偏见。
2025-07-26 cs.CL
Is Machine Learning Speaking my Language? A Critical Look at the NLP-Pipeline Across 8 Human Languages
Clarkson University（克拉克森大学）；Iona College（艾奥纳学院）
自然语言处理（NLP）越来越多地被用作关键决策系统的关键成分，例如用于对求职者列表进行排序的简历解析器。NLP系统通常会摄取大量的人类文本，试图从过去的人类行为和决策中学习，以产生能够为我们的未来世界提供建议的系统。今天有超过7000种人类语言被使用，典型的NLP管道低估了其中大多数语言的使用者，同时放大了其他语言使用者的声音。在本文中，一个包括8种语言（英语，汉语，乌尔都语，波斯语，阿拉伯语，法语，西班牙语和沃洛夫语）的团队对典型的NLP管道进行了批判性的研究，以及即使在技术上支持一种语言，仍然存在大量的警告，以防止完全参与。尽管在许多工具和资源的多语言支持方面进行了巨大而令人钦佩的投资，但我们仍然在做出NLP指导的决策，这些决策系统地、严重地低估了世界上许多人的声音。
2020-07-11 cs.CL cs.LG
Systematic Inequalities in Language Technology Performance across the World's Languages
Harvard University（哈佛大学）；George Mason University（乔治梅森大学）；Carnegie Mellon University（卡内基梅隆大学）
自然语言处理（NLP）系统已经成为通信、教育、医学、人工智能以及许多其他研究和开发领域的核心技术。虽然NLP方法的性能在过去十年中有了巨大的增长，但这一进展仅限于世界上6,500种语言中的一小部分。我们介绍了一个框架，估计语言技术的全球效用，揭示了在一个全面的快照，最近的出版物在自然语言处理。我们的分析涉及整个领域，但也更深入地研究了面向用户的技术（机器翻译，语言理解，问答，文本到语音合成）以及更多的语言NLP任务（依存句法分析，形态变化）。在这个过程中，我们（1）量化NLP研究现状中的差异，（2）探索一些相关的社会和学术因素，（3）为旨在促进更全球化和公平的语言技术的循证决策提供量身定制的建议。
2021-10-13 cs.CL
T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP
University of British Columbia（不列颠哥伦比亚大学）；Huawei Cananda Technologies Co. Ltd.（华为加拿大技术有限公司）
Transformers是NLP中的主导架构，但它们的训练和微调仍然非常具有挑战性。在本文中，我们提出了一个视觉分析框架的设计和实现，以帮助研究人员在这样的过程中，通过为他们提供有价值的见解模型的内在属性和行为。我们的框架提供了一个直观的概述，允许用户探索模型的不同方面（例如，隐藏状态、注意力），并允许一套内置算法来计算模型组件和输入序列不同部分的重要性。案例研究和用户焦点小组的反馈表明，该框架是有用的，并提出了几项改进建议。
2021-08-31 cs.CL cs.HC
Beyond original Research Articles Categorization via NLP
University of Genova（热那亚大学）
本研究提出一种基于 SciBERT 和 K-Means 算法的科学文献未知类别文本分类方法，利用轮廓系数确定最佳聚类数，实验证明其比传统 arXiv 标记系统更有效，能改进文献导航与推荐。
2023-09-13 cs.CL
Natural Language Processing, Sentiment Analysis and Clinical Analytics
Effat University（埃法特大学）
大数据的最新进展促使医疗保健从业者利用社交媒体上的数据来辨别情绪和情感表达。健康信息学和临床分析在很大程度上依赖于从不同来源收集的信息。传统上，医疗从业者会要求病人填写一份问卷，这将形成诊断医疗条件的基础。然而，医疗从业人员可以获得许多数据来源，包括患者在各种媒体上的文章。自然语言处理（NLP）允许研究人员收集这些数据并对其进行分析，以收集这些文字的潜在含义。情感分析领域（应用于许多其他领域）在很大程度上依赖于NLP使用的技术。这项工作将研究NLP领域的各种流行理论，以及如何利用它们来收集社交媒体上的用户情绪。这种情绪可以在一段时间内剔除，从而最大限度地减少数据输入和其他压力源引入的错误。此外，我们还研究了情感分析的一些应用以及NLP在心理健康方面的应用。读者还将了解实现各种NLP理论的NLTK工具包，以及它们如何使数据清理过程变得更加容易。
2019-02-02 cs.CL
Towards Semantic Modeling of Contradictions and Disagreements: A Case Study of Medical Guidelines
UNC Charlotte（北卡罗来纳大学夏洛特分校）；U. of Central Florida（中佛罗里达大学）
我们引入了一个正式的区别矛盾和分歧之间的自然语言文本，动机是需要正式的原因矛盾的医疗指南。这是一个新的和潜在的非常有用的区别，到目前为止还没有在NLP和逻辑中讨论过。我们还描述了一个自然语言处理系统能够自动发现矛盾的医疗指南，该系统使用的文本分析和信息检索模块的组合。我们还报告了一个小语料库的相互矛盾的医疗建议的积极评价结果。
2017-08-02 cs.CL
Towards Sustainable NLP: Insights from Benchmarking Inference Energy in Large Language Models
Indian Institute of Technology（印度理工学院）；Indian Statistical Institute（印度统计研究所）；Accenture Labs（埃森哲实验室）
本文针对LLM推理高成本问题，跨多类NLP任务基准测试模型、任务、提示与系统因素的能耗影响，发现能耗与输出长度、响应时间强相关，并提出量化、批大小和提示优化建议。
2025-03-15 cs.CL
Masader: Metadata Sourcing for Arabic Text and Speech Data Resources
King Fahd University of Petroleum and Minerals（法赫德石油和矿产大学）
NLP管道在过去几年中发生了巨大的变化。管道中的第一步是找到合适的注释数据集来评估我们试图解决的任务。不幸的是，大多数已发布的数据集缺乏描述其属性的元数据注释。更不用说，缺乏一个公共目录来索引与特定地区或语言相关的所有公开数据集。例如，当我们考虑低资源的辩证语言时，这个问题变得更加突出。在本文中，我们创建了\textit{Masader}，这是阿拉伯语NLP数据集的最大公共目录，由200个数据集组成，注释了25个属性。此外，我们开发了一个元数据注释策略，可以扩展到其他语言。我们还就阿拉伯语NLP数据集的现状发表评论并强调一些问题，并提出解决这些问题的建议。
2021-10-13 cs.CL
Query2Vec: An Evaluation of NLP Techniques for Generalized Workload Analytics
University of Washington（华盛顿大学）；Snowflake Computing（斯诺flake计算公司）
我们考虑用于学习SQL查询的向量表示以支持广义工作负载分析任务的方法，包括用于索引选择的工作负载汇总和预测将触发内存错误的查询。我们考虑原始SQL文本和优化查询计划的向量表示，并在合成和真实SQL工作负载上评估这些方法。我们发现，基于矢量表示的一般算法可以优于现有的方法，依赖于专门的功能。对于索引推荐，我们对向量表示进行聚类，以压缩大型工作负载，而不会损失推荐索引的性能。对于错误预测，我们训练一个分类器学习向量，可以自动相关的微妙的语法模式与查询执行过程中提出的特定错误。令人惊讶的是，我们还发现这些方法支持迁移学习，其中在一个SQL语料库上训练的模型可以应用于不相关的语料库，并且仍然具有良好的性能。我们发现，这些一般的方法，在一个大型语料库的SQL查询训练，提供了一个强大的基础，各种工作负载分析任务和数据库功能，而不需要特定于应用程序的功能工程。
2018-02-02 cs.CL cs.DB
Language Modeling for the Future of Finance: A Survey into Metrics, Tasks, and Data Opportunities
Georgia Institute of Technology（佐治亚理工学院）
本综述系统分析2017-2024年间374篇金融NLP论文，识别出扩展预测任务、引入金融指标、利用多语言数据及平衡模型效率等关键研究方向。
2025-10-14 cs.CL
RecoBERT: A Catalog Language Model for Text-Based Recommendations
Microsoft（微软）；Tel Aviv University（特拉维夫大学）；Ariel University（Ariel大学）；Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；cs.tau.ac.il（特拉维夫大学计算机科学系）
利用来自未标记文本的广泛的自我监督预训练的语言模型最近已被证明在各种语言理解任务中显着提高了最先进的性能。然而，目前还不清楚这些最新的模型是否以及如何用于进行基于文本的建议。在这项工作中，我们介绍了BERT，BERT为基础的方法学习目录专用的语言模型，基于文本的项目建议。我们提出了新的训练和推理程序对项目之间的相似性评分，不需要项目相似性标签。训练和推理技术都是为了利用文本目录的未标记结构，并最大限度地减少它们之间的差异。通过在推理过程中结合四个分数，BERBERT可以比其他技术更准确地推断基于文本的项目之间的相似性。此外，我们引入了一个新的语言理解任务的葡萄酒推荐使用相似性的基础上专业的葡萄酒评论。作为额外的贡献，我们发布了由人类葡萄酒专家制作的注释建议数据集。最后，我们评估了WEBERT，并将其与葡萄酒和时尚推荐任务中的各种最先进的NLP模型进行了比较。
2020-09-25 cs.CL cs.IR cs.LG
VIDEE: Visual and Interactive Decomposition, Execution, and Evaluation of Text Analytics with Intelligent Agents
Department of Computer Science, University of California at Davis（加州大学戴维斯分校计算机科学系）
VIDEE通过人机协作流程帮助初级分析师进行高级文本分析，包含分解、执行和评估三个阶段，结合人类反馈和LLM评估，验证了系统在非专家用户中的实用性。
2026-05-07 cs.AI cs.CL cs.HC
A Survey of Text and Speech Resources for Hausa and Fongbe: Availability, Quality, and Gaps for NLP Development
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；Centre for Text Technology, North-West University（文本技术中心，北开普大学）
本文系统调查了豪萨语和丰贝语的公开文本与语音资源，对比分析其可用性、质量及差距，为低资源语言NLP发展提供建议。
2026-04-13 cs.CL
EduBERT: Pretrained Deep Language Models for Learning Analytics
The University of Edinburgh（爱丁堡大学）
使用大型预训练神经网络来创建上下文化的词嵌入，极大地提高了几个自然语言处理（NLP）任务的性能。这些计算昂贵的模型已经开始应用于特定领域的NLP任务，例如根据临床记录进行再住院预测。本文证明了使用大型预训练模型在常见的学习分析任务上会产生出色的结果。使用来自各种在线课程的学生论坛数据对深度语言模型进行预训练，在三个文本分类任务上提高了超越最先进水平的性能。我们还表明，我们的模型的一个较小的，蒸馏的版本产生的三个任务中的两个最好的结果，同时限制计算成本。我们将这两种模型提供给整个研究社区。
2019-12-02 cs.AI cs.CL cs.CY
unarXive 2022: All arXiv Publications Pre-Processed for NLP, Including Structured Full-Text and Citation Network
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文发布 unarXive 2022 数据集，基于既有流程改进并预处理 190 万篇、跨 32 年的 arXiv 文献，提供结构化全文、完整引用网络及相关 NLP 任务数据。
2023-03-27 cs.CL cs.DL
Towards Fairer Health Recommendations: finding informative unbiased samples via Word Sense Disambiguation
Loyola Marymount University（洛约拉马利蒙特大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）
为解决医疗数据偏差导致健康推荐不公的问题，本研究借助词义消歧优化负样本数据集质量，实验发现微调BERT模型在医疗文本偏差检测上表现优于零/少样本LLM。
2024-09-11 cs.CL cs.CY cs.LG
Large-Scale News Classification using BERT Language Model: Spark NLP Approach
Brawijaya University（布拉维贾亚大学）
在NLP之上的大数据分析的兴起增加了大规模文本处理的计算负担。NLP面临的问题是非常高维的文本，因此需要大量的计算资源。MapReduce允许大型计算的并行化，并且可以提高文本处理的效率。本研究旨在研究基于深度学习方法的大数据处理对自然语言处理任务的影响。我们使用预先训练好的模型对BERT进行微调，对新闻主题的大文本进行分类。在本研究中使用了具有不同数量参数的五个预训练模型。为了衡量这种方法的效率，我们将BERT的性能与Spark NLP的流水线进行了比较。结果表明，与使用Spark NLP的BERT相比，使用Spark NLP的BERT具有更高的精度。使用BERT的所有模型的平均精度和训练时间为0.9187和35分钟，而使用Spark NLP管道的BERT为0.8444和9分钟。模型越大，需要的计算资源越多，完成任务的时间也越长。然而，与没有Spark NLP的BERT相比，使用Spark NLP的BERT的准确率平均仅下降了5.7%，而训练时间则显著减少了62.9%。
2021-07-15 cs.CC cs.CL cs.LG
