Investigating and Addressing Hallucinations of LLMs in Tasks Involving Negation
Arizona State University(亚利桑那州立大学)
本文研究否定对大语言模型幻觉的影响,在四个涉及否定的任务上发现LLaMA-2-chat、Vicuna和Orca-2等开源模型存在严重幻觉,并提出多种缓解策略并验证其效果。
2024-06-08 cs.CL
DEO: Training-Free Direct Embedding Optimization for Negation-Aware Retrieval
Department of Industrial Engineering, Hanyang University(工业工程系,翰阳大学);Department of Applied Data Science, Sungkyunkwan University(应用数据科学系,成均馆大学)
DEO通过无训练的直接嵌入优化方法,提升了否定和排除感知检索的性能,尤其在多模态检索中表现突出。
2026-11-20 cs.CL
Balancing Exploration and Exploitation in LLM using Soft RLLF for Enhanced Negation Understanding
National Institute of Informatics(信息学研究所)
提出用 Soft RLLF 在 LLM 微调中平衡探索与利用,并通过基准对比、迁移学习和法律 AI 评估验证其对否定理解与逻辑可靠性的提升。
2024-03-02 cs.AI cs.CL
Shiksha: A Technical Domain focused Translation Dataset and Model for Indian Languages
Indian Institute of Technology Madras(印度马德拉斯理工学院)
针对印度低资源语言缺乏科技教育领域翻译数据的问题,研究者通过挖掘NPTEL讲座转录文本构建了含8种语言超280万对的Shiksha平行语料库,微调的NMT模型在领域内任务超越现有公开模型,领域外泛化也有显著提升。
2024-12-12 cs.AI cs.CL
InferES : A Natural Language Inference Corpus for Spanish Featuring Negation-Based Contrastive and Adversarial Examples
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Universitat de Barcelona(巴塞罗那大学)
在本文中,我们提出了InferES -原始语料库的自然语言推理(NLI)在欧洲西班牙语。我们提出,实施和分析各种语料库创建策略,利用专家语言学家和人群工作者。InferES的目标是提供高质量的数据,同时促进对自动化系统的系统评估。具体来说,我们专注于测量和提高机器学习系统在基于否定的对抗性示例上的性能,以及它们在分布外主题上进行概括的能力。我们在InferES(8,055个黄金示例)上对两个Transformer模型进行了各种场景的训练。我们最好的模型获得了72.8%的准确率,留下了很大的改进空间。“仅假设”基线的性能仅比大多数高2%-5%,这表明注释工件比以前的工作少得多。我们发现,在InferES上训练的模型在各个主题(分布内和分布外)上都有很好的泛化能力,并且在基于否定的对抗性示例上表现良好。
2022-10-06 cs.AI cs.CL cs.LG
Beyond Negation Detection: Comprehensive Assertion Detection Models for Clinical NLP
John Snow Labs inc.(约翰斯诺实验室公司)
针对过往临床NLP断言检测仅聚焦否定检测、商业方案领域适配性差的问题,该研究开发了含微调LLM、深度学习等多类的断言检测模型,集成于Spark NLP,性能优于GPT-4o等商业方案,适配不同资源场景。
2025-03-21 cs.CL cs.IR cs.LG
Improving Query-Focused Meeting Summarization with Query-Relevant Knowledge
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);The Hong Kong University of Science and Technology(香港科技大学)
针对查询聚焦会议摘要中长文本与信息稀疏的挑战,提出知识增强两阶段框架KAS,在QMSum上取得最优性能,生成相关且忠实的摘要。
2023-09-05 cs.AI cs.CL
Improving BERT with Syntax-aware Local Attention
Beihang University(北京航空航天大学);Tencent Cloud Xiaowei(腾讯云小微)
预训练的基于transformer的神经语言模型,如BERT,在各种NLP任务上取得了显着的效果。最近的工作表明,基于注意力的模型可以受益于对局部区域的更集中的注意力。它们大多将注意力范围限制在线性范围内,或局限于某些任务,如机器翻译和问答。在本文中,我们提出了一个句法感知的局部注意,其中的注意范围是限制的基础上的距离在句法结构。所提出的句法感知局部注意力可以与预训练的语言模型(例如BERT)集成,以使模型专注于句法相关的单词。我们在各种单句基准上进行实验,包括句子分类和序列标记任务。实验结果表明,一致的增益超过BERT的所有基准数据集。大量的研究表明,我们的模型取得了更好的性能,由于更集中的注意力在句法相关的词。
2021-05-24 cs.CL
Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
本研究针对LLMs判断不一致问题,提出基于传递性等三个属性的逻辑偏好一致性评估框架,引入REPAIR技术提升一致性并保持人类偏好对齐,实验证明该框架可反映鲁棒性且改进后算法性能更好。
2025-02-09 cs.AI cs.CL cs.LO
Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing
Georgia Institute of Technology(佐治亚理工学院);University of Pennsylvania(宾夕法尼亚大学);University at Albany(奥尔巴尼大学);University of Tennessee(田纳西大学)
针对非结构化知识编辑中上下文依赖导致原子事实回忆失败的问题,提出FOVEATED框架,通过随机扰动RoPE位置构建聚焦视图,在编辑时应用、推理时移除,显著提升五个编辑器在两个骨干和三个基准上的事实回忆性能。
2026-10-05 cs.AI cs.CL
Improving Heart-Focused Medical Question Answering in LLMs via Variance-Aware Rubric Rewards with GRPO
School of Electrical and Computer Engineering, University of Oklahoma, Norman, OK, USA(电气与计算机工程学院,俄克拉荷马大学,诺曼,OK,USA);Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory, University of Oklahoma, Norman, OK, USA(创新研究与工程智能神经形态与量子理解实验室,俄克拉荷马大学,诺曼,OK,USA);Khiabani Data Science and Analytics Institute, University of Oklahoma, Norman, OK, USA(Khiabani数据科学与分析研究所,俄克拉荷马大学,诺曼,OK,USA);Data Institute for Societal Challenges (DISC), University of Oklahoma, Norman, OK, USA(社会挑战数据研究所(DISC),俄克拉荷马大学,诺曼,OK,USA);School of Industrial and Systems Engineering, University of Oklahoma, Norman, OK, USA(工业与系统工程学院,俄克拉荷马大学,诺曼,OK,USA);Office of Responsible Artificial Intelligence (ORAI), University of Arizona, Tucson, AZ, USA(负责任人工智能办公室(ORAI),亚利桑那大学,图森,AZ,USA)
提出一种方差感知奖励框架,结合GRPO和RaR-Medicine的评分规则,通过连续分析奖励函数替代离散聚合,提升LLMs在心脏医学问答上的准确率和F1分数。
2026-10-14 cs.AI cs.CL
Dual Inference for Improving Language Understanding and Generation
National Taiwan University(台湾大学)
自然语言理解(NLU)和自然语言生成(NLG)任务具有很强的双重关系,其中NLU旨在基于自然语言话语预测语义标签,而NLG则相反。以往的工作主要集中在利用模型训练中的对偶性,以获得性能更好的模型。然而,考虑到当前NLP领域中模型规模的快速增长,有时我们可能很难重新训练整个NLU和NLG模型。为了更好地解决这个问题,本文提出在推理阶段利用对偶性,而不需要再训练。在三个基准数据集上的实验结果表明,该方法在自然语言理解和自然语言生成两个方面都是有效的,具有很大的实际应用潜力。
2020-10-15 cs.CL
Semantic Tokenizer for Enhanced Natural Language Processing
Inspird, Inc.(Inspird公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文提出语义驱动的SentencePiece替代分词器,通过词干提取与编码优化扩充词形覆盖,从而改善模型收敛及词、句嵌入,并以BERT-base在两项GLUE任务上超过50倍规模模型。
2023-04-24 cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)(韩国科学技术大学(UST));Electronics and Telecommunication Research Institute (ETRI)(电子通信研究院(ETRI))
在机器翻译中,我们经常尝试收集资源以提高性能。然而,大多数语言对,如朝鲜语-阿拉伯语和朝鲜语-越南语,没有足够的资源来训练机器翻译系统。在本文中,我们提出了使用合成方法来扩展低资源语料库,并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子,使目标句子更好,包括使用合成方法。我们发现,语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外,当这两种方法一起使用时,我们发现更好的机器翻译性能。
2018-02-14 cs.CL
Explaining and Improving Model Behavior with k Nearest Neighbor Representations
Salesforce Research(Salesforce研究院)
NLP中的可解释性技术主要集中在使用注意力可视化或基于标记的梯度显着图来理解个体预测。我们建议使用k近邻(kNN)表示来识别负责模型预测的训练样本,并获得对模型行为的语料库级别的理解。除了可解释性,我们表明,kNN表示是有效的发现学习虚假的关联,识别错误标记的例子,并提高微调模型的性能。我们专注于自然语言推理(NLI)作为一个案例研究和实验多个数据集。我们的方法部署回退到kNN的BERT和RoBERTa的例子与低模型的信心,没有任何更新的模型参数。我们的研究结果表明,kNN方法使微调模型对对抗性输入更具鲁棒性。
2020-10-18 cs.CL cs.LG
Improving Neural Conversational Models with Entropy-Based Data Filtering
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
当前基于神经网络的会话模型缺乏多样性,并且对开放式话语产生无聊的响应。诸如人物、情感或主题之类的先验为对话模型提供附加信息以帮助响应生成,但是用先验注释数据集是昂贵的,并且这样的注释很少可用。虽然以前的方法用于提高开放域响应生成的质量集中在底层模型或训练目标,我们提出了一种过滤对话数据集的方法,通过使用一个简单的基于熵的方法,不需要人的监督从训练数据中删除通用的话语。我们对我们方法的不同变体进行了广泛的实验,并在17个评估指标上比较了对话模型,以表明对以这种方式过滤的数据集进行训练可以获得更好的会话质量,因为聊天机器人学会输出更多样化的响应。
2019-08-02 cs.AI cs.CL
Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge
Meta FAIR;University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学)
提出Meta-Rewarding步骤让LLM评判自身评判以提升对齐能力,实验证明该方法在无监督下显著提高了Llama-3-8B-Instruct的指令遵循与评判表现。
2024-07-30 cs.AI cs.CL
Interpretation Meets Safety: A Survey on Interpretation Methods and Tools for Improving LLM Safety
Georgia Tech(佐治亚理工学院)
本文首次系统综述了解释方法与LLM安全性的交叉领域,提出统一框架和按工作流阶段划分的分类体系,总结近70项工作,并指出未来挑战与方向。
2025-06-05 cs.AI cs.CL cs.SE
MAF: Multi-Aspect Feedback for Improving Reasoning in Large Language Models
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出 Multi-Aspect Feedback 迭代精炼框架,通过集成多个专注特定错误类别的反馈模块(含冻结LM和外部工具),有效解决LM推理链中的多种错误,在数学推理和逻辑蕴含任务上分别实现高达20%和18%的相对提升。
2023-10-19 cs.AI cs.CL
ClarifyMT-Bench: Benchmarking and Improving Multi-Turn Clarification for Conversational Large Language Models
The University of Hong Kong(香港大学);JIUTIAN Research, China Mobile(中移动巨泰研宄院);CityUHK(城市大学)
ClarifyMT-Bench通过多轮对话基准测试和ClarifyAgent代理方法,解决LLM在多轮对话中澄清不足的问题,提升在模糊情境下的鲁棒性。
2025-12-24 cs.CL cs.IR