CalBrief: A Pilot Diagnostic Benchmark for Evidence-Calibrated Scientific Briefing with Large Language Models
Sichuan University(四川大学)
提出CalBrief基准,通过16个科学证据包和96个人工验证要点,诊断LLM在证据校准简报中的不足,发现保守性主要源于标签空间扩展而非信号注入。
2026-06-29 cs.AI cs.CL cs.DL
C$^2$GSPG: Confidence-calibrated Group Sequence Policy Gradient towards Self-aware Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高陵人工智能学院);Tsinghua University(清华大学);Beijing Key Laboratory of Research on Large Models(北京大模型研究关键实验室);Engineering Research Center of Next-Generation Intelligent Search(下一代智能搜索工程研究中心)
C$^2$GSPG通过置信度校准群体序列策略梯度方法提升推理性能并抑制过度自信,适用于逻辑和数学推理任务。
2025-12-23 cs.AI cs.CL cs.LG
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
Korea Advanced Institute of Science Technology(韩国科学技术院)
会话式问答(ConvQA)模型的目标是通过相关段落和在会话中多次出现的先前问答对来回答问题。为了将这些模型应用于现实世界的场景,一些现有的工作使用预测的答案,而不是不可用的地面真相答案,作为推理的会话历史。然而,由于这些模型通常预测错误的答案,使用所有的预测而不过滤显着阻碍了模型的性能。为了解决这个问题,我们建议根据ConvQA模型中估计的置信度和不确定性过滤掉对话历史中不准确的答案,而不进行任何架构更改。此外,为了使置信度和不确定性值更可靠,我们建议进一步校准它们,从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型,基于答案选择的现实对话问答,结果表明我们的模型显著优于相关基线。代码可在:https://github.com/starsuzi/AS-ConvQA.
2023-02-10 cs.AI cs.CL cs.IR
ClinConsensus: A Physician-Calibrated Benchmark for Evaluating Clinical Rubric Coverage in Chinese Medical LLMs
Alibaba Group(阿里巴巴集团)
为解决开放域医疗大模型评估缺乏医师校准的临床响应标准覆盖率问题,提出包含2500个专家病例的ClinConsensus基准,并引入医师锚定覆盖率评分(CACS)及双裁判框架,发现前沿模型存在19.2-21.9分的覆盖率差距。
2026-09-08 cs.CL
Geometry-Calibrated Conformal Abstention for Language Models
Information Hub, AI Thrust(信息中心,人工智能方向)
针对语言模型易生成幻觉、不愿承认无知的问题,提出基于共形预测的后处理框架CA,结合表征几何校准策略判断是否弃权回答,实现了75%的条件正确率,且有有限样本保证。
2026-04-30 cs.CL cs.LG
Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering
Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
我们提出了一个简单的重构多选择问答(MCQA)任务作为一系列的二元分类。MCQA任务通常通过对所有对标准化的每个(问题,答案)对进行评分,然后从产生最高分数的对中选择答案来执行。对于n个答案选择,这相当于一个n类分类设置,其中只有一个类(正确答案)是正确的。相反,我们表明,将(问题,正确答案)分类为正面实例,将(问题,错误答案)分类为负面实例,在各种模型和数据集中显着更有效。我们在不同的任务--溯因推理,常识问答,科学问答和句子完成中展示了我们提出的方法的有效性。我们的DeBERTa二进制分类模型在这些任务的公共排行榜上达到或接近最高性能。所提出的方法的源代码可在https://github.com/declare-lab/TEAM上获得。
2022-10-29 cs.AI cs.CL cs.LG
PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning
Indian Institute of Technology (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校)
本文提出PassiveQA框架,通过监督微调解决信息不全时的问题回答,提升宏F1和退避召回率,减少幻觉。
2026-04-06 cs.AI cs.CL
Calibrated Confidence Estimation for Tabular Question Answering
Independent Researcher(独立研究者)
本文比较了五种置信度估计方法在五个前沿LLM和两个表格问答基准上的表现,发现自评方法在AUROC上低于扰动方法,提出MFA方法以更低的API成本估计置信度,并结合采样方法提升性能。
2026-04-14 cs.CL
Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学);Commonwealth Bank(联邦银行);Suncorp Bank(太阳corp银行)
该研究针对生物医学问答RAG系统评估中自动指标与人类判断不一致的问题,提出用少量人类偏好信号校准直接评估指标,所得校准指标在多数据集上优于基线方法。
2026-10-14 cs.CL cs.LG
Document-level Causal Relation Extraction with Knowledge-guided Binary Question Answering
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对事件-事件因果关系抽取中缺乏文档级建模和因果幻觉的问题,提出融合事件结构的知识引导二元问答方法,在多数据集上验证了其有效性、泛化性与低不一致性,在MECI上达SOTA。
2024-10-07 cs.CL
BUCA: A Binary Classification Approach to Unsupervised Commonsense Question Answering
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
本文提出 BUCA 方法,通过将知识图谱三元组转化为合理与不合理文本,把无监督常识问答转化为二分类任务,在多个基准上取得有效结果且数据需求更低。
2025-04-11 cs.CL
Selectively Answering Visual Questions
Google DeepMind(谷歌DeepMind);Universidad Nacional de Córdoba(科尔多瓦国立大学);CONICET(阿根廷国家科学技术研究委员会)
本文首次深入分析了上下文学习LMMs在VQA中的校准方法,发现视觉基础模型的似然分数校准优于纯文本模型,采样方法通常更优但无绝对赢家,并提出了结合两者优势的Avg BLEU校准分数。
2024-06-03 cs.CL cs.CV
Yin and Yang: Balancing and Answering Binary Visual Questions
Virginia Tech(弗吉尼亚理工大学);Army Research Laboratory(陆军研究实验室)
语言的复杂组成结构使得视觉和语言的交叉问题具有挑战性。但是语言也提供了一个强大的先验,可以产生良好的表面性能,而底层模型没有真正理解视觉内容。这可能会阻碍在多模态AI的计算机视觉方面推动最先进技术的进展。在本文中,我们解决二进制视觉问答(VQA)的抽象场景。我们将这个问题表述为问题中询问的概念的视觉验证。具体来说,我们将问题转换为一个元组,它简洁地概括了图像中要检测的视觉概念。如果这个概念可以在图像中找到,则问题的答案是“是”,否则是“否”。抽象场景扮演着两个角色:(1)它们使我们能够专注于VQA任务的高级语义,而不是低级识别问题,也许更重要的是,(2)它们为我们提供了平衡数据集的模态,以便控制语言先验,视觉的作用是必不可少的。特别是,我们为每个问题收集细粒度的场景对,这样对于一个场景,问题的答案是“是”,而对于完全相同的问题,另一个场景的答案是“否”。事实上,在我们的平衡数据集上,单独的语言先验并不比偶然性更好。此外,我们提出的方法匹配的性能的最先进的VQA方法的不平衡数据集,并优于它的平衡数据集。
2016-04-19 cs.CL cs.CV cs.LG
Positional Bias in Binary Question Answering: How Uncertainty Shapes Model Preferences
University of Padova(帕多瓦大学);CNR-ISTI(意大利国家研究委员会-ISTI研究所)
研究了二元问答中模型位置偏差随答案不确定性增加呈指数级增长的现象,通过在 SQuAD-it、WebGPT 和 Winning Arguments 数据集上翻转选项顺序评估五个大模型,发现低不确定性下偏差几乎消失。
2025-07-01 cs.CL
Efficient Passage Retrieval with Hashing for Open-domain Question Answering
Studio Ousia(Ousia工作室);RIKEN(理化学研究所);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
大多数最先进的开放域问答系统使用神经检索模型将段落编码为连续向量并从知识源中提取它们。然而,这样的检索模型往往需要大量的内存来运行,因为它们的通道索引的大小。在本文中,我们介绍了二进制通道检索器(BPR),一个内存高效的神经检索模型,集成了学习哈希技术到国家的最先进的密集通道检索器(DPR)表示通道索引使用紧凑的二进制代码,而不是连续向量。BPR是用两个任务的多任务目标进行训练的:基于二进制代码的有效候选生成和基于连续向量的精确重新排序。与DPR相比,BPR在两个标准的开放域问答基准测试(Natural Questions和TriviaQA)上将内存成本从65 GB大幅降低到2 GB,而不损失准确性。我们的代码和训练模型可以在https://github.com/studio-ousia/bpr上找到。
2021-06-02 cs.CL cs.IR
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)(巴斯克地区大学(UPV/EHU));New York University (NYU)(纽约大学(NYU))
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会,但几乎没有证据表明其可行性。在大多数应用程序中,用户无法向系统提供正确的答案,但他们能够提供二进制(正确,不正确)反馈。在本文中,我们提出了反馈加权学习的基础上重要性采样,以改善初始监督系统使用二进制用户反馈。我们对文档分类(用于开发)和会话问答数据集(如QuAC和DoQA)进行模拟实验,其中二进制用户反馈来自黄金注释。结果表明,我们的方法能够改进初始监督系统,接近完全监督系统,在域内实验(QuAC)中可以访问相同的标记示例,甚至在域外实验(DoQA)中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty
Massachusetts Institute of Technology(麻省理工学院)
本文提出RLCR方法,通过联合提升准确性和校准置信度,改进语言模型的推理能力,实验显示其在不同数据集上提升校准效果而不影响准确性。
2026-05-15 cs.AI cs.CL cs.LG
FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking
Kasisto;Textualization;NBME
本文提出了一种高效框架,通过数据生成管道和校准拒绝机制,提升银行领域LLM的准确性与合规性,实现7.1个百分点的查询解决率提升。
2026-07-22 cs.AI cs.CL cs.MA
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院)
知识图谱(KG)是事实的符号结构化存储。KG嵌入包含用于NLP任务的简洁数据,这些任务需要关于真实世界的隐式信息。此外,在实际NLP分配中可能有用的KG的大小是巨大的,并且在其上创建嵌入具有内存成本问题。我们将KG表示为三阶二进制张量,并通过使用其特定数据的广义版本超越标准CP分解。标准CP-ALS算法的泛化允许在没有反向传播机制的情况下获得优化梯度。它减少了训练所需的内存,同时提供了计算优势。我们提出了一个MEKER,一个内存高效的KG嵌入模型,它产生SOTA的链接预测任务和KG为基础的问答相当的性能。
2022-05-24 cs.AI cs.CL cs.IR
How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院)
最近的工作表明,语言模型(LM)捕捉不同类型的知识,关于事实或常识。但是,由于没有一个模型是完美的,它们在许多情况下仍然无法提供适当的答案。在本文中,我们提出了这样一个问题:“我们如何知道语言模型何时知道某个特定查询的答案?“我们从校准的角度来研究这个问题,概率模型的预测概率的属性实际上与正确性的概率密切相关。我们研究了三个强大的生成模型- T5,BART和GPT-2 -并研究其QA任务的概率是否得到了很好的校准,发现答案是一个相对简单的否定。然后,我们研究了校准这些模型的方法,使其置信度得分更好地与正确性的可能性相关,通过微调,事后概率修改,或调整预测的输出或输入。在不同数据集上的实验证明了我们方法的有效性。我们还进行了分析,研究这些方法的优势和局限性,揭示了进一步的改进,可以在校准LM的方法。我们已经在https://github.com/jzbjyb/lm-calibration上发布了代码。
2021-05-20 cs.CL
KBQA: Learning Question Answering over QA Corpora and Knowledge Bases
Facebook(脸书);HKUST(香港科技大学);Yonsei University(延世大学);Fudan University(复旦大学)
问答(QA)已经成为人类访问数十亿级知识库的流行方式。与Web搜索不同,知识库上的QA给出了准确和简洁的结果,前提是自然语言问题可以被理解并精确地映射到知识库上的结构化查询。然而,挑战在于,一个人可以用多种不同的方式提出一个问题。以前的方法有自然的限制,由于其表示:基于规则的方法只理解一小部分的“罐头”的问题,而基于关键字或基于同义词的方法不能完全理解的问题。在本文中,我们设计了一种新的问题表示:模板,超过十亿规模的知识库和百万规模的问答语料库。例如,对于有关城市人口的问题,我们学习了诸如$city?, How many people are there in $ city的人口是多少?我们学习了2782个意图的2700万个模板。基于这些模板,我们的问答系统KBQA有效地支持二进制事实问题,以及由一系列二进制事实问题组成的复杂问题。此外,我们扩展了RDF知识库中的谓词,使知识库的覆盖率提高了57倍。我们的QA系统在QALD基准的有效性和效率方面击败了所有其他最先进的作品。
2019-03-06 cs.CL
Calibrating Structured Output Predictors for Natural Language Processing
我们解决的问题,校准预测置信度的输出实体感兴趣的自然语言处理(NLP)的应用。重要的是,诸如命名实体识别和问答之类的NLP应用程序为其预测生成校准的置信度分数,特别是如果系统要部署在安全关键领域(如医疗保健)中。然而,这样的结构化预测模型的输出空间通常太大而不能直接适应二进制或多类校准方法。在这项研究中,我们提出了一个通用的校准方案,在基于神经网络的结构化预测模型的输出实体的兴趣。我们提出的方法可以用于任何二进制类校准方案和神经网络模型。此外,我们还表明,我们的校准方法也可以用作不确定性感知的实体特定解码步骤,以提高底层模型的性能,而无需额外的训练成本或数据要求。我们表明,我们的方法优于目前的校准技术命名实体识别,部分的语音和问答。我们还通过多个任务和基准数据集的解码步骤来提高模型的性能。我们的方法也提高了域外测试场景的校准和模型性能。
2020-05-05 cs.CL cs.LG
Learning When Not to Answer: A Ternary Reward Structure for Reinforcement Learning based Question Answering
Ghent University(根特大学);Amazon Research(亚马逊研究院)
在本文中,我们调查的挑战,使用强化学习代理问答知识图谱的现实世界的应用。我们研究了最先进的系统所使用的性能指标,并确定它们不适合这种设置。更具体地说,当没有可用的答案时,它们不能正确地评估系统,因此针对这些指标优化的代理在建模置信度方面很差。我们引入了一个简单的新的性能指标来评估问答代理,更能代表实际使用条件,并通过将先前工作中使用的二元奖励结构扩展到三元奖励结构来优化此指标,该结构还奖励代理不回答问题而不是给出错误答案。我们表明,这可以大大提高回答问题的精度,而不是回答有限数量的以前正确回答的问题。采用使用深度优先搜索路径的监督学习策略来引导强化学习算法进一步提高了性能。
2019-04-03 cs.CL
Attention-Based Methods For Audio Question Answering
Tampere University(坦佩雷大学)
提出基于自注意力与交叉注意力的音频问答模型,在Clotho-AQA上显著提升是/否和单词答案准确率,并发布修订数据集。
2023-05-31 cs.CL cs.LG cs.SD
Comparing the Performance of LLMs in RAG-based Question-Answering: A Case Study in Computer Science Literature
University of Moratuwa(穆塔瓦大学)
本研究比较了四个开源LLM与GPT-3.5在RAG支持下于计算机科学文献问答任务中的表现,发现GPT-3.5和Mistral-7b-instruct表现最佳,同时分析了各模型在准确率、排名和延迟上的差异,证明开源LLM可与专有模型竞争。
2025-11-05 cs.AI cs.CL
Learning a Cost-Effective Annotation Policy for Question Answering
The Ohio State University(俄亥俄州立大学);ETH Zurich(苏黎世联邦理工学院)
现有技术的问答(QA)依赖于大量的训练数据,对于这些训练数据,标记是耗时的并且因此是昂贵的。因此,定制QA系统具有挑战性。作为一种补救措施,我们提出了一种新的框架来注释QA数据集,需要学习一个具有成本效益的注释策略和半监督注释方案。后者减少了人工工作:它利用底层QA系统来建议潜在的候选注释。然后,人类注释器简单地提供关于这些候选项的二进制反馈。我们的系统被设计为使过去的注释不断提高未来的性能,从而提高整体注释成本。据我们所知,这是第一篇以最小的注释成本来解决注释问题的论文。我们比较我们的框架对传统的手动注释在一组广泛的实验。我们发现,我们的方法可以减少高达21.1%的注释成本。
2020-11-08 cs.CL
The ACUTE Protocol: Operationalizing Language Model Activations for Better Calibration, Utility, and Trust
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Scale AI
提出ACUTE协议,通过操作语言模型激活来估计置信度,平衡校准与信息性,在多项选择问答、工具调用和科学文档摘要等任务上优于强基线,提升校准、效用和可信度。
2026-06-19 cs.AI cs.CL cs.LG
Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Department of Computer Science;Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
针对QANTA 2026共享挑战,开发特定任务双代理架构,抢答代理用带置信度校准的模型及数值推理策略,加分代理用多种推理整合信息,强调仅托管环境下的高效推理与校准,系统取得高分,证明轻量级策略在资源受限问答中性能强。
2026-07-13 cs.AI cs.CL
OCC-RAG: Optimal Cognitive Core for Faithful Question Answering
OCC Team(OCC团队)
提出OCC-RAG,一种通过多上下文多跳合成数据训练的小语言模型,在忠实问答任务中匹配或超越2-6倍规模通用模型。
2026-05-30 cs.CL
Adversarial Regularization for Visual Question Answering: Strengths, Shortcomings, and Side Effects
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
视觉问答(VQA)模型已经被证明过度依赖于VQA数据集中的语言偏见,在不考虑视觉上下文的情况下“盲目”回答问题。对抗正则化(AdvReg)旨在通过一个对抗子网络来解决这个问题,该子网络鼓励主模型学习问题的无偏差表示。在这项工作中,我们研究了AdvReg的优点和缺点,目的是更好地理解它如何影响VQA模型中的推理。尽管在VQA-CP上实现了新的最先进技术,但我们发现AdvReg会产生一些不期望的副作用,包括不稳定的梯度和域内示例的性能急剧下降。我们证明,在训练过程中逐步引入正则化有助于缓解,但不能完全解决这些问题。通过错误分析,我们观察到AdvReg提高了对二进制问题的泛化能力,但削弱了具有异构答案分布的问题的性能。定性地,我们还发现正则化模型倾向于过度依赖视觉特征,而忽略了问题中重要的语言线索。我们的研究结果表明,AdvReg需要进一步完善,才能被认为是一个可行的偏差缓解技术VQA。
2019-06-20 cs.CL cs.CV cs.LG
Towards Unsupervised Question Answering System with Multi-level Summarization for Legal Text
National Institute of Technology Karnataka (NITK)(卡纳塔克邦国家理工学院(NITK))
针对 SemEval-2024 法律论证推理二分类任务,提出基于相似度与距离的无监督标注方法,并结合 Legal-Bert 多层融合及 T5 分段摘要,显著提升 F1。
2024-07-02 cs.CL cs.CY cs.LG
How often do Answers Change? Estimating Recency Requirements in Question Answering
University of Innsbruck(因斯布鲁克大学);MEF University(MEF大学)
本文提出RecencyQA数据集,通过人类评估和实证分析,展示非平稳问题对LLM的挑战随更新频率增加而加剧,为时间推理提供细粒度基准和时效感知问答系统基础。
2026-03-17 cs.CL
MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering
提出无训练归因方法MultAttnAttrib,利用模型预填充、选定注意力头和校准阈值定位证据,并构建多模态归因基准MultAttrEval,实验表明其优于多种方法,匹配GPT 5.4且延迟降低至1/7。
2026-07-09 cs.AI cs.CL cs.CV
Mining Compatible/Incompatible Entities from Question and Answering via Yes/No Answer Classification using Distant Label Expansion
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学)
产品社区问答(PCQA)提供有关产品及其功能(方面)的有用信息,这些信息可能无法通过产品描述和评论很好地解决。我们观察到,产品与其他产品的兼容性问题经常在PCQA中讨论,此类问题更经常在附件中解决,即,通过一个是/否问题“这款鼠标是否适用于Windows 10?".在本文中,我们解决的问题,提取兼容和不兼容的产品是/否的问题在PCQA。这个问题自然可以有两个阶段的框架:首先,我们对是/否问题进行互补实体(产品)识别(CER);其次,我们识别是/否答案的极性,为互补实体分配兼容性标签(兼容,不兼容或未知)。我们利用现有的无监督方法的第一阶段和3类分类器相结合的远程PU学习方法(从积极的和未标记的例子学习)与二进制分类器的第二阶段。使用远程PU学习的好处是,它可以帮助扩展更多隐含的是/否答案,而无需使用任何人类注释数据。通过对4种产品的实验,验证了该方法的有效性。
2016-12-14 cs.CL
DaNetQA: a yes/no Question Answering Dataset for the Russian Language
National Research University Higher School of Economics(国立研究型大学高等经济学院);Sberbank(俄罗斯联邦储蓄银行)
本文构建俄语是/否问答数据集 DaNetQA,给出可复现的构建流程,并通过 Paraphraser、XNLI 俄语部分和 SberQUAD 的任务迁移,以及英译俄翻译与多语言微调的语言迁移来评估模型效果。
2020-10-15 cs.CL cs.IR
STAIR: Spatial-Temporal Reasoning with Auditable Intermediate Results for Video Question Answering
Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
针对视频问答模型在长视频时序推理上性能下降的问题,提出神经模块网络STAIR,通过分层子任务分解与可审计中间输出提升性能与可解释性。
2024-01-08 cs.CL cs.CV
AI, Take the Wheel: What Drives Delegation and Trust in Human-Computer Cooperative Question Answering?
University of Maryland(马里兰大学);University of California(加州大学);MBZUAI
通过问答游戏实验,研究人类在何时以及为何选择委托AI或采纳其建议,发现人类存在对AI正确建议的低依赖(3.9%)和错误建议的过度依赖(1.7%),并受确认偏见影响,建议通过校准置信度、基于证据的解释和信任细化机制来改进人机协作。
2026-05-27 cs.AI cs.CL cs.HC
Revisiting Distillation for Continual Learning on Visual Question Localized-Answering in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London(伦敦大学学院惠康/工程与物理科学研究委员会介入与外科科学中心(WEISS));The Chinese University of Hong Kong (CUHK)(香港中文大学(CUHK));Shun Hing Institute of Advanced Engineering, CUHK(香港中文大学信兴高等工程研究所)
针对手术VQLA系统中深度神经网络的灾难性遗忘及旧数据难获取问题,提出含RP-Dist、SH-Dist和WA技术的无样本持续学习框架,在三个公开数据集上优于传统方法,代码已公开。
2023-07-22 cs.CL cs.CV cs.RO
Programming Language Agnostic Mining of Code and Language Pairs with Sequence Labeling Based Question Answering
University of California, Berkeley(加州大学伯克利分校);Tencent Cloud(腾讯云);Tsinghua University(清华大学)
挖掘对齐的自然语言和程序设计语言对是理解自然语言-程序设计语言对的一个关键任务。现有的方法应用专门的手工制作的功能或单独训练的模型,为每个PL。然而,它们通常遭受跨多个PL的低可转移性,特别是对于具有较少注释数据的利基PL。幸运的是,Stack Overflow回答帖子本质上是一系列文本和代码块,其全局文本上下文可以提供PL不可知的补充信息。在本文中,我们提出了一个基于序列标记的问答(SLQA)方法,以PL不可知的方式挖掘NL-PL对。特别是,我们建议应用BIO标记方案而不是传统的二进制方案来挖掘通常由多个帖子块组成的代码解决方案。在现有的单PL单块基准测试和人工标记的跨PL多块基准测试上的实验证明了SLQA的有效性和可移植性。我们进一步提出了一个并行的NL-PL语料库命名为Lang 2Code自动挖掘SLQA,其中包含约1.4M对6 PL。在统计分析和下游评估下,我们证明Lang 2Code是进一步NL-PL研究的大规模高质量数据资源。
2022-03-21 cs.CL cs.PL
On Early Detection of Hallucinations in Factual Question Answering
Amazon Web Services(亚马逊网络服务);Ruhr-Universität Bochum(鲁尔大学波鸿分校)
本文研究事实问答中的幻觉早期检测,通过分析LLM的输入、输出和内部状态线索训练二元分类器,实现了高达0.80的AUROC,并发现幻觉前的token已能预测后续幻觉。
2024-08-22 cs.AI cs.CL
CO-Search: COVID-19 Information Retrieval with Semantic Search, Question Answering, and Abstractive Summarization
Salesforce Research(赛富时研究院)
2019冠状病毒病全球大流行促使国际社会努力了解、跟踪和减轻这种疾病,产生了跨科学学科的2019冠状病毒病和SARS-CoV-2相关出版物的重要语料库。截至2020年5月,已通过COVID-19开放研究数据集挑战收集了128,000篇与冠状病毒相关的出版物。在这里,我们介绍了CO-Search,这是一个检索器-排名器语义搜索引擎,旨在处理对COVID-19文献的复杂查询,可能有助于负担过重的卫生工作者在危机时期找到科学答案。检索器是建立从Siamese-BERT编码器,是线性组成的TF-IDF矢量化,和倒数秩融合的BM 25矢量化。该排名器是由一个多跳问答模块,连同多段摘要摘要调整检索分数。为了解决特定领域和相对有限的数据集,我们生成了文档段落和引用的二分图,创建了130万个(引用标题,段落)元组用于训练编码器。我们根据TREC-COVID信息检索挑战的数据评估了我们的系统。CO-Search在第一轮和第二轮的数据集上获得了最佳性能,包括几个关键指标:归一化折扣累积增益、精度、平均精度和二进制偏好。
2020-06-17 cs.AI cs.CL cs.IR
LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law
Ahsanullah University of Science and Technology(阿赫萨努拉科技大学);Jashore University of Science and Technology(杰肖尔科技大学);American International University - Bangladesh(美国国际大学-孟加拉)
LabourCrew提出多智能体RAG框架,通过图索引、证据交换协议和校准信任门实现可审计的法条问答,在孟加拉劳动法数据集上达到目标错误接受率并优于现有方法。
2026-09-24 cs.AI cs.CL cs.IR