WebGPT: Browser-assisted question-answering with human feedback
OpenAI（开放人工智能研究中心）
我们对GPT-3进行了微调，以使用基于文本的Web浏览环境来回答长形式的问题，该环境允许模型搜索和导航Web。通过设置任务，使其可以由人类执行，我们能够使用模仿学习对任务进行训练模型，然后通过人类反馈优化答案质量。为了使人类更容易评估事实的准确性，模型必须在浏览时收集参考文献以支持其答案。我们在ELI5上对模型进行训练和评估，ELI5是Reddit用户提问的数据集。我们的最佳模型是通过使用行为克隆微调GPT-3，然后对经过训练以预测人类偏好的奖励模型执行拒绝采样来获得的。这个模型的答案在56%的情况下比我们的人类演示者的答案更受人类的青睐，在69%的情况下比Reddit上投票最高的答案更受人类的青睐。
2022-06-01 cs.AI cs.CL cs.LG
From Value Conditioning to Behavioral Shift: Lightweight Value Alignment of LLMs
本文提出通过微调模型回答价值观调查问卷来实现人类价值观的下游对齐，实验表明该方法既能改变域内问卷回答，也能在情境化道德判断和文本冒险游戏等域外任务中产生实质性行为转变。
2026-10-22 cs.CL
RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering
University of Alabama Huntsville（阿拉巴马大学亨茨维尔分校）；University of North Alabama（北阿拉巴马大学）；Stanford University（斯坦福大学）；Meta AI；Amazon GenAI（亚马逊生成人工智能）
提出 RECOM 数据集，发现自动评估指标在开放式问答中无法同时兼顾有效性和区分性，余弦相似度有效性高但区分性差，BERTScore 区分性受长度影响且有效性弱。
2026-06-18 cs.CL
Evaluating Prerequisite Qualities for Learning End-to-End Dialog Systems
Facebook AI Research（脸书人工智能研究院）
机器学习的一个长期目标是构建智能会话代理。一种最近流行的方法是在人类之间的大量真实对话转录上训练端到端模型（Sordoni等人，2015; Vinyals & Le，2015; Shang等人，2015）。然而，这种方法留下了许多未回答的问题，因为很难评估每个模型的准确成功和缺点。最近的一个对比提案是bAbI任务（Weston等人，2015 b），这些数据是合成数据，用于测量学习机器在玩具语言上进行各种推理任务的能力。不幸的是，这些测试非常小，因此可能会鼓励无法扩展的方法。在这项工作中，我们提出了一套更大规模的新任务，试图弥合这两种制度之间的差距。选择电影领域，我们提供了测试模型回答事实问题（利用OMDB），提供个性化（利用MovieLens），进行关于两者的简短对话，最后在Reddit的自然对话中执行的能力的任务。我们提供了一个数据集，涵盖75 K电影实体和3.5 M训练样本。我们提出了这些任务的各种模型的结果，并评估其性能。
2016-04-19 cs.CL cs.LG
A Study of Question Effectiveness Using Reddit "Ask Me Anything" Threads
University of Central Florida（中佛罗里达大学）
提出有效的问题是一种强大的社交技能。在本文中，我们试图建立计算模型，学习区分有效的问题，从无效的。有了这样的能力，未来先进的系统可以评估问题的质量，并为有效的问题措辞提供建议。我们创建了一个大规模的真实世界数据集，其中包含从Reddit“Ask Me Anything”线程收集的40多万个问题。每个线程类似于一个在线新闻发布会，其中问题相互竞争，以吸引主持人的注意力。该数据集使得能够开发一类计算模型，用于预测问题是否会得到回答。我们开发了一种新的具有可变长度上下文的卷积神经网络架构，并通过将其与最先进的基线和人类判断进行比较来证明该模型的有效性。
2018-05-25 cs.CL
Customizing Language Model Responses with Contrastive In-Context Learning
Intuit AI Research（Intuit 人工智能研究院）
本文提出对比上下文学习方法，通过正负示例及生成前推理引导LLM理解难以言表的风格与内容偏好，并在StackExchange、Reddit等数据集上验证其优于标准少样本提示。
2024-04-08 cs.AI cs.CL
Two-Layer Retrieval-Augmented Generation Framework for Low-Resource Medical Question Answering Using Reddit Data: Proof-of-Concept Study
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）；Weill Cornell Medicine（威尔康奈尔医学院）；Morehouse School of Medicine（莫尔豪斯医学院）；University of Pennsylvania（宾夕法尼亚大学）；Brown University（布朗大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；Rutgers New Jersey Medical School（罗格斯新泽西医学院）
提出面向社交媒体医学问答的双层 RAG 框架，通过个体摘要与聚合摘要回答临床医生问题，并证明量化 7B 模型在低资源环境下可达到接近 GPT-4 的效果。
2025-01-07 cs.AI cs.CL
LongSocialBench: Do Long-Context LLMs Understand Online Discussion Threads?
Semantic Code Lab（语义代码实验室）
提出LongSocialBench基准，含1462道人工验证题，评估长上下文模型对在线讨论串中结构化社会话语的理解，发现现有模型远低于人类表现，缺失能力在于对回复树的社会理解。
2026-10-06 cs.CL
Multi-Query Focused Disaster Summarization via Instruction-Based Prompting
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）
本文提出结合BM25和MonoT5两阶段检索、重排序及基于LLaMA-13b的问答驱动提示摘要方法，解决CrisisFACTS多流灾难事件关键事实提取任务，评估显示效果良好但开源与专有系统仍有差距。
2024-02-14 cs.CL
Large Language Models Perform on Par with Experts Identifying Mental Health Factors in Adolescent Online Forums
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
本研究构建了青少年Reddit帖子数据集，对比专家与GPT3.5、GPT4在心理健康因素标注上的表现，发现GPT4与专家一致性相当，但在否定和事实上仍有局限。
2024-04-26 cs.CL
ELI5: Long Form Question Answering
Facebook AI Research（脸书人工智能研究院）；LORIA（洛林信息学及其应用研究实验室）；NYU（纽约大学）；Google AI（谷歌人工智能）
我们介绍了第一个大型语料库的长形式的问答，一个任务，需要详细和深入的答案，开放式的问题。该数据集包括来自Reddit论坛“像我五岁一样解释”（ELI5）的27万个线程，其中一个在线社区提供了五岁儿童可以理解的问题的答案。与现有的数据集相比，ELI5包含需要多句回答的各种问题。我们提供了大量的Web文档来帮助回答这个问题。自动和人工评估表明，使用多任务目标训练的抽象模型优于传统的Seq2Seq，语言建模以及强大的提取基线。然而，我们的最佳模型与人类的表现仍有很大差距，因为评分员在超过86%的情况下更喜欢黄金答案，这为未来的改进留下了充足的机会。
2019-07-22 cs.CL
Saved You A Click: Automatically Answering Clickbait Titles
Stanford University（斯坦福大学）
通常点击诱饵文章有一个标题，这是一个问题或模糊的挑逗，诱使用户点击链接，阅读文章找到解释。我们开发了一个系统，可以自动从网站文本中找到clickbait hook的答案或解释，这样用户就不需要自己阅读文本。我们使用从“StopClickbait”Facebook页面和Reddit的“SavedYouAClick”子论坛中抓取的数据，对提取的问答模型（RoberTa）和抽象模型（T5）进行了微调。我们发现，提取和抽象模型在微调后都有显着改善。我们发现，根据ROUGE分数，提取模型的表现略好，而抽象模型在BERT分数方面有轻微的优势。
2022-12-15 cs.CL
Generative Engine Optimization at Scale: Measuring Brand Visibility Across AI Search Engines
Ranqo
本研究通过分析10万+提示响应，提出衡量AI搜索引擎中品牌可见性的方法，发现品牌成熟度形成三级阶梯，并识别出最受引用的内容格式和情感不稳定性。
2026-06-19 cs.CL cs.CY cs.IR
Extracting Psychological Indicators Using Question Answering
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
本研究提出利用问答任务提取文本片段以指示BIG5心理特质，采用在SQuAD 2.0上微调并进一步用Reddit评论微调的RoBERTa模型，考察无答案示例比例对性能影响，结果与基准一致并提供良好基线。
2023-05-24 cs.CL cs.CY
MedRedFlag: Investigating how LLMs Redirect Misconceptions in Real-World Health Communication
Independent Researcher（独立研究者）；Duke University（杜克大学）；Stanford University（斯坦福大学）
本研究通过构建MedRedFlag数据集（1100+个来自Reddit的需纠正问题），系统比较了先进LLMs与临床医生的回应，发现LLMs常未能纠正问题中的错误前提，可能导致次优医疗决策，揭示了患者面向医疗AI系统的关键安全漏洞。
2026-06-03 cs.AI cs.CL
Learning to Automate Follow-up Question Generation using Process Knowledge for Depression Triage on Reddit Posts
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；University of South Carolina（南卡罗来纳大学）
具有深度语言模型（DLM）的会话代理（CA）在心理健康领域显示出巨大的前景。CA主要用于为患者提供信息或治疗服务。然而，CA的效用，以协助精神健康分流尚未探讨在现有的工作，因为它需要一个控制生成的后续问题（FQs），这往往是发起和指导的精神卫生专业人员（MHP）在临床设置。在抑郁症的背景下，我们的实验表明，DLMs加上过程知识的心理健康问卷生成12.54%和9.37%更好的基于相似性和最长共同子序列匹配的问题在PHQ-9数据集的FAQ分别相比，DLMs没有过程知识的支持。尽管与过程知识相结合，我们发现DLM仍然容易产生幻觉，即，生成冗余的、不相关的和不安全的FQs。我们展示了使用现有数据集来训练DLM以生成遵循临床过程知识的FQs的挑战。为了解决这一限制，我们与MHP合作准备了一个扩展的基于PHQ-9的数据集PRIMATE。PRIMATE包含关于PHQ-9数据集中的特定问题是否已经在用户对心理健康状况的初始描述中得到回答的注释。我们使用PRIMATE在监督设置中训练DLM，以确定哪些PHQ-9问题可以直接从用户的帖子中回答，哪些问题需要用户提供更多信息。使用性能分析的MCC分数的基础上，我们表明，PRIMATE是适当的识别问题PHQ-9，可以引导生成DLMs对控制的FQ代适合帮助分流。作为本研究一部分创建的数据集：https://github.com/primate-mh/Prim…
2022-05-27 cs.AI cs.CL
Do LLMs Exhibit Human-Like Reasoning? Evaluating Theory of Mind in LLMs for Open-Ended Responses
University of Washington（华盛顿大学）；University of Washington - Bothell（华盛顿大学博塞尔校区）
本文通过Reddit ChangeMyView平台上的开放式问题评估大语言模型的心智理论推理能力，发现其与人类存在明显差距，并提出融入人类意图和情绪的提示调优方法以提升表现，但仍未达到类人推理水平。
2024-06-09 cs.AI cs.CL
To Trust or Not to Trust? Enhancing Large Language Models' Situated Faithfulness to External Contexts
Duke University（杜克大学）
本文研究 LLM 在 RAG 等场景中盲目信任错误外部上下文的问题，提出 SCR、RCR 及 CR-DPO 微调方法，以根据内外部知识置信度动态解决冲突并提升问答准确性。
2025-03-17 cs.AI cs.CL
Best-Answer Prediction in Q&A Sites Using User Information
Kyoto University（京都大学）；Nagoya Institute of Technology（名古屋工业大学）
近年来，社区问答（CQA）网站得到了广泛的传播和成倍的增长。像Reddit、Quora和Stack Exchange这样的网站在那些对寻找各种问题答案感兴趣的人中越来越受欢迎。找到这些答案的一种实用方法是根据现有的答案和评论自动预测最佳候选人。许多研究对CQA中的答案预测进行了研究，但对使用问卷的背景信息的关注有限。我们使用一种新的方法来解决这个限制，该方法使用提问者的背景信息和其他特征（如文本内容或与其他参与者的关系）来预测最佳答案。我们的答案分类模型使用Stack Exchange数据集进行训练，并使用曲线下面积（AUC）指标进行验证。实验结果表明，所提出的方法补充了以前的方法，指出用户之间的关系的重要性，特别是在整个参与水平在不同的社区堆栈交换。此外，我们指出，有很少的重叠之间的用户关系信息和信息所表示的浅文本功能和元功能，如时间差。
2022-12-15 cs.AI cs.CL cs.IR
How did the discussion go: Discourse act classification in social media conversations
Jadavpur University（贾达布尔大学）；IIIT Delhi（德里印度理工学院信息技术学院）
我们提出了一种新的基于注意力的分层LSTM模型来分类社交媒体对话中的话语行为序列，旨在使用句子级别之外的文本含义从在线讨论中挖掘数据。该任务的独特之处在于对非正式文本讨论中可能的语用角色进行了完整的分类，而不是抽取问题-答案，立场检测或讽刺识别，这些都是非常特定的角色任务。早期的尝试是在Reddit讨论数据集上进行的。我们在相同的数据上训练我们的模型，并在两个不同的数据集上展示测试结果，一个来自Reddit，一个来自Facebook。我们提出的模型在领域独立性方面优于之前的模型;在不使用平台依赖的结构特征的情况下，我们的具有单词相关性注意力机制的分层LSTM分别获得了71%和66%的F1分数，以预测Reddit和Facebook讨论中评论的话语角色。为了在同一任务上学习话语表示，递归和卷积架构的效率已经被提出和分析，具有不同的单词和评论嵌入方案。我们的注意力机制使我们能够根据语篇中的角色来探讨语篇片段的关联排序。我们提出了一个人类注释实验，以揭示有关建模和数据注释的重要观察结果。我们配备了基于文本的话语识别模型，我们探讨了异构的非文本特征，如位置，时间，信息的学习等如何发挥作用，在Facebook上的在线讨论的特征。
2018-08-07 cs.CL cs.SI
Positional Bias in Binary Question Answering: How Uncertainty Shapes Model Preferences
University of Padova（帕多瓦大学）；CNR-ISTI（意大利国家研究委员会-ISTI研究所）
研究了二元问答中模型位置偏差随答案不确定性增加呈指数级增长的现象，通过在 SQuAD-it、WebGPT 和 Winning Arguments 数据集上翻转选项顺序评估五个大模型，发现低不确定性下偏差几乎消失。
2025-07-01 cs.CL
How Good is Artificial Intelligence at Automatically Answering Consumer Questions Related to Alzheimer's Disease?
Carnegie Mellon University（卡内基梅隆大学）；Mayo Clinic（梅奥诊所）
阿尔茨海默病（AD）是最常见的痴呆类型，占病例的60-80%。据估计，2019年有580万美国人患有阿尔茨海默氏症，这一数字几乎每20年翻一番。2018年，痴呆症患者的终生护理总成本估计为350，174美元，其中70%与家庭提供的护理有关。大多数家庭照顾者面临情感、经济和身体上的困难。作为减轻这一负担的媒介，Twitter、Reddit和Yahoo！答案为护理人员提供了搜索相关问题和答案的潜在场所，或者发布问题并从其他成员那里寻求答案。然而，通常只有有限数量的相关问题和响应可供搜索，并且发布的问题很少会立即得到回答。由于人工智能（AI），特别是自然语言处理（NLP）的最新进展，我们建议利用AI自动生成护理人员发布的与AD相关的消费者问题的答案，并评估AI在回答这些问题方面的表现。据我们所知，这是文献中第一项应用和评估人工智能模型的研究，该模型旨在自动回答与广告相关的消费者问题。
2020-05-20 cs.CL cs.IR
A Comparison of LLM Finetuning Methods & Evaluation Metrics with Travel Chatbot Use Case
San Jose State University（圣何塞州立大学）
本研究以旅行聊天机器人为用例，比较QLoRA、RAFT和RLHF等LLM微调方法及多种评估指标，发现GPT-4评估最接近人工评估，Mistral RAFT经RLHF后性能最佳。
2024-08-07 cs.AI cs.CL
Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework
Bar-Ilan University（巴伊兰大学）
本文提出评估小型本地部署开放权重语言模型在医疗问答中的实用框架，强调可重复性与准确性的平衡，通过八个质量指标和重复推理评估发现模型输出一致性不足，且领域微调影响评估结果。
2026-04-12 cs.CL cs.IR
FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation
University of Amsterdam（阿姆斯特丹大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
本文提出信息寻求型追问生成任务，构建了包含3K+真实三元组的FOLLOWUPQG数据集，并通过实验验证现有模型在该基准上仍与人类存在显著差距。
2023-09-19 cs.AI cs.CL
