Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases
The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本文通过多维度定性案例比较Gemini与GPT-4V的视觉语言能力，发现GPT-4V回答精确简洁、Gemini提供详尽答案并附图像链接，并尝试结合两者以提升效果。
2023-12-22 cs.CV
Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance
针对大视觉语言模型的物体幻觉问题，提出无需训练和API调用的MARINE框架，通过开源视觉模型提取物体级信息提供图像锚定引导，在5种主流LVLM上的表现优于现有微调方法，且能保持生成内容详细度。
2025-06-11 cs.AI cs.CL cs.CV
Composing Open-domain Vision with RAG for Ocean Monitoring and Conservation
OnDeck Fisheries AI（OnDeck渔业人工智能公司）
针对海洋物种识别中的长尾分布与领域迁移难题，本文提出用预训练 VLM 结合 RAG 的开放域视觉框架，并在渔船视频鱼类分类中验证其无需领域训练即可涌现检索与预测能力。
2024-12-03 cs.CV cs.LG
Preliminary Investigations of a Multi-Faceted Robust and Synergistic Approach in Semiconductor Electron Micrograph Analysis: Integrating Vision Transformers with Large Language and Multimodal Models
TCS Research（塔塔咨询服务公司研究院）；IIIT Pune（浦那国际信息技术学院）；IIT Palakkad（帕拉卡德印度理工学院）；IIT Dharwad（达尔瓦德印度理工学院）
本研究提出一种结合LLMs零样本生成与LMMs少样本预测、融合图像与语言知识的创新架构，以解决半导体电子显微图中复杂纳米材料分类难题，实现了超越传统方法的精确识别与高通量筛选。
2024-08-24 cs.AI cs.CL cs.CV
Large language models streamline automated systematic review: A preliminary study
本研究评估GPT-4、Claude-3、Mistral 8x7B三款大模型在系统评价四类任务中的表现，发现LLM具备系统评价自动化潜力，GPT-4在多数任务中表现最优，可作为研究辅助工具。
2025-01-09 cs.AI cs.CL cs.IR
GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4
Microsoft（微软）
本文提出 GEMBA-MQM，一种基于 GPT-4 和三次提示技术的翻译质量错误检测指标，无需人工参考译文且支持语言无关提示，在系统排名上达到最优准确度，但因其黑盒性质在学术使用中需谨慎。
2023-10-21 cs.CL
Can Many-Shot In-Context Learning Help LLMs as Evaluators? A Preliminary Empirical Study
Tencent Hunyuan（腾讯混元）
本文针对大语言模型作为评估者时存在的潜在偏见问题，提出并比较了带参考和不带参考的两种多示例上下文学习提示模板，实验证明GPT-4o在多示例设置下评估一致性和质量更优，且带参考模板效果更好。
2025-02-05 cs.CL
Benchmarking Large Language Models for Persian: A Preliminary Study Focusing on ChatGPT
University of British Columbia（不列颠哥伦比亚大学）；University of Tehran（德黑兰大学）；Tehran Institute for Advanced Studies（德黑兰高等研究院）；Khatam University（哈塔姆大学）
本文首次系统评测大语言模型在波斯语任务上的表现，发现GPT-4等模型在推理和常识任务中占优但在特定任务上不及微调小模型，并揭示了翻译成英语可提升性能的潜力。
2024-04-03 cs.CL cs.LG
Evaluating Zero-Shot GPT-4V Performance on 3D Visual Question Answering Benchmarks
CoStrategist R&D Group, Microsoft Mixed Reality（微软混合现实 CoStrategist 研发组）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究评估GPT-4V和GPT-4在3D VQA基准上的零样本性能，发现无需微调即可与封闭词汇方法持平，且场景特定词汇能显著提升智能体表现。
2024-05-29 cs.CV cs.LG
LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench
Arizona State University（亚利桑那州立大学）
本文评估了OpenAI的o1模型在PlanBench基准上的规划能力，发现其性能显著超越现有LLMs但仍未饱和，并指出部署前需考虑准确性、效率和保证问题。
2024-09-20 cs.AI cs.CL
Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks
King’s College London（伦敦国王学院）
本文在三个NLP基准上使用自动和人工评估方法对比了多种开源和闭源生成式LLMs，并发现ChatGPT在人工评估中表现更优但在经典自动指标中较差，同时验证了GPT-4作为评估器与人类判断高度一致。
2023-10-20 cs.CL
GPT Understands, Too
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）
针对离散提示性能不稳定的问题，提出 P-Tuning 方法，通过结合可训练的连续提示嵌入与离散提示，稳定训练过程并在多种 NLU 任务上大幅提升性能。
2023-10-25 cs.CL cs.LG
Code Soliloquies for Accurate Calculations in Large Language Models
Rice University（莱斯大学）；OpenStax
高质量的会话数据集对于成功开发利用大语言模型（LLM）后端的智能教学系统（ITS）至关重要。使用高级GPT-4模型生成的合成师生对话是创建这些数据集的常见策略。然而，像物理这样需要复杂计算的学科构成了挑战。虽然GPT-4表现出令人印象深刻的语言处理能力，但其在基本数学推理方面的局限性削弱了其对这些科目的功效。为了解决这个问题，我们在本文中介绍了一个创新的状态提示设计。我们的设计编排了一个模拟对话，学生和辅导机器人角色都由GPT-4模拟。每个学生的反应都会触发GPT辅导机器人的内部独白或“代码独白”，评估其后续反应是否需要计算。如果认为有必要进行计算，它会编写相关的Python代码，并使用Python输出来构造对学生的响应。我们的方法显著提高了合成对话数据集的质量，特别是对于计算密集型的主题。我们的初步主题专家评估显示，我们的希格斯模型，一个微调的LLaMA模型，有效地使用Python进行计算，这显着提高了希格斯响应的准确性和计算可靠性。代码、模型和数据集可在https://github.com/luffycodes/Tutorbot-Spock-Phys上获得。
2023-10-31 cs.CL
Data Augmentation for Intent Classification with Off-the-shelf Large Language Models
University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）
数据增强是一种广泛使用的技术，以缓解数据稀缺的问题。在这项工作中，我们提出了一种基于标记的方法来生成标记的训练数据，用于使用现成的语言模型（LM）（如GPT-3）进行意图分类。该方法的优点是不需要用于数据生成的任务特定LM微调;因此该方法不需要超参数调整，并且即使在可用的训练数据非常稀缺时也是适用的。我们评估所提出的方法在Few-Shot设置四个不同的意图分类任务。我们发现，GPT生成的数据显着提高意图分类器的性能时，考虑的意图是足够的彼此不同。在语义接近意图的任务中，我们观察到生成的数据不太有用。我们的分析表明，这是因为GPT经常生成属于密切相关的意图，而不是所需的话语。我们提出的初步证据表明，一个基于过滤的GPT分类器可能有助于过滤生成的数据，以提高其质量。
2022-04-05 cs.AI cs.CL
A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise
Tencent Youtu Lab（腾讯优图实验室）；Shanghai AI Laboratory（上海人工智能实验室）；CUHK MMLab（香港中文大学多媒体实验室）；ECNU（华东师范大学）；USTC（中国科学技术大学）；Peking University（北京大学）
本文初步探索Gemini Pro的视觉理解能力，与GPT-4V和Sphinx对比，发现Gemini在多个领域可与GPT-4V匹敌，但仍有差距，并指出MLLM的常见问题。
2023-12-20 cs.AI cs.CL cs.CV
Emergent Analogical Reasoning in Large Language Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究对比了GPT-3与人类在类比推理任务上的表现，发现GPT-3展现出惊人的抽象模式归纳能力，在多数场景下与人类相当甚至超越，表明大型语言模型已获得零样本解决类比问题的涌现能力。
2023-08-03 cs.AI cs.CL
GPT-4 on Clinic Depression Assessment: An LLM-Based Pilot Study
University of Waterloo（滑铁卢大学）；Centre for Digital Therapeutics（数字治疗中心）
本文通过GPT-4对患者访谈转录进行抑郁二分类评估，比较不同提示复杂度和温度设置的影响，发现低温下复杂提示性能最优，但高温时性能不可预测，提示需仔细校准模型参数。
2024-12-31 cs.AI cs.CL
Exploring Large Language Models for Ontology Alignment
University of Oxford（牛津大学）；The University of Manchester（曼彻斯特大学）
本研究探讨了GPT系列和Flan-T5等大型语言模型在跨本体概念等价映射中的零样本适用性，初步发现精心设计的框架和提示下LLMs有潜力超越BERTMap等现有本体对齐系统。
2023-09-12 cs.AI cs.CL cs.LG
Knowledge Fusion of Chat LLMs: A Preliminary Technical Report
FuseAI Research Team（FuseAI研究团队）
本文提出FusionChat框架，通过两阶段方法实现聊天LLM的知识融合：先对结构不同的源LLM进行轻量级微调得到统一目标LLM，再基于参数变化比率在参数空间合并，实验证明FusionChat-7B性能超越GPT-3.5并接近Mixtral-8x7B-Instruct。
2024-05-29 cs.CL
Large language models can replicate cross-cultural differences in personality
Poznań University of Economics and Business（波兹南经济大学）；University of Wrocław（弗罗茨瓦夫大学）；University of Oxford（牛津大学）
本研究通过N=8000实验发现GPT-4能复现美韩大五人格跨文化差异，但存在评分偏高、变异不足和结构效度较低的问题，初步证明LLM可辅助跨文化研究。
2025-08-18 cs.AI cs.CL cs.CY
Humans in Humans Out: On GPT Converging Toward Common Sense in both Success and Failure
University of Oxford（牛津大学）；St. Catherine’s College, Oxford（牛津大学圣凯瑟琳学院）
本研究基于 Erotetic Theory of Reason (ETR) 提出 ETR61 基准测试 GPT-3、GPT-3.5 和 GPT-4，发现更大规模的 LLMs 在提升正确推理能力的同时，也展现出更多类似人类的谬误判断倾向，且受 ETR 启发的提示工程可减少此类错误。
2023-03-30 cs.AI cs.CL cs.HC
Large Language Models as Evaluators for Scientific Synthesis
TIB - Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）
本文研究GPT-4和Mistral等大型语言模型评估科学综合质量的能力，发现其解释虽具逻辑性但与人类评分相关性较弱，揭示了LLMs在该任务中的潜力与局限。
2024-07-03 cs.AI cs.CL cs.IT
Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本文评估了CLIP、LLaVA和GPT-4V等视觉-语言模型在零样本图像-文本检索评估中的相关性判断能力，发现LLM驱动的VLMs在多项指标上优于CLIPScore，展现出增强相关性判断的潜力。
2024-08-02 cs.CL cs.CV cs.IR
A Preliminary Exploration with GPT-4o Voice Mode
National Taiwan University（台湾大学）
本研究评估GPT-4o语音模式的音频处理与推理能力，发现其在多类语音音乐任务中表现优异且抗幻觉能力强，但部分任务存在不足，揭示了其内置安全机制的敏感性，为大型音频语言模型研究提供初步参考。
2025-02-14 cs.CL cs.SD eess.AS
LLMEval: A Preliminary Study on How to Evaluate Large Language Models
Fudan University（复旦大学）；Shanghai Jiaotong University（上海交通大学）
该研究针对大语言模型评估中“如何评估”这一少被探讨的问题，对比多类人工与自动评估标准，构建LLMEval数据集并对20个LLM开展评估，得出10条可为后续评估提供参考的结论，相关资源已公开。
2023-12-17 cs.AI cs.CL
Exploring Recommendation Capabilities of GPT-4V(ision): A Preliminary Case Study
Hong Kong University of Science and Technology（香港科技大学）；Alibaba（阿里巴巴）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；International Digital Economy Academy (IDEA)（国际数字经济学院）；Peking University（北京大学）
该研究通过构建多领域定性测试样本，初步探究GPT-4V的推荐能力，发现其具备出色的跨领域零样本推荐能力，但存在相似输入易输出相似响应的局限，旨在推动多模态生成式推荐模型研究。
2023-11-07 cs.CL cs.IR
Constructing Multilingual Visual-Text Datasets Revealing Visual Multilingual Ability of Vision Language Models
Fujitsu Limited（富士通株式会社）
针对现有数据集无法全面评估视觉语言模型跨语言细粒度视觉语言能力的问题，本研究构建了四种语言的多语言视觉-文本数据集，提出新任务与推理依据机制，验证了数据集的适用性与微调可行性。
2024-03-29 cs.CL cs.CV
Harnessing GPT-4V(ision) for Insurance: A Preliminary Exploration
Fudan University（复旦大学）；University of Rochester（罗切斯特大学）
该研究初步探索GPT-4V在保险领域的多模态任务能力，按险种和业务阶段分类验证其优势与不足，为保险领域与多模态大模型技术的跨学科融合研究奠定基础。
2024-04-15 cs.AI cs.CL cs.CV
A Preliminary Analysis on the Code Generation Capabilities of GPT-3.5 and Bard AI Models for Java Functions
Brunel University London（伦敦布鲁内尔大学）；University College London（伦敦大学学院）；University of Cagliari（卡利亚里大学）
本文评估了GPT-3.5和Bard在Java代码生成方面的能力，发现GPT-3.5在CodingBat测试中以90.6%的正确率显著优于Bard的53.1%，揭示了AI辅助代码生成工具的改进方向。
2023-05-16 cs.CL cs.SE
Can GPT-4 Help Detect Quit Vaping Intentions? An Exploration of Automatic Data Annotation Approach
HI3 Tech Lab, University of South Carolina（南卡罗来纳大学HI3技术实验室）；School of Medicine, Washington University（华盛顿大学医学院）；University of Texas Health Science Center（德克萨斯大学健康科学中心）
本研究利用 GPT-4 对 Reddit 电子烟社区的帖子进行句子级戒烟意图检测，通过多种提示策略与人工标注对比，验证了其在识别细微意图方面的潜力。
2024-06-28 cs.AI cs.CL cs.ET
Gender Bias in LLMs: Preliminary Evidence from Shared Parenting Scenario in Czech Family Law
Faculty of Law, Masaryk University（法律学院，马萨里克大学）；Faculty of Informatics, Masaryk University（信息学院，马萨里克大学）
本研究通过捷克家庭法中的共同育儿情境，初步探讨了LLMs在回应家庭法律问题时的性别偏见现象。
2026-01-09 cs.AI cs.CL cs.CY
Evaluating The Impact of Stimulus Quality in Investigations of LLM Language Performance
University of Auckland（奥克兰大学）
本文提出一种方法，通过生成精炼刺激数据集，重新评估GPT-2的句法预测能力，发现刺激质量显著影响LLM在惊讶度评估中的表现。
2025-10-07 cs.CL
Zero-Shot Cross-Lingual Summarization via Large Language Models
Soochow University（苏州大学）；Beijing Jiaotong University（北京交通大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）；Princeton University（普林斯顿大学）
本文实证研究了GPT-3.5、ChatGPT和GPT-4等大型语言模型在零样本跨语言摘要任务中的表现，发现通过交互式提示可显著提升模型性能，其中GPT-4达到最先进水平。
2023-10-24 cs.AI cs.CL
Language Models are Drummers: Drum Composition with Natural Language Pre-Training
University of Pennsylvania（宾夕法尼亚大学）
使用人工智能自动音乐生成通常需要大量数据，对于许多不太常见的流派和乐器来说，这是很难获得的。为了解决这个问题，我们提出了正在进行的工作和初步发现，即通过微调在仅数百个MIDI文件的海量文本语料库上预训练的大语言模型，深度模型将知识从语言转移到音乐的可能性。鼓表演。我们证明，通过这样做，最大的，最先进的模型之一（GPT3）能够生成合理的鼓槽，而没有预先训练的模型（Transformer）除了天真的重复之外没有显示出这种能力。评估生成的音乐是一项具有挑战性的任务，更是评估鼓槽在文献中很少有先例。因此，我们提出了一种量身定制的结构评估方法，并分析了GPT3产生的鼓槽与人类专业人士演奏的鼓槽相比，揭示了语言到音乐转换的优势和劣势。我们的研究结果表明，语言到音乐迁移学习与大语言模型是可行的，有前途的。
2023-01-03 cs.CL cs.SD eess.AS
Beyond Words: A Latent Memory Approach to Internal Reasoning in LLMs
本文提出将隐式心理表征（隐式记忆模块）融入LLM内部推理，实验显示训练损失降低35%-57%，兼顾效率与可扩展性。
2025-02-28 cs.AI cs.CL
Improving Text Auto-Completion with Next Phrase Prediction
University of Southern California（南加州大学）；Upstage AI Research（Upstage AI 研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
语言模型，如GPT-2，在构建文本自动完成任务的句法健全的句子表现良好。然而，这样的模型通常需要相当大的训练努力来适应特定的写作领域（例如，医学）。在本文中，我们提出了一种中间训练策略，以提高预训练的语言模型在文本自动完成任务中的性能，并使其快速适应特定领域。我们的策略包括一个新的自监督训练目标，称为下一个短语预测（NPP），它鼓励语言模型完成部分查询与丰富的短语，并最终提高模型的文本自动完成性能。初步实验表明，我们的方法是能够超越基线的自动完成电子邮件和学术写作领域。
2021-09-15 cs.CL
Inverse Turing Bench: Evaluating Language Models as Judges of Human vs. AI Dialogue
University of Rochester（罗切斯特大学）；Stony Brook University（石溪大学）；Independent Researcher（独立研究者）
提出逆图灵基准，评估LLM区分人类与AI多轮对话的能力，发现GPTZero、Claude Opus-4.6和GPT-5.5准确率最高，统计方法有语义盲点而语义方法易受角色提示影响。
2026-09-11 cs.CL cs.CY
Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models
Stanford University（斯坦福大学）；Meta Platforms, Inc.（Meta平台公司）
针对 Gemini 在常识推理上落后于 GPT 的初步评估，本文通过 12 个数据集全面评测其跨模态常识推理能力，发现其表现具有竞争力，并指出了当前模型的共同挑战。
2023-12-29 cs.AI cs.CL cs.CV
DebateBench: A Challenging Long Context Reasoning Benchmark For Large Language Models
Birla Institute of Technology and Science, Pilani（比拉理工学院皮拉尼分校）
该研究引入DebateBench数据集，含32场超1小时辩论的256篇演讲（每条输入平均32,000token），用于评估LLMs的长上下文推理能力，初步测试显示现有模型表现不佳，需提升技术。
2025-02-10 cs.CL cs.LG
WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Microsoft Corporation（微软公司）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
WizardMath 通过 RLEIF 方法在不依赖外部 Python 工具的情况下提升大语言模型的数学推理能力，在 GSM8k 和 MATH 基准上超越多个顶级开源及商用模型。
2025-06-04 cs.AI cs.CL cs.LG
When Giant Language Brains Just Aren't Enough! Domain Pizzazz with Knowledge Sparkle Dust
Cinnamon AI；Hung Yen University of Technology and Education（兴安技术教育大学）；Deakin University（迪肯大学）
本文以保险问答为案例，提出利用保险规则手册和DBpedia知识增强LLMs的领域适配方法，实验证明该方法显著提升GPT-3.5的推理准确率。
2023-07-08 cs.CL
A Preliminary Study of o1 in Medicine: Are We Closer to an AI Doctor?
UC Santa Cruz（加州大学圣克鲁兹分校）；University of Edinburgh（爱丁堡大学）；National Institutes of Health（美国国立卫生研究院）
本研究全面评估了OpenAI的o1模型在医疗场景下的理解、推理和多语言能力，发现其准确率平均超越GPT-4达6.2%和6.6%，但也揭示了幻觉、多语言不一致及评估指标差异等弱点。
2024-09-23 cs.AI cs.CL
Can LLM-Augmented autonomous agents cooperate?, An evaluation of their cooperative capabilities through Melting Pot
Los Andes University（安第斯大学）；Bancolombia（哥伦比亚银行）
该研究基于Melting Pot环境评估GPT4、GPT3.5等大模型增强的自主智能体的合作能力，提出适配层与可复用的含记忆、多认知模块的智能体架构，发现其有合作倾向但协作效果仍有限，为后续架构优化指明方向。
2024-06-19 cs.AI cs.CL
REPOT: Recoverable Program-of-Thought via Checkpoint Repair
University of California, Santa Cruz（加州大学圣克ruz分校）
提出 RePoT 方法，通过确定性验证重放和 LLM 调用从验证前缀恢复，以解决 Program-of-Thought 中单个无效动作导致轨迹失效的问题，在多个模型和基准上提升成功率。
2026-05-28 cs.AI cs.CL cs.SE
Do Internal Layers of LLMs Reveal Patterns for Jailbreak Detection?
Dept. of Computer Science and Engineering University of California, Riverside（计算机科学与工程系加州大学河滨分校）
本研究通过分析开源LLM GPT-J和状态空间模型Mamba2的内部隐藏层表示，发现其在响应越狱与良性提示时呈现显著的逐层行为差异，为利用模型内部动态进行稳健的越狱检测防御提供了新方向。
2025-10-09 cs.CL
Utilizing Large Language Models to Identify Reddit Users Considering Vaping Cessation for Digital Interventions
University of South Carolina（南卡罗来纳大学）；Washington University（华盛顿大学）；University of Texas Health Science Center（德克萨斯大学健康科学中心）；HI3 Tech Lab（HI3技术实验室）；School of Medicine（医学院）；McWilliams School of Biomedical Informatics（麦克威廉姆斯生物医学信息学院）
本研究利用GPT-4和BERT等大型语言模型在Reddit数据上进行句子级戒烟意图预测，发现GPT-4在遵循标注指南和检测细微用户意图方面优于人工评估，提升了社交媒体数据分析的准确性。
2024-04-25 cs.AI cs.CL cs.IR
Identifying and Decomposing Compound Ingredients in Meal Plans Using Large Language Models
Faculty of Health Sciences, University of Maribor（马里博尔大学健康科学学院）；Faculty of Electrical Engineering and Computer Science, University of Maribor（马里博尔大学电气工程与计算机科学学院）；The Nu B.V.（The Nu有限公司）；Pain Research & Intervention Center of Excellence (PRICE), University of Florida（佛罗里达大学疼痛研究与干预卓越中心（PRICE））；Department of Health Outcomes and Biomedical Informatics, College of Medicine, University of Florida（佛罗里达大学医学院健康结果与生物医学信息学系）；Usher Institute, University of Edinburgh（爱丁堡大学厄舍研究所）
本研究评估了 GPT-4o、Llama-3 (70b) 和 Mixtral (8x7b) 在膳食计划中识别和分解复合成分的能力，发现 GPT-4o 和 Llama-3 分解较准但均难识别调味料和油脂，凸显了 LLMs 在个性化营养中的潜力及改进需求。
2024-11-08 cs.AI cs.CL cs.IR
Kov: Transferable and Naturalistic Black-Box LLM Attacks using Markov Decision Processes and Tree Search
Stanford University（斯坦福大学）
该研究提出Kov算法，将红队问题建模为MDP并结合蒙特卡洛树搜索，通过白盒LLM优化token级对抗提示后缀并加入自然化损失，仅用10次查询即可越狱GPT-3.5，验证了新模型对token级攻击的更强鲁棒性，相关代码已开源。
2024-08-11 cs.AI cs.CL cs.CR
Understanding the Role of Temperature in Diverse Question Generation by GPT-4
Carnegie Mellon University（卡内基梅隆大学）
本研究初步探究GPT温度参数对GPT-4生成问题多样性的影响，发现更高温度可显著提升多样性，且不同温度呈现不同的问题集相似性，同时指出布鲁姆分类法低层级问题的多样化生成难度更大。
2024-04-14 cs.AI cs.CL
The Next Chapter: A Study of Large Language Models in Storytelling
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）；Google DeepMind（谷歌DeepMind）
该研究通过自动与人工评估，在三类不同特征的数据集上对比大语言模型与现有故事生成模型的能力，证实大语言模型生成故事质量更优、可媲美人类，但存在涉世界知识时易复刻真实故事的问题。
2023-07-24 cs.CL
Towards Predictive Communication with Brain-Computer Interfaces integrating Large Language Models
本文概述语言模型与BCI集成的现状与未来，指出LLM（如GPT-2）与BCI结合可改善人机交互，虽面临挑战，但有望推动神经技术进步。
2025-04-15 cs.CL cs.HC
CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues
NVIDIA（英伟达）
针对对话场景下语言模型话题保持对齐数据缺失的问题，研究者推出含干扰轮次的多领域合成对话数据集CantTalkAboutThis，微调后模型的话题连贯性优于通用指令微调LLM，还能提升细粒度指令遵循及安全对齐表现。
2024-06-21 cs.CL
Commonsense Reasoning for Conversational AI: A Survey of the State of the Art
Georgia Institute of Technology（佐治亚理工学院）
基于transformer的大型预训练语言模型，如BERT、GPT和T5，已经证明了对上下文语义和语言语法的深刻理解。他们的成功使对话式人工智能取得了重大进展，包括开发开放式对话系统，能够进行连贯、突出的对话，可以回答问题、随意聊天和完成任务。然而，最先进的模型仍然难以处理涉及更高层次推理的任务--包括人类认为微不足道的常识推理。本文介绍了最近的会话人工智能研究的调查集中在常识推理。本文列出了相关的训练数据集，并描述了将常识纳入对话式AI的主要方法。本文还讨论了用于评估会话AI问题中常识的基准。最后，本文提出了两个国家的最先进的开放式对话模型，BlenderBot 3和LaMDA的有限的常识能力的初步观察，其自然互动的负面影响。这些观察进一步激发了对会话AI中常识推理的研究。
2023-02-15 cs.CL cs.LG
From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-Tuning of Large Language Models
Beike Inc.（贝壳公司）
本研究提出改进ReAct框架的RAISE架构，通过模拟人类记忆的双组件记忆系统和多阶段构建流程增强对话智能体，房产销售场景评估显示其优于传统智能体，为开发更智能的对话智能体提供支撑。
2024-01-30 cs.AI cs.CL
