Alignment Drift in Multimodal LLMs: A Two-Phase, Longitudinal Evaluation of Harm Across Eight Model Releases
Appen(澳鹏)
研究通过双阶段评估揭示多模态大语言模型在不同模型版本中的安全性和对齐漂移问题,强调了持续多模态基准测试的重要性。
2026-02-04 cs.AI cs.CL cs.HC
Commander-GPT: Fully Unleashing the Sarcasm Detection Capability of Multi-Modal Large Language Models
本文提出受军事指挥启发的多模态框架 Commander-GPT,将讽刺检测分解为六个子任务并由中央指挥官分配最适大模型,在无需微调的情况下于 MMSD 系列数据集上实现 F1 提升 19.3% 的最优性能。
2025-07-03 cs.AI cs.CL
Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging
University of California, Los Angeles(加州大学洛杉矶分校);Tsinghua University(清华大学);LA General Hospital(洛杉矶总医院);Google(谷歌)
本研究通过短篇故事心理深度评估发现,LLM评判者偏向推理输出但忽略人类主观异质性,开发集性能不足以证明部署有效性。
2026-09-15 cs.CL cs.LG
When Symptoms Are Not Enough: Evidence-Weighting Patterns in Large Language Model Psychiatric Screening
Departments of Computer Science1 and Psychological Science2(计算机科学系和心理学系)
本研究引入SCID锚定基准,评估五个大语言模型在精神科筛查中的表现,发现模型在焦虑症、抑郁症和创伤后应激障碍分类中,当存在功能保留或保护性背景时倾向于低估症状证据,导致假阴性错误。
2026-05-25 cs.CL cs.CY
Establishing Vocabulary Tests as a Benchmark for Evaluating Large Language Models
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Politécnica de Madrid(马德里理工大学);Universidad de Valladolid(巴利亚多利德大学);Universidad de Salamanca(萨拉曼卡大学);Ghent University(根特大学)
针对当前大语言模型评估多忽略基础语言能力的问题,研究提出复兴词汇测试作为评估工具,通过双语两种测试形式评估7个LLM,发现其词汇知识存在差距,为理解LLM语言能力提供新视角。
2024-01-29 cs.CL
A Communication Theory Perspective on Prompting Engineering Methods for Large Language Models
AI Group, WeBank Co., Ltd(微众银行AI团队)
本文从通信理论视角系统梳理大语言模型提示工程方法,分析其在四类典型任务中的发展趋势,并为未来提示工程研究指明方向。
2023-10-24 cs.AI cs.CL
Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单元);Google DeepMind(谷歌DeepMind)
本文首次系统研究数字分词方式对大语言模型算术推理的影响,发现从右到左分词显著优于从左到右分词,并揭示了系统性错误模式及模型规模对分词偏置的缓解作用。
2024-02-22 cs.CL cs.LG
Dialogue Injection Attack: Jailbreaking LLMs through Context Manipulation
Zhejiang University(浙江大学);National University of Defense Technology(国防科技大学)
本文提出对话注入攻击(DIA),利用历史对话在黑盒条件下越狱大语言模型,并在Llama-3.1和GPT-4o等模型上取得最先进攻击成功率,且能绕过多种防御机制。
2025-03-11 cs.CL
How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs
Virginia Tech(弗吉尼亚理工大学);Renmin University of China(中国人民大学);UC, Davis(加州大学戴维斯分校);Stanford University(斯坦福大学)
本文提出将大语言模型视为类人沟通者,利用社会科学说服分类法自动生成可解释的说服性对抗提示(PAP)实现越狱,在多个主流模型上攻击成功率超过92%,并揭示现有防御的根本性不足。
2024-01-23 cs.AI cs.CL
Rethinking Table Instruction Tuning
University of Michigan(密歇根大学)
本文重新审视表格指令微调,发现现有模型在域外表格理解和通用能力上显著下降,并证明较小学习率和较少训练实例可兼顾两者,由此提出TAMA模型,性能媲美GPT-3.5/4,并开源。
2025-08-01 cs.AI cs.CL
ZeroQuant(4+2): Redefining LLMs Quantization with a New FP6-Centric Strategy for Diverse Generative Tasks
The University of Sydney(悉尼大学);Rutgers University(罗格斯大学);Microsoft(微软)
针对现有4位量化在生成类任务上性能下降、FP6因硬件适配难被忽视的问题,提出FP6 4+2设计,在保证精度与通用性的同时实现与INT4相当的延迟,为LLM量化提供新方案。
2023-12-18 cs.CL stat.ML
The Carbon Cost of Conversation, Sustainability in the Age of Language Models
Dhaka Residential Model College(达卡模范学院);Char Adarsha College(查尔阿达尔沙学院);Dhaka College(达卡学院);Shamplapur Ideal Academy(尚普拉普尔理想学院)
本文量化了大语言模型的环境成本,指出其背后的系统性问题对全球南方社区危害尤甚,同时提出技术、政策、文化层面的可持续发展路径,呼吁推动兼顾人与环境福祉的AI发展。
2025-07-29 cs.AI cs.CL cs.CY
Large Language Models Struggle with Unreasonability in Math Problems
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(国家多媒体信息处理重点实验室,计算机学院,北京大学);Institute of Artificial Intelligence, Beihang University(人工智能学院,北航);Huawei Noah’s Ark Lab, China(华为诺亚实验室,中国)
提出UMP基准评估大型语言模型检测不合理数学问题的能力,实验发现GPT-4o等先进模型表现不佳,推理模型易产生冗长回复,提示和微调方法仅能带来部分改进。
2025-06-01 cs.CL
Deciphering the Factors Influencing the Efficacy of Chain-of-Thought: Probability, Memorization, and Noisy Reasoning
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
本文通过移位密码解码任务研究影响思维链推理效能的因素,在GPT-4、Claude 3和Llama 3.1上识别出输出概率、预训练记忆和中间操作噪声三个关键因素,并证明它们显著影响模型准确率。
2024-10-04 cs.AI cs.CL
Both Ends Count! Just How Good are LLM Agents at "Text-to-Big SQL"?
RWTH Aachen University(亚琛工业大学)
本文提出评估『文本到大数据SQL』的新指标,揭示传统文本到SQL指标在处理大规模数据时的不足,展示LLM代理在执行效率、成本及数据规模影响方面的表现。
2026-04-13 cs.CL cs.DB cs.IR
An Empirical Analysis of Factual Errors in Human-Written Text and Its Application to Factual Error Detection
Nikkei Inc.(日本产经公司)
通过分析报纸文章修正,提炼人类事实错误分类,并评估LLM在合成和真实数据上的检测能力,发现GPT-5.4仅达52% F1分数。
2026-09-15 cs.CL
Bhaasha, Bhasa, Zaban: A Survey for Low-Resourced Languages in South Asia -- Current Stage and Challenges
Dept of Computer Science & Engineering, West Bengal University of Technology(计算机科学与工程系,西孟加拉理工大学);Department of Computer Science, University of Memphis(计算机科学系,孟菲斯大学)
本综述考察了2020年以来南亚低资源语言NLP模型的发展与挑战,重点分析了基于transformer的模型在数据、模型和任务三方面的进展与差距,呼吁社区解决数据缺失、语码混合及评估基准缺失等问题。
2025-09-15 cs.CL
The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility?
The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
本文提出基于直接偏好优化的对齐框架,通过平衡安全与实用性,在化学领域构建数据集并评估,使模型整体性能超越Claude-3等领先LLM,同时揭示长链思维推理带来的伦理风险。
2025-02-27 cs.AI cs.CL
ACADREASON: Exploring the Limits of Reasoning Models with Academic Research Problems
OPPO AI Agent Team(OPPO 人工智能代理团队)
针对现有学术基准推理深度不足,提出Acadreason基准,含50个专家标注的跨五领域学术问题,评估显示主流LLM和智能体得分普遍偏低,揭示其在高水平学术推理上的能力差距。
2025-10-13 cs.CL
HeCiX: Integrating Knowledge Graphs and Large Language Models for Biomedical Research
PES University(PES大学);IIT Madras(印度理工学院马德拉斯分校);Manipal University(马尼帕尔大学);Indian Institute of Science Education and Research, Bhopal(印度科学教育与研究学院博帕尔分校)
针对临床试验高失败率问题,提出HeCiX系统,融合ClinicalTrials.gov与Hetionet构建知识图谱,并结合GPT-4,在临床评估中表现优异,提升研究效率。
2024-07-19 cs.AI cs.CL cs.IR
Invisible Influences: Investigating Implicit Intersectional Biases through Persona Engineering in Large Language Models
Shiv Nadar University Chennai(钦奈希夫纳达尔大学);Plaksha University(普拉克沙大学)
本文通过角色工程研究大型语言模型中的隐性交叉偏见,提出BADx指标,揭示角色上下文对偏见动态影响的机制,评估五种LLM在不同角色框架下的表现。
2026-03-16 cs.AI cs.CL
Why Does the Effective Context Length of LLMs Fall Short?
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究发现开源 LLM 有效上下文长度受相对位置频率左偏限制,提出推理时移动位置的 STRING,无需训练即显著提升长上下文性能。
2024-10-24 cs.CL
From We to Me: Theory Informed Narrative Shift with Abductive Reasoning
Syracuse University(苏塞克斯大学);Arizona State University(亚利桑那州立大学)
本文提出基于演绎推理和社会科学理论的神经符号方法,用于改进大型语言模型的叙述转变能力,在多个模型上实现了显著的性能提升。
2026-08-04 cs.AI cs.CL
Co-Writing with Opinionated Language Models Affects Users' Views
Cornell University(康奈尔大学);Microsoft Research(微软研究院);University of Bayreuth(拜罗伊特大学);Tel Aviv University(特拉维夫大学);Cornell Tech(康奈尔科技学院)
如果像GPT-3这样的大语言模型更倾向于产生特定的观点,它们可能会以未知的规模影响人们的观点。这项研究调查了一个语言模型驱动的写作助手是否会比其他人更经常地产生一些意见,从而影响用户的写作内容以及他们的想法。在一项在线实验中,我们要求参与者(N= 1,506)写一篇文章,讨论社交媒体是否对社会有益。治疗组的参与者使用了一个语言模型驱动的写作助手,该助手被配置为争论社交媒体对社会是好是坏。然后,参与者完成了一项社交媒体态度调查,独立法官(N=500)评估了他们在写作中表达的意见。使用固执己见的语言模型影响了参与者在写作中表达的观点,并在随后的态度调查中改变了他们的观点。我们讨论了我们的结果的更广泛的影响,并认为人工智能语言技术中内置的意见需要更仔细地监控和设计。
2023-02-01 cs.AI cs.CL cs.HC
Jailbreaking Frontier Foundation Models Through Intention Deception
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种多轮欺骗方法,通过模拟良性意图和模型一致性,引导模型生成有害输出,并揭示了未被注意到的para-jailbreaking漏洞。
2026-04-27 cs.AI cs.CL cs.CR
Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
本文提出ConfAIde基准,依据情境完整性理论测试指令微调LLM的隐私推理能力,发现GPT-4和ChatGPT仍会分别在39%和57%的情境中泄露隐私。
2024-06-28 cs.AI cs.CL cs.CR
Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
University of Macau(澳门大学);Westlake University(西湖大学);Harbin Institute of Technology(哈尔滨工业大学);University of Cambridge(剑桥大学);University of Aberdeen(阿伯丁大学)
该研究针对LLM智能体在交互式叙事中难以维持长期一致性的问题,构建了NCP-Bench基准测试,发现现有顶尖LLM的承诺保持率较低,存在显著的逻辑冲突问题。
2026-08-11 cs.AI cs.CL
CL-bench: A Benchmark for Context Learning
Hunyuan Team, Tencent(腾讯混元团队);Fudan University(复旦大学)
CL-bench是一个用于评估上下文学习能力的基准测试,通过复杂任务和上下文设计,揭示当前语言模型在真实任务中的学习瓶颈。
2026-02-03 cs.CL
Benchmarking and Improving LLM Robustness for Personalized Generation
University of Michigan(密歇根大学)
该研究针对大语言模型个性化生成中事实性常被忽视的问题,提出PERG评估框架与PERGData数据集,发现现有模型鲁棒性不足,进而提出Pref-Aligner两阶段方法,平均提升模型鲁棒性25%。
2025-09-18 cs.AI cs.CL
GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection?
Pompeu Fabra University(庞培法布拉大学);Catalan Institute for Research and Advanced Studies(加泰罗尼亚高级研究学院)
针对HateCheck测试用例过于通用、结构简单的问题,提出GPT-HateCheck框架,利用大语言模型生成多样且逼真的功能测试,并借助NLI模型验证,以揭示模型被忽视的弱点。
2024-05-27 cs.CL cs.CY
ToMATO: Verbalizing the Mental States of Role-Playing LLMs for Benchmarking Theory of Mind
NTT Corporation(NTT公司)
针对现有心理理论基准的局限,该研究提出基于信息不对称对话生成的ToMATO基准,覆盖多类心理状态与人格特质,评测显示主流LLM仍落后于人类水平。
2025-01-15 cs.AI cs.CL
What Would You Ask When You First Saw $a^2+b^2=c^2$? Evaluating LLM on Curiosity-Driven Questioning
Stevens Institute of Technology(斯蒂文斯理工学院)
本文提出一个评估大语言模型知识获取潜力的框架,通过让模型对科学陈述提问并评分,发现小模型Phi-2在好奇心驱动提问上不逊于甚至优于大模型,挑战了规模决定论。
2025-07-07 cs.AI cs.CL cs.LG
Agent-to-Agent Theory of Mind: Testing Interlocutor Awareness among Large Language Models
University of Toronto(多伦多大学);Vector Institute(向量研究所);ETH Zürich(苏黎世联邦理工学院);MPI(马克斯·普朗克研究所)
本文首次系统评估大语言模型的对话者意识,发现LLM能从推理模式、语言风格和对齐偏好三个维度识别对话伙伴身份,并揭示其在提升多智能体协作的同时也带来奖励黑客和越狱等安全风险。
2025-08-27 cs.AI cs.CL cs.CY
MDEval: Evaluating and Enhancing Markdown Awareness in Large Language Models
Southwestern University of Finance and Economics(西南财经大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出 MDEval 基准,通过构建 20K 中英双语实例评估大语言模型的 Markdown 感知能力,并结合生成任务与统计方法提升可解释性,实验表明微调后开源模型可接近 GPT-4o 水平。
2025-08-27 cs.CL cs.IR
Fortify the Shortest Stave in Attention: Enhancing Context Awareness of Large Language Models for Effective Tool Use
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Alibaba Group(阿里巴巴集团)
本文提出 Attention Buckets 推理方法,通过多并行过程补偿注意力低谷,提升 LLM 上下文感知能力,在工具使用和 RAG 任务中达到与 GPT-4 相当的性能。
2024-06-04 cs.AI cs.CL cs.LG
Learning Human-Perceived Fakeness in AI-Generated Videos via Multimodal LLMs
该研究推出首个标注人类感知深度伪造痕迹的细粒度时空基准DeeptraceReward,训练多模态奖励模型模拟人类判断,7B模型表现超GPT-5 34.7%,揭示伪造检测难度梯度,为可信视频生成提供测试与训练支撑。
2025-10-01 cs.AI cs.CL cs.CV
EUDAIMONIA: Evaluating Undesirable Dynamics in AI
University of Southern California(南加州大学)
提出Social AI Design Code框架,并通过EUDAIMONIA基准测试评估22个最新LLM在社交互动中对用户福祉的符合程度,发现即使最强模型也违反约30%的设计要求。
2026-10-06 cs.AI cs.CL cs.HC
Data Efficient Evaluation of Large Language Models and Text-to-Image Models via Adaptive Sampling
Hewlett Packard Labs(惠普实验室)
针对大语言模型与文本生成图像模型评估计算成本高的问题,提出自适应采样框架SubLIME,通过多种采样策略构建基准代表性子集,在保证排名一致性的同时大幅降低评估成本。
2024-06-21 cs.CL cs.LG
The Labyrinth of Links: Navigating the Associative Maze of Multi-modal LLMs
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院)
本文针对多模态LLMs被忽视的联想能力提出无标注基准,设计单步、同步和异步任务,系统评估显示当前最先进模型与人类存在显著差距。
2025-03-03 cs.AI cs.CL cs.CV
A Unified Approach to Emotion Detection and Task-Oriented Dialogue Modeling
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
本文提出将情感检测统一集成到任务导向对话建模中,通过扩展SimpleToD的信念状态跟踪,在EmoWOZ上验证了该方法能同时提升情感检测与任务性能,并改善系统响应的同理心。
2024-06-28 cs.CL
FinBERT2: A Specialized Bidirectional Encoder for Bridging the Gap in Finance-Specific Deployment of Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Value Simplex Technology Co.Ltd.(北京价值简单科技有限公司)
本文提出FinBERT2,一个在320亿token中文金融语料上预训练的专用双向编码器,通过判别式微调、对比式微调和主题建模三方面成果,弥合了金融领域大语言模型部署的性能差距。
2025-07-05 cs.AI cs.CE cs.CL
Beyond Negation Detection: Comprehensive Assertion Detection Models for Clinical NLP
John Snow Labs inc.(约翰斯诺实验室公司)
针对过往临床NLP断言检测仅聚焦否定检测、商业方案领域适配性差的问题,该研究开发了含微调LLM、深度学习等多类的断言检测模型,集成于Spark NLP,性能优于GPT-4o等商业方案,适配不同资源场景。
2025-03-21 cs.CL cs.IR cs.LG