Silver-Tongued and Sundry: Exploring Intersectional Pronouns with ChatGPT
Tokyo Institute of Technology(东京工业大学);University College Dublin(都柏林大学学院)
本研究以日语第一人称代词为切入点,通过受控实验验证代词可唤起对ChatGPT多维度交叉社会身份的感知,为文化敏感的角色开发提供语言方法,推动智能体交叉身份研究。
2024-05-13 cs.AI cs.CL cs.HC
Utilizing ChatGPT Generated Data to Retrieve Depression Symptoms from Social Media
University of Bucharest(布加勒斯特大学);Universitat Politècnica de València(瓦伦西亚理工大学)
本文利用ChatGPT为BDI-II问卷各症状生成合成数据,并通过语义搜索和余弦相似度在Reddit中检索抑郁症状,发现仅依赖原始BDI-II回答的方法性能最佳。
2023-07-06 cs.CL
Evaluation of ChatGPT for NLP-based Mental Health Applications
大语言模型(LLM)在几个自然语言理解任务中取得了成功,并可能与基于自然语言处理(NLP)的心理健康应用研究相关。在这项工作中,我们报告了基于LLM的ChatGPT(具有gpt-3.5-turbo后端)在三个基于文本的心理健康分类任务中的性能:压力检测(2类分类),抑郁检测(2类分类)和自杀检测(5类分类)。我们从公共数据集中获得了三个分类任务的注释社交媒体帖子。然后ChatGPT API对社交媒体帖子进行分类,并输入分类提示。我们获得的F1分数为0.73,0.86,0.37压力检测,抑郁检测,自杀倾向检测,分别。一个总是预测优势类的基线模型导致F1得分为0.35,0.60和0.19。使用ChatGPT获得的zero-shot分类精度表明语言模型在心理健康分类任务中的潜在用途。
2023-03-28 cs.AI cs.CL
Unveiling the Potential of Knowledge-Prompted ChatGPT for Enhancing Drug Trafficking Detection on Social Media
West Virginia University(西弗吉尼亚大学);University of Notre Dame(圣母大学)
本文首次系统研究利用ChatGPT等大语言模型检测社交媒体毒品贩运,提出知识知情提示框架和蒙特卡洛dropout提示优化方法,检测准确率较基线模型提升近12%,有效应对毒贩的欺骗性语言和委婉语。
2023-07-07 cs.AI cs.CL cs.SI
Seeing ChatGPT Through Students' Eyes: An Analysis of TikTok Data
LMU Munich(慕尼黑大学)
像ChatGPT这样的高级大型语言模型最近得到了相当多的关注,包括学生。然而,虽然学术界关于ChatGPT的争论正在掀起波澜,但讲师和教师需要更多地了解学生如何使用和感知ChatGPT。为了解决这一差距,我们分析了2023年2月TikTok上ChatGPT的内容。TikTok是一个快速增长的社交媒体平台,在30岁以下的人群中很受欢迎。具体来说,我们分析了100个最受欢迎的英语视频的内容,这些视频的标签是#chatgpt,它们总共获得了超过2.5亿的观看次数。我们研究的大多数视频都促进了ChatGPT在撰写论文或代码等任务中的使用。此外,许多视频讨论了AI检测器,重点是其他工具如何帮助转换ChatGPT输出以欺骗这些检测器。这也反映了教育工作者关于如何在教学和评分中将ChatGPT视为讲师和教师的讨论。然而,TikTok上分析的片段中缺少的是讨论ChatGPT生成内容的视频,这些内容对训练数据是荒谬或不忠实的。
2023-03-09 cs.CL cs.CY stat.AP
Leveraging ChatGPT and Other NLP Methods for Identifying Risk and Protective Behaviors in MSM: Social Media and Dating apps Text Analysis
1 Department of Computer Science, Henry Samueli School of Engineering, University of California, Los Angeles, Los Angeles, CA;2 Department of Social Welfare, Luskin School of Public Affairs, University of California, Los Angeles, Los Angeles, CA;3 Department of Counseling \& Educational Psychology, New Mexico State University, Las Cruces, NM
本研究利用NLP方法分析社交媒体和约会应用文本,以预测MSM的性风险行为和饮酒情况,展示大语言模型在公共卫生干预中的应用价值。
2026-01-20 cs.AI cs.CL
How would Stance Detection Techniques Evolve after the Launch of ChatGPT?
College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院);Faculty of Information and Intelligence, Shenzhen X-Institute(深圳X研究所信息与智能学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究探讨ChatGPT对立场检测领域的影响,实验证实其在常用数据集上性能达最优或相近水平,且具备预测解释能力,有望改变该领域研究范式,推动可解释AI构建。
2024-08-12 cs.CL
Large Language Models Portray Socially Subordinate Groups as More Homogeneous, Consistent with a Bias Observed in Humans
Washington University in St. Louis(圣路易斯华盛顿大学)
本文研究了LLMs中一种类似社会心理学现象的新偏见,发现ChatGPT将非裔、亚裔、西班牙裔及女性等社会从属群体描绘得比主导群体更具同质性,这可能会加剧刻板印象与歧视。
2024-04-26 cs.CL
Stance Detection on Social Media with Fine-Tuned Large Language Models
EPFL(洛桑联邦理工学院)
本研究评估了从机器学习到BERT再到LLMs的立场检测方法演变,通过微调ChatGPT、LLaMa-2和Mistral-7B并在零样本和少样本场景中测试,发现所有模型超越现有基准,其中开源模型LLaMa-2和Mistral-7B虽小但效率显著,凸显了LLMs在立场检测中的潜力。
2024-04-18 cs.CL cs.SI
Does ChatGPT have Theory of Mind?
Utrecht University(乌得勒支大学)
本文研究了ChatGPT大型语言模型是否具备心智理论,通过向两个版本的ChatGPT提出六个推理偏见问题,发现ChatGPT-4答对的频率高于随机预期,但常基于错误假设或无效推理。
2023-09-13 cs.AI cs.CL
A Linguistic Comparison between Human and ChatGPT-Generated Conversations
Michigan State University(密歇根州立大学);Rochester Institute of Technology(罗切斯特理工学院)
本研究通过LIWC分析比较人类与ChatGPT生成对话的语言差异,发现ChatGPT在多个语言类别表现更优,并贡献了配套数据集,助力区分人类与LLM文本。
2024-04-26 cs.AI cs.CL cs.CY
Exploring ChatGPT and its Impact on Society
Aligarh Muslim University(阿里格尔穆斯林大学);University of Oulu(奥卢大学)
本文探讨了基于Transformer架构的大型语言模型ChatGPT的架构、训练过程及其对社会的潜在影响,并提出通过技术、监管、教育和伦理等方法最大化其益处、减少负面影响。
2024-03-25 cs.AI cs.CL cs.CY
GPTEval: A Survey on Assessments of ChatGPT and GPT-4
Nanyang Technological University(南洋理工大学);Central China Normal University(华中师范大学);University of Surrey(萨里大学)
本综述全面分析了先前对ChatGPT和GPT-4在语言推理、科学知识与伦理方面的评估,审查现有评估方法并为未来大型语言模型研究提出建议。
2024-12-24 cs.AI cs.CL
What does ChatGPT return about human values? Exploring value bias in ChatGPT using a descriptive value theory
Institute D’Or for Research and Teaching(多尔研究与教学学院);School of Psychology(心理学院);School of Information Management(信息管理学院);Dublin City University(都柏林城市大学);University of Western Australia(西澳大学)
本研究基于 Schwartz 基础价值观理论,通过 OpenAI API 重复提示 ChatGPT 生成文本并使用词袋方法分析,发现其输出无明显价值偏见且高保真传递了价值内容,仅存在社会导向价值观的融合。
2023-04-07 cs.CL cs.CY cs.HC
To ChatGPT, or not to ChatGPT: That is the question!
Technical University of Darmstadt(达姆施塔特工业大学)
本研究全面评估了最新的ChatGPT检测技术及其他AI文本检测工具,构建了涵盖医疗、问答、金融及社交平台的基准数据集,实验表明现有方法均无法有效检测ChatGPT生成的内容。
2023-04-05 cs.AI cs.CL cs.LG
Social preferences with unstable interactive reasoning: Large language models in economic trust games
Utrecht University(乌得勒支大学);University of Birmingham(伯明翰大学)
本研究通过经济信任博弈实验,发现大语言模型在无角色提示时表现出信任与互惠,但角色提示显著影响其行为,且交互推理不稳定,其中ChatGPT-4在无私角色下表现最优。
2025-05-16 cs.AI cs.CL
ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs
California Institute of Technology(加州理工学院);Carleton College(卡尔顿学院);University of Cambridge(剑桥大学)
针对大语言模型存在社会偏见且去偏受成本、数据等限制的问题,提出基于ChatGPT的定向与通用提示数据增强策略,结合适配器调优实现参数高效去偏,性能优于现有数据集且能保留模型知识、具备跨类别泛化性。
2024-09-16 cs.AI cs.CL cs.CY
Can ChatGPT Perform Reasoning Using the IRAC Method in Analyzing Legal Scenarios Like a Lawyer?
Monash University Malaysia(莫纳什大学马来西亚分校);Monash University(莫纳什大学);Deakin University(迪肯大学)
研究构建了涉及马来西亚合同法等法律场景的新颖语料库,首次实证评估了ChatGPT使用IRAC方法进行法律推理分析时与法律专家的契合度,为未来改进LLMs的法律推理一致性提供了方向。
2026-10-30 cs.CL
The Wall Street Neophyte: A Zero-Shot Analysis of ChatGPT Over MultiModal Stock Movement Prediction Challenges
Wuhan University(武汉大学);Southwest Jiaotong University(西南交通大学);ChanceFocus AMC(ChanceFocus资产管理公司)
该研究通过在三个多模态数据集上的零样本实验,分析ChatGPT的股价走势预测能力,发现其表现逊于传统及前沿方法,且存在可解释性与稳定性局限,为金融领域大模型优化提供参考。
2023-04-28 cs.CL cs.LG q-fin.ST
The BS-meter: Detecting Politics and Labour through ChatGPT's Language
University of Cambridge(剑桥大学)
本文对比科学文献与ChatGPT生成文本的语言特征,构建扯淡的统计模型,探究其能否关联法兰克福式人工扯淡与政治、职场语境中的自然扯淡,相关成果可用于通过ChatGPT语言检测政治与劳工议题。
2026-08-28 cs.AI cs.CL cs.HC
Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对大语言模型推荐(RecLLM)可能存在的偏见,提出公平性基准 FaiRLLM,包含精心设计的指标和涵盖8个敏感属性的数据集,评估发现 ChatGPT 在推荐中仍存在不公平现象。
2026-06-15 cs.CL cs.CY cs.IR
Are Chatbots Reliable Text Annotators? Sometimes
Center for Humanities Computing, Aarhus University(奥胡斯大学人文计算中心);Department of Political Science, Aarhus University(奥胡斯大学政治学系)
本研究比较了ChatGPT与开源大语言模型及监督分类器在二元文本标注任务上的性能,发现监督分类器(DistilBERT)通常更优,建议谨慎使用ChatGPT进行文本标注。
2025-02-25 cs.AI cs.CL
Trusting CHATGPT: how minor tweaks in the prompts lead to major differences in sentiment classification
本研究测试GPT-4o mini对提示词微小调整的敏感性,发现其情感分类结果受提示词变化影响显著,挑战了模型稳健性,强调信任需考虑技术性能与社会制度关系。
2025-04-16 cs.AI cs.CL
I Am Not Them: Fluid Identities and Persistent Out-group Bias in Large Language Models
KAIST(韩国科学技术院);Institute for Basic Science(基础科学研究院);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本研究探究了 ChatGPT 在多语言下的文化偏见,发现模型在获得特定社会身份时会区分内外群体,拥抱内群体价值观而摒弃外群体价值观,且外群体负面偏见强于内群体正面倾向,该现象在政治领域及其他模型中均表现出一致性。
2024-02-16 cs.CL
Polarization of Autonomous Generative AI Agents Under Echo Chambers
SB Intuitions
本研究探讨了回音室环境下基于生成式语言模型的自主AI智能体发生极化的可能性,发现ChatGPT智能体群体易因高提示词理解能力而极化,并指出人设等因素需被监控以预防该现象。
2024-02-19 cs.CL
Self-Explanation in Social AI Agents
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种社会性AI代理的自我解释方法,通过内省功能自我模型并结合思维链与ChatGPT生成解释,以提升透明度和信任,并在实时课堂中验证了其完整性与正确性。
2025-01-19 cs.AI cs.CL cs.CY
ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning
University of Amsterdam(阿姆斯特丹大学);Amsterdam Institute for Social Science Research (AISSR)(阿姆斯特丹社会科学研究所(AISSR))
本文以2020年美国大选政治推文为基准,证明ChatGPT-4在零样本政治立场分类任务中比专家和众包工人在准确性、可靠性和偏差控制上表现更优,并具备传统上被视为人类独有的语境推理与意图推断能力,预示LLM将推动社会科学文本研究的大规模解释性分析。
2023-04-13 cs.AI cs.CL cs.SI
Can Large Language Models Detect Verbal Indicators of Romantic Attraction?
本文探讨大型语言模型能否检测人类互动中的浪漫吸引力言语指标,通过分析964次速配数据发现ChatGPT可预测速配成功指标,其对实际匹配的预测与人类相当且优于速配者自身预测,还揭示了其使用的语言线索。
2025-04-12 cs.AI cs.CL cs.HC
On the Detectability of ChatGPT Content: Benchmarking, Methodology, and Evaluation through the Lens of Academic Writing
The University of Kansas(堪萨斯大学)
本研究提出 GPABench2 基准数据集和 CheckGPT 检测框架,系统评估 ChatGPT 生成学术摘要的可检测性,并验证其跨学科、跨任务的有效性与鲁棒性。
2024-03-18 cs.CL cs.CR cs.LG
InstaSynth: Opportunities and Challenges in Generating Synthetic Instagram Data with ChatGPT for Sponsored Content Detection
Utrecht University(乌得勒支大学);University College Maastricht, Maastricht University(马斯特里赫特大学马斯特里赫特大学学院);Indira Gandhi Delhi Technical University for Women(英迪拉·甘地德里女子技术大学)
本文研究了使用LLMs生成合成Instagram数据以检测赞助内容的保真度与效用目标,发现两者存在冲突,且提示工程策略不足,合成数据整体缺乏多样性。
2024-03-22 cs.CL cs.CY cs.SI
Distinguishing Human Generated Text From ChatGPT Generated Text Using Machine Learning
United International University (UIU)(联合国际大学(UIU));University of Asia Pacific (UAP)(亚太大学(UAP))
本文提出基于机器学习的 ChatGPT 生成文本检测方法,在含 10,000 条文本的 Kaggle 数据集上比较 11 种算法,并在 GPT-3.5 语料上达到 77% 准确率。
2023-05-26 cs.AI cs.CL cs.LG
ChatGPT and Persuasive Technologies for the Management and Delivery of Personalized Recommendations in Hotel Hospitality
Upsell;University of the Aegean(爱琴海大学)
本文探讨了将ChatGPT与说服技术集成以自动化改进酒店推荐系统,通过案例研究验证其在提升用户参与度、满意度、转化率及酒店收入方面的潜力。
2023-07-26 cs.AI cs.CL cs.IR
Social bot detection in the age of ChatGPT: Challenges and opportunities
本文综述ChatGPT时代社交机器人检测的挑战与机遇,指出当前技术空白,提出生成式数据、多模态跨平台检测、低资源语言扩展及联邦学习协作等未来研究方向。
2026-10-05 cs.CL cs.CY
MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models
The University of Manchester(曼彻斯特大学);Jiangxi Normal University(江西师范大学);Yale University(耶鲁大学);Wuhan University(武汉大学)
针对大语言模型在心理健康分析中零样本性能差且缺乏开源可解释模型的问题,构建了10.5万样本的IMHI数据集,并基于LLaMA2训练出首个开源的MentalLLaMA模型,在正确性和解释质量上均达到先进水平。
2024-02-04 cs.CL
Exploring the Potential of Conversational AI Support for Agent-Based Social Simulation Model Design
University of Nottingham(诺丁汉大学)
本研究探索利用对话式AI系统(如ChatGPT)辅助基于智能体的社会仿真模型设计,通过提示工程和工程化框架,在短时间内生成概念模型,并验证了其可行性与实用性。
2025-10-07 cs.AI cs.CL cs.HC
AgentPeerTalk: Empowering Students through Agentic-AI-Driven Discernment of Bullying and Joking in Peer Interactions in Schools
Sydney Grammar School(悉尼文法学校);Telopea Park School(特洛皮公园学校);Haileybury Rendall School(黑利伯里伦德尔学校);Anglican Church Grammar School(圣公会教会文法学校)
本研究评估三款LLM辨别校园欺凌与玩笑的能力,发现采用智能体方法后ChatGPT-4的情境准确性最佳,可为学生提供实时支持。
2024-07-27 cs.AI cs.CL cs.CY
Comparative Analysis of Drug-GPT and ChatGPT LLMs for Healthcare Insights: Evaluating Accuracy and Relevance in Patient and HCP Contexts
本研究在医疗问答场景下比较了 Drug-GPT 3、Drug-GPT 4 和 ChatGPT,发现基于患者和 HCP 社交媒体精选数据集的 Drug-GPT 模型比特通用 ChatGPT 提供更具针对性和深度的见解。
2023-07-24 cs.AI cs.CL
Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and Toxicity
CSIRO’s Data61(联邦科学与工业研究组织Data61);Monash University(莫纳什大学);Australian National University(澳大利亚国立大学)
本文通过红队测试方法从偏见、可靠性、鲁棒性和毒性四个维度系统分析 ChatGPT 的伦理风险,发现现有基准无法覆盖大量风险,并通过案例研究揭示问题,为构建负责任的 LLM 提供设计启示。
2023-05-29 cs.CL cs.SE
Evaluating Large Language Models for Document-grounded Response Generation in Information-Seeking Dialogues
Toshiba Europe Limited(东芝欧洲有限公司)
本文评估ChatGPT等大型语言模型在信息寻求对话中基于文档生成响应的能力,通过Chat-Completion和LlamaIndex两种方法在MultiDoc2Dial语料库上进行人工评估,发现ChatGPT变体虽更易产生幻觉但评分仍高于共享任务获胜系统和人类响应。
2023-09-21 cs.AI cs.CL
Multi-Stakeholder Disaster Insights from Social Media Using Large Language Models
针对社交媒体灾害数据难以为多方利益相关者提供定制化可操作洞察的问题,提出结合LLMs分类(如BERT多维度分类)与生成(如ChatGPT定制报告)的方法,性能优于标准方法,能为灾害响应提供精准支持。
2025-04-17 cs.AI cs.CL cs.ET
The Skipped Beat: A Study of Sociopragmatic Understanding in LLMs for 64 Languages
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
研究提出多语言基准SPARROW评估LLMs的社会语用理解能力,发现开源LLMs表现接近随机基线,ChatGPT虽优于多数模型但仍落后任务专用微调模型12.19分。
2023-10-23 cs.CL
Analyzing User Perceptions of Large Language Models (LLMs) on Reddit: Sentiment and Topic Modeling of ChatGPT and DeepSeek Discussions
Florida State University(佛罗里达州立大学)
本研究利用情感分析和 LDA 主题建模分析 Reddit 上关于 ChatGPT 和 DeepSeek 的讨论,揭示用户对 AI 的信任、期望、偏见和伦理担忧,为开发者和政策制定者提供公众认知参考。
2025-02-22 cs.CL cs.HC cs.SI
Using RL to Identify Divisive Perspectives Improves LLMs Abilities to Identify Communities on Social Media
Purdue University(普渡大学)
提出通过训练较小 LLM 生成提示来引导黑盒 LLM 更好识别社交媒体用户社区,实验证明该方法在社区检测等任务上取得显著改进。
2024-06-03 cs.CL
BAD: BiAs Detection for Large Language Models in the context of candidate screening
University of Michigan(密歇根大学)
本文提出BAD项目,旨在识别并量化ChatGPT等OpenAI LLMs在候选人筛选中的社会偏见,证明其使用可能延续招聘过程中的现有不平等。
2023-05-17 cs.CL
Pareidolic Illusions of Meaning: ChatGPT, Pseudolaw and the Triumph of Form over Substance
本文并置分析伪法律与ChatGPT等生成式AI/LLM,指出二者均以形式冒充实质并制造意义错觉,进而从认知机制提出素养提升是破解之道。
2025-03-17 cs.AI cs.CL cs.CY
"Is ChatGPT a Better Explainer than My Professor?": Evaluating the Explanation Capabilities of LLMs in Conversation Compared to a Human Baseline
Barnard College(巴纳德学院);Columbia University(哥伦比亚大学)
本研究利用5-Levels数据集和解释行为框架,评估GPT4在对话解释任务中的表现,比较人类解释者、GPT4标准回应及带解释动作的GPT4回应三种策略,以探究LLMs增强专家解释能力的潜力。
2024-06-26 cs.CL
ChatGPT for Suicide Risk Assessment on Social Media: Quantitative Evaluation of Model Performance, Potentials and Limitations
University of Ottawa(渥太华大学);National Research Council Canada(加拿大国家研究委员会)
该研究提出定量评估框架,基于Reddit自杀倾向数据集,通过零样本、少样本实验及不同temperature参数测试,评估ChatGPT的社交媒体自杀风险评估性能,发现其准确率可观但不及经微调的transformer模型,同时明确了超参数调整对其辅助心理健康工作的提升作用。
2023-06-15 cs.AI cs.CL cs.LG
Evaluating the Efficacy of Large Language Models in Identifying Phishing Attempts
Western University(韦仕敦大学);Zayed University(扎耶德大学)
本文评估了15个大型语言模型在检测“419诈骗”网络钓鱼邮件中的有效性,发现ChatGPT 3.5、GPT-3.5-Turbo-Instruct和ChatGPT检测效果最佳。
2024-06-06 cs.AI cs.CL
Fine-grained Affective Processing Capabilities Emerging from Large Language Models
Leiden University(莱顿大学);Free University Amsterdam(阿姆斯特丹自由大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
本文探索ChatGPT仅通过提示进行情感计算的零样本能力,发现其在效价、唤醒度、支配度维度上有意义的情感分析,并能基于OCC模型进行情境评价,表明复杂情感处理能力从语言模型中涌现,对情感分析、社交机器人等应用有重要意义。
2023-09-04 cs.AI cs.CL cs.HC
Cognitive network science reveals bias in GPT-3, ChatGPT, and GPT-4 mirroring math anxiety in high-school students
University of Pisa(比萨大学);ISTI - CNR(意大利国家研究委员会信息科学与技术研究所);University of Trento(特伦托大学)
本文利用认知网络科学方法分析GPT-3、ChatGPT和GPT-4对数学及STEM学科的感知偏见,发现LLM总体持负面态度且数学最负面,但GPT-4比旧版本和高中生偏见更少、感知更丰富,表明架构进步有望减少有害刻板印象。
2023-05-22 cs.AI cs.CL cs.CY
White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出LABE基准评估LLM在文本生成中的语言能动性社会偏见,并发现其性别与交叉偏见严重且提示缓解不稳定,进而提出MSR策略通过能动性分类器选择性改写文本以更有效可靠地缓解偏见。
2025-05-30 cs.AI cs.CL cs.CY
Navigating Prompt Complexity for Zero-Shot Classification: A Study of Large Language Models in Computational Social Science
The University of Sheffield(谢菲尔德大学)
本研究评估了ChatGPT和OpenAssistant在六项计算社会科学任务中的零样本分类性能,发现其不及微调的BERT-large模型,且不同提示策略对准确率和F1分数的影响超过10%。
2024-03-24 cs.CL
"HOT" ChatGPT: The promise of ChatGPT in detecting and discriminating hateful, offensive, and toxic comments on social media
University of Michigan(密歇根大学)
本研究比较了ChatGPT与MTurker在检测仇恨、冒犯和有毒(HOT)评论上的表现,发现ChatGPT准确率约80%,并探讨了提示词选择及其分类一致性对内容审核的启示。
2023-04-20 cs.AI cs.CL cs.HC
Advancing Annotation of Stance in Social Media Posts: A Comparative Analysis of Large Language Models and Crowd Sourcing
University of Michigan(密歇根大学)
本文比较八个开源与专有 LLM 与众包标注者在社交媒体立场标注上的表现,发现立场表达显豁度和人类一致性显著影响 LLM 准确性,并提出人机结合的标注方案。
2024-06-11 cs.CL