This research's primary motivation of this study is to address the high hardware and computational demands typically associated with LLMs.Therefore,our goal is to find a balance between model lightness and performance,striving to maximize performance while using a comparatively lightweight model. Hyacinth6B was developed with this objective in mind,aiming to fully leverage the core capabilities of LLMs without incurring substantial resource costs, effectively pushing the boundaries of smaller model's performance. The training approach involves parameter efficient finetuning using the LoRA method.
Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model
Multimodal Art Projection Research Community(多模态艺术投影研究社区);HKUST(香港科技大学);Fudan University(复旦大学);Peking University(北京大学);Shanghai Jiaotong University(上海交通大学);Nanjing University(南京大学);University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference
Indiana University Bloomington(印第安纳大学伯明顿分校);Brigham Young University(杨百翰大学);Northwestern University(西北大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Allen Institute for AI(艾伦人工智能研究所);Shanghai Jiaotong Univ.(上海交通大学)
TCM-DiffRAG: Personalized Syndrome Differentiation Reasoning Method for Traditional Chinese Medicine based on Knowledge Graph and Chain of Thought
Macao Polytechnic University(澳门理工大学);Guangdong Institute of Intelligence Science and Technology(广东智能科学技术研究院);Zhejiang Chinese Medical University(浙江中医药大学);Hangzhou Ganzhicao Technology Co., Ltd(杭州甘之草科技有限公司);BoardWare Information System Limited(BoardWare信息系统有限公司)
Enhancing the Traditional Chinese Medicine Capabilities of Large Language Model through Reinforcement Learning from AI Feedback
School of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);School of Computing Technologies, RMIT University(RMIT大学计算技术学院);Yongdingmenwai Community Health Service Center(永定门外社区卫生服务中心)
ZhiFangDanTai: Fine-tuning Graph-based Retrieval-Augmented Generation Model for Traditional Chinese Medicine Formula
School of Management, Capital Normal University(管理学院,首都师范大学);School of Electrical Engineering and Computer Science, the University of Queensland(电气工程与计算机科学学院,昆士兰大学)
An Empirical Study of Instruction-tuning Large Language Models in Chinese
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);APUS AiLMe Lab(APUS AiLMe实验室)
CMoralEval: A Moral Evaluation Benchmark for Chinese Large Language Models
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院)
Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院)
现有的中文文本错误检测主要集中在拼写和简单的语法错误。这些错误已被广泛研究,对人类来说相对简单。相反,汉语的语义错误研究不足,而且更加复杂,人类不容易识别。本文的任务是汉语语义错误识别(CSER),一个二元分类任务,以确定一个句子是否包含语义错误。目前的研究还没有有效的方法来解决这个问题。本文继承了BERT的模型结构,设计了多个与句法相关的预训练任务,使模型能够学习句法知识。我们的预训练任务考虑依赖结构的方向性和依赖关系的多样性。由于目前尚缺乏针对CSER的公开数据集,本文首次建立了一个高质量的CSER数据集--汉语语义可接受性语料库(Corpus of Chinese Linguistic Semantic Acceptability,CoCLSA)。在CoCLSA上的实验结果表明,我们的方法优于通用的预训练模型和语法注入模型。
预训练语言模型在自然语言理解(NLU)任务中取得了巨大的成功,因为它能够通过对大规模语料库的预训练来捕获文本中的深层语境信息。在这份技术报告中,我们介绍了我们在中文语料库上预训练语言模型NEZHA(NEural contextualiZed representation for CHinese语言理解)的实践,并为中文NLU任务进行了微调。NEZHA的当前版本基于BERT,并进行了一系列改进,其中包括作为有效位置编码方案的功能相对位置编码,全字掩码策略,混合精度训练和LAMB优化器。实验结果表明,NEZHA在命名实体识别(人民日报NER)、句子匹配(LCQMC)、中文情感分类(ChnSenti)和自然语言推理(XNLI)等典型中文任务上均达到了最佳性能。
为了提高中文金融自然语言处理的效率,在T5语言模型的基础上提出了一种新的中文金融预训练语言模型BBT-FinT 5。为了支持这一努力,我们建立了BBT-FinCorpus,这是一个大规模的金融语料库,拥有来自四个不同来源的大约300 GB的原始文本。在一般领域的NLP中,像GLUE和SuperGLUE这样的综合基准测试通过在模型之间进行头对头比较,推动了语言模型预训练的重大进步。在此基础上,我们提出了一个中文金融语言理解与生成评估基准BBT-CFLEB,该基准包括六个数据集,涵盖理解和生成任务。我们的目标是促进中国金融领域NLP发展的研究。我们的模型、语料库和基准测试发布在https://github.com/ssymmetry/BBT-FinCUGE-Applications。我们的工作属于Big Bang Transformer(BBT),这是一个大规模的预训练语言模型项目。
Aesthetic Assessment of Chinese Handwritings Based on Vision Language Models
The Open University of China(中国开放大学);Engineering Research Center of Integration and Application of Digital Learning Technology, Ministry of Education(数字化学习技术集成与应用教育部工程研究中心);OUC-online(国开在线)
TCM-3CEval: A Triaxial Benchmark for Assessing Responses from Large Language Models in Traditional Chinese Medicine
School of Acupuncture-Moxibustion and Tuina, Shanghai University of Traditional Chinese Medicine(上海中医药大学针灸推拿学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);China Academy of Chinese Medical Sciences(中国中医科学院)
Can MLLMs Understand the Deep Implication Behind Chinese Images?
Huazhong University of Science and Technology(华中科技大学);Shenzhen Institute of Advanced Technology, CAS(中国科学院深圳先进技术研究院);University of Science and Technology of China(中国科学技术大学);CDUT(成都理工大学);University of Memphis(孟菲斯大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);SICAU(四川农业大学);University of Manchester(曼彻斯特大学);SWU(西南大学);UCAS(中国科学院大学);UMich(密歇根大学)
MVP-BERT: Redesigning Vocabularies for Chinese BERT and Multi-Vocab Pretraining
East China Normal University(华东师范大学)
尽管预训练语言模型(PLM)的发展显著提高了各种中文自然语言处理(NLP)任务的性能,但这些中文PLM的词汇仍然是Google Chinese BERT \cite{devlin2018bert}提供的基于汉字的词汇。第二,掩蔽语言模型预训练基于单个词汇,这限制了其下游任务性能。在这项工作中,我们首先提出了一种新的方法,\emph{seg\_tok},形成汉语BERT的词汇,与中文分词(CWS)和子词标记的帮助。然后,我们提出了三个版本的多词汇预训练(MVP),以提高模型的表达能力。实验表明:(a)与基于字符的词汇表相比,\emph{seg\_tok}不仅提高了中文PLM在句子级任务上的性能,而且还提高了效率:(b)MVP提高了PLM的下游性能,特别是提高了\emph{seg\_tok}在序列标注任务上的性能。
EEG2TEXT-CN: An Exploratory Study of Open-Vocabulary Chinese Text-EEG Alignment via Large Language Model and Contrastive Learning on ChineseEEG
Department of Artificial Intelligence in Healthcare, International Academia of Biomedical Innovation Technology(人工智能医疗系,国际生物医学创新技术学院);National Taiwan University(台湾大学);Neuro Industry Research, Neuro Industry, Inc.(神经产业研究,神经产业公司);Department of Biomedical Engineering, University of Southern California(生物医学工程系,南加州大学);Taiwan Artificial Intelligence Association(台湾人工智能协会)