CPM-9G-8B/README.md

7.9 KiB
Raw Permalink Blame History

九格通用基础大模型

简介

启元九格大模型由启元实验室牵头,联合清华大学、哈尔滨工业大学、中国科学院计算技术研究所、北京大学、南开大学等优势单位共同研制。具有高效训练与推理和高效适配与部署的技术特点,具备文本问答、文本分类、机器翻译、文本摘要等自然语言处理能力。

更新信息

  • 本次启元九格开源两个参数级别模型分别是百亿级通用基础大模型为8B80亿和端侧模型2B20亿参数具体的模型训练、推理等内容见QUICK START
  • 若还在使用旧版本的九格模型训练和推理,请切换分支到master

版本更新内容

具体的迭代信息如下:

  • 训练升级了训练代码提升GPU利用率和并行化并且2B模型能兼容transformers中的tokenizer(LlamaTokenizerFast)
  • 推理支持vllm进行模型推理和部署可以接入langchain、openai等部署方式同时可以支持2b模型转换成GGUF等多种部署格式的部署
  • 由于新架构中多数据集验证发现2B模型进行lora训练效果不及全参数微调因此建议2B模型全参数微调8B模型LORA微调在master分支进行

2024.08.19 NOTICE

  • 由于新架构中多数据集验证发现2B模型进行lora训练效果不及全参数微调
  • 2B模型采用全参数微调训练我们在QUICK START 中更新了更多关于微调训练的信息
  • 8B模型LORA微调在master分支进行训练

迈向通用智能的大模型技术系列课程

系列课程全方位介绍人工智能和大模型技术的基础知识和前沿课题,理论学习和实践应用相结合。课程既有“人工智能与大模型通论”和“神经网络与预训练模型”等基础知识,也有“九格大模型生态体系”和“领域大模型实战”等实战主题,基本内容包括大模型训练、微调、知识增强、伦理安全、多模态、具身智能、自主智能体等话题,高级选题包括多语言处理、面向科学研究的大模型应用、高效计算技术、评测与数据科学等话题。课程旨在通过一系列精心设计的单元为学习者提供大型通用人工智能的学习之旅。

人工智能大模型通论

人工智能与大模型通论-PPT

大模型技术的重要特性与发展趋势

大模型技术的重要特性与发展趋势-PPT

大语言模型的适配与对齐技术

大语言模型的适配与对齐技术-PPT

大模型领域适配原理与实战

大模型领域适配原理与实战-PPT

知识增强的大语言模型

知识增强的大语言模型-PPT

大模型工具学习

大模型工具学习-PPT

检索增强生成的基本实现

检索增强生成的基本实现-PPT

多模态语义检索与检索增强技术

多模态语义检索与检索增强技术-PPT

大语言模型驱动的多智能体协作与演化

大语言模型驱动的多智能体协作与演化-PPT