forked from jiuyuan/CPM-9G-8B
Compare commits
10 Commits
Author | SHA1 | Date |
---|---|---|
|
11f3143875 | |
|
3dab1da965 | |
|
7c41fa364e | |
|
514055411b | |
|
f72ea96ca9 | |
|
a697656481 | |
|
7067418f2b | |
|
0fd9a9bb57 | |
|
0b5b4156c3 | |
|
ef028167cd |
46
README.md
46
README.md
|
@ -1,22 +1,38 @@
|
|||
# 九格通用基础大模型
|
||||
## 简介
|
||||
启元九格大模型由启元实验室牵头,联合清华大学、哈尔滨工业大学、中国科学院计算技术研究所、北京大学、南开大学等优势单位共同研制。具有高效训练与推理和高效适配与部署的技术特点,具备文本问答、文本分类、机器翻译、文本摘要等自然语言处理能力。
|
||||
|
||||
## 更新信息
|
||||
- 本次启元九格开源两个参数级别模型,分别是百亿级通用基础大模型为8B(80亿)和端侧模型2B(20亿参数)具体的模型训练、推理等内容见:[QUICK START](https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/FM_9G/quick_start_clean/readmes/quick_start.md)
|
||||
- 若还在使用旧版本的九格模型训练和推理,请切换分支到[master](https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/master/quick_start_clean/readmes/README_ALL.md)
|
||||
## 简介
|
||||
启元九格大模型由启元实验室牵头,联合清华大学、哈尔滨工业大学、中国科学院计算技术研究所、北京大学、南开大学等顶尖科研单位共同研发。该模型具备 **高效训练与推理**、**高效适配与部署** 的技术特点,支持多种 **自然语言处理(NLP)** 和 **多模态** 任务,包括 **文本问答、文本分类、机器翻译、文本摘要、图文理解等**。
|
||||
|
||||
## 版本更新内容
|
||||
具体的迭代信息如下:
|
||||
- 训练:升级了训练代码,提升GPU利用率和并行化,并且2B模型能兼容transformers中的tokenizer(LlamaTokenizerFast)
|
||||
- 推理:支持vllm进行模型推理和部署,可以接入langchain、openai等部署方式;同时可以支持2b模型转换成GGUF等多种部署格式的部署
|
||||
- 由于新架构中多数据集验证发现2B模型进行lora训练效果不及全参数微调,因此建议2B模型全参数微调,8B模型LORA微调在master分支进行
|
||||
|
||||
## 2024.08.19 NOTICE
|
||||
- 由于新架构中多数据集验证发现2B模型进行lora训练效果不及全参数微调
|
||||
- 2B模型采用全参数微调训练,我们在[QUICK START](https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/FM_9G/quick_start_clean/readmes/quick_start.md) 中更新了更多关于微调训练的信息
|
||||
- 8B模型LORA微调在master分支进行训练
|
||||
---
|
||||
|
||||
## 更新信息
|
||||
|
||||
### 🔥 最新版本(2025.01.12):[**FM9G-V**](https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/FM9G-V/quick_start_clean/readmes/quick_start.md)
|
||||
- **模型**:**13B 多模态基础大模型**,支持 **单图文推理**。
|
||||
- **训练**:开源了 **多模态基础大模型** 的训练代码。
|
||||
- **推理**:支持 **单图文推理**。
|
||||
|
||||
### 🚀 历史更新(2024.08.19):[**FM9G**](https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/FM_9G/quick_start_clean/readmes/quick_start.md)
|
||||
- **2B 模型** 经过多数据集验证,发现 **LoRA 训练效果不及全参数微调**,因此 2B 采用 **全参数微调** 训练。
|
||||
- **8B 模型** LoRA 微调仍在 **master 分支** 进行训练。
|
||||
- **QUICK START** 中更新了 **2B 全参数微调** 的详细信息。
|
||||
|
||||
---
|
||||
|
||||
### 📚 其他信息
|
||||
- 若仍在使用旧版本的九格模型训练和推理,请切换分支至 [master](https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/master/quick_start_clean/readmes/README_ALL.md) 分支。
|
||||
|
||||
---
|
||||
|
||||
### 📌 开源模型参数级别
|
||||
|
||||
| 模型 | 主要能力 | 参数规模 | 代码分支 |
|
||||
|---------------|-------------------|--------|--------|
|
||||
| **FM9G-8B** | **文本处理(NLP)** | 80 亿 | FM9G |
|
||||
| **FM9G-2B** | **文本处理(NLP)** | 20 亿 | FM9G |
|
||||
| **FM9G-V(13B)** | **多模态(文本+图像)** | 130 亿 | FM9G-V |
|
||||
|
||||
|
||||
# 迈向通用智能的大模型技术系列课程
|
||||
系列课程全方位介绍人工智能和大模型技术的基础知识和前沿课题,理论学习和实践应用相结合。课程既有“人工智能与大模型通论”和“神经网络与预训练模型”等基础知识,也有“九格大模型生态体系”和“领域大模型实战”等实战主题,基本内容包括大模型训练、微调、知识增强、伦理安全、多模态、具身智能、自主智能体等话题,高级选题包括多语言处理、面向科学研究的大模型应用、高效计算技术、评测与数据科学等话题。课程旨在通过一系列精心设计的单元为学习者提供大型通用人工智能的学习之旅。
|
||||
|
||||
|
|
|
@ -107,9 +107,10 @@ pip install sentencepiece
|
|||
pip install protobuf==3.20.0 #protobuf版本过高时无法适配tensorboard
|
||||
pip install tensorboard
|
||||
pip install tensorboardX
|
||||
|
||||
|
||||
9.安装vllm(模型推理)
|
||||
```
|
||||
### 推理环境安装
|
||||
```
|
||||
装vllm(模型推理)
|
||||
我们提供基于CUDA12.2环境下python3.8、python3.10版本的vllm安装包,相关依赖均已封装,可直接安装后执行推理:
|
||||
[vllm-0.5.0.dev0+cu122-cp38-cp38-linux_x86_64.whl](https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud.com/vllm-0.5.0.dev0%2Bcu122-cp38-cp38-linux_x86_64.whl)
|
||||
[vllm-0.5.0.dev0+cu122-cp310-cp310-linux_x86_64.whl](https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud.com/vllm-0.5.0.dev0%2Bcu122-cp310-cp310-linux_x86_64.whl)
|
||||
|
|
Loading…
Reference in New Issue