p40276931
/
CPM-9G-8B
forked from jiuyuan/CPM-9G-8B
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

Update README_ENV.md

This commit is contained in:
p04896573 2024-05-27 14:13:03 +08:00
parent db8c0fbb7a
commit c8cbca2fec
1 changed files with 10 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

11
quick_start_clean/readmes/README_ENV.md
View File

@ -95,6 +95,16 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl
``` ```
# 硬件资源 # 硬件资源
## 推荐配置：
### 千亿大模型
- 预训练、全参数微调：8 * 512G以上内存，64 * 80G以上显存
- 高效微调（LoRA）与推理: 512G 以上内存，8 * 80G以上显存
### 百亿大模型
- 预训练、全参数微调：2 * 512G以上内存，16 * 80G以上显存
- 高效微调（LoRA）与推理: 128G 以上内存，2 * 80G以上显存
## 极限配置
最极限的资源配置，仅供参考，在大模型训练中其实并不推荐，因为其效果一般不佳，训练时长也比较久
| 模型 | 资源 | 最小算力 | | 模型 | 资源 | 最小算力 |
| :-------- | :----- | :----: | | :-------- | :----- | :----: |
| 百亿模型 |内存 |训练:140G, 推理:1G| | 百亿模型 |内存 |训练:140G, 推理:1G|
@ -102,7 +112,6 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl
| 千亿模型 |内存 |训练: 200G, 推理:2G| | 千亿模型 |内存 |训练: 200G, 推理:2G|
| 千亿模型 |显存 |训练: 8*80G , 推理:4 * 50G| | 千亿模型 |显存 |训练: 8*80G , 推理:4 * 50G|
另外 另外
- 该表格是百亿、千亿模型需要的最小的资源，batch size为1. - 该表格是百亿、千亿模型需要的最小的资源，batch size为1.
- 百亿模型是在单卡A100上测试 - 百亿模型是在单卡A100上测试