Update README_ENV.md
This commit is contained in:
parent
db8c0fbb7a
commit
c8cbca2fec
|
@ -95,6 +95,16 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl
|
|||
```
|
||||
|
||||
# 硬件资源
|
||||
## 推荐配置:
|
||||
### 千亿大模型
|
||||
- 预训练、全参数微调:8 * 512G以上内存,64 * 80G以上显存
|
||||
- 高效微调(LoRA)与推理: 512G 以上内存,8 * 80G以上显存
|
||||
### 百亿大模型
|
||||
- 预训练、全参数微调:2 * 512G以上内存,16 * 80G以上显存
|
||||
- 高效微调(LoRA)与推理: 128G 以上内存,2 * 80G以上显存
|
||||
|
||||
## 极限配置
|
||||
最极限的资源配置,仅供参考,在大模型训练中其实并不推荐,因为其效果一般不佳,训练时长也比较久
|
||||
| 模型 | 资源 | 最小算力 |
|
||||
| :-------- | :----- | :----: |
|
||||
| 百亿模型 |内存 |训练:140G, 推理:1G|
|
||||
|
@ -102,7 +112,6 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl
|
|||
| 千亿模型 |内存 |训练: 200G, 推理:2G|
|
||||
| 千亿模型 |显存 |训练: 8*80G , 推理:4 * 50G|
|
||||
|
||||
|
||||
另外
|
||||
- 该表格是百亿、千亿模型需要的最小的资源,batch size为1.
|
||||
- 百亿模型是在单卡A100上测试
|
||||
|
|
Loading…
Reference in New Issue