Update README_ENV.md

This commit is contained in:
p04896573 2024-05-27 14:13:03 +08:00
parent db8c0fbb7a
commit c8cbca2fec
1 changed files with 10 additions and 1 deletions

View File

@ -95,6 +95,16 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl
```
# 硬件资源
## 推荐配置:
### 千亿大模型
- 预训练、全参数微调8 * 512G以上内存64 * 80G以上显存
- 高效微调LoRA与推理: 512G 以上内存8 * 80G以上显存
### 百亿大模型
- 预训练、全参数微调2 * 512G以上内存16 * 80G以上显存
- 高效微调LoRA与推理: 128G 以上内存2 * 80G以上显存
## 极限配置
最极限的资源配置,仅供参考,在大模型训练中其实并不推荐,因为其效果一般不佳,训练时长也比较久
| 模型 | 资源 | 最小算力 |
| :-------- | :----- | :----: |
| 百亿模型 |内存 |训练:140G, 推理:1G|
@ -102,7 +112,6 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl
| 千亿模型 |内存 |训练: 200G, 推理:2G|
| 千亿模型 |显存 |训练: 8*80G , 推理:4 * 50G|
另外
- 该表格是百亿、千亿模型需要的最小的资源batch size为1.
- 百亿模型是在单卡A100上测试