p71924506
/
CPM-9G-8B
forked from p83651209/CPM-9G-8B
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Update README_ENV.md

This commit is contained in:
p04896573 2024-04-26 10:18:51 +08:00
parent 179ef5d0bc
commit d874138fc7
1 changed files with 5 additions and 4 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

9
quick_start_clean/readmes/README_ENV.md
View File

@ -79,12 +79,13 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl
| :-------- | :----- | :----: |
| 百亿模型 |内存 |训练:140G, 推理:1G|
| 百亿模型 |显存 |训练:49G, 推理:20G|
| 千亿模型 |内存 |训练: - , 推理:2G|
| 千亿模型 |显存 |训练: - , 推理:4 * 50G|
| 千亿模型 |内存 |训练: 00G, 推理:2G|
| 千亿模型 |显存 |训练: 8*80G , 推理:4 * 50G|
另外
- pretrain 和全量微调需要的资源是相同的
- 该表格是百亿、千亿模型需要的最小的资源，batch size为1.
- 百亿模型是在单卡A100上测试
- 千亿的训练是用8卡A100，推理是用4张A100
- 千亿的训练是用8卡A100，但是训到过程中out of memory，所以建议至少用2台A100或者至少两台
- 千亿的推理是用4卡A100训练