From c8cbca2fec38f4d6a8b8fa4130a0515f4c5b0f26 Mon Sep 17 00:00:00 2001 From: p04896573 Date: Mon, 27 May 2024 14:13:03 +0800 Subject: [PATCH] Update README_ENV.md --- quick_start_clean/readmes/README_ENV.md | 11 ++++++++++- 1 file changed, 10 insertions(+), 1 deletion(-) diff --git a/quick_start_clean/readmes/README_ENV.md b/quick_start_clean/readmes/README_ENV.md index 764a8e7..d6b5aff 100644 --- a/quick_start_clean/readmes/README_ENV.md +++ b/quick_start_clean/readmes/README_ENV.md @@ -95,6 +95,16 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl ``` # 硬件资源 +## 推荐配置: +### 千亿大模型 + - 预训练、全参数微调:8 * 512G以上内存,64 * 80G以上显存 + - 高效微调(LoRA)与推理: 512G 以上内存,8 * 80G以上显存 +### 百亿大模型 + - 预训练、全参数微调:2 * 512G以上内存,16 * 80G以上显存 + - 高效微调(LoRA)与推理: 128G 以上内存,2 * 80G以上显存 + +## 极限配置 +最极限的资源配置,仅供参考,在大模型训练中其实并不推荐,因为其效果一般不佳,训练时长也比较久 | 模型 | 资源 | 最小算力 | | :-------- | :----- | :----: | | 百亿模型 |内存 |训练:140G, 推理:1G| @@ -102,7 +112,6 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl | 千亿模型 |内存 |训练: 200G, 推理:2G| | 千亿模型 |显存 |训练: 8*80G , 推理:4 * 50G| - 另外 - 该表格是百亿、千亿模型需要的最小的资源,batch size为1. - 百亿模型是在单卡A100上测试