From d874138fc7fb02dafaa8d47ec5f48833d4b2916d Mon Sep 17 00:00:00 2001 From: p04896573 Date: Fri, 26 Apr 2024 10:18:51 +0800 Subject: [PATCH] Update README_ENV.md --- quick_start_clean/readmes/README_ENV.md | 9 +++++---- 1 file changed, 5 insertions(+), 4 deletions(-) diff --git a/quick_start_clean/readmes/README_ENV.md b/quick_start_clean/readmes/README_ENV.md index 76f4e1f..991d5b5 100644 --- a/quick_start_clean/readmes/README_ENV.md +++ b/quick_start_clean/readmes/README_ENV.md @@ -79,12 +79,13 @@ pip installlibcpm-1.0.0-cp38-cp38-linux_x86_64.whl | :-------- | :----- | :----: | | 百亿模型 |内存 |训练:140G, 推理:1G| | 百亿模型 |显存 |训练:49G, 推理:20G| -| 千亿模型 |内存 |训练: - , 推理:2G| -| 千亿模型 |显存 |训练: - , 推理:4 * 50G| +| 千亿模型 |内存 |训练: 00G, 推理:2G| +| 千亿模型 |显存 |训练: 8*80G , 推理:4 * 50G| 另外 -- pretrain 和全量微调需要的资源是相同的 +- 该表格是百亿、千亿模型需要的最小的资源，batch size为1. - 百亿模型是在单卡A100上测试 -- 千亿的训练是用8卡A100，推理是用4张A100 +- 千亿的训练是用8卡A100，但是训到过程中out of memory，所以建议至少用2台A100或者至少两台 +- 千亿的推理是用4卡A100训练