p75489106
/
CPM-9G-8B
forked from jiuyuan/CPM-9G-8B
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Update README_DISTRIBUTED.md

This commit is contained in:
p04896573 2024-05-11 17:55:31 +08:00
parent 832a7841af
commit 8c13a9e465
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
quick_start_clean/readmes/README_DISTRIBUTED.md
View File

@ -20,7 +20,7 @@ CMD="torchrun --nnodes=2 --nproc_per_node=8 --rdzv_id=1 --rdzv_backend=c10d --rd
接下来，在这两个机器中都执行bash sft_cpm9g_8b.sh，这样就完成一次最简单的多机训练 接下来，在这两个机器中都执行bash sft_cpm9g_8b.sh，这样就完成一次最简单的多机训练
不过机器多了之后不推荐这种方式 不过机器多了之后不推荐这种方式
### slurm 集群多机任务提交 ## slurm 集群多机任务提交
算力平台使用Slurm调度，常用Slurm命令包括： 算力平台使用Slurm调度，常用Slurm命令包括：
``` shell ``` shell