diff --git a/stream_infer/README.md b/stream_infer/README.md index 154c628..e5b92e8 100644 --- a/stream_infer/README.md +++ b/stream_infer/README.md @@ -9,17 +9,19 @@ docker的使用:见QuickStart手册.pdf # 流程: 1 将模型进行convert处理,将训练模型转换成流式输出支持的格式 - 需要修改的主要参数如下: + (1) 需要修改的主要参数如下: + 输入已有的源模型 src_model_path = "./checkpoints-epoch-1/cpm9g-8b-sft-epoch-1.pt" 格式转换后的模型地址 dst_model_path = "model_8b.ckpt" 模型的layers数目,需要根据提供的config文件中的layer字段确定, 在百亿模型中layer_num = 32 在千亿模型中layer_num = 80 - 执行python convert.py得到的dst model即为后续用的模型 + (2)执行python convert.py得到的dst model即为后续用的模型 2 模型推理: (1) 设置CUDA_VISIBLE_DEVICES的数目 + (2) 修改LocalLoader 类中模型的属性,将下面这6个函数依据提供的模型config文件中的字段进行修改 def num_layers(self): def dim_model(self): @@ -27,6 +29,7 @@ docker的使用:见QuickStart手册.pdf def num_kv_heads(self): def dim_head(self): def dim_ff(self): + (3) 在修改LocalLoader类别调用的时候 将上一步生成的模型文件和词表位置输入,memory_limit无需修改 model = libcpm.CPMCaterpillar( LocalLoader( @@ -37,11 +40,13 @@ docker的使用:见QuickStart手册.pdf 3 测试请求: (1) 修改url,本机请求的话是localhost 或者127.0.0.1,url是该及其的ip + (2) 可以修改payload中的content内容,举例: payload = json.dumps({ "content": "<用户>好久不见!"}) payload = json.dumps({ "content": "<用户>你是谁?"}) + (3) 执行python request_demo.py (4) 最终结果如以下形式,即正确的请求结果 https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/master/stream_infer/result.png