CPM-9G-8B/stream_infer/README.md

# demo使用方法

# 环境安装
基于方便，采用了镜像形式进行使用
docker 路径：https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud.com/cpmlive-flash-0.0.5.tar
docker的使用：见QuickStart手册.pdf

启动docker之后，在命令行中执行conda activate stream_infer，后续的处理都在stream_infer环境下进行执行

# 流程：
1 将模型进行convert处理，将训练模型转换成流式输出支持的格式
   (1) 需要修改的主要参数如下：

    输入已有的源模型 src_model_path = "./checkpoints-epoch-1/cpm9g-8b-sft-epoch-1.pt"
    格式转换后的模型地址 dst_model_path = "model_8b.ckpt" 
    模型的layers数目，需要根据提供的config文件中的layer字段确定，
        在百亿模型中layer_num = 32
        在千亿模型中layer_num = 80

   (2)执行python convert.py得到的dst model即为后续用的模型

2 模型推理: 
   (1) 设置CUDA_VISIBLE_DEVICES的数目
   
   (2) 修改LocalLoader 类中模型的属性，将下面这6个函数依据提供的模型config文件中的字段进行修改
   
    def num_layers(self):
    def dim_model(self):
    def num_heads(self):
    def num_kv_heads(self):
    def dim_head(self):
    def dim_ff(self):
    
   (3) 在修改LocalLoader类别调用的时候 将上一步生成的模型文件和词表位置输入，memory_limit无需修改
   
     model = libcpm.CPMCaterpillar(
    LocalLoader(
        "model_8b.ckpt",
        "vocabs.txt",
    )
       
   (4) 执行python deploy_llm_8b_demo.py

3 测试请求：
  (1) 修改url，本机请求的话是localhost 或者127.0.0.1，url是该及其的ip
     
  (2) 可以修改payload中的content内容，举例：
     
     payload = json.dumps({
      "content": "<用户>好久不见！<AI>"})
     payload = json.dumps({
      "content": "<用户>你是谁？<AI>"})

  (3) 执行python request_demo.py
  (4) 最终结果如以下形式，即正确的请求结果
     https://www.osredm.com/jiuyuan/CPM-9G-8B/tree/master/stream_infer/result.png