jiuyuan
/
CPM-9G-8B
5
0
Fork 54
Code Issues Pull Requests Projects Releases Wiki Activity

Update README.md

This commit is contained in:
p04896573 2024-03-15 09:31:30 +08:00
parent 17f15f19d0
commit 499d1350f1
1 changed files with 3 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

3
stream_infer/README.md
View File

@ -32,17 +32,20 @@ docker的使用：见QuickStart手册.pdf
def dim_ff(self): def dim_ff(self):
(3) 在修改LocalLoader类别调用的时候 将上一步生成的模型文件和词表位置输入，memory_limit无需修改 (3) 在修改LocalLoader类别调用的时候 将上一步生成的模型文件和词表位置输入，memory_limit无需修改
model = libcpm.CPMCaterpillar( model = libcpm.CPMCaterpillar(
LocalLoader( LocalLoader(
"model_8b.ckpt", "model_8b.ckpt",
"vocabs.txt", "vocabs.txt",
) )
(4) 执行python deploy_llm_8b_demo.py (4) 执行python deploy_llm_8b_demo.py
3 测试请求： 3 测试请求：
(1) 修改url，本机请求的话是localhost 或者127.0.0.1，url是该及其的ip (1) 修改url，本机请求的话是localhost 或者127.0.0.1，url是该及其的ip
(2) 可以修改payload中的content内容，举例： (2) 可以修改payload中的content内容，举例：
payload = json.dumps({ payload = json.dumps({
"content": "<用户>好久不见！<AI>"}) "content": "<用户>好久不见！<AI>"})
payload = json.dumps({ payload = json.dumps({