1119
This commit is contained in:
parent
8e693d5876
commit
c89395164e
|
@ -454,8 +454,20 @@ python convert_hf_fm9g.py \
|
||||||
|
|
||||||
|
|
||||||
## 模型推理
|
## 模型推理
|
||||||
模型推理列举了两种推理方法:离线批量推理和部署OpenAI API服务推理
|
<!-- 模型推理列举了两种推理方法:离线批量推理和部署OpenAI API服务推理 -->
|
||||||
|
模型推理目前仅更新了demo脚本
|
||||||
|
### demo脚本运行
|
||||||
|
下载开源模型后,在FM_9G/chat_model.py中更改路径:
|
||||||
|
``` python
|
||||||
|
root = "checkpoint/"
|
||||||
|
|
||||||
|
...
|
||||||
|
|
||||||
|
# 输入图像文件路径和文本
|
||||||
|
url = 'test.jpg'
|
||||||
|
prompt = '这幅图描述了什么?'
|
||||||
|
```
|
||||||
|
运行chat_model.py脚本
|
||||||
<!-- ### 离线批量推理:
|
<!-- ### 离线批量推理:
|
||||||
离线批量推理可参考以下脚本:
|
离线批量推理可参考以下脚本:
|
||||||
``` python
|
``` python
|
||||||
|
|
Loading…
Reference in New Issue