forked from p83651209/CPM-9G-8B
Update README_ALL.md
This commit is contained in:
parent
f0d3e87e16
commit
977a56b9b0
|
@ -280,8 +280,8 @@ if __name__ == "__main__":
|
|||
3 尽量避免在window机器下修改脚本,window中的编码和格式linux是有差别的,容易在脚本执行中报错
|
||||
4 SFT如何调参训练
|
||||
```
|
||||
回答:如果数据量少于10w条,多训练几个epoch,把学习率调低一些,比如说5e-6等;
|
||||
数据量很多呢,训练最多2个epoch足够,注意过拟合的问题
|
||||
回答:如果数据量少于10w条,全参数微调的时候多训练几个epoch,把学习率调低一些,比如说5e-6等;更建议使用lora 微调的方式
|
||||
数据量很多呢,比如说达到百万级别,那可以选择全参数微调,但训练最多2个epoch足够,注意过拟合的问题
|
||||
```
|
||||
5 微调训练中,train_iters如何计算?
|
||||
```
|
||||
|
@ -295,10 +295,12 @@ if __name__ == "__main__":
|
|||
```
|
||||
回答:不需要,参数中出现的val_datasets忽略即可
|
||||
```
|
||||
8 Lora 推理:需要进行merge 模型后预测,五一后release该代码
|
||||
9 加载模型遇到:invalid header or archive is carrupted,这种一般是模型没有下载完导致的,目前红山上的模型确定是完整的,首先自查自己的模型是否下载成功。
|
||||
10 存储模型的时候遇到failed write file data ,一般先检查下文件路径和权限、磁盘空间吧,存储模型基本不会报错
|
||||
|
||||
8 加载模型遇到:invalid header or archive is carrupted,这种一般是模型没有下载完导致的,目前红山上的模型确定是完整的,首先自查自己的模型是否下载成功。
|
||||
9 存储模型的时候遇到failed write file data ,一般先检查下文件路径和权限、磁盘空间吧,存储模型基本不会报错
|
||||
10 是否支持图像模态:
|
||||
```
|
||||
回答:不支持图像模态,仅支持文本模态
|
||||
```
|
||||
### 数据相关
|
||||
1 历史对话的传入:
|
||||
``` json
|
||||
|
|
Loading…
Reference in New Issue