Update README_ALL.md

This commit is contained in:
p04896573 2024-05-15 15:55:54 +08:00
parent f0d3e87e16
commit 977a56b9b0
1 changed files with 8 additions and 6 deletions

View File

@ -280,8 +280,8 @@ if __name__ == "__main__":
3 尽量避免在window机器下修改脚本window中的编码和格式linux是有差别的容易在脚本执行中报错
4 SFT如何调参训练
```
回答如果数据量少于10w条多训练几个epoch把学习率调低一些比如说5e-6等
数据量很多呢训练最多2个epoch足够注意过拟合的问题
回答如果数据量少于10w条全参数微调的时候多训练几个epoch把学习率调低一些比如说5e-6等更建议使用lora 微调的方式
数据量很多呢,比如说达到百万级别,那可以选择全参数微调,但训练最多2个epoch足够注意过拟合的问题
```
5 微调训练中train_iters如何计算
```
@ -295,10 +295,12 @@ if __name__ == "__main__":
```
回答不需要参数中出现的val_datasets忽略即可
```
8 Lora 推理需要进行merge 模型后预测五一后release该代码
9 加载模型遇到invalid header or archive is carrupted这种一般是模型没有下载完导致的目前红山上的模型确定是完整的首先自查自己的模型是否下载成功。
10 存储模型的时候遇到failed write file data ,一般先检查下文件路径和权限、磁盘空间吧,存储模型基本不会报错
8 加载模型遇到invalid header or archive is carrupted这种一般是模型没有下载完导致的目前红山上的模型确定是完整的首先自查自己的模型是否下载成功。
9 存储模型的时候遇到failed write file data ,一般先检查下文件路径和权限、磁盘空间吧,存储模型基本不会报错
10 是否支持图像模态:
```
回答:不支持图像模态,仅支持文本模态
```
### 数据相关
1 历史对话的传入:
``` json