p83651209
/
CPM-9G-8B
forked from jiuyuan/CPM-9G-8B
1
0
Fork 1
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Update README_ALL.md

This commit is contained in:
p04896573 2024-05-15 15:55:54 +08:00
parent f0d3e87e16
commit 977a56b9b0
1 changed files with 8 additions and 6 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

14
quick_start_clean/readmes/README_ALL.md
View File

@ -280,8 +280,8 @@ if __name__ == "__main__":
3 尽量避免在window机器下修改脚本，window中的编码和格式linux是有差别的，容易在脚本执行中报错 3 尽量避免在window机器下修改脚本，window中的编码和格式linux是有差别的，容易在脚本执行中报错
4 SFT如何调参训练 4 SFT如何调参训练
``` ```
回答：如果数据量少于10w条，多训练几个epoch，把学习率调低一些，比如说5e-6等； 回答：如果数据量少于10w条，全参数微调的时候多训练几个epoch，把学习率调低一些，比如说5e-6等；更建议使用lora 微调的方式
数据量很多呢，训练最多2个epoch足够，注意过拟合的问题 数据量很多呢，比如说达到百万级别，那可以选择全参数微调，但训练最多2个epoch足够，注意过拟合的问题
``` ```
5 微调训练中，train_iters如何计算？ 5 微调训练中，train_iters如何计算？
``` ```
@ -295,10 +295,12 @@ if __name__ == "__main__":
``` ```
回答：不需要，参数中出现的val_datasets忽略即可 回答：不需要，参数中出现的val_datasets忽略即可
``` ```
8 Lora 推理：需要进行merge 模型后预测，五一后release该代码 8 加载模型遇到：invalid header or archive is carrupted，这种一般是模型没有下载完导致的，目前红山上的模型确定是完整的，首先自查自己的模型是否下载成功。
9 加载模型遇到：invalid header or archive is carrupted，这种一般是模型没有下载完导致的，目前红山上的模型确定是完整的，首先自查自己的模型是否下载成功。 9 存储模型的时候遇到failed write file data ，一般先检查下文件路径和权限、磁盘空间吧，存储模型基本不会报错
10 存储模型的时候遇到failed write file data ，一般先检查下文件路径和权限、磁盘空间吧，存储模型基本不会报错 10 是否支持图像模态：
```
回答：不支持图像模态，仅支持文本模态
```
### 数据相关 ### 数据相关
1 历史对话的传入： 1 历史对话的传入：
``` json ``` json