修改一些格式问题

This commit is contained in:
chaoyu@qiyuanlab.com 2024-07-16 18:37:02 +08:00
parent 96b38208f6
commit 1dc6a17696
1 changed files with 1 additions and 1 deletions

View File

@ -125,7 +125,7 @@ pip install tensorboardX
预训练语料为无监督形式不需要区分问题与答案但需要将数据转为index后进行模型训练。我们拿到的原始数据可能是两种形式
- 文件格式为.txt的原始文本处理流程为数据→jsonl格式的数据→index数据
- 文件格式为.jsonl的文本数据处理流程为j:数据→index数据
1. 参考以下脚本将txt数据处理为jsonl格式
参考以下脚本将txt数据处理为jsonl格式
``` python
# convert_txt2jsonl.py
import json