p72915648
/
CPM-9G-8B
forked from jiuyuan/CPM-9G-8B
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

修改一些格式问题

This commit is contained in:
chaoyu@qiyuanlab.com 2024-07-16 18:38:28 +08:00
parent 1dc6a17696
commit 20e6d7ce35
1 changed files with 3 additions and 4 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

3
quick_start_clean/readmes/quick_start.md
View File

@ -125,12 +125,11 @@ pip install tensorboardX
预训练语料为无监督形式，不需要区分问题与答案，但需要将数据转为index后进行模型训练。我们拿到的原始数据可能是两种形式： 预训练语料为无监督形式，不需要区分问题与答案，但需要将数据转为index后进行模型训练。我们拿到的原始数据可能是两种形式：
- 文件格式为.txt的原始文本，处理流程为：数据→jsonl格式的数据→index数据 - 文件格式为.txt的原始文本，处理流程为：数据→jsonl格式的数据→index数据
- 文件格式为.jsonl的文本数据，处理流程为j:数据→index数据 - 文件格式为.jsonl的文本数据，处理流程为j:数据→index数据
参考以下脚本，将txt数据处理为jsonl格式： 1. 参考以下脚本，将txt数据处理为jsonl格式：
``` python ``` python
# convert_txt2jsonl.py # convert_txt2jsonl.py
import json import json
import sys import sys
for line in sys.stdin: for line in sys.stdin:
if line.strip() == "": if line.strip() == "":
continue continue