2023-07-22 14:29:22 +08:00
|
|
|
|
如果您使用自定义数据集,请务必在 `dataset_info.json` 文件中以如下格式提供您的数据集定义。
|
2023-07-21 16:57:58 +08:00
|
|
|
|
|
|
|
|
|
```json
|
|
|
|
|
"数据集名称": {
|
|
|
|
|
"hf_hub_url": "HuggingFace上的项目地址(若指定,则忽略下列三个参数)",
|
|
|
|
|
"script_url": "包含数据加载脚本的本地文件夹名称(若指定,则忽略下列两个参数)",
|
|
|
|
|
"file_name": "该目录下数据集文件的名称(若上述参数未指定,则此项必需)",
|
|
|
|
|
"file_sha1": "数据集文件的SHA-1哈希值(可选)",
|
|
|
|
|
"columns": {
|
|
|
|
|
"prompt": "数据集代表提示词的表头名称(默认:instruction)",
|
|
|
|
|
"query": "数据集代表请求的表头名称(默认:input)",
|
|
|
|
|
"response": "数据集代表回答的表头名称(默认:output)",
|
|
|
|
|
"history": "数据集代表历史对话的表头名称(默认:None)"
|
|
|
|
|
}
|
|
|
|
|
}
|
|
|
|
|
```
|
|
|
|
|
|
2023-07-22 14:29:22 +08:00
|
|
|
|
其中 `prompt` 和 `response` 列应当是非空的字符串。`query` 列的内容将会和 `prompt` 列拼接作为模型输入。`history` 列应当是一个列表,其中每个元素是一个字符串二元组,分别代表用户请求和模型答复。
|
2023-08-22 13:30:57 +08:00
|
|
|
|
|
2023-08-22 19:46:09 +08:00
|
|
|
|
对于奖励模型或 DPO 训练的数据集,`response` 列应当是一个字符串列表,排在前面的代表更优的答案,例如:
|
|
|
|
|
|
2023-08-22 13:30:57 +08:00
|
|
|
|
```json
|
|
|
|
|
{
|
2023-08-22 19:46:09 +08:00
|
|
|
|
"instruction": "Question",
|
|
|
|
|
"input": "",
|
|
|
|
|
"output": [
|
|
|
|
|
"Chosen answer",
|
|
|
|
|
"Rejected answer"
|
|
|
|
|
]
|
2023-08-22 13:30:57 +08:00
|
|
|
|
}
|
|
|
|
|
```
|