diff --git a/README_zh.md b/README_zh.md index a2ce1e14..725fb07b 100644 --- a/README_zh.md +++ b/README_zh.md @@ -61,10 +61,10 @@ https://github.com/hiyouga/LLaMA-Factory/assets/16256802/6ba60acc-e2e2-4bec-b846 [23/12/12] 我们支持了微调最新的混合专家模型 **[Mixtral 8x7B](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)**。硬件需求请查阅[此处](#硬件依赖)。 -[23/12/01] 我们支持了从 **[魔搭社区](https://modelscope.cn/models)** 下载预训练模型和数据集。详细用法请参照 [此教程](#使用魔搭社区可跳过)。 -
展开日志 +[23/12/01] 我们支持了从 **[魔搭社区](https://modelscope.cn/models)** 下载预训练模型和数据集。详细用法请参照 [此教程](#使用魔搭社区可跳过)。 + [23/10/21] 我们支持了 **[NEFTune](https://arxiv.org/abs/2310.05914)** 训练技巧。请使用 `--neftune_noise_alpha` 参数启用 NEFTune,例如 `--neftune_noise_alpha 5`。 [23/09/27] 我们针对 LLaMA 模型支持了 [LongLoRA](https://github.com/dvlab-research/LongLoRA) 提出的 **$S^2$-Attn**。请使用 `--shift_attn` 参数以启用该功能。 diff --git a/src/llmtuner/data/aligner.py b/src/llmtuner/data/aligner.py index f724c8a0..7c27f837 100644 --- a/src/llmtuner/data/aligner.py +++ b/src/llmtuner/data/aligner.py @@ -25,11 +25,14 @@ def convert_alpaca(examples: Dict[str, List[Any]], dataset_attr: "DatasetAttr") instruction += "\n" + examples[dataset_attr.query][i] prompt.append({"role": Role.USER, "content": instruction}) - if isinstance(examples[dataset_attr.response][i], list): - response = [{"role": Role.ASSISTANT, "content": content} for content in examples[dataset_attr.response][i]] + if dataset_attr.response: + if isinstance(examples[dataset_attr.response][i], list): + response = [{"role": Role.ASSISTANT, "content": content} for content in examples[dataset_attr.response][i]] + else: + response = [{"role": Role.ASSISTANT, "content": examples[dataset_attr.response][i]}] else: - response = [{"role": Role.ASSISTANT, "content": examples[dataset_attr.response][i]}] - + response = [] + outputs["prompt"].append(prompt) outputs["response"].append(response) outputs["system"].append(examples[dataset_attr.system][i] if dataset_attr.system else "")