diff --git a/README.md b/README.md index c40acd3..5a4bef5 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,48 @@ -# zhuoshi_llm_factory +# 卓识LLM_Factory +## 1. 工具介绍 +卓识LLM_Factory是一个涵盖预训练、指令微调以及RLHF全阶段的高效、易用、可扩展大模型微调框架。通过其灵活的模块化设计,最小化了对特定模型和数据集的依赖,使得框架能够灵活地扩展到数百个模型和数据集;通过集成多种高效的训练方法,允许用户灵活地自定义微调过程;且配备有零代码可视化的一站式网页微调界面,支撑低代码领域大模型微调以及微调过程可视化。 + +## 2. 训练阶段 + +工具支持的训练阶段包括: +- (增量)预训练(Continue Pre-Training) +- 有监督微调(Supervised Fine-Tuning, SFT) +- 人类反馈强化学习(Reinforcement Learning for Human Feedback) + +## 3. 微调方法 + +工具支持的微调方法包括: +- LoRA +- GaLore +- DoRA +- LongLoRA +- LLaMA Pro +- LoRA+ +- LoftQ + +## 4. 支持模型 + +工具支持市面上所有热度较高的开源模型,包括但不限于以下模型: +- GLM系列 +- Baichuan系列 +- Yi系列 +- Qwen系列 +- llama系列 +- ... + + +## 5. 工具安装 + + +使用以下命令进行安装: +```shell +pip install -e .[metrics] +``` + +## 6. 可视化界面 + +启动方式: +```shell +python src/train_web.py +``` \ No newline at end of file