init readme

This commit is contained in:
p80976142 2024-05-12 14:24:04 +08:00
parent db28e17b09
commit 4cb5bdafe6
1 changed files with 47 additions and 1 deletions

View File

@ -1,2 +1,48 @@
# zhuoshi_llm_factory
# 卓识LLM_Factory
## 1. 工具介绍
卓识LLM_Factory是一个涵盖预训练、指令微调以及RLHF全阶段的高效、易用、可扩展大模型微调框架。通过其灵活的模块化设计最小化了对特定模型和数据集的依赖使得框架能够灵活地扩展到数百个模型和数据集通过集成多种高效的训练方法允许用户灵活地自定义微调过程且配备有零代码可视化的一站式网页微调界面支撑低代码领域大模型微调以及微调过程可视化。
## 2. 训练阶段
工具支持的训练阶段包括:
- 增量预训练Continue Pre-Training
- 有监督微调Supervised Fine-Tuning, SFT
- 人类反馈强化学习Reinforcement Learning for Human Feedback
## 3. 微调方法
工具支持的微调方法包括:
- LoRA
- GaLore
- DoRA
- LongLoRA
- LLaMA Pro
- LoRA+
- LoftQ
## 4. 支持模型
工具支持市面上所有热度较高的开源模型,包括但不限于以下模型:
- GLM系列
- Baichuan系列
- Yi系列
- Qwen系列
- llama系列
- ...
## 5. 工具安装
使用以下命令进行安装:
```shell
pip install -e .[metrics]
```
## 6. 可视化界面
启动方式:
```shell
python src/train_web.py
```