forked from super_cognition/zhuoshi_llm_factory
init readme
This commit is contained in:
parent
db28e17b09
commit
4cb5bdafe6
48
README.md
48
README.md
|
@ -1,2 +1,48 @@
|
|||
# zhuoshi_llm_factory
|
||||
# 卓识LLM_Factory
|
||||
## 1. 工具介绍
|
||||
|
||||
卓识LLM_Factory是一个涵盖预训练、指令微调以及RLHF全阶段的高效、易用、可扩展大模型微调框架。通过其灵活的模块化设计,最小化了对特定模型和数据集的依赖,使得框架能够灵活地扩展到数百个模型和数据集;通过集成多种高效的训练方法,允许用户灵活地自定义微调过程;且配备有零代码可视化的一站式网页微调界面,支撑低代码领域大模型微调以及微调过程可视化。
|
||||
|
||||
## 2. 训练阶段
|
||||
|
||||
工具支持的训练阶段包括:
|
||||
- (增量)预训练(Continue Pre-Training)
|
||||
- 有监督微调(Supervised Fine-Tuning, SFT)
|
||||
- 人类反馈强化学习(Reinforcement Learning for Human Feedback)
|
||||
|
||||
## 3. 微调方法
|
||||
|
||||
工具支持的微调方法包括:
|
||||
- LoRA
|
||||
- GaLore
|
||||
- DoRA
|
||||
- LongLoRA
|
||||
- LLaMA Pro
|
||||
- LoRA+
|
||||
- LoftQ
|
||||
|
||||
## 4. 支持模型
|
||||
|
||||
工具支持市面上所有热度较高的开源模型,包括但不限于以下模型:
|
||||
- GLM系列
|
||||
- Baichuan系列
|
||||
- Yi系列
|
||||
- Qwen系列
|
||||
- llama系列
|
||||
- ...
|
||||
|
||||
|
||||
## 5. 工具安装
|
||||
|
||||
|
||||
使用以下命令进行安装:
|
||||
```shell
|
||||
pip install -e .[metrics]
|
||||
```
|
||||
|
||||
## 6. 可视化界面
|
||||
|
||||
启动方式:
|
||||
```shell
|
||||
python src/train_web.py
|
||||
```
|
Loading…
Reference in New Issue