forked from super_cognition/zhuoshi_llm_factory
init readme
This commit is contained in:
parent
db28e17b09
commit
4cb5bdafe6
48
README.md
48
README.md
|
@ -1,2 +1,48 @@
|
||||||
# zhuoshi_llm_factory
|
# 卓识LLM_Factory
|
||||||
|
## 1. 工具介绍
|
||||||
|
|
||||||
|
卓识LLM_Factory是一个涵盖预训练、指令微调以及RLHF全阶段的高效、易用、可扩展大模型微调框架。通过其灵活的模块化设计,最小化了对特定模型和数据集的依赖,使得框架能够灵活地扩展到数百个模型和数据集;通过集成多种高效的训练方法,允许用户灵活地自定义微调过程;且配备有零代码可视化的一站式网页微调界面,支撑低代码领域大模型微调以及微调过程可视化。
|
||||||
|
|
||||||
|
## 2. 训练阶段
|
||||||
|
|
||||||
|
工具支持的训练阶段包括:
|
||||||
|
- (增量)预训练(Continue Pre-Training)
|
||||||
|
- 有监督微调(Supervised Fine-Tuning, SFT)
|
||||||
|
- 人类反馈强化学习(Reinforcement Learning for Human Feedback)
|
||||||
|
|
||||||
|
## 3. 微调方法
|
||||||
|
|
||||||
|
工具支持的微调方法包括:
|
||||||
|
- LoRA
|
||||||
|
- GaLore
|
||||||
|
- DoRA
|
||||||
|
- LongLoRA
|
||||||
|
- LLaMA Pro
|
||||||
|
- LoRA+
|
||||||
|
- LoftQ
|
||||||
|
|
||||||
|
## 4. 支持模型
|
||||||
|
|
||||||
|
工具支持市面上所有热度较高的开源模型,包括但不限于以下模型:
|
||||||
|
- GLM系列
|
||||||
|
- Baichuan系列
|
||||||
|
- Yi系列
|
||||||
|
- Qwen系列
|
||||||
|
- llama系列
|
||||||
|
- ...
|
||||||
|
|
||||||
|
|
||||||
|
## 5. 工具安装
|
||||||
|
|
||||||
|
|
||||||
|
使用以下命令进行安装:
|
||||||
|
```shell
|
||||||
|
pip install -e .[metrics]
|
||||||
|
```
|
||||||
|
|
||||||
|
## 6. 可视化界面
|
||||||
|
|
||||||
|
启动方式:
|
||||||
|
```shell
|
||||||
|
python src/train_web.py
|
||||||
|
```
|
Loading…
Reference in New Issue