a975a66d10
|
||
|---|---|---|
| FM_9G | ||
| quick_start_clean | ||
| README.md | ||
README.md
九格通用基础大模型
简介
启元九格大模型由启元实验室牵头，联合清华大学、哈尔滨工业大学、中国科学院计算技术研究所、北京大学、南开大学等顶尖科研单位共同研发。该模型具备 高效训练与推理、高效适配与部署 的技术特点，支持多种 自然语言处理（NLP） 和 多模态 任务，包括 文本问答、文本分类、机器翻译、文本摘要、图文理解等。
更新信息
🔥 最新发布（2025.02.25）：FM9G
- 模型：4B 模型将上下文长度扩展至32k支持长文推理，并采用了GQA结构以降低KV cache的显存需求。
- 训练：训练代码将即将开源。
- 推理：推理代码可以直接复用2.4B模型。增加了2.4B模型和4B模型的q4_k_m量化版gguf模型。
🚨 FM9G 4B模型 是一款专为长上下文处理设计的模型，支持32k+的文本窗口，并通过搭载MapReduce能力，能够处理超过100k的上下文。该模型还支持工具调用和代码解释，具备卓越的数学推理能力和中英文指令执行能力，能够高效处理复杂任务。
🚀 历史版本更新
2025.01.12：FM9G-V
- 模型：13B 多模态基础大模型，支持 单图文推理。
- 训练：开源了 多模态基础大模型 的训练代码。
- 推理：支持 单图文推理，提升了图文理解和生成能力。
2024.08.19：FM9G
- 2B 模型：经过多数据集验证，发现 LoRA训练效果不及全参数微调，因此 2B模型采用了全参数微调，效果显著提升。
- 8B 模型：LoRA微调仍在 master 分支 进行，正在进行更细致的优化。
- QUICK START：更新了 2B 全参数微调 的详细信息，帮助用户更好地理解和应用该模型。
📚 其他信息
- 若仍在使用旧版本的九格模型训练和推理，请切换分支至 master 分支。
📌 开源模型参数级别
| 模型 | 主要能力 | 参数规模 | 代码分支 |
|---|---|---|---|
| FM9G-8B | 文本处理（NLP） | 80 亿 | FM9G |
| FM9G-2B | 文本处理（NLP） | 20 亿 | FM9G |
| FM9G-V（13B） | 多模态（文本+图像） | 130 亿 | FM9G-V |
| FM9G-4B | 文本处理（NLP） | 40 亿 | FM9G |
迈向通用智能的大模型技术系列课程
系列课程全方位介绍人工智能和大模型技术的基础知识和前沿课题，理论学习和实践应用相结合。课程既有“人工智能与大模型通论”和“神经网络与预训练模型”等基础知识，也有“九格大模型生态体系”和“领域大模型实战”等实战主题，基本内容包括大模型训练、微调、知识增强、伦理安全、多模态、具身智能、自主智能体等话题，高级选题包括多语言处理、面向科学研究的大模型应用、高效计算技术、评测与数据科学等话题。课程旨在通过一系列精心设计的单元为学习者提供大型通用人工智能的学习之旅。