第1章：DeepSpeed-Chat 模型训练实战
本章内容介绍如何使用微软最新发布的 DeepSpeed Chat 来训练类 ChatGPT 的大模型。
通过本章内容，你将了解：
- DS-Chat是什么？
- 如何准备运行环境
- ChatGPT训练的基本知识
- DS-Chat的使用方法
【观看视频解说】
1 DeepSpeed-Chat是什么？
【观看视频解说】
DeepSpeed-Chat是微软最新公布的一套工具，用于训练类ChatGPT模型。该工具基于微软的大模型训练工具DeepSpeed，使用它可以非常简单高效地训练自己的ChatGPT。该工具具有以下特点：
- 完整的训练类ChatGPT的代码：包括预训练模型下载、数据下载、InstructGPT训练过程和测试。
- 多种规模的模型：模型参数从1.3B到66B，即适合新手学习也可用于商用部署。
- 高效的训练：通过使用最新技术，如ZeRO和LoRA等技术改善训练过程，让训练过程更高效。例如，一个67亿（6.7Bÿ
本文链接：https://my.lmcjl.com/post/10869.html
展开阅读全文
4 评论