自从ChatGPT出现之后，各种大语言模型是彻底被解封了，每天见到的模型都能不重样，几乎分不清这些模型是哪个机构发布的、有什么功能特点、以及这些模型的关系。比如 GPT-3.0 和 GPT 3.5 就有一系列的模型版本和索引，还有羊驼、小羊驼、骆驼 ......
于是浅浅的调研了一下比较有名的大语言模型，主要是想混个脸熟，整理完之后就感觉清晰多了，又可以轻松逛知乎学习了。
一. Basic Language Model
基础语言模型是指只在大规模文本语料中进行了预训练的模型，未经过指令和下游任务微调、以及人类反馈等任何对齐优化。
基础 LLM 基本信息表，GPT-style 表示 decoder-only 的自回归语言模型，T5-style 表示 encoder-decoder 的语言模型，GLM-style 表示 GLM 特殊的模型结构，Multi-task 是指 ERNIE 3.0 的模型结构
本文链接：https://my.lmcjl.com/post/6971.html
展开阅读全文
4 评论