ChatGPT 拓展资料：A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT 目录 A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT论文摘要论文目录论文简介预训练基础模型PFMs和预训练贡献与组织 基本组件2.1 Transformer for 继续阅读

论文链接：https://arxiv.org/abs/2302.09419 该综述系统性的回顾了预训练基础模型（PFMs）在文本、图像、图和其他数据模态领域的近期前沿研究，以及当前、未来所面临的挑战与机遇。具体来说，作者首先回顾了自然语言处理、计算机视觉和图学习的基本组成部分和现有的预训练方案。然后，讨论了为其他数据模态设计的先进PFMs，并介绍了考虑数据质量和数量的统一PFMs。此外&#xff0 继续阅读