ChatGPT、GPT-4等大型AI模型和应用在全球范围内风靡一时，成为技术产业革命和AGI（Artificial General Intelligence）发展的基础。 不仅科技巨头竞相发布新品，许多来自学术界和产业界的人工智能专家也加入了相关的创业浪潮。 生成式 AI 每天都在快速迭代，不断完善！        然而，OpenAI 并没有将其模型开源，这让许多人对 继续阅读

神经网络的典型处理如下所示： 1. 定义可学习参数的网络结构（堆叠各层和层的设计）； 2. 数据集输入； 3. 对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播； 4. 计算loss ，由Loss层计算； 5. 反向传播求梯度； 6. 根据梯度改变参数值,最简单的实现方式（SGD）为:    we 继续阅读

Paper：《GPT-4 Technical Report》的翻译与解读 目录 Paper：《GPT-4 Technical Report》的翻译与解读 Abstract摘要 1、Introduction简介 2、Scope and Limitations of this Technical Report本技术报告的范围和局限 3、Predictable Scaling可预测的比例 3.1、Loss Prediction损失的预测 3.2、Scal 继续阅读

一、Roberta （一）特点 对bert的一点点改进啦 1、动态遮掩 2、FULL-SENTENCE without NSP loss 3、Large mini-batch 4、A larger Byte-Pair Encoding （二）关于BERT中的NSP和MLM 参考：https://blog.csdn.net/qq_43658933/article/details/123545931 训练时有两个任务啦~ 继续阅读