一、Roberta （一）特点 对bert的一点点改进啦 1、动态遮掩 2、FULL-SENTENCE without NSP loss 3、Large mini-batch 4、A larger Byte-Pair Encoding （二）关于BERT中的NSP和MLM 参考：https://blog.csdn.net/qq_43658933/article/details/123545931 训练时有两个任务啦~ 继续阅读