一、一个简单的示例
请看下面的例句：A dog ate the food because it was hungry（一只狗吃了食物，因为它很饿）
例句中的代词it（它）可以指代dog（狗）或者food（食物）。当读这段文字的时候，我们自然而然地认为it指代的是dog，而不是food。但是当计算机模型在面对这两种选择时该如何决定呢？这时，自注意力机制有助于解决这个问题。
还是以上句为例，我们的模型首先需要计算出单词A的特征值，其次计算dog的特征值，然后计算ate的特征值，以此类推。当计算每个词的特征值时，模型都需要遍历每个词与句子中其他词的关系。模型可以通过词与词之间的关系来更好地理解当前词的意思。
比如，当计算it的特征值时，模型会将it与句子中的其他词一一关联，以便更好地理解它的意思。
如图所示，it的特征值由它本身与句子中其他词的关系计算所得。通过关系连线，模型可以明确知道原句中it所指代的是dog而不是food，这是因为it与dog的关系更紧密，关系连线相较于其他词也更粗。
我们已经初步了解了什么是自注意力机制，下
本文链接：https://my.lmcjl.com/post/1160.html
展开阅读全文
4 评论