- 链接地址:https://blog.csdn.net/weixin_44607838/article/details/118552038
- 链接标题:对于Transformer的Mask机制的再思考--Decoder部分_transformer decoder mask-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:5597
文章浏览阅读3.4k次,点赞7次,收藏14次。前言之前我曾经在一篇博客中有介绍关于Transformer模型的Encoder部分的mask,在这篇文章中,我打算将Decoder部分的mask机制也补充完整。OK,那么我们进入正题。Decoder结构首先我们先来看一下Decoder的结构,下面这张图取自google在2017年发的著名文章:Attention Is All You Need,也就是最初提出Transformer结构的文章。为了专注于Decoder的部分,关于原图中Encoder的部分我并没有截取。如果我们仔细观察D_transformer decoder mask
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除