特牛生活网

从前馈神经网络到自然语言表示方法到RNN到LSTM到attention-到transformer--seq2seq总结_transformer如何替代gru-CSDN博客

网友收藏
文章浏览阅读456次。本人半路出家,得空从头到尾看了这本书。书中详细介绍从(1)前馈神经网络(2)单词的分布式表示-(3)RNN(4)lstm(5)attention(6)transformer(7)seq2seq,整体总结我将详细的分为7个模块一一介绍。(1)前馈神经网络是我们比较熟悉的神经网络,具体的计算方法相信大家也比较熟悉,即wx+b。具体参见后续添加具体博客网页。(2)自然语言无法直接输入到计算机,需要转化为数字计算机才能进行处理。整体有两种思路去表示,一种即通过one-hot编码,不常用,计算量比较大,且单词_transformer如何替代gru