2021/6/15 に公開されたTransformerに関するサーベイ論文の意訳です。 今回はAbstract、introductionです。 Abstract BERT や GPT などの大規模な学習済みモデル（PTM）は、近年大きな成功を収めており、人工知能（AI） 分野におけるマイルストーンとなって…

NLP Vision note.com Attention toaruol.hatenablog.jp

【論文】"Attention is all you need"の解説 Attention is all you need https://arxiv.org/pdf/1706.03762.pdf Neural Machine Translation by Jointly Learning to Align and Translate https://arxiv.org/pdf/1409.0473.pdf