学习理解注意力机制的目的是为了更好的掌握深度学习模型，指导实践。
注意力机制的优点
之所以要引入 Attention 机制，主要是3个原因：
- 参数少
模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。
- 速度快
Attention 解决了 RNN 不能并行计算的问题。Attention机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。
- 效果好
在 Attention 机制引入之前，有一个问题大家一直很苦恼：长距离的信息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。
Attention 是挑重点，就算文本比较长，也能从中间抓住重点，不丢失重要的信息。
参考链接
- 一文看懂 Attention（本质原理+3大优点+5大类型）,by easyAI-人工智能知识库.
- 一文搞定注意力机制（Attention）,by markconca的博客.
- 注意力机制（Attention mechanism）基本原理详解及应用,by Jerry_Jin.
- 什么是词向量？（NPL入门）,by mawenqi0729.
- 词向量Word Embedding原理及生成方法,by getui.
- 注意力机制,by wikipedia.