深度学习中注意力机制学习笔记

发表于 | 评论数： | 阅读次数：

学习理解注意力机制的目的是为了更好的掌握深度学习模型，指导实践。

注意力机制的优点

之所以要引入 Attention 机制，主要是3个原因：

  • 参数少

模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。

  • 速度快

Attention 解决了 RNN 不能并行计算的问题。Attention机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。

  • 效果好

在 Attention 机制引入之前，有一个问题大家一直很苦恼：长距离的信息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。

Attention 是挑重点，就算文本比较长，也能从中间抓住重点，不丢失重要的信息。

参考链接

  1. 一文看懂 Attention（本质原理+3大优点+5大类型）,by easyAI-人工智能知识库.
  2. 一文搞定注意力机制（Attention）,by markconca的博客.