tf.stop_gradient梯度截断作用

可能会有这样的场景, 即我们可能只需要训练网络的特定部分, 然后网络的其余部分则保持未之前的状态(不进行梯度更新). tf.stop_gradient 正是为了处理这一情景的. 即在 tf.stop_gradient 中执行任何操作都不会导致在 BP 过程中梯度的更新.

参考链接

  1. 【Tensorflow】— tf.stop_gradient梯度截断作用,by 代码先锋网.