def sample(self):
        u = tf.random_uniform(tf.shape(self.logits), dtype=self.logits.dtype)
        return tf.argmax(self.logits - tf.log(-tf.log(u)), axis=-1)

如下图，对 logits 减去 noise 项后选择最大值时，实际总是选择同一个动作。