论文：a distributional perspective on reinforcement learning

http://inksci.com/w/pan/A%20Distributional%20Perspectiveon%20Reinforcement%20Learning.pdf

第二部分：

贝尔曼算子（Bellman operator）

第三部分（我没有看）：

分布式贝尔曼算子（Distributional Bellman operator）

第四部分：

基于分布式贝尔曼最优性算子的算法

如下图，横坐标为离散的值 V，V 的取值范围从 Vmin 到 Vmax，被均等离散成 N 个。纵坐标是这个值对应的概率。

论文中：

一个参数模型 $ \theta $。RN 表示一个 N 维的实数向量，易知 RN 和上面的离散值概率分布图是等价的。于是可知，神经网络的参数是 $ \theta $，输入为状态和动作，输出为 N 维的实数向量，即离散值概率分布。

算法