03MARL-联合策略与期望回报

前言

多智能体强化学习问题中的博弈论知识——联合策略与期望回报

一、MARL问题组成

二、联合策略与期望回报

定义一种普遍的期望回报，能够用于所有的多智能体与环境的交互模型当中，因此在POSG的环境下定义，定义了两个等式计算期望回报，如下：

1.History-based expected return

在联合策略$\pi$给定下，智能体i的期望回报为：
$\begin{array}{rl}{U}_i(\pi )& ={\mathbb{E}}_{{\hat{h}}^t\sim ({\mathrm{Pr}}^0,\mathcal{T},\mathcal{O},\pi )}[u_i({\hat{h}}^t)]\\ & \begin{array}{r}=\sum _{{\hat{h}}^t\in \hat{H}}\mathrm{Pr}({\hat{h}}^t\mid \pi )u_i({\hat{h}}^t)\end{array}\end{array}$
其中，H包含所有时刻的历史观测序列，$\mathrm{Pr}({\hat{h}}^t\mid \pi )$代表给定策略下的所有历史观测的概率，$\begin{array}{rl}\mathrm{Pr}({\hat{h}}^t\mid \pi )=& \stackrel{0}{\mathrm{Pr}}(s^0)\mathcal{O}(o^0\mid \varnothing ,s^0)\prod _{\tau =0}^{t-1}\pi (a^{\tau }\mid h^{\tau })\mathcal{T}(s^{\tau +1}\mid s^{\tau },a^{\tau })\mathcal{O}(o^{\tau +1}\mid a^{\tau },s^{\tau +1})\end{array}$
$u_i({\hat{h}}^t)$是智能体i在观测序列的折扣回报，$u_i({\hat{h}}^t)={\sum }_{\tau =0}^{t-1}{\gamma }^{\tau }{\mathcal{R}}_i(s^{\tau },a^{\tau },s^{\tau +1})$，使用$\pi (a^{\tau }\mid h^{\tau })$表示观测序列条件下，联合动作的概率分布，前提的假设是智能体之间的动作是独立的，因此$\pi (a^{\tau }\mid h^{\tau })={\prod }_{j\in I}{\pi }_j(a_j^{\tau }\mid h_j^{\tau })$。

2.Recursive expected return

类似于贝尔曼方程的形式定义期望回报，首先定义了联合策略下的状态价值函数与动作价值函数

在这里$V_i^{\pi }(\hat{h})$代表智能体i在给定策略下，所有历史序列取得的值，可以当期望回报，而$Q_i^{\pi }(\hat{h},a)$代表智能体i根据观测序列，在给定策略下，采取的联合动作带来的即使收益，进一步可以将回报期望写为：$U_i(\pi )={\mathbb{E}}_{s^0\sim {\mathrm{Pr}}^0,o^0\sim \mathcal{O}(\cdot |\varnothing ,s^0)}[V_i^{\pi }(⟨s^0,o^0⟩)]$