2025-Q1-AI 16. A2C, TRPO, PPO

16.1. Video / Materiāli (🔴 28. maijs 18:00, Trešdiena, Riga, Zunda krastmala 10, 122)

Uz google colab, lai varētu palaist vai windowsā

!pip install swig !pip install box2d-py !pip install gym

Gatavie piemēri:

Vienādojumi:

\begin{aligned} R_{T} & = \sum_{t = 1}^{T} r_{t} \\ R_{T} & = \sum_{t = 1}^{T} γ^{t - 1} r_{t} \\ L & = - \sum_{t} R_{t} \log (π_{θ} (a_{t} ∣ s_{t})) \end{aligned}

Iesniegt pirmkodu un screenshots ar labākajiem rezultātiem.

Vienādojumi:

\begin{aligned} δ & = r_{t} + γ V_{θ} (s_{t + 1}) \\ A (s_{t}, a_{t}) & = δ - V_{θ} (s_{t}) \\ L_{V} & = \sum (δ - V_{θ} (s_{t}))^{2} \\ L_{π} & = - \sum A (s_{t}, a_{t}) \log (π_{θ} (a_{t} ∣ s_{t})) \\ H (a_{t}) & = - \sum a_{t} * \log (a_{t}) \\ L & = L_{V} + L_{π} + H (a_{t}) \end{aligned}

Iesniegt pirmkodu un screenshots ar labākajiem rezultātiem.

Template:

Vienādojumi:

\begin{matrix} (1) & \begin{matrix} A (s_{t}, a_{t}) = δ_{t} - V (s_{t}) \\ L_{c r i t i c} = - \frac{1}{N} \sum (δ_{t} - V (s_{t}))^{2} \\ d_{r a t i o} = \frac{π (a_{t} | s_{t}) + ϵ}{π_{o l d} (a_{t} | s_{t}) + ϵ} \\ d_{c l a m p} = c l a m p (d_{r a t i o}, 1 - Δ, 1 + Δ) \\ L_{a c t o r} = - \frac{1}{N} \sum A (s_{t}, a_{t}) d_{c l a m p} \\ L = L_{a c t o r} + L_{c r i t i c} \end{matrix} \end{matrix}

Iesniegt pirmkodu un screenshots ar labākajiem rezultātiem.

Implementēt PPO modeli A (advantage) vietā lietotjot Q(s, a) modeli (Izmantot DQN, vai DDQN versiju).

Iesniegt pirmkodu un screenshots ar labākajiem rezultātiem.

parser.add_argument('-gamma', default=0.8, type=float)

makes it live longer

TRPO

PPO ⚠️ PPO modelī NAV log p, ir tikai tīrs dalījums varbūtibām (manā orģinalajā video bija ielikts)

A2C

\begin{matrix} (2) & {\begin{cases} δ_{t} = r_{t + 1}, & i f t < e n d \\ δ_{t} = r_{t + 1} + γ V (s_{t + 1}), & e l s e \end{cases} \end{matrix}

\begin{matrix} (3) & t r a n s i t i o n = {s_{t}, a_{t}, δ_{t}} \end{matrix}