2023-Q1-AI 15. DQN DDQN

15.1. Video / Materials, 24 Apr 2023, 18:00

Video: https://youtube.com/live/0xHdJC_6gyk?feature=share

Jamboard: https://jamboard.google.com/d/116aaOmwkG7Dvo0Tg63WduZhwyYQhQqXciZa7ohqTtCQ/edit?usp=sharing

Sagatavošanās materiāli: Rainbow DQN: https://arxiv.org/abs/1710.02298 https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf https://pytorch.org/tutorials/intermediate/reinforcement_q_learning.html https://medium.freecodecamp.org/an-introduction-to-reinforcement-learning-4339519de419

^ Shared: stefan.dayneko@gmail.com

Youtube key: ea11-mrgb-4jg2-4ajc-d4hr

Iepriekšējā gada video

Video https://youtu.be/tiaoLNMWZUA

Jamboard: https://jamboard.google.com/d/18gFXn4E36cP9P25wSKpvGgEv1mlAnKfDQbB7fGTDPi0/viewer

13.2. Implementēt DQN

Balstoties uz 13.1. materiāliem un video implementēt DQN, izmantojot sagatavi.

Iesniegt kodu un ekrānšāviņus ar rezultātiem.

Template: http://share.yellowrobot.xyz/1628158950-vea-rtu-course-2020-q1/13_2_dqn_lunar_lander_unfinished.py

13.3. Implementēt priority replay memory

Balstoties uz 13.1. materiāliem un video implementēt "Priority replay memory", izmantojot sagatavi.

Iesniegt kodu un ekrānšāviņus ar rezultātiem.

Template: http://share.yellowrobot.xyz/1628158950-vea-rtu-course-2020-q1/13_5_priority_dqn_lunar_lander_unfinished.py

13.4. Implementēt DDQN

Implementēt DDQN, balstoties uz 13.3 uzdevuma sagatavi.

Iesniegt kodu un ekrānšāviņus ar rezultātiem.

Vienādojums: http://share.yellowrobot.xyz/1628158950-vea-rtu-course-2020-q1/ddqn.png

13.5. Mājasdarbs - Dueling DDQN + MountainCar

1. Balstoties uz 13.4 kodu, implementēt jaunu vidi MountainCar: https://gym.openai.com/envs/MountainCar-v0

2. Implementēt Dueling DDQN modeļa arhitektūru

3. Iesniegt kodu un ekrānšāviņus ar rezultātiem.

Modeļa shēma: http://share.yellowrobot.xyz/1628158950-vea-rtu-course-2020-q1/dual.png

Modeļa apraksts: https://arxiv.org/abs/1511.06581

Materials