2024-Q1-AI-M 11.Laika rindu uzdevumi, Rekurentie neironu tīkli, RNN, LSTM

11.1. Video / Materiāli

Video: https://youtube.com/live/-TkcUjdz7sQ?feature=share

Jamboard: https://jamboard.google.com/d/1DilGdMP6RJzNDtOx_YeobyBvB7R6_B2VmmSFfYMZXrc/edit?usp=sharing

Materials:
https://calvinfeng.gitbook.io/machine-learning-notebook/supervised-learning/recurrent-neural-network/recurrent_neural_networks/ https://lanwuwei.github.io/courses/SP19/3521_slides/11-Recurrent_Neural_Networks_2.pdf https://danijar.com/tips-for-training-recurrent-neural-networks/ https://medium.com/datadriveninvestor/attention-in-rnns-321fbcd64f05 https://arxiv.org/abs/1610.09513 https://wiki.pathmind.com/word2vec

RTMP stream key 14cw-vw7p-7qmv-mrvt-23h4

Finished source code: https://share.yellowrobot.xyz/quick/2024-4-15-DC954988-316C-4979-B98D-A79DD96BC944.zip

Saturs:

RNN (shared weights)
Language modeling task
Embedding dict
[END] token
⚠️ [ANY] būtu labi pielikt token any pie visu vārdu vietā, kuri atkārtojas mazāk kā 3 reizes, lai saglabātu teikumu skaitu lielāku datu kopā
Train VS Inference many-to-one (inference), many-to-many (training)
Izstāstīt dažādu garumu teikumu apstrādi vienā batch

Iepriekšējā gada lekcija

Video https://youtu.be/-nuoRn1ohzI

Jamboard: https://jamboard.google.com/d/1nEQLzDVjXrK7RfkxifA9jlyVBLTA-x3vQPIFOYuQ1UU/edit?usp=sharing

11.2. Implementēt Vanilla RNN

Sekojot video norādēm 11.1. implementēt Vanilla RNN, neizmantojot iebūvētās RNN funkcijas torch.nn.

Iesniegt pirmkodu un screenshots ar rezultātiem.

Sagatave:

http://share.yellowrobot.xyz/quick/2023-4-3-3F68F1D8-DF36-4D8C-BB56-F0407D2A6512.zip

11.3 Implementēt GRU

Izmantojot sagatavi 12.1. uzdevumā un norādes 12.2 uzdevumā, implementēt GRU modeli. Aizstāt RNN šūnu ar jūsu izveidoto. Nedrīkst izmantot iebūvētās torch.nn.GRU utt. Iesniegt pirmkodu un screenshots ar rezultātiem.

GRU vienādojums: http://share.yellowrobot.xyz/upic/8f34c76492d8b3a520255d023e962dc9_1680532330.jpg

11.4 Mājasdarbs - Implementēt LSTM

Izmantojot sagatavi 12.1. uzdevumā un norādes 12.2 un 12.3 uzdevumā pārveidot pirmkodu tā, lai tiktu implementēts sekojošais:

Izveidot LSTM. Aizstāt RNN šūnu ar jūsu izveidoto. Nedrīkst izmantot iebūvētās torch.nn.LSTM utt.
Implementēt svaru saglabāšanu pie zemākās test_loss vērtības
Implementēt atsevišķu skirptu, kur var ielādēt modeļa svarus un lieotājs konsolē var ierakstīt teikuma sākumu no vairākiem vārdiem un modelis prognozēs teikuma beigas
Implementēt iebūvēto torch.nn.LSTM modeli un salīdzināt rezultātus ar paša veidoto modeli
Iesniegt kodu un screenshots ar apmācību un rollout rezultātiem

LSTM vienādojums: http://share.yellowrobot.xyz/upic/70d53425be0fec7c7dc0ebb246b6fecb_1680532356.jpg