2024-Q4-AI-LV-Business 4. Mākslīgie neironu tīkli, klasifikācijas un regresijas modeļi

4.1. Video / Materiāli (8 Jan 2024, 18:00)

Zoom (jānospiež ieraksts sākumā, pēc tam tiks ielikts youtube unlisted mode): https://us06web.zoom.us/j/81532941877?pwd=L1IgtKhCzcsLfxa5OKjB4N6ChulOab.1 Meeting ID: 815 3294 1877 Passcode: 388048

Whiteboard: https://www.figma.com/board/2GY22EPbQtR1VvRI6jlY9q/2024-Q4-AI-LV-Business-4.-M%C4%81ksl%C4%ABgie-neironu-t%C4%ABkli%2C-klasifik%C4%81cijas-un-regresijas-mode%C4%BCi?node-id=0-1&t=0ud0cEJJabhrf0s6-1

Materials: https://www.geeksforgeeks.org/neural-networks-a-beginners-guide/ https://www.youtube.com/@3blue1brown

Rīki

1. http://playground.tensorflow.org

2. Altair AI studio (var dabūt bezmaksas versiju) air RapidMiner AI studio, https://docs.rapidminer.com/latest/studio/installation/index.html#from-rapidminer

3. Pieeja H2O sistēmai:

xxxxxxxxxx
3
1
URL: https://h2o.asya.ai
2
u: h2o
3
p: venta2024

Saturs

Iepriekšējā cikla lekcijas Video: https://youtube.com/live/wQ9Q5zLFkEs?feature=share

Whiteboard: https://whiteboard.fi/f293cc85-489b-4c57-a207-ec2d6a5b96f3

1. Apskatīties dažus piemērus no iepriekšējā mājasdarba, lai motivētu studentus veikt mājasdarbus

2. Izstāsīt analoģiju par dabīgajiem neironu tīkliem un perceprtonu. Vēsturi pastāstīt. aktivizācijas funkcijas pastāstīt. Pastāstīt arī , ka priekš Deep Learning Neural networks kā minimums vajag 10-50k paraugus, ja mazāk dati ieteicams lietot iepriekšejās lekcijās apskatītās metodes.

   

   

   

   

   $\begin{array}{c}ReLU(x)=\{\begin{array}{ll}x,& x>=0\\ 0,& otherwise\end{array}\\ \frac{ReLU(x)}{\partial x}=\{\begin{array}{ll}1,& x>=0\\ 0,& \text{ otherwise }\end{array}\end{array}$$ReLU(x) = \begin{cases} x, & x >= 0 \\ 0, & otherwise \end{cases}\\ \frac{ReLU(x)}{\partial x} = \begin{cases} 1, & x >= 0 \\ 0, & \text{ otherwise } \end{cases}$

3. Pastāstīt kā mākslīgie neironu tīkli izpildās matemātiski, mazliet pastāstīt par to kas īsti ir matematemātiskajās funkcijās. Ka rotācijas + translācija īstenībā ir tas pats vienādojums, kuru izmanto GPU, lai zīmētu trijstūrus datorrspēlēs, un šeit tas noder arī priekš mākslīgajiem neirnu tīkliem. Kursa dalībnieki nav matemātiķi, jādod tikai ieskats.

   $$\begin{array}{}\text{(1)}& \begin{array}{c}\hat{y}=model(x,W_1,b_1,W_2,b_2,W_3,b_3)=\\ Linear(Sigmoid(Linear(Sigmoid(Linear(x,W_1,b_1)),W_2,b_2)),W_3,b_3)\\ \\ Linear(x,W,b)=W\cdot x+b\\ \frac{Linear(x,W,b)}{\partial W}=x\\ \frac{Linear(x,W,b)}{\partial x}=W\\ \frac{Linear(x,W,b)}{\partial b}=1\cdot b^0=1\\ \\ \sigma (x)=\frac{1}{1+e^{-x}}\end{array}\end{array}$$

    

   

   

    

   1.  

      

   

    

4. Parādīt http://playground.tensorflow.org un pastāstīt intuitīvi kāpēc nepietiek ar Linear seperation, kāpēc vajag nonlinearities. Izstāstīt par visiem hiper-parametriem: Learning rate, layer count, Activation

   

   

    

   

   

6. Izstāstīt par datu sagatavošanu, ka vajag izprast datus, Normalizēt (feature scaling), cik iespējams augmentēt. Normalize data, split data into train, test and validation (80% vs 20%) or (70% vs 20% vs 10%). K-fold split. Data augmentation, each model has its limitations (if you have just 1000 samples, with augmentation you can get 10000-100000)

   

http://pytorch.org/vision/master/auto_examples/transforms/plot_transforms_illustrations.html#sphx-glr-auto-examples-transforms-plot-transforms-illustrations-py

7. Pastāstīt par tipiskajām arhitektūrām - DNN, CNN, ResNet, Transformer - kam kura ir paredzēta, bet ne parāk dziļi. Primāri jāliek viņiem saprast, ka tas ir matemātisko funkciju grafs, kur katra kastīte ir funkcija.

   

8. Pastāstīt par Classification, Regression. Iedot piemērus no interneta veikala - user activity prediction, price prediction, etc., jo dalībnieki būs biznesa studenti.

   

9. Pastāstīt intuitīvi kā strādā backpropogation, atpakaļizplatīšanās algoritms. Pastāstīt, ka Geofrey Hinton par šo algoritumu 2024. gadā dabūja nobela prēmiju Fizikā. Pastāstīt, kas ir Epoha. Pastāstīt, ka gradients no kļūdas funkcijas strādā kā dabā zibens vai kā ūdens tek, uzdot gotcha jautājumu par loss function līkni. Pastāstīt arī par Stohastiskā kalnā kāpēja algoritmu SGD. Noteikti parādīt piemēru ar Class Activation Map bildi par PascalVOC dataset, kur AI iemācās atpazīt zirgu pēc paraksta un vieglākā risinājuma nevis pēc cilvēkam saprotams loģikas.

   

   

   

10. Izstāsīt visu training ciklu. Pastāstīt par to kā rēķina accuracy, confusion matrix, F1 score, bet tikai informatīvi. Izstāstīt par Overfitting (pārapmācīšanos), Underfitting (zemapmācīšanos) un normālu apmācīšanos

    

    

    

    xxxxxxxxxx
    22
    1
    Steps:
    2
    1. Data
    3
       1. Understand data 
    4
       2. Normalize data, split data into train, test and validation
    5
       3. Data augmentation, each model has its limitations
    6
    2. Model 
    7
       1. Deep learning model architecture (boxes)
    8
       2. Hyper-parameters
    9
    3. Loss function:
    10
       1. MSE, MAE - Regression, scalar value
    11
       2. CCE, BCE - Classification
    12
    4. Additional metrics:
    13
       1. R2, NRMSE - Regression
    14
       2. Acc., F1 - Classification
    15
    5. Training cycle
    16
       1. Epoch - use whole dataset once
    17
          1. Training stage - Change model weights using Backpropagation, SGD
    18
          2. Test stage -  predict results without training
    19
          3. Store metrics in plot
    20
          4. Stop before overfitting
    21
    6. Validation check
    22
    7. Save model and use in production to predict results without training
    

    

11. Parādīt kā sastādīt H2O Deep learning modeli. Augšupielādēt CSV failu. Noprocesēt datu kolonu tipus. Sadalīt Train un test kopās. Atzīmēt ignored kolonas modelim, izskaidrot kāpēc! Sastādīt arhitektūru un izstāstīt kā tā veidojas. Izvēlēties adekvātu loss funckiju

Pastāstīt un parādīt Variable importances, par to, ka modeļi nav black-boxes, bet tajos var “ieskatīties” izmantojot metodes kā, piemēram, SHAP LIME GRADCAM ELI5

12. Parādīt kā šo pašu var realizēt ar Altair AI studio

4.2. Klientu novērtējuma prognozēšana

Izmantojot doto datu kopu, apmāciet modeli, izmantojot H2O vai Altair AI studiju, lai prognozētu "Vērtējumu", kas norāda uz apmierinātības novērtējuma prognozi.

http://share.yellowrobot.xyz/quick/2023-10-12-931888F3-5E95-4F53-9D22-85246F6C291F.zip

Iesniedziet modeļa kļūdas funkcijas līkņu un prognozēto rezultātu ekrānuzņēmumus. Tāpat izveidojiet un iesniedziet pašizveidotu CSV failu, kuram tika iegūta prognoze.

4.3. Mājasdarbs - Nekustamā īpašuma cenas prognozēšana

Izmantojot doto datu kopu, apmāci modeli, izmantojot H2O vai Altair AI studiju, lai prognozētu "Y mājas cenas vienības teritorijā" no citiem parametriem, kurus tev piedāvā izvēlēties.

http://share.yellowrobot.xyz/quick/2023-10-12-347B9B69-6759-4241-A678-C22AD5487D3C.zip

Iesniedz modeļa kļūdas funkcijas līkņu un prognozēto rezultātu ekrānuzņēmumus. Izveido un iesniedz pašveidotu CSV failu, kas satur prognozes.