2024-Q4-AI-M 6. Regresijas uzdevumi, Klasifikācijas uzdevumi, categorical inputs - PyTorch

6.1. Video / Materials (19 Mar 18:00)

Zoom/Video: https://zoom.us/j/3167417956?pwd=Q2NoNWp2a3M2Y2hRSHBKZE1Wcml4Zz09

Whiteboard: https://www.figma.com/board/1dWhIH4o2s3Adhr0ISyywI/2024-Q4-AI-M-6.-Regresijas-uzdevumi%2C-Klasifik%C4%81cijas-uzdevumi%2C-categorical-inputs---PyTorch?node-id=0-1&t=6QlchMkPmtYDaejC-1

Materials: https://pytorch.org/tutorials/beginner/nlp/deep_learning_tutorial.html

Whiteboard iedotas tiesības gustavse@gmail.com

Iepriekšējā gada Video: https://youtu.be/Ejv260iiVfo

4
1
Diesel    4402
2
Petrol    3631
3
CNG         57
4
LPG         38

6.2. Implementēt PyTorch versiju regresijas uzdevumam

Izmantot norādes video 6.1 un sagatavi. Implementēt:

1. Kategoriskajiem ievades datiem izveidot Embedding Matrix

2. Implementēt MSE kļūdas funkciju

3. Implementēt Huber loss kā kļūdas funkciju

   $$\begin{array}{}\text{(1)}& \begin{array}{c}{L}_{\delta }(y,y^{\prime })={\delta }^2(\sqrt{1+{\left(\frac{y-y^{\prime }}{\delta }\right)}^2}-1)\end{array}\end{array}$$

    

Iesniegt screenshot ar rezultātiem un pirmkodu!

Sagatave:

https://share.yellowrobot.xyz/quick/2025-3-11-732576A0-39F9-4E54-95B5-B3B96D7C9E2E.zip

6.3. Implementēt PyTorch versiju klasifikācijas uzdevumam

Uzdevumi:

1. Implementēt Cross-Entropy Loss (nedrīkst izmantot iebūvēto loss funkciju)

   $$\begin{array}{}\text{(2)}& L=-\sum _{i=1}^C{w}_{\text{class},i}{y}_i\log {\hat{y}}_i\end{array}$$

    

2. Implementēt Accuracy (precizitātes) metriku un grafiku

   $$\begin{array}{}\text{(3)}& \text{Accuracy}=\frac{1}{n}\sum _{i=1}^n\mathbb{1}(y_i={\hat{y}}_i)\end{array}$$

    

3. Implementēt Confusion matrix

   

   https://encord.com/glossary/confusion-matrix/

   https://dev.to/overrideveloper/understanding-the-confusion-matrix-264i

    

4. Implementēt F1-score metriku

   $$\begin{array}{}\text{(4)}& \begin{array}{c}\text{Precision}=\frac{\sum (y\hat{y})}{\sum \hat{y}}\\ \text{Recall}=\frac{\sum (y\hat{y})}{\sum y}\\ F_1=2\cdot \frac{\text{Precision}\cdot \text{Recall}}{\text{Precision}+\text{Recall}}\\ F_1=\frac{2TP}{2TP+FP+FN}\end{array}\end{array}$$

    

Iesniegt screenshot ar rezultātiem un pirmkodu!

Sagatave: https://share.yellowrobot.xyz/quick/2025-3-11-887C70B9-A83E-4476-9478-DAA4A03E72FF.zip

Class weights methods

6.4. Implementēt PyTorch binārās klasifikācijas uzdevumu

Uzdevumi:

1. Implementēt Binary-Cross-Entropy Loss (nedrīkst izmantot iebūvēto loss funkciju)

   $$\begin{array}{}\text{(5)}& {\mathcal{L}}_{\text{BCE}}=-w_{\text{class}}[y\log \left(\hat{y}\right)+(1-y)\log (1-\hat{y})]\end{array}$$

    

2. Implementēt BatchNormalization funkciju PyTorch, neizmantojot gatavu funkciju

Iesniegt screenshot ar rezultātiem un pirmkodu!

Sagatave:

https://share.yellowrobot.xyz/quick/2025-3-11-D20D5C91-C312-4F7C-A30D-36B6CC4CFF57.zip

🔴 ^ Izskaidrot, ka BatchNorm palīdz novērst dead neurons

6.5. Mājasdarbs - Implementēt numpy versiju klasifikācijas uzdevumam

Uzdevumi:

1. Implementēt SoftMax funkciju un tās atvasinājumu

   $$\begin{array}{}\text{(6)}& \begin{array}{c}SoftMax(x)=\frac{e^{x_i}}{\sum _{k=1}^K{e}^{x_k}}=\left[\begin{array}{ccccc}{a}_0& a_1& a_2& a_3& a_4\end{array}\right]\\ \frac{SoftMax(x)}{\partial x}=\left[\begin{array}{ccccc}{a}_0(1-a_0)& -a_0{a}_1& -a_0{a}_2& -a_0{a}_3& -a_0{a}_4\\ -a_1{a}_0& a_1(1-a_1)& -a_1{a}_2& -a_1{a}_3& -a_1{a}_4\\ -a_2{a}_0& -a_2{a}_1& a_2(1-a_2)& -a_2{a}_3& -a_2{a}_4\\ -a_3{a}_0& -a_3{a}_1& -a_3{a}_2& a_3(1-a_3)& -a_3{a}_4\\ -a_4{a}_0& -a_4{a}_1& -a_4{a}_2& a_4{a}_3& a_4(1-a_4)\end{array}\right]\end{array}\end{array}$$

    

2. Implementēt CCE loss funckiju un tās atvasinājumu

   $$\begin{array}{}\text{(7)}& \begin{array}{c}{\mathcal{L}}_{CCE}(y,y^{\prime })=\frac{1}{N}\sum -ylog(y^{\prime }+ϵ)\\ \frac{{\mathcal{L}}_{CCE}(y,y^{\prime })}{\partial y^{\prime }}=\frac{1}{N}\sum -y\cdot \frac{1}{y^{\prime }}=\frac{1}{N}\sum -\frac{y}{y^{\prime }}=\frac{1}{N}\sum -\frac{y}{y^{\prime }+ϵ}\end{array}\end{array}$$

    

Iesniegt screenshot ar rezultātiem un pirmkodu!

Sagatave:

https://share.yellowrobot.xyz/quick/2025-3-11-C9DF4709-2854-4749-8F89-A43546F1F562.zip

Modeļa apmācības “recepte”

1. Dati

   1. Sadalīt Apmācību, Testa un Validācijas datu kopas

   2. Atrast vajadzīgajam uzdevumam vienkāršāko datu kopu un apmācīt modeli uz tās, iegūstot augstāko rezultātu. Piemēram, ja ir jāatpazīst zari dēļu fotogrāfijās, vispirms apmācīt modeli ar COCO datu kopu. Vai tabulāriem datiem ar sklearn sintētiskajām datu kopām

   3. Datu ielādes pirmkodā ieviest Augmentācijas, Normalizācijas

2. Modelis

   1. Sākt ar jau iepriekš apmācītu modeli vai modeli, kuram ir zināma arhitektūra un rezultāti, nevis izstrādāt uzreiz savu

   2. Sakt ar pēc iespējas lielāku modeli, vairāk parameteriem

3. Kļūdas funkcija

   1. Izvēlēties pareizu kļūdas funkciju, piemēram, CCE neder, ja prognozējāmās klases nav OHE, kā A=100%, B=0%, C=0%, bet, ja ir A=50%, B=50%, C=0%, tad jāizmanto KL Divergence

   2. Sākt ar jau iepriekš zināmu kļūdas funkciju, piemēram, BCE, CCE, Huber

   3. Noteikti kļūdas funkcijai jāpievieno klašu svari apmācību ciklā, ja klases vai datu daļas nav sabalansētas

4. Apmācība

   1. Izvēlēties adekvātu novērtējuma rādītāju, kas nebūtu kļūdas funkcijā

1. Augmentācija / normalizācija / izmēru maiņa

2. Apmācības un testēšanas dati

3. Testēšana ar vienādu klašu skaitu

4. Modelis - konvolūcijas neironu tīkls (convnet)

5. Zuduma funkcija - binārā krosentropija (bce), kategoriskā krosentropija (cce), fokusa funkcija

6. Svarotā zuduma funkcija

7. Zuduma grafiks - bez pārapmācīšanās

8. Optimizators SGD (stohastiskā gradienta nolaišana)

9. Metrika - precizitāte (Acc), F1 vērtējums

10. Svaru saglabāšana, darbība bez gradientu uzkrāšanas

Binārajai klasifikācijai svari šajā pusē

Class weights

Accuracy formula

$acc=\frac{1}{N}\frac{\sum correct}{\sum all}$$acc = \frac{1}{N} \frac{\sum correct}{\sum all}$

Huber loss

${\mathcal{L}}_{huber}(y,y^{\prime })=\frac{1}{N}\sum {\delta }^2(\sqrt{1+(\frac{y-y^{\prime }}{\delta }{)}^2}-1)$$\mathcal{L}_{huber}(y, y') = \frac{1}{N} \sum \delta^2 (\sqrt{ 1 + (\frac{y - y'}{\delta})^2} - 1)$

CCE formula

${\mathcal{L}}_{CCE}(y,y^{\prime })=\frac{1}{N}\sum -ylog(y^{\prime }+ϵ)$$\mathcal{L}_{CCE}(y, y') = \frac{1}{N} \sum - \; y \; log(y' + \epsilon)$

${\mathcal{L}}_{CCE}(y,y^{\prime })=\frac{1}{N}\sum -w_{c}ylog(y^{\prime }+ϵ)$$\mathcal{L}_{CCE}(y, y') = \frac{1}{N} \sum - w_c \; y \; log(y' + \epsilon)$

F1 formula

$F1=\frac{1}{N}\sum \frac{2TP}{2TP+FP+FN}$$F1 = \frac{1}{N} \sum \frac{2TP}{2TP + FP + FN}$

BCE formula

${\mathcal{L}}_{BCE}(y,y^{\prime })=-\frac{1}{N}\sum w_{n}ylog(y^{\prime }+ϵ)+(1-y)log(1-y^{\prime }+ϵ)$$\mathcal{L}_{BCE}(y, y') = - \frac{1}{N} \sum w_n \; y \; log(y' + \epsilon) + (1 - y) \; log(1 - y' + \epsilon)$

BatchNormalization formula

Softmax formula derivative

$\begin{array}{c}SoftMax(x)=\frac{e^{x_i}}{\sum _{k=1}^K{e}^{x_k}}=\left[\begin{array}{ccccc}{a}_0& a_1& a_2& a_3& a_4\end{array}\right]\\ \frac{SoftMax(x)}{\partial x}=\left[\begin{array}{ccccc}{a}_0(1-a_0)& -a_0{a}_1& -a_0{a}_2& -a_0{a}_3& -a_0{a}_4\\ -a_1{a}_0& a_1(1-a_1)& -a_1{a}_2& -a_1{a}_3& -a_1{a}_4\\ -a_2{a}_0& -a_2{a}_1& a_2(1-a_2)& -a_2{a}_3& -a_2{a}_4\\ -a_3{a}_0& -a_3{a}_1& -a_3{a}_2& a_3(1-a_3)& -a_3{a}_4\\ -a_4{a}_0& -a_4{a}_1& -a_4{a}_2& a_4{a}_3& a_4(1-a_4)\end{array}\right]\end{array}$$SoftMax(x) = \frac{e^{x_i}}{\sum_{k=1}^K e^{x_k}} = \begin{bmatrix} a_0 & a_1 & a_2 & a_3 & a_4 \end{bmatrix} \\ \frac{SoftMax(x)}{\partial x} = \begin{bmatrix} a_0 (1 - a_0) & -a_0 a_1 & -a_0 a_2 & -a_0 a_3 & -a_0 a_4 \\ -a_1 a_0 & a_1 (1 - a_1) & -a_1 a_2 & -a_1 a_3 & -a_1 a_4 \\ -a_2 a_0 & -a_2 a_1 & a_2 (1 - a_2) & -a_2 a_3 & -a_2 a_4 \\ -a_3 a_0 & -a_3 a_1 & -a_3 a_2 & a_3 (1 - a_3) & -a_3 a_4 \\ -a_4 a_0 & -a_4 a_1 & -a_4 a_2 & a_4 a_3 & a_4 ( 1- a_4) \\ \end{bmatrix}$

CCE formula derivative

$\begin{array}{c}{\mathcal{L}}_{CCE}(y,y^{\prime })=\frac{1}{N}\sum -ylog(y^{\prime }+ϵ)\\ \frac{{\mathcal{L}}_{CCE}(y,y^{\prime })}{\partial y^{\prime }}=\frac{1}{N}\sum -y\cdot \frac{1}{y^{\prime }}=\frac{1}{N}\sum -\frac{y}{y^{\prime }}=\frac{1}{N}\sum -\frac{y}{y^{\prime }+ϵ}\end{array}$$\mathcal{L}_{CCE}(y, y') = \frac{1}{N} \sum - y \; log(y' + \epsilon)\\ \frac{\mathcal{L}_{CCE}(y, y')}{\partial y'} = \frac{1}{N} \sum -y \cdot \frac{1}{y'} = \frac{1}{N} \sum - \frac{y}{y'} = \frac{1}{N} \sum - \frac{y}{y' + \epsilon}$

Nice examples of optimization algorithms https://emiliendupont.github.io/2018/01/24/optimization-visualization/

http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html?m=1

Ranger (FastAI RAdam + Lookahead) Paratrooper optimizer pytorch https://github.com/unslothai/hyperlearn

https://github.com/lessw2020/Ranger21x