2025-Q1-AI 9. Auto-Encoders, AE, DAE

Saturs:

Neikļaujam šājā nodarbībā Variational AE, tas būs par daudz! Vairāk fokuss uz unsupervised learning, Decoder un vector math - distance metrics cosine, PCA whitening etc, dimension reduction!

Nepārraudzītās apmācības nozīme - Yann Le Cun Cake
Parastais AE, Kļūdas funkcija
Jēgas skaidrojums - anomāliju atpazīšana, nemarķēti dati, Generative features
Latentā vektora attālumu mērīšana
1. L1, L2 distances
2. Kosīnusa distance
3. Mahalanobis distance
4. PLDA
Work - Encoder
Transposed Convolutions, Dilations
Work - Decoder
Test loss daļā izmantot real y_ground
Denoising Auto Encoder
Modern AE - Homework
1. Svaru saglabāšana
2. Upsampling / Downsampling
3. Group Norm, Layer norm, instance norm skaidrojums

Pastāstīt intuitīvi kā strādā PCA (ēnas piemērs), GIF ar projekcijas plakni un varianci. Paskaidrot par iespējām samazinot dimensiju skaitu labāk izprast datus, piemēram aptaujas, automašīnu pārdošanas datus. Pieminēt arī citas metodes: LDA, Linear PCA, Kernel PCA, t-SNE, UMAP. Paskaidrot, ka pirmā dimensija ir visvairāk variācijas, otrā dimensija ir vismazāk variācijas, un tā tālāk. Demonstrēt prakstiski visu ar Altair AI studio.

Parādīt Tensorboard piemēri, kurus var palaist un pademonstrēt kā daudzdimensiju datu vizualizāciju PCA, t-SNE, UMAP: https://share.yellowrobot.xyz/quick/2024-12-4-D8204305-C4F0-4A30-BB83-4F7B5EAE525F.zip šiem var palaist:


xxxxxxxxxx
1
1
tensorboard --logdir=./


xxxxxxxxxx
1
1
tensorboard --logdir=/Volumes/Storage/research-triplet-loss

https://medium.com/@hi.divyanshusingh/lets-understand-pca-visually-with-cars-dataset-example-4937cfc808a6

https://ashutoshtripathi.com/2019/07/11/a-complete-guide-to-principal-component-analysis-pca-in-machine-learning/

⚠️ Source code (finished code examples)

http://share.yellowrobot.xyz/quick/2023-11-2-9BFED98D-BBC1-41A0-B9D2-6A7E48F8102A.zip

9.1. Video / Materials (8. aprīlis 18:00 Stefan Dayenko)

Zoom zvans: https://zoom.us/j/3167417956?pwd=Q2NoNWp2a3M2Y2hRSHBKZE1Wcml4Zz09

Whiteboard: https://www.figma.com/board/O6qn8ZrgcWioRmMAdGfUZD/2025-Q1-AI-9.-Auto-Encoders--AE--DAE?node-id=0-1&t=K3asl59Q3RxB4wQ0-1

Materials:

AE / DAE: https://towardsdatascience.com/auto-encoder-what-is-it-and-what-is-it-used-for-part-1-3e5c6f017726
Cosine / Euclidean / mahalanobis distances: https://cmry.github.io/notes/euclidean-v-cosine
PCA whitening: http://ufldl.stanford.edu/tutorial/unsupervised/PCAWhitening/

Previous video: https://www.youtube.com/live/-KArtyODIT4

^ Shared to stefan.dayneko@gmail.com 🔴 Es no sākuma ielaidīšu Zoomā un tad ierakstīsm caur Zoom, Klātienē: RTU, Riga, Zunda krastmala 10, 122!! Sargs ielaidīs klasē, uz vietas jāpalīdz studentiem visu sapast

9.2. Implemementēt iekodētāja daļu AE modelim

Implemementēt iekodētāja daļu AE modelim, izmantojot konvolūciju formulu - samazināt dimensijas līdz izmēram z.shape = (B, 32, 1, 1), pēc noplacināšanas z.shape = (B, 32)
Implementēt kļūdas funkciju pēc izvēles

Iesniegt pirmkodum, tzmantojot sagatavi: http://share.yellowrobot.xyz/1630528570-intro-course-2021-q4/session_9_2_ae_template.py.zip

9.3. Implementēt atkodētāja daļu AE modelim

Implementēt atkodētāja daļu AE modelim, izmantojot transposed convolution formulu. Atcerieties arī kādās robežās jābūt rezultāta vērtībai.Iesniegt pirmkodum, izmantojot sagatavi no iepriekšējā uzdevuma.

9.4. Implementēt DAE

Implementēt DAE. Datu kopas programmas daļā ar torch.random.random(shape) vai kādu citu funkciju pēc jūsu izvēles iegūt, ka katrs pikselis x ievad-datos 50% gadījumu tiek aizstāts ar 0 vērtību. 50% gadījumu no ievades paraugiem arī izmantot orģinālo attēlu bez kropļojumiem.

Iesniegt pirmkodum, tzmantojot sagatavi no iepriekšējā uzdevuma. Pievienot ekrānšāviņus ar rezultātiem.

9.5. Implementēt jaunu DAE versiju

Balstoties uz 9.4 kodu implementēt modernāku encoder, decoder versiju

EncoderBlock: torch.nn.Conv2d(in_channels=, out_channels=, kernel_size=3, stride=1, padding=1), torch.nn.GroupNorm(num_groups=, num_channels=), torch.nn.Mish(), torch.nn.Upsample(size=),

DecoderBlock:

torch.nn.ConvTranspose2d(in_channels=, out_channels=, kernel_size=3, stride=1, padding=1), torch.nn.GroupNorm(num_groups=, num_channels=), torch.nn.Mish(), torch.nn.Upsample(size=)

torch.nn.Upsample var arī ielikt ik pa 3 blokiem, lai palielinātu parametru skaitu

Pievienot testa kopai dotos piemērus un pārbaudīt vai tie atdalās kā anomālijas latentajā Z telpā (Iesniegt screenshots klāt pie pie pirmkoda),
Lai šo varētu izdarīt visvienkāršāk būtu test iterācijas beigās izsaukt model.forward ar iepriekš sagatavotiem manuāli izvēlētiem paraugiem, dataset_full.labels var pievienot “anomaly”, lai attēlotos vizuāli. Ja vēlaties iekļaut datu kopā, tad jāpārraksta dataset_full kods, izmantojot torch.utils.data.Subset priekš train un test (test kopā iekļautas anomālijas, bet tās nav iekļautas train kopā)
Implement MSA / L1 loss
Implement saving models when best loss value achieved
Pievienot testa kopai dotos piemērus un pārbaudīt vai tie atdalās kā anomālijas latentajā Z telpā (Iesniegt screenshots klāt pie pie pirmkoda)

Iesniegt pirmkodu un screenshots