2023-Q1-AI 17. DML, Contrastive Loss, Triplet Loss

17.1. Video / Materiāli

Video: 15 May 2023, 19:00 https://youtube.com/live/Ton0oSoZ-Ic?feature=share

Jamboard: https://jamboard.google.com/d/1NP03SDhkWyy9iad5xZqorjUJb72AQd8365xcUPIDMGw/edit?usp=sharing

Materiāli:

1. https://towardsdatascience.com/contrastive-loss-explaned-159f2d4a87ec

2. https://gombru.github.io/2019/04/03/ranking_loss/

3. https://arxiv.org/pdf/1503.03832.pdf

4. https://github.com/taki0112/Vector_Similarity

Stream key: ea11-mrgb-4jg2-4ajc-d4hr

Iepriekšējo gadu video

Youtube Video - Contrastive loss

https://youtu.be/RCoeAYpt8ZY

Jamboard: https://jamboard.google.com/d/1ofo6GOikHjjmiKtoeM9p8uKbA24LxXjZ-YmyjxC4m8I/edit?usp=sharing

Preparation materials: https://towardsdatascience.com/contrastive-loss-explaned-159f2d4a87ec https://gombru.github.io/2019/04/03/ranking_loss/

Video - Sample mining https://youtu.be/W1OZcpXe9no

Jamboard: https://jamboard.google.com/d/1b5R7M5ur3DU_xE1wtoUKZ5KDBaoM0Za0JeodcBvkfq0/edit?usp=sharing

Template: http://share.yellowrobot.xyz/1636095494-dml-course-2021-q4/2_1_contrastive_loss_hard_mining_template.py.zip

Video - Triplet loss https://www.youtube.com/watch?v=9j3joMBUKQk

Jamboard: https://jamboard.google.com/d/18s8O4uVAZJfKNYSe90Gkx5zzHsuwjTblYzAxRPIdS0w/edit?usp=sharing

Include triplets which violate these constraints to converge faster

Hard constraint: D_p + alpha < D_n Semi hard constraint: D_p < D_n

17.2. Implementēt Kontrastējošo kļūdu un kategorizāciju, izmantojot masas centrus

Implementēt Kontrastējošo kļūdu un kategorizāciju, izmantojot masas centrus, iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.

Sagatave: http://share.yellowrobot.xyz/quick/2023-5-15-CEEA3B34-D297-42D8-9692-565E83986C85.zip

17.3. Implementēt “grūto paraugu meklēšanu” ar Kontrastējošo kļūdu

Implementēt “grūto paraugu meklēšanu” ar Kontrastējošo kļūdu, iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.

Sagatave: http://share.yellowrobot.xyz/quick/2023-5-12-0ABFEF2E-85DF-4801-9A18-FC6377D1744F.zip

17.4. Implementēt Tripleta kļūdu un kategorizāciju, izmantojot masas centrus

Implementēt Tripleta kļūdu (http://share.yellowrobot.xyz/upic/70cbeef888eee0ff956b6665ba641e1a_1683919754.png)

Iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.

Sagatave: http://share.yellowrobot.xyz/quick/2023-5-15-CC4F8BA5-5D73-46F8-ABBE-F09F818AF29F.zip

17.5. Mājasdarbs - DML Kompozīta kļūda

1. Pievienot Z iegūltņu projekciju uz logits un CCE kļūdu un izmantot abas kļūdas funkcijas reizē, lai uzlabotu apmācību. Struktūra: http://share.yellowrobot.xyz/upic/c789957857a6d6d13242869f34b92525_1683920247.jpg

2. Kā iekodētāju izmantot priekšapmācītu modeli no torchvision (piemēram ViT vai DenseNet)

3. Nomainīt attālumu metriku no L2 Eiklīda attāluma uz kosīnusa attālumu pēc formulas: http://share.yellowrobot.xyz/upic/9fbfffeaefbe9e92e3dcfd76ba7614e4_1683920348.jpg

4. Apmācīt uz Google Colab, izmantojot GPU un cuda

5. Izveidot iegultņu vizuālizāciju, izmantojot sklearn.manifold.TSNE(n_components=2)

6. Iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.

Sagatave: http://share.yellowrobot.xyz/quick/2023-5-12-BB200E15-E7F6-4019-AD79-0A49277E631F.zip

xxxxxxxxxx
9
1
# triplet loss (hinge loss paveids)
2
# relu(D_p - D_n + alpha)
3
# relu(2 - 1 + 0.2) = 1.1 (samazinas negative)
4
# relu(0.2 - 0.2 + 0.2) => abi atgruzas reize
5
# relu(0.1 - 0.2 + 0.2) => vairak atgruzas ka savelkas
6
# relu(0.2 - 0.4 + 0.2) => equilibrium
7
# relu(0.2 - 0.8 + 0.2) => negatives talak
8
# relu(0.1 - 0.4 + 0.2) => positives collapsed
9
# idea, kaa butu relu vietaa abs, lai nonaktu vienmer equilibrium

Cosine similarity range: −1 meaning exactly opposite, 1 meaning exactly the same, 0 indicating orthogonality.

cosine distance

2. pretrained densenet

3. cosine distances

1-shot, k-shot why to use cas