2024-Q1-AI-M 16. Deep Metric Learning, Contrastive Loss, Triplet Loss
16.1. Video / Materiāli
Video: https://youtube.com/live/CdhpbPv95o8?feature=share
Jamboard: https://jamboard.google.com/d/1340k7-8ZZHI4bU-iHqF3lD2gdMIfBXG1nYaII9Nqiy0/edit?usp=sharing
Materiāli:
Aigai:
Stream key: 13fp-je0a-r9tc-t4mt-bev1
Pabeigts kods: https://share.yellowrobot.xyz/quick/2024-5-20-F4A8E18B-0435-41BC-8560-DB2CE7D23045.zip
Iepriekšējo gadu video
Youtube Video - Pilna lekcija
Video: https://youtube.com/live/Ton0oSoZ-Ic?feature=share
Jamboard: https://jamboard.google.com/d/1NP03SDhkWyy9iad5xZqorjUJb72AQd8365xcUPIDMGw/edit?usp=sharing
Youtube Video - Contrastive loss
Jamboard: https://jamboard.google.com/d/1ofo6GOikHjjmiKtoeM9p8uKbA24LxXjZ-YmyjxC4m8I/edit?usp=sharing
Preparation materials: https://towardsdatascience.com/contrastive-loss-explaned-159f2d4a87ec https://gombru.github.io/2019/04/03/ranking_loss/
Video - Sample mining https://youtu.be/W1OZcpXe9no
Jamboard: https://jamboard.google.com/d/1b5R7M5ur3DU_xE1wtoUKZ5KDBaoM0Za0JeodcBvkfq0/edit?usp=sharing
Video - Triplet loss https://www.youtube.com/watch?v=9j3joMBUKQk
Jamboard: https://jamboard.google.com/d/18s8O4uVAZJfKNYSe90Gkx5zzHsuwjTblYzAxRPIdS0w/edit?usp=sharing
Include triplets which violate these constraints to converge faster
Hard constraint: D_p + alpha < D_n Semi hard constraint: D_p < D_n
16.2. Implementēt Kontrastējošo kļūdu un kategorizāciju, izmantojot masas centrus
Implementēt Kontrastējošo kļūdu un kategorizāciju, izmantojot masas centrus, iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.
Sagatave: http://share.yellowrobot.xyz/quick/2023-5-15-CEEA3B34-D297-42D8-9692-565E83986C85.zip
16.3. Implementēt “grūto paraugu meklēšanu” ar Kontrastējošo kļūdu
Implementēt “grūto paraugu meklēšanu” ar Kontrastējošo kļūdu, iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.
Sagatave: http://share.yellowrobot.xyz/quick/2023-5-12-0ABFEF2E-85DF-4801-9A18-FC6377D1744F.zip
16.4. Implementēt Tripleta kļūdu un kategorizāciju, izmantojot masas centrus
Implementēt Tripleta kļūdu (http://share.yellowrobot.xyz/upic/70cbeef888eee0ff956b6665ba641e1a_1683919754.png)
Iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.
Sagatave: http://share.yellowrobot.xyz/quick/2023-5-15-CC4F8BA5-5D73-46F8-ABBE-F09F818AF29F.zip
16.5. Mājasdarbs - DML Kompozīta kļūda
Pievienot Z iegūltņu projekciju uz logits un CCE kļūdu un izmantot abas kļūdas funkcijas reizē, lai uzlabotu apmācību. Struktūra: http://share.yellowrobot.xyz/upic/c789957857a6d6d13242869f34b92525_1683920247.jpg
Kā iekodētāju izmantot priekšapmācītu modeli no torchvision (piemēram ViT vai DenseNet)
Nomainīt attālumu metriku no L2 Eiklīda attāluma uz kosīnusa attālumu pēc formulas: http://share.yellowrobot.xyz/upic/9fbfffeaefbe9e92e3dcfd76ba7614e4_1683920348.jpg
Apmācīt uz Google Colab, izmantojot GPU un cuda
Izveidot iegultņu vizuālizāciju, izmantojot sklearn.manifold.TSNE(n_components=2)
Iesniegt ekrānšāviņus ar labākajiem rezultātiem un programmas pirmkodu.
Sagatave: http://share.yellowrobot.xyz/quick/2023-5-12-BB200E15-E7F6-4019-AD79-0A49277E631F.zip
xxxxxxxxxx91# triplet loss (hinge loss paveids)2# relu(D_p - D_n + alpha)3# relu(2 - 1 + 0.2) = 1.1 (samazinas negative)4# relu(0.2 - 0.2 + 0.2) => abi atgruzas reize5# relu(0.1 - 0.2 + 0.2) => vairak atgruzas ka savelkas6# relu(0.2 - 0.4 + 0.2) => equilibrium7# relu(0.2 - 0.8 + 0.2) => negatives talak8# relu(0.1 - 0.4 + 0.2) => positives collapsed9# idea, kaa butu relu vietaa abs, lai nonaktu vienmer equilibrium
Cosine similarity range: −1 meaning exactly opposite, 1 meaning exactly the same, 0 indicating orthogonality.
cosine distance
pretrained densenet
cosine distances
1-shot, k-shot why to use cas
