2024-02-20 Meeting #8

 

TODO

  1. Iepushot GIT un dokumentēt kodu (lai pushotu git izmanto SourceTree vai GitKranken). Github private repository for the project. Atsūtīt linku uz repozitoriju. Dot, ziņu, lai var review uztaisīt

  2. Pārbaudīt vai modelim ir pareizi inputs / outputs (šobrīd 20, 20)

  3. Izmanto optimizer - RAdam vai kādu citu jaunāku

  4. Train kopā jāievieš weighted loss vai WeightedRandomSampler (izpēti)

  5. Lai nomērītu cik laika vajag epoch, reģistrē metriku epoch_time un izmanto import tqdm lai redzētu progress bar ar laiku uz epoch

  6. Pievienot metrikas: F1 un STD

  7. Rezultātu saglabāt: CSV, ClearML, TensorboardX

  8. Disagreement formula? STD?

  9. Aprakstīt ECE darbā, kā interprētēt -> accuracy

  10. Aprakstīt un implementēt citas nenoteiktības metrikas - Feature importance, Conformal prediction, Brier score

  11. Visas lietas daram test fāze - veikt eksperimentus, kas parādītu, ka metrika parāda nenoteiktību

    1. bojāt randomly pieaugt ECE

    2. kas notiek ar ECE palielinot

    3. pie viena modeļa ECE

    4. temperature scale - salīdzīnāt

  12. Veikt eksperimentuL Random sabojāt inputs un outputs validation fāzē - pārbaudīt un pierādīt, ka rezultāti korelē ar ECE prognezēto kalibrāciju modeļiem, kuri jūtīgi vai nejūtīgi pret nenoteiktību

  1. Eksperimentus vari palaist uz vea-157 GPU nodes, zemāk pieeja ssh connection: ssh malcovadmin@6.tcp.eu.ngrok.io -p13685 (Kitty uz Windows), Lai failus kopētu ar WinSCP (tad vari ērti failiem piekļūt, PyCharm arī ir iebūvēts upload us SFTP)

password: malcovadmin2020

Linux Commands Useful http://share.yellowrobot.xyz/quick/2023-10-17-1BFC2160-7BFC-462D-9DB0-06EEC8850CFA.html

Taskus palaid screenā screen -rd arturs, lai atvienotos no screen to nekillojot izmantot crl+a un tad d

Netaisi nekādā gadījumā ciet screenu ngrok

image-20240220210455689

Pieejami 2x GPUs

image-20240220210511884

Vari izmantot conda activate conda_env vai izveidot jaunu env

Debugot remotly vari ar import pdb; pdb.set_trace()

Notes

 

Uncertainty Quantification and Deep Ensembles (https://arxiv.org/pdf/2007.08792.pdf)

 

Uncertainty for linear regression (y_prim = [mu, sigma]) balanced by loss

image-20240220201640218

image-20240220190255143

Datu kopa aizdevums cik atdos aizdevumu