2024-01-08 Toms Ricards ZPD

 

Github: https://github.com/daun84/hyper-parameter-comparison

GDrive doc: https://docs.google.com/document/d/1hd_9KJJKiWzq2F88XIga8H-9onLDPDfqqBhdcYDpY0E/edit

 

TODO:

  1. Tēmu nomainīt: Hiper parametru pārmeklēšanas stratēģiju salīdzināšana klasifikācijas uzdevumiem

  1. Tabular datsets - kurus ieteikt pamēģināt nevis toy datasets

    1. https://www.openml.org/search?type=data&sort=runs&id=189&status=active

    2. https://www.kaggle.com/datasets/uciml/mushroom-classification/home

    3. https://www.kaggle.com/datasets/pritech/concrete-compressive-strength

  2. Implementēt un aprakstīt tikai metodes, kuras jau ir pieejamas rayune

    1. Bayesian optimization, jau ir

    2. https://clear.ml/docs/latest/docs/references/sdk/hpo_optimization_gridsearch/

    3. https://docs.ray.io/en/latest/tune/api/doc/ray.tune.search.hebo.HEBOSearch.html

    4. Vēlāk, kad viss gatavs implementēt Placmet Burman

  3. Noteikti jāpieliek dataset standardization feature scaling

  4. Sākumā izmantot pieejamos sklearn models kā random decsision tree classifier - Nejaušo lēmumu pieņemšanas koks. Vēlāk, ja pietiks laiks impelmentēt vienkāršu pytorch based classifier

  5. Klasifikācijai kā end metric izmantot F1 score - aprakstīt un implementēt sklearn ir

  6. Pašai hyper param metodei jāizveido metrika - piemēram N runs count līdz Threshold F1 score (piem. cik eksperimentus jāveic, lai sasniegtu 90% F1)

  7. Rezultātus sagatavot ar tensorboard, http://clear.ml vai https://wandb.ai/

    1. Implementēt tensorboard hparams (pytorch ir pieejama tensorboardX lib https://pypi.org/project/tensorboardX/)

    2. https://www.tensorflow.org/tensorboard/hyperparameter_tuning_with_hparams

    3. no hparams varēs eksportēt CSV un sagatavot dažādas atskaites

     

 

 

Video lekcija kā izmantot Tensorboard (noskatieties, lai skaidrs kā taisīt to hyper param search un dokumentēt)

16.1. Video / Materiāli

Video

https://youtu.be/mfSEalxXpjs

Jamboard:

https://jamboard.google.com/d/1u6K98fRN7n7MSuoYtQ1qG5amx1Ebx-6xEI5BcmAIsmU/edit?usp=sharing

 

 

16.2 Implementēt FashionMNIST klasifikāciju ar TensorboardX

Izmantojot video instrukcijas implementēt tensorboardX metrikas klasifikācijas uzdevumam. Iesniegt screenshots ar rezultātiem un kodu.

Sagatave: http://share.yellowrobot.xyz/1630528570-intro-course-2021-q4/16_2_tensorboard_template.py.zip