2024-04-24 Meeting 15

TODO:

1. Eksperimentālie darbi

• Implementēt esošas benchmark metrikas (Tās kuras balstītas uz dažādu aptauju dataset acc rezultātiem https://www.perplexity.ai/search/MMLU-benchmark-metric-TiUdqgXzQnGJhfd9swe4Hg)

• Atstāt cos similarity un BLEO (tikai salabot), atstāt salīdzinājumu arī ar hugghingFaceH4/no_robots, lai ir viens dataset ārpus domain

• Salīdzināt jau quantized models (ar orģinālajiem, lai mums ir reference)

• Implementēt sklearn gridsearchcv un HEBOSearch

• Salīdzināt GPU ietekmi uz quantizing

• Pēc stabilākās metrikas veikt HEBOSearch

2. Rakstu darbi

• Aprakstīt quantizing metodes un hyperparametru nozīmi

  • AWQ - Nevajag reference dataset

  • GPTQ - C4 dataset wiki (https://www.perplexity.ai/search/hyperparmaeters-of-GPTQ-WuAjd75oTBWqSUk3qezNUw)

  • BNB - Ref dataset?

• Aprakstīt novērtēšanas metodes (Metrikas)