2024-04-24 Meeting 15

Plans:

1. Metrikas - 1-cos (alpaca, pirmos tasks), perplexity (alpaca), labākas vēl 3 metrikas (COPA, MULTIRC, BoolQ)

2. Modeļi

   1. LLama3

   2. Mistral

   3. (Optional) Zepyhr https://huggingface.co/HuggingFaceH4/zephyr-7b-beta

3. Add Hebo search

   1. reward: validation loss (hugghingFaceH4/no_robots)

   2. Quantizing dataset (GPTQ)

      1. C4

      2. Wiki2

   3. Quantize each model once

   4. Test 5 x save results - Metrikas

   5. Test 1x ar temperature = 0

4. Runot orģinālos modeļus

Hipotēzes:

1. Salīdzinājumi esošajos pētījumos nav uzticami, jo modeļos ir temperatūras metodes, kuras ietekmē rezultātu

2. Kvantizējot ar GPTQ, izmantojot dažādas datu kopas ir ievērojama ietekme uz rezultātu

3. Semantiskās līdzības rādītājs ievērojami atšķirīgs no citiem izplatītiem LLM rādītājiem (vairāk piemērots ģeneratīviem uzdevumiem)