2024-01-30 Meeting 14

 

TODO:

  1. Izpētīt un atrast galvenās Quantizing metodes SLR tabulā.

    1. Vai visas metodes ir tikai programmatiskas vai ir arī matemātiski modeļi / AI risinājumi, kas to dara?

    2. Kādus datasets citi izmanto priekš quantizing? Cik paraugu, kādas valodas utt?

    3. Vai dataset jābūt chat stilā? Kas notiek ja nav chat stilā? Kā tiek parasti formatēts

    4. Kādas metrikas izmanto, lai novētētu cik ātri un/vai precīzi strādā quantized modelis?

  2. Izveidot Github repo Mistral Chat modeli, kurš strādā caur FastAPI WebSocket ar Mistral7B uz vast.ai https://github.com/asya-ai/asya-gpt

    Piemērs kā mārcis jau uztaisīja ļoti līdzīgu translate api ar Websockets, kuru izmantojam eldigen https://github.com/asya-ai/api_gramatins

  3. Nomērīt precizitāti ar metriku

  4. Veikt pašiem savu quantizing

    1. Izvēlētties dataseti

    2. Izvēlēties quantizing metodes

    3. Varam veikt quantizing uz HPC (Mārcis var palaist vai parādīt kā izdarīt)

    4. Pētījumu idejas

      1. Kā ietekmē performance quantizing dataset - vai piem LV korpuss palīdzēt tieši LV strādāt labāk

  5. Izveidot Hugging face asya.ai un nopublicēt mūsu quantized modeļus, lai dabūt traffic uz eldigen un asya