2024-10-31 Meeting 55

 

  1. Kurā no SLR papers evaluation neizmanto to pašu valodas modeli ar kuru ģenerē saturu vai veic mutācijas?

  2. Kurā no SLR papers muation neizmanto to pašu valodas modeli ar kuru ģenerē saturu?

  3. Kādas atšķirības SLR papers ir generation daļā - kādu prompt izmanto un kādas decomposition metodes?

  4. Pierakstīt katram paper prompts, kuri tiek izmantoti katrā no šīm 3 stadijām image-20241031154626165

  1. Izvēlēties vienu Aritmetic, Commonsense un symbolic reasoning dataset. Sagatavot, lai var ielādēt ar python.

  2. Kā strādā MEWR, ja man vajag salīdzināt vēlamo atbildi ar ģenerēto atbildi, ja neeksistē reference?

  3. Pārbaudīt Python manuāli uzrakstītu atbildi ar dataset atbildi, izmantojot MEWR - apskatīties kuras vēl no jaunajām metrics ir pieejams python un uz dažiem manuāliem paraugiem labi strādā

  4. Uztaisīt pirmo iterāciju, kur caur API var sūtīt jautājumus uz OpenAI un iegūt atbildes, kuras novērtē ar metrikām

  5. Patestēt N-samplig efektu ar augstu temperatūru (tā varētu būt viena no mutācijas metodēm)

  6. Uztaisīt un patestēt prompt based evaluation