2025-04-07 Meeting 64

 

TODO

  1. Sākotnējo prompt nevajadzētu aiztikt

  1. Pašu mutācijas uzdevumu arī vajadzētu mainīt jēgpilni nevis random, izdomāt metodi kā mainīt

  2. Noskaidrot precīzi iemeslu kāpēc pasliktinājās rezultāts (pēc TODO nr2. nedrīkstētu būt ka rezultāts pasliktinās salīdzinot ar single-shot no mutation) CleanShot 2025-04-07 at 17.19.53@2x

  3. Mutāciju skaitu vajadzētu dinamisku nevis statiski hard-coded

CleanShot 2025-04-09 at 18.43.21

 

  1. Pamēģināt papildus structured COT elementus kā think_step_by_step, extract_key_variable pirms atbildes choice!

  2. Mutation metodēs arī obligati lietojam labāko sturctured COT metodi

  3. Mutācijas novērtēt ar LLM estimator nevis ground truth un tad salīdzīnāt vai ir līdzīgs efekts kā mutēt ar ground truth (Re-ranking, cits LLM)