2025-02-13 Meeting 58

Report: https://www.notion.so/evalds/Meeting-13-02-8d876ee18cf54f088785503e8ae0243e

Plāns:

1. Līdz 3. martam 50% jāuzraksta

2. Līdz 31. martam 75% jāuzraksta

TODO

1. Izveidot github, share https://github.com/evaldsurtans

2. Rakstu darbs

   Sarakstīt SLR sadaļu maģistra darbā - saistītie petījumi. Piemērs labam Mag darbam RTU: https://share.yellowrobot.xyz/quick/2025-2-11-A0640A8F-7575-479B-A8B4-CC9018A38781.pdf

   tabulas ģenerēt tex failos ar ExcelToLatex, maybe GPT4o arī varētu mācēt pārveidot

Nosūtīju jaunāko RTU LaTeX template tev

https://www.overleaf.com/project/67ae374f1324e963f766613f

3. Eksperimentālais darbs

1. Noskaidrot: Kāds ir prompt ar kuru ģenerē atbildes?

notestēju uz gpt-4o-mini 4(5) datasetiem uz 100 piemēriem. zero-shot uzreiz atbilde.

2. Uzlabot atbildes izgūšanu upper/lower case, string matching regex. Panākt, ka konistenti var iegūt rezultātus pēc skaidrojumiem

3. Izprast precīzi, kas ietekmē, ka modelis atgriež skaidrojumus! Dokumentēt eksperimentus. Skaidrojumi ir labi visticamāk, panākt, ka tie parādās arī otrā dataset

4. Noskaidrot Temperature ietekmi uz N-sampling, iespējams bez N-sampling vajadzētu 0 temperature izmantot, lai ir atkārtojami rezultāti

The default temperature for GPT-4 in the OpenAI API. The temperature parameter can be set between 0 and 2

API: 1.0 ChatGPT Web Interface: 0.7

Testēt visas temperatūras šajā apgabalā: zero-shot N-sampling ar major vote => 0.3, 1, 1.5, 2

5. Pārbaudīt ar o3-mini un dažādiem reasoning effort settings

xxxxxxxxxx
10
1
import openai
2

3
response = openai.ChatCompletion.create(
4
    model="o3-mini",
5
    messages=[{"role": "user", "content": "Your prompt here"}],
6
    reasoning_effort="medium"  # Can be "low", "medium", or "high"
7
)
8

9
# Reasoning tokens are included in completion_tokens_details
10
usage = response.usage.completion_tokens_details

5. Uzlabot prompts, atdalīt daļas kur konteksts šādi

xxxxxxxxxx
1
```
2
Malesuada senectus fermentum felis iaculis penatibus nascetur non sollicitudin habitasse vitae pharetra fusce ex, lectus nostra placerat condimentum dictum dignissim sagittis cursus dolor faucibus nisi duis. Cubilia nostra in maximus montes pulvinar auctor suspendisse convallis imperdiet elementum molestie at, torquent primis erat velit efficitur a mattis nisl ridiculus quisque penatibus. Habitant diam varius aptent hendrerit a vulputate inceptos consectetur maximus accumsan donec, hac quis erat consequat felis per cursus habitasse vehicula.
3
```

Piemērs no maniem ikdienas prompts, kas labi strādā - pēc iespējas īsāks system prompt un strukturēts user prompt

6. Prompt breeder atkārtot eksperimentos

1. Mutēt prompt ar to pašu modeli jautājumu / promptbreeder

2. Mutēt prompt ar to citu modeli jautājumu / promptbreeder