2023-08-08 Manual Asya-Delloite Chatbot

 

Rezultāti

https://www.notion.so/evalds/Deloitte-chatbot-and-other-07-08-2023-82ebd9bae9fb47c88f74ea58537ec07b?pvs=4

Metriku validācijas rezultāti

image-20230808150905112

 

image-20230808151003769

Sākotnējie modeļa rezultāti

image-20230808150258573

 

Problēmas

 

TODO

Betija

  1. Notestēt q->a rating metriku uz Delloite validācijas kopas

  2. Atrast 5 publikācijas par teikumu līdzības noteikšanu pēc semantiskās jēgas vai teikuma struktūras - noskaidrot vai ir jēga uzrakstīt par šo publikāciju (atgādinājums arī par STT publikāciju)

  3. Paplašināt score ar visām metrikām, dokumentēt formulu un visas metriku daļas, dokumentēt baseline rezultātu uz 2023-08-08 datu kopas un modeli

  4. Iegūt tags no datu kopas (izveidot histogrammu ar predicted tags / topics / categories, izmantojot vismaz 5 dažādus prompts)

  5. Noņemt fact chunked code - tam jābūt tikai aleksandra pusē

  6. Flask deployment (evalds iedos vidi)

  7. Balstoties uz score noskaidrot:

    1. Pārbaudīt vai meklējot pēc cosine similarity pret answer, ne tikai questions var uzlabot rezultātus?

    2. Kā ietekmē rezultātu cosine thresholds, salīdzināt ar eiklīda attālumiem, kā ietekmē rezultātu multi answer mining ar temperature (varbūt ar 0 temperature labāk)?

    3. Vai paprasot pārfrāzēt vai paplašināt ienākošā jautājumu un tad veicot N reizes mining ar dažādiem jautājumiem var uzlabot rezultātu?

    4. Pievienot filtrēšanu pēc tags, palīdzēt aleksandram izveidot prompts

 

 

Aleksandrs

  1. Sagatavot datu kopu ar embedding mining (izmantot visus 3 embedding modeļus, kurus iedos betija)

    1. Histogram ar katriem 2 teikumiem savā starpā, lai noteiktu kādu threshold izvēlēties

    2. Sadalīt tekstu pēc embedding līdzības (izmantot visus 3 modeļus reizē)

  2. Sagatavot tags based datu kopu (konsultēties ar Betiju)

  3. Sagatavot datu kopu ar https://huggingface.co/spaces/pritish/BookGPT/blob/main/app.py

  4. Balstoties uz rezultātiem izdomāt nākamos variantus datu kopām