2024-01-11 FanApps Plāns

Projekta apraksts

Projekta objekts:

• REST JSON API, kurš ģenerē automātiski aptaujas un ir modulis pie Quizzes dashboard

• Valodas: Latviešu, Angļu, Spāņu, Portugāļu

• Pilot-klients: FC Rīga

Github: https://github.com/asya-ai/fanapps-quizzes.git

No FanApps puses kontaktpersona par projektu: arturs@fanapps.io, +37128263904 linda@fanapps.io, +37125997012

Ground truth paraugi kādā līmenī nepieciešamas atbildes: http://share.yellowrobot.xyz/quick/2024-1-11-E7B7165D-FFA0-4A45-A8EE-EB7D282C860F.pdf

Figma Dizaini gala sistēmai FanApps pusē: https://www.figma.com/proto/rARhemzAXwxEk8nQNzRdmN/UseAward?page-id=611%3A19510&type=design&node-id=1361-20119&viewport=4970%2C-896%2C0.06&t=Lg5h2E0cKkcNB8qg-1&scaling=scale-down-width&starting-point-node-id=1361%3A20119&mode=design

Plāns

Plāns:

1. FastAPI Swagger based API

   1. Deadline: 19. janvāris

2. PDF Failu pievienošana, lai ģenerētu quizzes (testēšanai FC rīga lapas saglabāt kā PDF)

   1. Deadline: 19. janvāris

3. Pirmā versija, kas ģenerē quizzes

   1. Deadline: 26. janvāris

4. URL pievienošana HTML formātā

   1. Deadline: 2. februāris

5. Sagatavot sistēmu, lai spēj automātiski paņemt jaunākos kluba datus API, lai varētu pa jaunu uzģerēt aptaujas (sākotnēji FC Rīga), katram API būtu jāpielāgo datu sagatavošana. Jānoskaidro precīzi un jāvienojas kā dati nonāks

   1. Deadline:

      1. 2. februāris

API funkcijas

API funkcijas (autentifikācija ar API key)

1. add_client (api_key: str, name: str) -> client_uuid: str

2. delete_clients (api_key: str, client_uuids: str[])

3. list_clients(api_key: str) -> Client[]

4. add_sources_file (api_key: str, client_uuid, file:FileUpload, tags: str[]) -> fact_uuid ^ PDF formātā sākotnēji

5. add_sources_url (api_key: str, client_uuid, url: str, tags: str[]) -> fact_uuid

6. list_sources(api_key: str,client_uuid) -> Source[]

7. update_sources(api_key: str,client_uuid, sources: Source[])

8. delete_sources(api_key: str,client_uuid, sources_uuids: str[])

9. add_fact (api_key: str, client_uuid, text:str, tags: str[]) -> fact_uuid ^ Lai no ārējiem API var glabāt jaunāko informāciju

10. list_facts(api_key: str, client_uuid) -> Fact[]

11. update_facts(api_key: str, client_uuid, Fact[])

12. delete_facts(api_key: str, client_uuid, facts_uuids: str[])

13. generate_questions(api_key: str, client_uuid, language_code:str, tags: str[], callback_url:str) -> batch_uuid

14. list_questions(api_key: str, client_uuid, batch_uuid) -> Question[] ^ gatavi pēc 5min

15. update_questions(api_key: str, client_uuid, questions: Question[]) ^ Nepieciešams, lai mēs reģistrētu izmantototos jautājumus un novērstu to atkārtošanos

16. list_question_batches(api_key: str, client_uuid) -> Batch[]

17. list_questions(api_key: str, client_uuid, batch_uuid) -> Question[]

18. delete_questions(api_key: str, client_id, questions_uuids: str[])

Komentāri:

• Pēc faktu ielādes ir jāpagaida līdz tie tiek noprocesēti

• Pēc jautājumu pievienošanas jāgaida līdz tie tiek noprocesēti

• Jāmēģina mazināt jautājumu atkārtošanos, bet tas nav kritski, ja jautājumi sāk atkārtoties, tad jāpievieno vēl faili vai avoti.

• visām datu struktūrām jābūt dataclasse_json sadalītām Model View Controller

• Valodas nosakaa automātiski sources un facts

• Labāk biežāk tabulām likt klāt foreign key, lai varētu ātrāk piekļūt datiem

• Tags norāda klienti paši, ja neeksistē, tad tiek pievienots jauns tags

• No sākuma by default ir viena organizācija, kas ir FanApps, bet var pievienot vēl organizācijas, kuras var pievienot klientus. Klienti var būt gan organizācijas, gan arī atsevišķi.

• Enum nav nepieciešams taisīt iekš BD, pietiek ar python Enum,str

• Request/Response un temporary objektiem izmantot dataclass_json

• root folderī pievienot requirements.txt, kuru iegūt ar https://github.com/bndr/pipreqs

• vektoriem ir jāizmanto pgvector extension, kurš jau ir uzinstalēts uz DB, kā piemēru ņemt no eldigen

• visi embeddings tiek rēķnāti no English valodas, bet tiek saglabāti arī oriģinālā valodā, lai varētu izmantot arī oriģinālo tekstu

Database structure

DB izmantot PostgreSQL, piekļuve šeit:

xxxxxxxxxx
4
1
h: 54.91.118.112
2
d: fanapps
3
u: fanapps
4
p: Ru5dEWLfWz77sRPTCQdH

Uzstādīt uz servera, AWS-10

xxxxxxxxxx
3
1
h: 54.91.118.112
2
u: ubuntu
3
key: file

Dummy lapa: https://fanapps.asya.ai

screen -rd fanapps

Uz port 8847

Piemēri ar PostgreSQL: http://share.yellowrobot.xyz/quick/2024-1-11-16AFD7E2-E83C-4A8C-8D5A-9178D4E586DB.html

DB objektiem izmanto SQLAlchemy ORM (drīkst arī SQL rakstīt sarežģītākos gadījumos, bet lielā daļā gadījumu var uzreiz iztikt ar iebūvētjām funkcijām), šeit piemēri: http://share.yellowrobot.xyz/quick/2024-1-11-4480FBDF-544B-4B7E-AE0E-AB581FFEEEB6.html

⚠️⚠️⚠️ Ņemiet par paraugu kodu no Eldigen (šobrīd jau ir PDF scraper un vairākas noderīgas klases), centieties nekopēt lieku kodu, pielāgojiet maksimāli https://github.com/asya-ai/eldigen-web

Question generation execution flow

Piemērs kā jautājumi tiek ģenerēti:

Saistītie dokumenti

API datu ievākšanai: https://kinexon-sports.com/products/engage/

Micro bets spēles laikā: https://profluence.com/nvenue-receives-investment-from-nba/?utm_source=substack&utm_medium=email