2023-09-26 CommunicationLab Task #1

Mērķu kopsavilkums:

Izveidot prezentācijas un komunikācijas prasmju uzlabošanas rīku, kas ietvertu:

1. Mobilo lietotni, pašmācības nodrošināšanai starp apmācību nodarbībām

2. Mobilo lietotni, kas spēj sniegt objektīvu atskaiti pēc runas vai sarunas

3. Runas analīze un rezultātu apkopošana paradzēta angļu valodā

Pielietojuma scenārija kopsavilkums:

1. Studenti ievadīs BalssID lietotnē, kas pielāgos lietotnes spēju atpazīt emocijas balsī atkarībā no personības tipa. Plānots, ka studenti būs no eksaktajiem novirzieniem ar maz

2. Tiks ievākti pamata atskaites dati, balstoties uz objektīvām metrikām

   1. Studenti sagatavosies 4h un veiks prezentācijas 10 min garumā par iedalītu jaunu biznesa ideju

   2. Studenti veiks darba interviju, kur sadaloties, pa pāriem katram tiks iedalīta loma un apspriežamais amats

3. Tiks sagatavotas atskaites par studentu sniegumu lietotnē. Tiks arī aprēķināts prezentācijas un darba intercijas kvalitātes līmenis no 1-10

4. Balstoties uz atskaitēm tiks nodrošinātas apmācības studentu grupām un pēc 5 dienām notiks atkārtots tests ar jaunu biznesa idejas prezentāciju un jaunu darba interviju

5. Tāpat studentiem būs nepieciešams pašiem praktizēties vismaz 2 reizes dienā, izmantojot lietotni

6. Hipotēze ir, ka pēc apmācību programmas, atkārtotie rezultāti norādīs uz labākām prezentācijas un sarunu komunikācijas prasmēm

Rādītāji, kurus automātiski noteiks lietotne:

1. Liekvārdība (skaits / minutē)

2. Vārdu krājums (skaits / minutē)

3. Temps (zilbes / minūtē)

4. Runāšanas un klausīšanās attiecība (%)

5. Pauzes (vidēji sec.)

6. Pārtraukšana (skaits / minutē)

7. Jautājumu skaits (skaits / minutē)

8. Izrunas skaidrība (%)

9. Runas tonis - Prieks, Dusmas, Bēdas (%)

10. Empātija (emociju spoguļošana) - (%)

11. Tēmas - Atvērtie jautājumi, Aizvērtie jautājumi, kritika (%)

12. Sarunas interaktivitāte (runātāju maiņa / minutē)

TODO

1. Implementēt jauna'github repo: https://github.com/asya-ai/communication_lab_app

2. Eksistē jau vecais app no kura vari paņemt paraugus kodam http://share.yellowrobot.xyz/quick/2023-9-27-5C4E39C4-4903-40CC-AB97-F6438B59692B.zip

3. Nepieciešams paņemt ComponentAudioWaveform (vajag pārtaisīt par hooks), HttpController ir kods, kas sūta audio chunks, ScreenRecord (Audio recording, import AudioRecord from 'react-native-audio-record';)

4. ScreenVoiceID - pirmajā reizē, kad nav VoiceID ierakstīts aizvest uz VoiceID ierakstīšanu

   1. mplementēt, ka var ierakstīt VoiceID, kas tiek sagalabāts kā WAV faili, jāievada vairāki pēc kārtas

      1. Jālasa teksts, lai ierakstītu VoiceID (lūdzu max taisi komponentes un re-use!)

      2. Izmantojot https://api.asya.ai un api key a13e02b1-7c86-43dc-a958-c51bd7f7da31 implementēt, ka šie audio faili tiek nosūtīti uz API ari HTTP POST /add_known_user_voiceid Vēlams izmantot axios kā vecajā app piemērā Nosūtīt user_id = 0, tas nozīmē, ka tiks piešķirts automātiski user_id, kuru saņemsi JSON atbildē - šobrīd nav sakodēts, tāpēc sūti user_id =1, bet vēlāk pieliksim, ka var automātiski dabūt dažādus user_ids bez īpaša backend

5. Implementēt ScreenRecording, Recording laikā šo arī jārāda neliels smmary un dinamiski jāupdeito ik pa 10sek, nosūtot request uz API. Nepieciešams ne tikai sūtīt ik pa 10sek, bet arī jāglabā pilnais audio, kuru pēc Speech vajag augšupielādēt re-processēt.

   1. audio faili tiek nosūtīti uz API ari HTTP POST /task_submit (nepieciešams aizpildīt pēc iespējas vairāk parametrus, sākotnēji lūdzu sūti tikai features: audio_diarization, audio_emotions, audio_tempo, audio_text; obligāti sūtīt arī language_codes: ['en'] un known_user_ids: [1])

   2. Iegūto JSON un WAV tu vari ielikt šajā toolī un palaist kā visual debugging (šo rīku nevajag iekodēt, app, bet tas tev palīdzēs saprast vai pareizi izmantots) http://share.yellowrobot.xyz/quick/2023-9-27-1F4EEE0A-ECFB-47DD-930B-46EDF4F25A05.zip

      

   3. 

    

6. Atverot katru recording var iegūt šādu report. Visus iegūtos datus saglabāt uz device storage.

7. Implementēt ScreenRecordings, ir main screen (augšā var atvērt React Navigation Drawer). Visus iegūtos datus saglabāt uz device storage.

8. ScreenDrawer (learning materials vēlāk pieliksim), Exit nevajag