2024-02-08 - Meeting #20

Report

https://krsaulitis.notion.site/Bakalaura-darbs-dcdaf7171b474428a8cc1e475486f134?pvs=4

Validation set: Selected 10k samples from Common Voice LV

Esošie LV ViTS svari (strādā ar 1 runātāju bez speaker embeddings):

  1. Coqui - Un 1000 citām valodām, https://github.com/coqui-ai/TTS

  2. Clarin - LU, https://repository.clarin.lv/repository/xmlui/?locale-attribute=lv

 

 

TODO Publication

 

  1. Pārveidot šo par plūstošu tekstu ar GPT4, Pie katra no modeļiem cite key pievienot, tekstā ar cite keys

image-20240208150945416

  1. Izveidot modeļu grafiku ar virsotnēm un grupām, kurām pieder modeļi

 

TODO LV TTS research

  1. Notion - Detalizēti sagatavot Notion tabulu ar WER, CER NISQA, izmantojot pre-trained Coqui un Clarin modeļus

  2. Pamēģināt iedarbināt Clarin modeli (ja nevar, netērēt laiku)

  3. Notion - Izvēlēties pāris kvalitatīvos paraugus, pievienot transkriptu un audio

  4. Noskaidrot kādus datus un cik stundas kopā var izmantot no asya datiem (mārcis)

  5. uz HPC Apmācīt multi-speaker ViTS uz mūsu datiem (ja nepieciešams viens speaker, tad lietot FreeVC voice conversion - Mārcim jau gatavs tam augmentation kods)

  6. Dokumentēt rezultātus Tensorboard, ClearML, Weights and Biases

 

Instrukcijas kā izmantot HPC

 

Materiāli:

  1. tensorboardX https://tensorboardx.readthedocs.io/en/latest/tutorial.html#what-is-tensorboard-x

  2. HPC qsub task manager http://bioinformatics.mdc-berlin.de/intro2UnixandSGE/sun_grid_engine_for_beginners/how_to_submit_a_job_using_qsub.html

  3. RTU HPC https://drive.google.com/open?id=1Jviz2KlTwgaBltHdOr5gOyzToqbJyckE

 

16.1. Video / Materiāli

Video

https://youtu.be/mfSEalxXpjs

Jamboard:

https://jamboard.google.com/d/1u6K98fRN7n7MSuoYtQ1qG5amx1Ebx-6xEI5BcmAIsmU/edit?usp=sharing

 

 

16.2 Implementēt FashionMNIST klasifikāciju ar TensorboardX

Izmantojot video instrukcijas implementēt tensorboardX metrikas klasifikācijas uzdevumam. Iesniegt screenshots ar rezultātiem un kodu.

Sagatave: http://share.yellowrobot.xyz/1630528570-intro-course-2021-q4/16_2_tensorboard_template.py.zip

 

16.3 Implementēt un palaist uz HPC apmācību

Implementēt un palaist uz HPC apmācību ar 16.2 skriptu un instrukcijām no video. Palaist apmācību uz V100 vai K40 ar 2 GPU. Iesniegt screenshots ar rezultātiem, log file no HPC un kodu.

SH template: http://share.yellowrobot.xyz/1630528570-intro-course-2021-q4/16_1_hpc_run.sh.zip

Pagaidu Pieeja HPC SSH:

host: ui-1.hpc.rtu.lv user: abstrac01 pass: aequuiPhiar7779