2024-05-22 Meeting #26

 

 

TODO

  1. Aprakstīt Mag darbā un report kāpēc Discriminator ir MSE, vai visiem Discriminators jābūt MSE tiešām?

  1. MAE jau citur ir by default, jo tas piemērots trokšņainiem, neprecīziem datiem

image-20240522100730966

  1. Hidden size palielināts, uzlabo rezultātus, kas ir loģiski (arī valodas modeļos)

  1. Aprakstīt, ka aptuveni pie 100000 samples palaidās sakarīgi audio paraugi

  2. Mārci informēt par datu problēmām:

    1. Iztīrīto grāmatu nosūtīt mārcim

    2. Grāmatās atkārtojas teikumi (datu procesēšanas skripts nav nostrādājis pareizi, vajag salabot un pa jaunu noprocesēt un salinkot tekstu ar izrunāto 20sek fragmentos)

    3. Fragmentos nedrīkst noraut sākumā un beigās vārdu pusvārdā jāizmanto STT timesamps

    4. LUMI izmanto Latvijas Radio ierakstus, esot augstākā kvalitātē un atšķirībā no grāmatām izrunājot nēpārveido balsis

    5. CommonVoice arī satur ievērojamas problēmas! ar jautājumzīmēm aizstātas garumzīmes, ar regex jaīztīra, nosūtīt lūdzu mārcim satīrītos

  3. Mārcim jāuzstāda uz Vast STT only API ar kuru testēt CER negaidot rindā, iekļaut katrā 10 epoch vismaz 100 samples testēt, rģistēr rezultātus

  4. RVC labākais voice conversion, dokumentēt un aprakstīt apmācības parametrus.

    1. Saglabāt Source audio, Target audio, generated audio paraugus, lai var novērtēt reāli atšķirību

    2. Dabūt no Mārča kodu Speaker Embeddings noteikšanai pēc tā cosine distance var izmantot, lai novērtētu vai generated balss atbilst source balsij uz 100 paraugiem, būtu labi salīdzināt vairākus modeļus piem, to zero-shot sūdu FreeVC

Hipotēzes (iekļaut ievadāt un aptiprināt vai neapstiprināt)

  1. Lai novērtētu sintezētās balss kvalitāti nepietiek tikai ar NISQA, bet nepieciešams arī CER.

  1. Lai uzlabotu NISQA nepieciešams palielināt modeļa parametru skaitu līdzīgi kā citos modeļos, kur parametru skaits korelē ar kvalitāti.

  1. Runas uzlabošanas modeļu izmantojums datu priekšapstrādē uzlabo NISQA rādītājus.

  1. Veicot balss toņa pārveidi uz vienu runātāju iespējams sasniegt augstāku NISQA un zemāku CER.

  2. Single voice modelim atrisināt problēmu, ka nunique sentences nav pietiekami, dabūt, ka mārcis salabo audio grāmatas, sākt skrāpēt Radio (Evalds dabūs labelers, kas pielabos transkriptus)

 

image-20240522102952590