2023-04-27 API fixes

  1. Visu kodēt jaunā branch, jo pašreizējais kods ir +/- stable

  2. Pievienot coordinator code, kas nodzēš dead workers

  3. Nomainīt metodi kā testēt apidev (kuru iedošu šodien), neder ka pēc host_name, jo citādi nevaram pateikt kurā serverī ir katrs worker, ja ir runaway procesi vai errori. ⚠️ vajag saglabāt gan host_name, gan db_name (un db_name padodam no ENV_VARIABLE)

    🔴 Lūdzu ņemam ENV_VARIABLE - tas būtu 10x ērtāk, jo citādi viegli aizmirst image-20230427083038217

  1. Salabot, ka pirmo reizi FileCache slēdzoties izveido known_hosts, tagad nākas vienreiz no konsoles ar ssh pieslēgties, lai šis strādātu image-20230427083353423

  1. Uztaisīt, ka voiceids pa 10 in parallel downloading - šobrīd šausmīgi lēni pa vienam pirmo reizi uzstādot image-20230427083514740

 

  1. Pilnībā novērst vajadzību pēc is_master un is_main_on_server jau vairākas reizes radīja nopietnas problēmas -

    1. is_master == is_main_on_server

    2. šo noteikt izmantojot process info piem ps aux | grep worker_, ja nav neviens cits worker, tad tu esi pirmais (API un coordinator , cron var pārsaukt kā service_..)

  2. Refactor visos worketos, ka ir tikai viens file cache image-20230427084012808

⚠️ ļoti uzmanies ar šo - NEDRIKST KOPET ALL - dažos diemžēl citādāk ir nosaukums feature! - ļoti uzmanīgi to vajadzētu sakārtot - dažos piem ir 2 mainīgi kur vienā ir un otrā nav feature, kas ir vēl sliktāk image-20230427084059600

 

  1. Uztaisīt mutiprocess Process, ControllerWorkerBackground, kurš caur multiprocess Queue (atceries, ka pēc .start viņi nesharo mainīgos, kas nav multiprocess tipa!) komunicē <->

    1. Ielādē un rezervē N nākamos tasks, lai main process var momentālīgi izmantot GPU

    2. Sagalabā rezultātus izpildītajiem tasks