2023-08-24 Meeting #5

 

Code review

  1. Izmantot Typescript ts-node image-20230824171222826

  2. Sagatavot, ka varēsim nodefinēt 100 proxy servers un pēc kārtas katram request tiks mainīt server (šobrīd testēt bez proxy, bet sagatavot kodu)

image-20230824170714342

  1. Testēt ar limitētu skaitu links

image-20230824170955427

 

  1. pēc katra scrape ierakstīt failā datus, panākt, ka tiek pārbaudīti VISITED LINKS, lai atkārtoti neatver jau apskatītus linkus - arī tos, kur nav vajadzīgā informācija

image-20230824171042568

 

  1. Pievienot visu informāciju no katra modeļa lapā image-20230824171125592

  1. Filtrēt linkus (pēc domain, valodām, visited)

image-20230824171437546

  1. Salabot selectors, tie pašam jāraksta nevis tik specific kodēt

image-20230824171543110

 

Testing task

  1. Izpildīt https://drive.google.com/drive/folders/16b2PtJdDCQ3ZZJ-ESq40DHlnt3bns5Qz?usp=sharing

  2. Dolkumentējot izmantot http://recordit.co un https://app.prntscr.com