Waterson AI modeļi gan Anomāliju gan Bactosense modeļiem jābūt vienā ērtā black box funkcijā, kuru būtu ērti izmantot Sergejam (sergei@waterson.lv). Waterson AI modeļu darbības princips, saņemot darus no Waterson ķīmiski fizikālajiem sensoriem:
Input: Tiek padoti dati no 90min laikā atpakaļ no pašreizējā brīža ar 1min soļiem.
Tiek izlaisti cauri bāzes Waterson modelim (apmācīts ar visiem izmantojamiem Rīgas datiem WT1, WT2, WT3, WT4, WT5), kurš prognozē ievērojamus piesārņojuma līmeņus klasēm: Waste water, Surface water, Ground water un Discoloration, kā arī Normal stāvokli. Modelis darbojas kā ansamblis no apakš modeļiem ar dažādiem laika intervāliem.
Ja no 2. soļa Normal stāvoklis iegūts , tiek iedarbināts specializētais Barbant Anomaly model, kurš prognozē Anomaly un Normal stāvokļus mazām, bet nozīmīgām izmaiņām pie klienta
Ja no 2. soļa iegūts Anomaly stāvoklis, tad tiek izmantots Bāzes Bactosene modelis, kurš emulē Bactosense rādījumus anomālā stāvoklī, kur ir zemāks pārliecības līmenis (confidence threshold), nodrošinot, ka bactosense vērtības mainās ievērojami straujāk
Ja no 3. soļa iegūts Anomaly stāvoklis, tad tiek izmantots Barbant Bactosene modelis, kurš emulē Bactosense rādījumus anomālā stāvoklī Bāzes Bactosene modelis ar augstu pārliecības līmeni (confidence threshold), nodrošinot, ka bactosense vērtības ir stabilas, kur ir zemāks pārliecības līmenis (confidence threshold), nodrošinot, ka bactosense vērtības mainās ievērojami straujāk
Ja no 2. un 3. soļa iegūts Normal, tiek izmantots
Output: Lielo notikumu klasifikācija, Barbant anomāliju klasifikācija, delta vērtības Bactosense rādījumiem 90min intervālā
Gustava nodevumi un sagatavotās datu kopas https://drive.google.com/drive/folders/1vqlVzzu1CI4RvFYO_JcKf9sqJKKy4l7S
Pēdējā Gustava atskaite: https://www.notion.so/evalds/02-07-2025-Waterson-Bactosense-Deliverable-224835ce38b8801985fed7efe994bbbd?source=copy_link
Shared piekļūve Waterson -> Asya datu repo
https://drive.google.com/drive/folders/1n6LyZODMPBev5XXWSfL8YDZz8hasA4T4
Jaunie dati atrodas Barbant foderī https://drive.google.com/drive/folders/13NXB_ZMl9KzmcD4szvMJTh2ZtkpmTV3a
Mapē atrodas 3 datnes ar datiem lokācijai Nr.1 – sensoru dati, marķējumi un Bactosense dati. Bactosense dati ir ierobežoti – tiek nolasīti tikai TCC, LNAC, HNAC un HNAP.
Marķējumos ir pieejami papildus lauki, kuri iezīmē izmaiņas bactosense un sensoru rādījumos marķētajos intervālos. Šie lauki, kas attiecās uz šo projektu, ir: tcc_change, lnac_change, hnac_change, hnap_change, sensorpressure_change, sensortemperature_change, sensortoc_change, sensorturbidity_change, sensorph_change, sensororp_change, sensorconductivity_change.
Ja vērtības nav, tad šie dati uz noteikto intervālu neattiecās. Piemēram, tukšās vērtības būs intervāliem ar izslēdzamiem datiem (Exclude marķējums). Citādi vērtības ir interpretējamas šādi:
-2 – Significantly decreased;
-1 – Decreased;
0 – No changes;
1 – Increased;
2 – Significantly increased.
Šādas vērtības attiecās gan uz Bactosens laukiem: tcc_change, lnac_change, hnac_change, hnap_change; gan uz sensoru laukiem.
Iztīrīt un sgatavot atskaiti par datu kvalitāti - iepriekš ir vairrākārt gadījies, ka datos ir kļūdas un tie ir neizmantojami - vajag vizualizēt gan laikā, gan histogrammu veidā
Salāgot Bactosense ar SensorData laikā, lai sakrīt laika pozīcijas, saglabāt satīrītos CSV
Pievienot bāzes apmācības datiem, šeit visi nokikumi Barnant skaitās NORMAL! Nepieciešams, ka bāzes Anomaly detection modelis, kurš reaģē uz Wastewater utt - nereaģētu uz šiem mazajiem notikumiem.
Tad jāapmāca tikai uz klienta datiem viens papildus modelis - Barbant Anomaly model, kurš prognozēs vienu no šīm klasēm -2,-1,0,1,2; paralēli jāuztaisa arī modelis, kurš prognozētu tikai -2, (-1,0,1), 2 un modelis abs(-2,2), (-1,0,1). Nav skaidrs cik tā datu jūtība korekta. Atceries, ka fokuss ir tieši uz anomāliju sākumiem, pārējām!
Visbeidzot esošais Bactosense bāzes modelis jāapmāca, iekļaujot visus apgabalus jaunajos, kur jaunais Barbant Anomaly model => NORMAL un jāapmāca specializēts Bactosense emulācijas modelus Barbant Anomaly Bactosense, kurš prognozē pārēju brīžos uz anomalijām Bactosense sensora darbību