2025-03-03 Waterson Datu kopu tīrīšanas atskaite

2025-03-03 Waterson Datu kopu tīrīšanas atskaiteIzgriezto fragmentu tabulas:Datukopu sākuma un beigu apcirpšana:Manuāli izgrieztie fragmenti:Nefiltrētu un manuāli filtrētu datu laika līniju salīdzinājums:WT1WT_DB2WT_DB3WT_DB4Papildus filtrēšana, strādājot ar deltām:Potenciālas anomālijas NORMAL marķējumos:Posmi, kur anomālijas izmaiņas ir ļoti tuvu visbiežākajām NORMAL izmaiņām (tuvu ap 0):Vietas anomālijās, kur anomālijās visi sensori, izņemot Turbidity, atrodas ap NORMAL biežāko vērtību (tuvu 0).

 

Izgriezto fragmentu tabulas:

Datukopu sākuma un beigu apcirpšana:

DatukopaFragmenta sākumsFragmenta beigas
WT_DB112.08.202101.09.2021
WT_DB101.02.202210:00 15.02.2022
WT_DB223.11.202309:00 20.12.2023
WT_DB322.06.202406:00 08.07.2024
WT_DB427.09.202420:00 30.09.2024

Manuāli izgrieztie fragmenti:

DatukopaFragmenta sākumsFragmenta beigas
WT_DB119:00 12.09.202119:00 12.09.2021
WT_DB100:00 15.10.202100:00 16.10.2021
WT_DB112:00 17.10.202100:00 18.10.2021
WT_DB100:00 22.10.202100:00 23.10.2021
WT_DB106:00 29.10.202100:00 30.10.2021
WT_DB100:00 01.12.202100:00 04.12.2021
WT_DB112:00 25.12.202100:00 25.12.2021
WT_DB100:00 27.12.202100:00 09.01.2022
WT_DB108:00 18.01.202211:00 18.01.2022
WT_DB100:00 05.11.202100:00 06.11.2021
WT_DB106:00 26.11.202100:00 27.11.2021
WT_DB112:00 13.01.202200:00 15.01.2022
WT_DB200:00 19.07.202320:00 19.07.2023
WT_DB218:00 25.09.202300:00 27.09.2023
WT_DB200:00 11.10.202300:00 27.10.2023
WT_DB200:00 12.06.202300:00 20.06.2023
WT_DB400:00 12.09.202400:00 14.09.2024
WT_DB400:00 12.08.202409:00 14.08.2024

Nefiltrētu un manuāli filtrētu datu laika līniju salīdzinājums:

WT1

WT_DB1 pirms apcirpšanas un manuālas filtrēšanas

WT_DB1 pirms apcirpšanas un manuālas filtrēšanas

WT_DB1 pēc apcirpšanas un manuālas filtrēšanas

WT_DB1 pēc apcirpšanas un manuālas filtrēšanas

WT_DB2

WT_DB2 pirms apcirpšanas un manuālas filtrēšanas

WT_DB2 pirms apcirpšanas un manuālas filtrēšanas

WT_DB2 pēc apcirpšanas un manuālas filtrēšanas

WT_DB2 pēc apcirpšanas un manuālas filtrēšanas

WT_DB3

WT_DB3 pirms apcirpšanas un manuālas filtrēšanas

WT_DB3 pirms apcirpšanas un manuālas filtrēšanas

WT_DB3 pēc apcirpšanas un manuālas filtrēšanas

WT_DB3 pēc apcirpšanas un manuālas filtrēšanas

WT_DB4

WT_DB4 pirms apcirpšanas un manuālas filtrēšanas

WT_DB4 pirms apcirpšanas un manuālas filtrēšanas

WT_DB4 pēc apcirpšanas un manuālas filtrēšanas

WT_DB4 pēc apcirpšanas un manuālas filtrēšanas

Papildus filtrēšana, strādājot ar deltām:

Šie filtri nav perfekti, bet tos noteikti var uzlabot. Var redzēt, ka brīžiem tie palaiž garām posmus, kuros ir meklētās situācijas. Papildus, ir daži piemēri, kur tas netrāpa meklētajam, bet lielākajā daļā atrasto piemēru vēlamais efekts ir panākts.

Potenciālas anomālijas NORMAL marķējumos:

Redzami pāris piemēri, bet visi atrodami te:

outliers_in_normal - Google Drive

Pirmā kolonna deltas, otrā kolonna absolūtās vērtības, trešā kolonna deltas pēc automātiskās izgriešanas. Katra fragmenta platums ir 24H, izgriezt as tiek ~ 15 minūtes ap atrasto notikumu.

SensorData WT_DB1_2021-09-03-23H_to_2021-09-04-23H.png

SensorData WT_DB1_2021-09-07-20H_to_2021-09-08-20H.png

SensorData WT_DB1_2021-12-26-06H_to_2021-12-27-06H.png

SensorData WT_DB2_2023-11-05-20H_to_2023-11-06-20H.png

SensorData WT_DB2_2023-06-08-03H_to_2023-06-09-03H.png

SensorData WT_DB2_2023-08-09-03H_to_2023-08-10-03H.png

SensorData WT_DB3_2024-06-04-22H_to_2024-06-05-22H.png

SensorData WT_DB3_2024-05-09-21H_to_2024-05-10-21H.png

SensorData WT_DB3_2024-05-19-21H_to_2024-05-20-21H.png

SensorData WT_DB4_2024-08-31-23H_to_2024-09-01-23H.png

SensorData WT_DB4_2024-08-07-20H_to_2024-08-08-20H.png

SensorData WT_DB4_2024-08-19-18H_to_2024-08-20-18H.png

Posmi, kur anomālijas izmaiņas ir ļoti tuvu visbiežākajām NORMAL izmaiņām (tuvu ap 0):

Redzami pāris piemēri, bet visi atrodami te:

lazy_anomaly - Google Drive

SensorData WT_DB1_2022-01-10-00H_to_2022-01-10-12H.png

SensorData WT_DB1_2022-01-24-00H_to_2022-01-24-12H.png

SensorData WT_DB2_2023-08-08-03H_to_2023-08-08-15H.png

SensorData WT_DB2_2023-09-22-06H_to_2023-09-22-18H.png

SensorData WT_DB2_2023-09-05-05H_to_2023-09-05-17H.png

SensorData WT_DB4_2024-08-09-03H_to_2024-08-09-15H.png

SensorData WT_DB4_2024-09-26-00H_to_2024-09-26-12H.png

Vietas anomālijās, kur anomālijās visi sensori, izņemot Turbidity, atrodas ap NORMAL biežāko vērtību (tuvu 0).

Redzami pāris piemēri, bet visi atrodami te:

turbidity_outlier - Google Drive

SensorData WT_DB1_2022-01-11-00H_to_2022-01-11-12H.png

SensorData WT_DB1_2022-01-24-00H_to_2022-01-24-12H.png

SensorData WT_DB2_2023-07-24-06H_to_2023-07-24-18H.png

SensorData WT_DB2_2023-09-22-06H_to_2023-09-22-18H.png

SensorData WT_DB2_2023-11-15-06H_to_2023-11-15-18H.png

SensorData WT_DB3_2024-06-15-05H_to_2024-06-15-17H.png

SensorData WT_DB4_2024-08-09-03H_to_2024-08-09-15H.png

SensorData WT_DB4_2024-09-05-05H_to_2024-09-05-17H.png

SensorData WT_DB4_2024-09-26-00H_to_2024-09-26-12H.png