Problème d'agrégation pc_captv_p

Sujets relatifs aux données accessibles en temps réel sur la plateforme
Répondre
PierreGratier
Messages : 14
Enregistré le : 25 février 2021, 12:18

Problème d'agrégation pc_captv_p

Message par PierreGratier »

Bonjour,
Il y a un problème avec l'agrégation des comptage du jeu de donnée pc_captv_p, selon les bornes temporelles choisies les sorties sont différentes. Voici un exemple en isolant le capteur Z401CT9, les deux rangeStart sont les memes (2021-09-01) mais le rangeEnd diffère selon les 2 couleurs. On voit que les deux series sont différentes, surtout en septembre avec un très fort biais positif, mais également avec des différences plus faibles réparties tout le long de la série. On note aussi que même avec la courbe bleue, il a l'air de rester un biais positif plus faible mi septembre.
agg_diff.png
agg_diff.png (399.04 Kio) Vu 4364 fois
Cela se répercute également sur les données préagrégées du dataset pc_captv_p_histo_heure (cf la visualisation en ligne: https://opendata.bordeaux-metropole.fr/ ... FsZSI6IiJ9)

Cordialement,
Pierre
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
Messages : 324
Enregistré le : 23 juin 2011, 16:16

Re: Problème d'agrégation pc_captv_p

Message par Sébastien Cart-Lamy »

Bonjour Pierre,
Le webservice utilise des caches afin d'accélérer les temps de réponses des données.
Ces caches sont calculés la nuit, ce qui fait que si tu demandes des données avec un rangeEnd inférieur à la date du jour, le service utilisera le cache pour la réponse. Si c'est supérieur ou égal, pas de cache (et c'est plus long).

Le service envoie l'info d'utilisation du cache dans un header XtraData-Cache :
header_xtradata_cache.jpg
header_xtradata_cache.jpg (56.11 Kio) Vu 4346 fois
Nonobstant cette explication, avec ou sans cache, XtraData doit normalement renvoyer les même données.

Peux-tu nous mettre ta requête (sans la clé) ?
PierreGratier
Messages : 14
Enregistré le : 25 février 2021, 12:18

Re: Problème d'agrégation pc_captv_p

Message par PierreGratier »

Bonjour,
Merci pour le retour, voici les 2 requêtes:

rangeEnd=2021-12-28 :

Code : Tout sélectionner

https://data.bordeaux-metropole.fr/geojson/aggregate/pc_captv_p?rangeStart=2021-09-01&rangeEnd=2021-12-28&rangeStep=hour&filter={"type":"BOUCLE"}&attributes={"comptage_5m":"sum","ident":"first"}
rangeEnd=2022-01-06T14:00:00 :

Code : Tout sélectionner

 https://data.bordeaux-metropole.fr/geojson/aggregate/pc_captv_p?rangeStart=2021-09-01&rangeEnd=2022-01-06T14:00:00&rangeStep=hour&filter={"type":"BOUCLE"}&attributes={"comptage_5m":"sum","ident":"first"}
Pierre
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
Messages : 324
Enregistré le : 23 juin 2011, 16:16

Re: Problème d'agrégation pc_captv_p

Message par Sébastien Cart-Lamy »

Bonjour Pierre,
Le problème a été identifié.

Les données ont été rectifiées, et le programme de gestion de l'historique mis à jour, et est en cours de recette.
PierreGratier
Messages : 14
Enregistré le : 25 février 2021, 12:18

Re: Problème d'agrégation pc_captv_p

Message par PierreGratier »

Bonjour Sébastien,
Sur les données agrégés et sur le jeu de donné historisé pc_captv_p_histo_heure il reste encore des problèmes liées a des décalages du niveau zero pour certains capteurs à certains moment. Par exemple la valeur min horaire de Z401CT11 est voisine de 36 depuis début le 8 janvier même au milieu de la nuit. En septembre 2021 la valeur min du capteur n'est pas en dessous de 50 entre le 10 et le 21.

https://opendata.bordeaux-metropole.fr/ ... IjoiIn0%3D
Z401CT11.jpg
Z401CT11.jpg (308.84 Kio) Vu 4242 fois
Z401CT11_Jan22.jpg
Z401CT11_Jan22.jpg (228.94 Kio) Vu 4242 fois
Z401CT11_Sep21.jpg
Z401CT11_Sep21.jpg (272.88 Kio) Vu 4242 fois
Pierre
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
Messages : 324
Enregistré le : 23 juin 2011, 16:16

Re: Problème d'agrégation pc_captv_p

Message par Sébastien Cart-Lamy »

Bonjour Pierre,
Ça devrait être bon
PierreGratier
Messages : 14
Enregistré le : 25 février 2021, 12:18

Re: Problème d'agrégation pc_captv_p

Message par PierreGratier »

Bonjour Sébastien,
Après quelques tests, je vous confirme que les décalages du niveau 0 n'apparaissent plus dans les series de données. Merci beaucoup pour les corrections.

Pierre
Répondre