Fréquence et mode de récupération des données temps réel

Sujets relatifs aux données accessibles en temps réel sur la plateforme
Répondre
Bichon Frisé
Messages : 3
Enregistré le : 18 janvier 2016, 23:06

Fréquence et mode de récupération des données temps réel

Message par Bichon Frisé »

Bonjour a tous,

Je découvre avec joie tout ce que propose la métropole en terme de données ! C'est assez génial !

De ce fait j'ai donc plein d'idée qui fourmillent, dont une qui nécessite quelques renseignements.

Y-a-t'il des restrictions quant au nombre de requêtes que l'on peut effectuer ?

Par exemple si je veux récupérer les données temps réel d'utilisation des Vcub chaque minute pendant une semaine sur chaque station, est-ce possible ou bien faut-il respecter un certain nombre de requêtes max par jour ou encore plutôt récupérer les données toutes les 5, 10, 15 minutes ?

Autre question, a la lecture du forum et de la documentation, j'ai l'impression qu'il n'y a pas de moyen pour effectuer une requête unique pour récupérer en même temps les données de toutes les stations ? Il faut instancier un CUB.init et boucler sur toutes les stations ?

En vous remerciant de votre aide :)

Cordialement,

Le Bichon Frisé !
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
Messages : 352
Enregistré le : 23 juin 2011, 16:16

Re: Fréquence et mode de récupération des données temps réel

Message par Sébastien Cart-Lamy »

Bonjour,
Effectivement, il y a beaucoup les données mises à disposition sur l'OpenData offrent un potentiel d'applications / services très intéressant.

Pour l'utilisation des WebServices, il faut effectivement adapter les requêtes de récupération en fonction des couches que vous utilisez. Il faut regarder les métadonnées des couches (ou poster sur le forum) pour avoir les fréquences de mise à jour de chaque couche. Pour l'exemple des stations VCUB, celles-ci sont mises à jour toutes les minutes.

Il y a deux façons d'utiliser les WebServices :
  • Brancher directement votre application sur les WebServices. Le gros défaut est que le trafic vers notre serveur est proportionnel au nombre d'utilisateurs de votre application, et c'est donc nous qui absorbons la charge. À éviter.
  • Créer une base de réplication qui va régulièrement venir se mettre à jour avec notre serveur.
Pour les VCUB, une mise à jour toute les minutes suffit. De plus, il est tout à fait possible de ramener toutes les stations en une seule requête WFS. D'ailleurs, le WFS renvoie par défaut tous les objets d'une couche; on lui applique un filtre si on veut réduire les données qu'il renvoie.

Nous avons créé une application qui permet de générer des requêtes WFS / WPS : http://sig.bordeaux-metropole.fr/apicub/wxsquery

Vous devriez trouver votre bonheur :)
Bichon Frisé
Messages : 3
Enregistré le : 18 janvier 2016, 23:06

Re: Fréquence et mode de récupération des données temps réel

Message par Bichon Frisé »

Merci pour cette réponse rapide !

J'avais essayé le WxSQuery hier soir mais sans succès. J'ai réessayé aujourd'hui en ôtant les bloqueurs de pub et autre extensions, sans succès non plus, je reste bloqué sur cet pop-up lorsque je sélectionne la couche VCUB temp réel :

Image


Mais pour le moment je ne pense pas avoir besoin de l'interface.
L'idée serait donc de faire une requête toutes les minutes sur la couche VCUB temps réel. Si je fais ça, je ne risque pas d'être blacklisté ?

Autre question, en parcourant les informations je n'ai pas vu si on avait le droit de stocker ces données ou non ?
(Oui puisque si je récupère des données sans faire une appli il faut bien que j'en fasse quelque chose quand même :))

L'idée étant de faire du machine learning derrière...
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
Messages : 352
Enregistré le : 23 juin 2011, 16:16

Re: Fréquence et mode de récupération des données temps réel

Message par Sébastien Cart-Lamy »

Bonjour,
Effectivement, la popup reste bloquée sur Chrome.

Je vais rectifier le problème. Cela fonctionne bien sous Firefox en attendant :)

Pas de problème pour une requête toutes les minutes - après pour des stats continues, je pense que toutes les 5 min suffiraient.
Vous pouvez stocker les informations, la licence vous permet de faire cela (http://data.bordeaux-metropole.fr/license) - pensez juste à citer la source de la donnée quand vous publierez votre application / site web.

Ce que vous faites semble très intéressant, vous pouvez créer un sujet sur le forum pour parler de vos avancées.
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
Messages : 352
Enregistré le : 23 juin 2011, 16:16

Re: Fréquence et mode de récupération des données temps réel

Message par Sébastien Cart-Lamy »

C'est bon, WXSQuery fonctionne à nouveau sur Chrome
Bichon Frisé
Messages : 3
Enregistré le : 18 janvier 2016, 23:06

Re: Fréquence et mode de récupération des données temps réel

Message par Bichon Frisé »

Super merci beaucoup !

J'avoue avoir développé la sale manie de préférer bosser sous chrome (mais il est quand même top ce navigateur pour du développement web !)
Je vais tester ça ce soir.

Je vais essayer d'organiser un peu mieux le projet dans ma tête, voir comment je peux faire supporter la charge de travail et de données a mon raspberry.
A partir de la, quand j'aurais assez de données pour bosser j'essayerais de vous tenir au courant ! Et pourquoi pas de profiter de vos idées :)

Et merci pour les infos sur la licence !
Répondre