Fréquence et mode de récupération des données temps réel

Sujets relatifs aux données accessibles en temps réel sur la plateforme

Fréquence et mode de récupération des données temps réel

Messagepar Bichon Frisé » 19 Janvier 2016, 00:27

Bonjour a tous,

Je découvre avec joie tout ce que propose la métropole en terme de données ! C'est assez génial !

De ce fait j'ai donc plein d'idée qui fourmillent, dont une qui nécessite quelques renseignements.

Y-a-t'il des restrictions quant au nombre de requêtes que l'on peut effectuer ?

Par exemple si je veux récupérer les données temps réel d'utilisation des Vcub chaque minute pendant une semaine sur chaque station, est-ce possible ou bien faut-il respecter un certain nombre de requêtes max par jour ou encore plutôt récupérer les données toutes les 5, 10, 15 minutes ?

Autre question, a la lecture du forum et de la documentation, j'ai l'impression qu'il n'y a pas de moyen pour effectuer une requête unique pour récupérer en même temps les données de toutes les stations ? Il faut instancier un CUB.init et boucler sur toutes les stations ?

En vous remerciant de votre aide :)

Cordialement,

Le Bichon Frisé !
Bichon Frisé
 
Messages: 3
Inscrit le: 19 Janvier 2016, 00:06

Re: Fréquence et mode de récupération des données temps réel

Messagepar Sébastien Cart-Lamy » 19 Janvier 2016, 11:25

Bonjour,
Effectivement, il y a beaucoup les données mises à disposition sur l'OpenData offrent un potentiel d'applications / services très intéressant.

Pour l'utilisation des WebServices, il faut effectivement adapter les requêtes de récupération en fonction des couches que vous utilisez. Il faut regarder les métadonnées des couches (ou poster sur le forum) pour avoir les fréquences de mise à jour de chaque couche. Pour l'exemple des stations VCUB, celles-ci sont mises à jour toutes les minutes.

Il y a deux façons d'utiliser les WebServices :
  • Brancher directement votre application sur les WebServices. Le gros défaut est que le trafic vers notre serveur est proportionnel au nombre d'utilisateurs de votre application, et c'est donc nous qui absorbons la charge. À éviter.
  • Créer une base de réplication qui va régulièrement venir se mettre à jour avec notre serveur.

Pour les VCUB, une mise à jour toute les minutes suffit. De plus, il est tout à fait possible de ramener toutes les stations en une seule requête WFS. D'ailleurs, le WFS renvoie par défaut tous les objets d'une couche; on lui applique un filtre si on veut réduire les données qu'il renvoie.

Nous avons créé une application qui permet de générer des requêtes WFS / WPS : http://sig.bordeaux-metropole.fr/apicub/wxsquery

Vous devriez trouver votre bonheur :)
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
 
Messages: 264
Inscrit le: 23 Juin 2011, 17:16

Re: Fréquence et mode de récupération des données temps réel

Messagepar Bichon Frisé » 19 Janvier 2016, 18:54

Merci pour cette réponse rapide !

J'avais essayé le WxSQuery hier soir mais sans succès. J'ai réessayé aujourd'hui en ôtant les bloqueurs de pub et autre extensions, sans succès non plus, je reste bloqué sur cet pop-up lorsque je sélectionne la couche VCUB temp réel :

Image


Mais pour le moment je ne pense pas avoir besoin de l'interface.
L'idée serait donc de faire une requête toutes les minutes sur la couche VCUB temps réel. Si je fais ça, je ne risque pas d'être blacklisté ?

Autre question, en parcourant les informations je n'ai pas vu si on avait le droit de stocker ces données ou non ?
(Oui puisque si je récupère des données sans faire une appli il faut bien que j'en fasse quelque chose quand même :))

L'idée étant de faire du machine learning derrière...
Bichon Frisé
 
Messages: 3
Inscrit le: 19 Janvier 2016, 00:06

Re: Fréquence et mode de récupération des données temps réel

Messagepar Sébastien Cart-Lamy » 20 Janvier 2016, 10:50

Bonjour,
Effectivement, la popup reste bloquée sur Chrome.

Je vais rectifier le problème. Cela fonctionne bien sous Firefox en attendant :)

Pas de problème pour une requête toutes les minutes - après pour des stats continues, je pense que toutes les 5 min suffiraient.
Vous pouvez stocker les informations, la licence vous permet de faire cela (http://data.bordeaux-metropole.fr/license) - pensez juste à citer la source de la donnée quand vous publierez votre application / site web.

Ce que vous faites semble très intéressant, vous pouvez créer un sujet sur le forum pour parler de vos avancées.
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
 
Messages: 264
Inscrit le: 23 Juin 2011, 17:16

Re: Fréquence et mode de récupération des données temps réel

Messagepar Sébastien Cart-Lamy » 20 Janvier 2016, 11:14

C'est bon, WXSQuery fonctionne à nouveau sur Chrome
Sébastien Cart-Lamy
Équipe OpenData
Équipe OpenData
 
Messages: 264
Inscrit le: 23 Juin 2011, 17:16

Re: Fréquence et mode de récupération des données temps réel

Messagepar Bichon Frisé » 20 Janvier 2016, 15:16

Super merci beaucoup !

J'avoue avoir développé la sale manie de préférer bosser sous chrome (mais il est quand même top ce navigateur pour du développement web !)
Je vais tester ça ce soir.

Je vais essayer d'organiser un peu mieux le projet dans ma tête, voir comment je peux faire supporter la charge de travail et de données a mon raspberry.
A partir de la, quand j'aurais assez de données pour bosser j'essayerais de vous tenir au courant ! Et pourquoi pas de profiter de vos idées :)

Et merci pour les infos sur la licence !
Bichon Frisé
 
Messages: 3
Inscrit le: 19 Janvier 2016, 00:06


Retour vers Données Temps Réel

Qui est en ligne ?

Utilisateur(s) parcourant ce forum : Aucun utilisateur inscrit et 1 invité

cron