Open Data : une mine d’or brut pour les professionnels de l’information

Open Data : Fondamentaux

L’Open Data, c’est avant tout l’idée qu’un certain nombre de données numériques (textuelles ou non textuelles comme des cartes, des formules chimiques, des statistiques, etc.) produites par des organismes publics mais également privés devraient être librement accessibles et réutilisables sans condition par tout un chacun.

L’Open Data s’inscrit dans le mouvement dit de « l’Open » - Open Access, Open Source, etc. - mais il dispose de ses propres particularités.

L’Open Access par exemple se concentre exclusivement sur la mise à disposition de manière libre et gratuite de publications académiques tandis que l’Open Source concerne uniquement le type de licence sous laquelle est distribué un logiciel informatique. L’idée de diffusion libre et gratuite est en filigrane derrière toutes ces initiatives mais c’est le type de supports/documents/données /domaines d’application qui les distinguent.

Depuis les débuts de l’Open Data, de nombreux arguments en faveur ou contre le mouvement sont avancés par deux camps opposés.

Pour certains, les données appartiennent par nature à l’être humain, de l’argent public a souvent été utilisé pour les produire ou le fait de rendre plus facilement accessibles des données accélère le processus de recherche et d’innovation et donc justifie le mouvement de l’Open Data.

D’autres en revanche ont le sentiment que l’Open Data fait une concurrence déloyale au secteur privé, que la mise en forme et la mise à disposition de ces données représentent un coût humain non négligeable pour les organismes qui les diffusent ou encore qu’il est préférable de payer une somme minimum pour l’obtention de ces données mais d’avoir l’assurance d’obtenir des données vérifiées, fréquemment mises à jour et dans un format exploitable.

Nous ne tenterons pas de départager les deux camps mais toujours est-il que le mouvement est maintenant bien en route et en perpétuelle évolution et ce, dans la plupart des pays du monde (à des degrés très divers néanmoins). En Europe notamment, le mouvement des données ouvertes pour le secteur public est encadré par la directive 2003/98/CE et la directive INSPIRE de 2008 qui imposent aux collectivités de publier certaines de leurs données. Seul problème, notamment en France et en Europe (mais pas aux Etats-Unis), les collectivités et organismes publics doivent publier une partie de leurs données mais sans aucune contrainte quant au format ou au support de publications. Ce qui conduit parfois à la publication de données complètement inexploitables.

Il serait dommage de ne pas en tirer parti que ce soit pour une veille ou pour une recherche d’information. Parmi les thématiques fréquemment abordées, il est souvent question de la réutilisation commerciale des données ou encore de l’anonymisation des données et du respect de la vie privée. Ces sujets sont certes très intéressants mais ce n’est pas l’angle sous lequel nous avons choisi d’aborder la question. L’idée étant pour nous de regarder l’Open Data comme une nouvelle source, un nouveau canal d’information au même titre que des bases de données professionnelles.

Quels types de données et qui les produit ?

Sur le papier, l’Open Data pourrait être présent dans n’importe quel domaine (santé, transport, sciences, économie, etc.) et les données pourraient provenir d’organismes publics (on appelle cela des données publiques) mais également d’entreprises privées. Dans la réalité, c’est un tout petit peu plus compliqué…

Le mouvement de l’Open Data concerne en réalité quasi-exclusivement les données dites « publiques », c’est à dire produites par des organismes publics ou affiliés (ministères, collectivités locales, état, organismes publics comme l’assurance maladie, Pôle Emploi, l’INSEE, entreprises publiques etc.). L’Open Data dans le domaine privé n’en est pour le moment qu’à ses balbutiements et les entreprises qui s’y sont mises (au-delà des beaux discours sur la volonté d’ouvrir ses données et de la libéralisation d’un seul jeu de données sans aucune valeur stratégique) se comptent presque sur les doigts d’une main. On citera Enel (un acteur italien de l’énergie qui publie des données sur l’aspect financier de l’entreprise ainsi que des données orientées environnement et développement durable), Nike (données environnementales) ou encore Asos (acteur du secteur de la vente en ligne de vêtements).

Et parmi les organismes publics, l’ouverture des données se fait à des degrés très divers. Beaucoup d’organismes se sont contentés d’ouvrir quelques données afin de répondre à leurs obligations légales mais bien souvent, il s’agit simplement des données les plus faciles à diffuser. En revanche, les données plus sensibles ou avec un grand potentiel et un fort impact restent la chasse gardée des organismes qui les produisent.

En France par exemple, l’ouverture des données de santé fait débat depuis maintenant plusieurs années. Néanmoins, une loi votée en avril 2015 vise à rendre publiques ces données une fois qu’elles sont anonymisées (feuilles de soin, ordonnances, fiches de séjours hospitaliers) mais la route est encore longue avant que cette nouvelle base de données voie le jour.

Quelles données publiques trouve-t-on en règle générale ?

Chaque organisme étant relativement libre sur ce qu’il décide de rendre public (en France et en Europe notamment), il est impossible de définir précisément les types de données accessibles.

En analysant la principale plateforme de données publiques en France (data.gouv.fr), on constate que les thématiques qui reviennent fréquemment sont les suivantes : Agriculture, Economie, Emploi, Education, Recherche, Logement, Développement Durable, Energie, Santé, Social, Société, Territoires et Transports.

Mais le volume de données d’un organisme à l’autre est très variable. A titre d’exemple, la région île de France a publié 420 jeux de données (carte des pharmacies, lieux-dits, élections municipales, arbres remarquables, voyageurs montants en gare en région parisienne, etc.) là où la région Basse Normandie s’est contentée de 24 jeux de données. La ville d’Issy les Moulineaux a publié 77 jeux de données quand la ville de Limoges a choisi d’en publier seulement 2 et pour les organismes le constat est le même : la Caisse nationale des allocations familiales en a publié 77 alors que la Poste ou Réseau Ferré de France se sont limités au strict minimum avec 2 ou 3 jeux de données.

Autant dire que c’est une véritable loterie. Ainsi, dans le cadre d’une recherche ou d’une veille, il faudra d’abord se demander si les données que l’on recherche sont susceptibles d’avoir été produites par un organisme public et si oui aller vérifier au cas par cas.

Quid par rapport au payant ?

Avant le mouvement de l’Open Data, les données publiques françaises étaient soit totalement inaccessibles, soit payantes, soit accessibles de manière complexe (demande à l’organisme concerné qui était ou non acceptée, envoi sous forme papier dans certains cas, délais longs, etc.).

Grâce à l’Open Data, certaines données qu’il était impossible de récupérer auparavant peuvent désormais l’être et certaines données payantes sont désormais gratuites. Mais force est de constater qu’il existe encore un nombre non négligeable de données publiques accessibles uniquement avec une redevance.

L’Open Data fait-il ainsi concurrence au secteur privé ? Pas sûr… En effet, comme nous le mentionnions au début de cet article, l’Open Data en 2016, ce sont exclusivement des données publiques et non privées. Les entreprises qui achetaient des données publiques pour créer d’autres services (des serveurs d’informations et des bases de données par exemple) peuvent désormais récupérer certaines de ces données gratuitement (par exemple les informations de l’INPI sur les dépôts de brevets) et, pour les autres continuer à les acheter. Et les services créés par ces entreprises représentent toujours une plus grande valeur ajoutée pour les professionnels. En effet, là où l’organisme public va fournir des fichiers de données brutes, généralement sans mise en forme et difficilement recherchables -mais gratuites- l’entreprise va proposer un produit généralement complexe avec des possibilités de recherche avancées et des données supplémentaires obtenues par d’autres biais, permettant ainsi de recroiser les informations.

Focus sur la France

En France, l’Open Data a commencé à émerger en 2010 avec le lancement des premières plateformes développées par les villes de Rennes et de Paris.Et c’est en 2011 que le portail national data.gouv.fr a été lancé.

Et même s’il existe en France de multiples initiatives distinctes, le portail gouvernemental reste le point d’entrée principal vers les données publiques françaises. Certaines collectivités ou certains organismes publics disposent de leur propre portail d’Open Data mais transmettent et synchronisent de plus en plus leurs données avec data.gouv.fr. Ce n’était pas le cas il y a quelques années où ces initiatives isolées ne se retrouvaient pas sur data.gouv.fr.

Nous conseillons néanmoins de consulter les initiatives locales car, nous avons pu constater pour certaines organisations que le nombre de jeux de données présents sur data.gouv.fr était inférieur à celui de la plateforme locale et surtout que les sites dédiés proposaient généralement des fonctionnalités de recherche et de visualisation plus avancées.

L’état produit des milliards de données mais il faut bien être conscient que même si la quantité de données ne cesse d’augmenter, seule une infime partie se trouve actuellement sur le portail ou sur des plateformes dédiées.

On pourra consulter la carte des acteurs de l’Open Data en France sur le site http://www.opendatafrance.net/lassociation/les-acteurs-2

Data.gouv.fr

Lors de notre visite, le site comptait 2 415 jeux de données provenant de 646 institutions ou organismes différents.

Les dix plus importants fournisseurs étaient alors les suivants :

• Data Publica (un éditeur de données référençant près de 200 éditeurs privés et publics - voir Bases n°289 - Janvier 2012) avec 7 170 jeux de données
• Eurostat avec 5 908 jeux de données
• La Banque Mondiale avec 1 260 jeux de données
• La Direction départementale des territoires et de la mer de la Somme avec 596 jeux de données
• La Direction départementale des territoires de l’Aube avec 527 jeux de données
• Le Ministère de l’Intérieur avec 508 jeux de données
• Le Portail mutualisé Nantes/Loire Atlantique/Pays de la Loire avec 449 jeux de données
• La Région Ile de France avec 420 jeux de données
• La Direction départementales des territoires de l’Ariège avec 411 jeux de données
• Open PACA avec 411 jeux de données

On compte de nombreux ministères, régions, départements, des directions départementales et régionales, des villes, métropoles et collectivités locales et plus rarement des syndicats mixtes, des CCI, des écoles, des offices de tourismes, des musées, etc.

On trouve également de nombreux établissements publics qui proposent des données à l’échelle nationale.

Nous avons choisi d’en faire la liste car les données produites par ces organismes revêtent généralement un caractère précieux pour les professionnels de l’information (voir la liste détaillée en figure 1.) et il n’est pas toujours facile de savoir qui s’est lancé dans une politique d’Open Data.

Figure 1. Établissements publics et autorités publiques indépendantes au niveau national

Mais comme le montre le tableau, certains établissements ont réellement mis en place une politique d’ouverture de leurs données alors que pour d’autres les données mises à disposition relèvent presque de la mascarade.

Enfin, quelques entreprises et organismes ne relevant pas du domaine public sont également présents sur la plateforme comme notamment des fédérations (fédération nationale des bistrots par exemple), des syndicats (syndicat de la presse indépendante), des journaux/magazine (UFC que Choisir), des associations, des plateformes communautaires et des entreprises (Havas Media, Keolis, Orange, RTE, Renault ou encore Tesla Motors).

Attention à bien prendre en compte que ce n’est pas parce qu’une entreprise dispose d’un jeu de données sur la plateforme qu’elle s’est réellement lancée dans une grande politique d’ouverture de ses données. A titre d’exemple, le seul jeu de données fourni par Renault et Tesla concerne la localisation des stations de recharge pour véhicules électriques, données qui de toutes façons disposent d’une facette publique évidente et sont également partagées (ou tout du moins en partie) par des acteurs publics.

Méthodologie de recherche : identifier les gares de fret et de voyageurs dans plusieurs pays européens

Comment faire concrètement pour retrouver des informations susceptibles d’être en Open Data ? Pour cela, nous prendrons comme exemple une recherche d’information effectuée par l’équipe de notre société sœur FLA Consultants il y a maintenant plusieurs années. En 2011, dans le cadre d’un projet européen, un client souhaitait ainsi obtenir les informations suivantes : un listing des gares de fret et de voyageurs dans plusieurs pays européens (en l’occurrence France, Allemagne et Royaume-Uni) dont le nombre de quais était supérieur à 5 pour les gares de fret et la fréquentation supérieure à 100 000 par an pour les gares de voyageurs. Le client avait ensuite besoin, pour chaque gare, de la latitude et la longitude.

A l’époque, l’Open Data n’en était qu’à ses balbutiements et les informations n’avaient pas été faciles à trouver dans chacun des pays, loin de là. L’information existait bien, nous en avions la certitude et elle était très probablement détenue par les entreprises de transports et infrastructures ferroviaires (Réseau Ferré de France, SNCF, Deutsche Bahn, etc.). Pour l’Allemagne, pays connu pour sa rigueur administrative, les informations avaient été relativement faciles à trouver.

Une fois le bon organisme identifié, les informations avaient été dénichées en accès libre sur leur site Web (il ne s’agissait alors pas de données en Open Data mais d’une base de données en accès libre sans possibilité d’exportation). Pour le Royaume-Uni, même stratégie et même réussite, le pays étant à cette époque-là déjà dans une politique d’ouverture de ses données publiques (leur portail Open Data data.gov.uk ayant ouvert en 2011).

Mais c’est en France que nous avions rencontré la plus grande difficulté et surtout une forte résistance de la part des entreprises contactées. Nous avions ainsi commencé par contacter par email les principales structures susceptibles de fournir cette information : SNCF, Gares et Connexions et Réseau Ferré de France. Aucune réponse. Nous avions ensuite appelé les responsables communication des différentes structures. Après de multiples appels, où chaque organisme se renvoyait la balle quant à savoir qui était le détenteur des données, nous avions fini par comprendre entre les lignes quelle structure disposait des données que nous recherchions. Nous avions alors un peu insisté et nous nous étions vu répondre qu’il s’agissait de données confidentielles et stratégiques et que l’entreprise ne les communiquerait pas. Cinq ans après, force est de constater que les temps ont changé et la politique aussi…

Si nous devions refaire cette recherche en 2016, voici comment nous nous y prendrions.

Comme tout le monde, notre premier réflexe consisterait à interroger Google. Pour commencer simplement, notre stratégie consisterait à entrer les termes gares de voyageurs / gares de fret avec le terme France (la stratégie étant à traduire dans les différentes langues concernées).

Dès les premiers résultats, on trouve une page Wikipédia listant les gares de voyageurs accueillant plus d’1 million de voyageurs par an (avec un tableau listant le nom des gares et le nombre de voyageurs) et encore mieux une page du portail data.gouv.fr qui héberge un jeu de données (au format excel) fourni par Réseau Ferré de France (l’entreprise-même qui nous avait indiqué en 2011 qu’elle ne nous communiquerait pas ces données !) appelé « Gares ferroviaires de tout type, exploitées ou non » avec le nom des gares, le code postal, le type de gare (fret, voyageurs etc.) et les coordonnées spatiales.

Nous avons donc trouvé la première partie de la réponse en un rien de temps. Reste maintenant à obtenir des informations sur le nombre de voyageurs annuels/nombre de quais. Nous avons ainsi lancé d’autres recherches sur Google en croisant les termes gares de voyageurs / gares de fret avec des termes comme quai, plateformes, fréquentation, nombre de voyageurs, etc. mais nous n’avons rien obtenu de très concluant (à part quelques données sur des régions et départements mais rien au niveau national).

Nous avons ainsi décidé d’explorer la plateforme Open Data data.gouv.fr à la recherche de données qui ne seraient pas listées dans Google ou du moins très mal classées dans les pages de résultats. Après plusieurs recherches, nous avons découvert un fichier appelé « Référentiel des gares de voyageurs » publié par la SNCF, qui indique pour chaque gare de voyageurs en France si elle appartient à la catégorie a (plus de 250 000 voyageurs par an), b (plus de 100 000) ou c (les autres) ainsi que les coordonnées géographiques de chaque gare.

Restait maintenant à trouver des données concernant le nombre de quais des gares de fret. Et malgré plusieurs tests, nous n’avons pas réussi à identifier cette information au niveau national. Un moyen d’obtenir cette information, mais il est très chronophage, consisterait à utiliser le fichier de RFF contenant les coordonnées géographiques de chaque gare, d’extraire les gares de fret et de regarder avec un logiciel d’images satellitaires (type Google Earth) combien de quais/plateformes sont visibles à l’image pour chaque gare...

Et pour l’Allemagne et le Royaume-Uni dont nous avions déjà réussi à obtenir les données en 2011, nous avons découvert que les organismes de transports nationaux disposaient désormais de plateformes Open Data, ce qui permettait d’obtenir les informations plus rapidement et dans un format plus facilement exploitable.

Ainsi, une recherche Google peut représenter une première étape intéressante mais il faut avoir conscience que les données en Open Data ne sont pas toujours bien référencées par le moteur. Il faudra alors consulter les grandes plateformes du ou des pays concernés ainsi que les sites des organismes susceptibles d’avoir produit cette donnée (et regarder s’ils ne disposent pas d’une plateforme d’Open Data en interne). Malheureusement, les plateformes d’Open Data ne proposent pas toujours des fonctionnalités de recherche très poussées.

Pour les pays étrangers dont on connaît peu la structure en matière d’Open Data, on pourra consulter des annuaires et cartographies comme notamment :

• OpenDataSoft qui a listé sur une carte plus de 1 600 portails Open Data dans le monde https://www.opendatasoft.com/fr/ressource-liste-portails-open-data-dans-le-monde
  
• Dataportals qui a listé environ 500 portails dans le monde : http://dataportals.org
  

L’actualité des derniers mois

Cet article est également l’occasion de lancer une nouvelle rubrique dans Bases autour de l’Open Data.

L’actualité dans ce domaine et le lancement de nouvelles plateformes n’étant pas toujours faciles à suivre. C’est pour cette raison que nous avons listé les dernières nouveautés repérées depuis la rentrée de septembre. A l’avenir, cette rubrique sera également enrichie d’informations autour de l’Open Access, autre élément important de ce mouvement dit de l’ « Open », notamment pour les professionnels de l’information.

France

Data.gouv.fr

• Pôle Emploi a finalement ouvert une partie de ses données (8 jeux de données)
• Il en est de même pour Météo France (avec 35 jeux de données)
• Le CNES a rejoint en novembre la plateforme data.gouv.fr en partageant les données du programme Copernicus
• La ville de Meudon a également rejoint la plateforme en octobre
• L’Assemblée Nationale a lancé son portail Open Data à l’adresse http://data.assemblée-nationale.fr, données que l’on retrouve aussi sur le portail national.
• La Caisse d’Allocations Familiales a lancé son propre portail à l’adresse http://data.caf.fr/dataset, les données se retrouvent également sur data.gouv.fr. On y trouve 76 jeux de données dont la population couverte par une aide au logement - par Caf, le taux d’appels téléphoniques traités par les agents, etc.
• La Dila a ajouté en septembre dernier 4 jeux de données sur la plateforme atteignant ainsi les 80 jeux de données
• L’Assurance Maladie a récemment ajouté des données sur les dépenses et prescriptions en médicaments. Elles sont accessibles sur le site ameli.fr et référencées sur la plateforme data.gouv.fr
• ERDF a mis en ligne 13 jeux de données (la consommation journalière par catégorie client, le bilan électrique relatif à la puissance installée, le parc des installations de production raccordées sur le réseau ERDF par tranche de puissance et par région, etc.)
• L’AFD (L’Agence Française de Développement) a créé sa propre plateforme d’Open Data à l’adresse http://afd.opendatasoft.com, données également indexées sur la plateforme nationale. Le site de l’AFD permet néanmoins une meilleure visualisation des données avec notamment l’existence d’une carte interactive et de différents filtres pour visualiser les données.
• La Seine Saint-Denis a ouvert sa propre plateforme à l’adresse http://data.seine-saint-denis.fr, données également indexées sur la plateforme nationale

Autres initiatives

• L’université Paris Ouest Nanterre La Défense a publié ses premiers jeux de données (évolution du nombre d’étudiants inscrits et d’inscriptions depuis la rentrée universitaire 2008-09, origine géographique des étudiants inscrits à l’université, offre de formation de l’université, écoles doctorales et doctorants de l’université, domaines scientifiques et structures de recherche de l’université) sur la plateforme Opendata92. A noter qu’une partie des données des Hauts-de-Seine se retrouve bien sûr data.gouv.fr mais pas celles de l’université Paris Ouest Nanterre La Défense. https://opendata.hauts-de-seine.net
  
• Infogreffe se lance dans l’Open Data suite à la promulgation de la loi Macron le 6 août 2015. Un portail dédié a été lancé à l’adresse https://www.datainfogreffe.fr mais on retrouve une partie des données sur data.gouv.fr. 17 jeux de données sont pour l’instant disponibles (entreprises radiées en 2015, entreprises immatriculées en 2015, etc.). L’ouverture à l’Open Data ne signifie pas pour autant l’accès libre et gratuit aux documents d’Infogreffe. La demande d’un extrait Kbis, les actes et statuts d’une entreprise ou encore les comptes annuels sont toujours des services payants.
• Le STIF (Syndicat des Transports en Ile de France) a lancé sa propre plateforme d’Open Data avec 29 jeux de données pour le moment - http://opendata.stif.info
  
• Enfin, le département de Haute-Garonne vient de mettre en ligne sa plateforme d’Open Data à l’adresse http://data.haute-garonne.fr. Elle contient 24 jeux de données pour le moment.

A venir

Le 24 juillet dernier, une ordonnance a été publiée au Journal Officiel encadrant l’ouverture prochaine en mode Open Data des données essentielles des marchés publics. A l’article 56, on peut lire : « dans des conditions fixées par voie réglementaire, les acheteurs rendent public le choix de l’offre retenue et rendent accessibles sous un format ouvert et librement réutilisable les données essentielles du marché public sous réserve des dispositions de l’article 44 ». L’ordonnance entrera en vigueur au plus tard le 1er avril 2016.

Le 12 janvier dernier, Axelle Lemaire a annoncé l’ouverture en Open Data du répertoire SIRENE (répertoire des entreprises françaises- gérée par l’INSEE) au 1er janvier 2017.

Monde

• L’union européenne a lancé un portail Open Data européen appelé European Data Portal (http://www.europeandataportal.eu) qui contenait plus de 240 000 jeux de données issues de 34 pays lors de son lancement en novembre dernier.
• Le Sénégal a ouvert ses données géographiques http://www.basegeo.gouv.sn
  
• Lancement aux Etats-Unis de Databrary, une base de vidéos scientifique en open data https://nyu.databrary.org
  

L’Open Data représente donc bien un réel intérêt pour les professionnels de l’information en matière de sources. Cela permet notamment d’accéder à des informations auxquelles il était tout simplement impossible ou très difficile d’accéder auparavant. Lors d’une recherche ou d’une veille, il faudra toujours se demander si les données recherchées sont susceptibles d’être produites par des organismes publics et donc susceptibles d’être en Open Data.

On pourra ensuite se lancer dans une recherche Web qui, si elle s’avère infructueuse ou insuffisante, devra être complétée par la consultation des grandes plateformes d’Open Data et des organismes producteurs des données en question. En revanche, il sera souvent intéressant de compléter les données identifiées (tout dépend évidemment du sujet traité) par d’autres sources notamment payantes qui peuvent proposer des données plus complètes ou récentes et plus d’analyse (comme par exemple dans le cas d’une recherche sur une entreprise).