Newsletter - Toulouse DataViz - Hackaviz #33
Newsletter - Toulouse DataViz - Hackaviz #33

Newsletter - Toulouse DataViz - Hackaviz #33

Contenu
Hackaviz 2024, guide de la dataviz, DuckDB, Observable 2.0, billet du Japon
Date
Mar 4, 2024

Le mot d'introduction

💡
Citius, bellus, fortius – Communiter. - Plus vite : DuckDB vous permet de travailler avec de grosses bases de donnĂ©es Ă  une vitesse qui dĂ©passe l’entendement. AlliĂ© Ă  Observable Framework, gĂ©nĂ©rez des visualisations sur le web sans les lenteurs du cloud, dans le confort d’un environnement de dĂ©veloppement local. - Plus beau : un de nos membres, parti au Pays du Levant, nous raconte avec Ă©motion sa visite sur le site de dĂ©contamination de Fukushima : comment une reprĂ©sentation physique peut rendre une visualisation plus marquante. - Plus fort : Notre guide de la dataviz a gagnĂ© six nouvelles rubriques, parcourez-le, il pourrait peut-ĂȘtre vous donner de prĂ©cieux conseils pour l’édition 2024 de l’Hackaviz. Toute l’équipe Toulouse DataViz travaille d’arrache-pied Ă  sa prĂ©paration. L’Hackaviz 2024 commence dans quelques jours, n’hĂ©sitez pas Ă  vous inscrire. L’important, c’est de participer.
 

HACKAVIZ 2024

Racontez une histoire avec des graphiques, Ă  partir d’un jeu de donnĂ©es inĂ©dit, seul ou en Ă©quipe. À partir du moment oĂč les donnĂ©es sont mises Ă  disposition, les candidats ont 10 jours pour rendre leur crĂ©ation.
  • Date de mise Ă  disposition des donnĂ©es : vendredi 8 mars 2024
  • Date limite de remise des contributions : lundi 18 mars 2024
  • Hackaviz Party - PrĂ©sentation des rĂ©alisations et remise des prix : jeudi 4 avril 2024
Informations ici
Inscription ici
 
notion image

Guide de la dataviz

notion image
AprĂšs une premiĂšre Ă©dition en juin 2023, notre guide interactif de la datavisualisation s’est enrichi de six nouvelles rubriques.
Notre guide couvre désormais :
  • Tables
  • Diagrammes sectoriels
  • Diagrammes Ă  barres
  • Diagrammes Ă  lignes
  • Diagrammes de rĂ©seaux
  • Diagrammes de dispersion
  • Cartes de carrĂ©s
  • Carte de chaleur
  • Boites Ă  moustaches
  • Cartes
  • Couleurs
Nous continuerons Ă  l’enrichir dans les prochains mois. N’hĂ©sitez pas Ă  nous faire des retours soit via Discord ou via contact@toulouse-dataviz.fr

A la découverte de DuckDB

Lors de notre dernier meetup, nous avons eu le plaisir de plonger dans l'univers de DuckDB grĂące Ă  la prĂ©sentation Ă©clairante d'Eric MauviĂšre (le lien du replay). DuckDB permet d’exploiter facilement des donnĂ©es ouvertes de maniĂšre performante.
 
notion image
 
L'intervention d'Eric nous a poussĂ© Ă  expĂ©rimenter rapidement les capacitĂ©s de DuckDB Ă  partir de ses dĂ©monstrations. Je voulais identifier la liste des restaurants autour de chez moi. J’ai utilisĂ© le fichier SIREN des entreprises avec leur gĂ©olocalisation. Ce fichier de 1 Go et 15 millions de lignes, disponible sur le site data.gouv.fr, peut ĂȘtre interrogĂ© rapidement grĂące Ă  DuckDB : seules les donnĂ©es filtrĂ©es par ma requĂȘte ont Ă©tĂ© rĂ©cupĂ©rĂ©es sur mon ordinateur. Ceci n’est toutefois possible qu’avec des donnĂ©es stockĂ©es au format “.parquet”, vous ne vous Ă©tonnerez donc pas de voir de plus en plus de fichiers open data proposĂ©s dans ce format.
DuckDB se distingue par des avantages notables :
  • FlexibilitĂ© et performance : DuckDB est capable de traiter une requĂȘte sur un fichier distant de 1Go en quelques secondes seulement. De plus, il est possible d’explorer les donnĂ©es sans les tĂ©lĂ©charger intĂ©gralement, ce qui permet d’accĂ©lĂ©rer le processus d’analyse en limitant l’utilisation d’outils gourmands en espace et en ressources.
  • CompatibilitĂ© Ă©tendue : Que ce soit en termes de format de donnĂ©es (JSON, Parquet, CSV, Polars, Arrow, etc.) ou de langage de programmation (Python, R, JavaScript
) ou d’outils (Quarto).
  • FacilitĂ© d’utilisation : Facile Ă  installer : Ă  l’instar de SQLite, DuckDB est un simple exĂ©cutable, il n’est pas nĂ©cessaire d’installer un couple client/serveur. Facile Ă  utiliser : les requĂȘtes s'appuient sur le bon vieux langage SQL.
Une technologie Ă  explorer sans attendre !

Observable 2.0

notion image
 
 
Cette annonce s’est accompagnĂ©e d’un changement dans la tarification. Pour faire court :
  • ObservableHQ devient gratuit jusqu’à un maximum 5 utilisateurs qui collaborent et pour 1 projet hĂ©bergĂ© (hĂ©bergement supplĂ©mentaire Ă  faire soi mĂȘme)
  • 300 $ pour 10 utilisateurs, hĂ©bergement illimitĂ©
Cela est trÚs éloigné du précédent modÚle de prix, qui était beaucoup plus onéreux pour les petites équipes : bonne ou inquiétante nouvelle ?
 
Observable Framework ou Observable 2.0 vient de sortir sur GitHub. Gratuit et Open Source, c’est un environnement confortable pour crĂ©er des tableaux de bord ou des rapports en Markdown, SQL, Python, R ou JavaScript.
Pour rappel, les bloc-notes ObservableHQ permettent de concevoir rapidement, de maniĂšre collaborative, une visualisation directement sur le site web ObservableHQ. Observable Framework se place en aval, lĂ  oĂč la visualisation sous forme de bloc-note laisserait sa place Ă  une application plus complĂšte utilisant cette visualisation.
Le dĂ©veloppement ne se fait plus alors sur le cloud d’ObservableHQ, mais dans votre propre environnement de dĂ©veloppement web local. Tout l’écosystĂšme ObservableHQ est lĂ  (Plot) ainsi que des librairies tierces : DuckDB, Arrow, Arquero, Vega Lite, Graphviz, Leaflet et Mermaid. Cerise sur le gĂąteau, le site web gĂ©nĂ©rĂ© est statique, ce qui permet de l’hĂ©berger simplement et Ă  moindre coĂ»t, par exemple sur Github Pages.
Observable Framework s’adresse donc avant tout aux dĂ©veloppeurs : il faut utiliser le terminal et la ligne de commandes, mais rien de vraiment compliquĂ©. Le guide de dĂ©marrage explique pas Ă  pas les Ă©tapes Ă  suivre. À recommander pour ceux qui voudraient proposer une visualisation sur le web sans se tracasser avec des librairies comme Nextjs, Gatsby ou React.
 

Le billet du Japon: @Fukushima et ses données

Le nom de Fukushima restera, pour toujours, associé à cette terrible catastrophe survenue dans les jours qui ont suivi le terrible tremblement de terre de magnitude 9.0, le 11 mars 2011. La ville de Fukushima, qui donne le nom à la province environnante, est assez éloignée (80 km) de la centrale atomique de Daiichi, située, elle, au bord de la mer, à 200 km au nord de Tokyo.
Depuis, un incroyable travail de dĂ©contamination - les Japonais parlent de “reconstruction” - est en cours. J’ai pu participer Ă  une visite et me suis rendu compte sur place de l’importance de la reprĂ©sentation physique de donnĂ©es (data physicalization).
 
notion image
Comment mieux comprendre des données en les rendant tangibles ?
Représentation du rayonnement radioactif (The Great East Japan Earthquake and Nuclear Disaster Memorial Museum)
Représentation du rayonnement radioactif (The Great East Japan Earthquake and Nuclear Disaster Memorial Museum)
En voici un exemple avec la reprĂ©sentation des niveaux de radioactivitĂ© avant, pendant et aprĂšs l’accident nuclĂ©aire. Si l’unitĂ© de mesure de la radioactivitĂ© est le becquerel (Bq), le micro sievert par heure (”Sv/h) mesure l’impact du rayonnement sur le vivant. Rien de plus abstrait Ă  reprĂ©senter. L’exercice de physicalisation sous forme de billes, que l’on assimile facilement Ă  des atomes, est ici parfaitement rĂ©alisĂ©. On visualise bien la diffĂ©rence entre 2.74 ”Sv/h (2011) et 0.12 ”Sv/h (2021).  
 
La data physicalisation ne marche pas Ă  tous les coups !
Moins prĂ©cise, une carte tente de reprĂ©senter le nombre de personnes Ă©vacuĂ©es (en vert) et leur destination (en bleu). Le nombre de personnes est reprĂ©sentĂ© sous forme de figurine en trois dimensions. On se rend compte de l’exode massif qu’a connu Fukushima et de l’accueil assez bien rĂ©parti sur le territoire. Toutefois, la 3D ici ne permet pas de visualiser facilement la diffĂ©rence entre 102 827 Ă©vacuĂ©s de Fukushima et 26 081 accueils dans la rĂ©gion de Tokyo.
 
Carte physique des dĂ©placĂ©s suite Ă  l’incident de Fukishima (The Great East Japan Earthquake and Nuclear Disaster Memorial Museum).
Carte physique des dĂ©placĂ©s suite Ă  l’incident de Fukishima (The Great East Japan Earthquake and Nuclear Disaster Memorial Museum).
Marquer les esprits avec la représentation physique de données
L’un des sacs servant au stockage provisoire de terre contaminĂ©e.
L’un des sacs servant au stockage provisoire de terre contaminĂ©e.
 
Ce qui m’a le plus frappĂ©, ce sont ces sacs de gravats. Ils sont remplis inlassablement d’un mĂštre cube de terre faiblement contaminĂ©e (0.04”Sv/h) et sont entreposĂ©s provisoirement dans une zone immense - appelĂ©e pudiquement «difficult-to-return zone». Zone que plus personne ne peut habiter – et que nous avons visitĂ©e.  Si la question de l’élimination de cette terre par dilution dans tout le pays reste un sujet politique sensible au Japon (voir ici), la vision de ces champs recouverts de tous ces sacs m’a particuliĂšrement frappĂ©e.
 
Moi qui ai manipulĂ© des donnĂ©es toute ma vie, je venais de comprendre la signification de “millions de m³”. La reprĂ©sentation des grandeurs avec un nombre a ses limites : il faut parfois voir les objets, tels ces sacs dĂ©versĂ©s jour aprĂšs jour, pour se rendre compte de la taille et de l’impact du fardeau laissĂ© pour les gĂ©nĂ©rations Ă  venir.
L’un des innombrables sites de stokage de sacs de terre faiblement radioactive (Fukushima Daiichi)
L’un des innombrables sites de stokage de sacs de terre faiblement radioactive (Fukushima Daiichi)
notion image
 
Fin 2023, il y avait environ 9 millions de sacs et les camions ne cessent d’en acheminer.
ăŸăŸă­ !!
 
 
━━━━━━━━━━━━━━━━━━ Cette newsletter de Toulouse-dataviz a Ă©tĂ© rĂ©digĂ©e avec l'outil Notion que nous aimons bien. Si vous lisez cette newsletter et que vous n'ĂȘtes pas encore inscrit au club, il vous suffit de cliquer ici. Pour se dĂ©sinscrire, demandez ici. Toutes les anciennes newsletters sont consultables ici. Vous pouvez aussi rejoindre nos communautĂ©s : Club ou Discord. Merci Ă  nos sponsors Clever Age, Vector, Pierre Fabre, Etincelle et perceptible qui soutiennent nos activitĂ©s.