Découvrez OpenRefine: un outil gratuit pour nettoyer, préparer et enrichir vos données

Découvrez OpenRefine: un outil
gratuit pour nettoyer, préparer et
enrichir vos données
BU UNS
Atelier Learning Centre SophiaTech
23/10/2017
Mathieu Saby
mathieu.saby@unice.fr
1/

Plan
1. Présentation
2. Installation et paramétrage
3. Import des données
4. Espace de travail
5. Tris, filtres et facettes
6. Regrouper des valeurs proches
7. Appliquer des transformations courantes
8. Exporter les données et les traitements
9. Lignes et entrées
10. Restructurer des données
11. Introduction au langage GREL
2/

Présentation d’Openrefine
1. Présentation
3/

Nettoyer, préparer, enrichir des données
Avant d’analyser des données il faut souvent les nettoyer ou
les préparer, surtout si elles proviennent de sources multiples
ou si leur qualité n’est pas garantie.
La nuance est ténue mais on peut distinguer :
- Le nettoyage : données hétérogènes, incomplètes, erronées
ou bruitées, mal normalisées.
- La préparation : format, organisation ou codage des données
non adaptés à l’outil d’analyse ou aux questions à explorer.
On peut également être amené à les enrichir, par exemple en
les croisant avec d’autres données ou en récupérant des
informations sur Internet.
4/

Nettoyer, préparer, enrichir des données
Quels outils?
- Tableurs : Excel, Calc (Libreoffice), Google Drive
- Langages : Bash, R, Python…
- Outils spécialisés : OpenRefine, Talend Data Preparation,
Trifacta, Data Science Studio…
5/

Présentation du logiciel
 Historique
 2009 : logiciel Gridworks développé par David François Huynh
de Metaweb, comme outil pour faciliter l’alimentation de leur
base de connaissance sémantique Freebase
 rachat de Metaweb par Google
 2010-2012 : renommé Google Refine
 libération du code par Google
 2012 : renommé OpenRefine
 Modèle économique
 Logiciel opensource, donc gratuit
 Maitenu par une (petite) communauté de développeurs
 Versions
 Dernière version : 2.7 (2017). À installer de préférence
6/

La communauté
 Site officiel:
http://openrefine.org/
 Documentation :
https://github.com/OpenRefine/OpenRefine/wiki
 Liste d’échange :
https://groups.google.com/forum/#!forum/openrefine
 StackOverflow :
https://stackoverflow.com/questions/tagged/openrefine
 Nombreux tutoriels, vidéos, blogs…
7/

Présentation du logiciel
 Ce n’est pas un tableur contrairement aux apparences:
 logique de modification globale d’un fichier colonne par
colonne, même s’il est possible d’éditer une cellule séparément
 pas fait pour saisir des données, réaliser des calculs ou des
graphiques
8/

Fonctionnalités principales
 Explorer un jeu de données : tris, facettes, regroupement de
valeurs proches
 Modifier l’organisation d’un fichier et le contenu des
cellules, en mode graphique ou avec des formules
 Enrichir des données (web services, scraping, réconciliation)
 Documenter les modifications et les enrichissements pour
pouvoir les rejouer à volonté
9/
Idéal pour des traiter des données hétérogènes

Positionnement d’OpenRefine
Avantages
 Fonctions absentes des tableurs
traditionnels
 Interface graphique (vs. scripts)
 Totalement libre et gratuit (vs.
Dataiku DSS, Talend ou Trifacta)
 Installation PC, Linux, Mac
 Enregistrement des traitements
réalisés
 Maîtrise des données (vs outils en
cloud)
 Large communauté d’utilisateurs
Inconvénients
 Performance limitée (100 000 lignes
maxi environ si nombreuses colonnes)
 Ne traite pas de données en flux
 Gourmand en mémoire
 Pas de fonction collaborative
 Formats d’imports limités
 Pas de connexion avec des outils « big
data »
 Langage spécifique
10/

Quelques exemples d’utilisation
 Bibliothèques, archives, musées
 Liste d’exemples recensés dans Bibliopedia
 Corriger et modifier des données au format MARC
 Créer un tableau à partir de références bibliographiques
 Extraire des cotes archivistiques à partir d’inventaires en EAD
 Comparer deux listes de revues
 Supprimer des doublons dans une liste de revues au format KBART et
vérifier leur appartenance à un package en interrogeant un
webservice
 Nettoyer une liste de cessionnaires de brevets
 Récupérer l’identifiant BNF ou ABES d’une série de notices
11/

Quelques exemples d’utilisation
 Journalistes et réutilisateurs de données ouvertes
 Normalisation, clustering et transposition colonnes-lignes de
données publiques
 Récupération de résultats électoraux sur une page web et
nettoyage
 Histoire
 Normalisation et nettoyage de données issues d’un site de musée
 Récupération de données sur le web
 Science de la vie
 Normalisation de données sur les abeiles
 Nettoyage de données sur les oiseaux
12/

Présentation d’Openrefine
1. Introduction au nettoyage et à la préparation de données
2. Présentation
13/

Aspects techniques
 Installation mono-poste, sous PC, Mac et Linux
 Interface accessible via un navigateur internet (adresse
http://127.0.0.1:3333/ )
 Les données et le logiciel restent sur le PC (pas besoin de
connexion Internet)
 Extension possible avec des plug-ins développés par la
communauté (pas tous compatibles avec la version 2.7)
 Accès possible par API (permet une automatisation des
traitements)
 Peut être containerisé avec Docker
14/

Installation
http://openrefine.org/download.html
15/

Contraintes liées à Java
 OpenRefine est écrit en langage Java
 Cela peut compliquer l’installation sous Mac : en cas de
problème
 Vérifier que Java 8 est installé (ce n’est pas le cas par défaut)
 Vérifier que la variable d’environnement $JAVA_PATH
contient bien le chemin de cette version
 Pour utiliser plus de 3 Go de mémoire, il faut installer et
utiliser la version 64 bits de Java
16/

Paramétrage facultatif : ajouter de la
mémoire
Par défaut OpenRefine utilise 1 Go de mémoire vive au
maximum. Il peut être utile de modifier la configuration pour
allouer plus de mémoire :
Sous Windows : dans le fichier refine.ini, modifier la ligne
REFINE_MEMORY
Pour que refine.ini soit pris en compte il faudra lancer OpenRefine avec
refine.bat et non openrefine.exe
17/

Paramétrage facultatif : ajouter de la
mémoireSous Mac : ouvrir le fichier ‘/Applications/OpenRefine.app/Contents/info.plist’
et modifier la valeur `<string>-Xmx1024</string>` (par ex: `<string>-
Xmx2048</string>` pour doubler la mémoire maximale)
18/

Fermeture
19/
 Puisque le logiciel tourne en tâche de fond, fermer le
navigateur ne suffit pas fermer proprement Openrefine.
Pour cela il faut…
 Sous Windows : fermer la console
 Sous Mac : utiliser le menu Quitter

Import des données
1. Présentation
11. Introdution au langage GREL
20/

Lancer OpenRefine
Ouvrir un navigateur (Chrome ou Firefox)
Windows : lancer de préférence refine.bat (prise en compte de
la configuration). Possibilité de faire un lien dans le menu
démarrer.
Mac : chercher OpenRefine dans les applications
Si OpenRefine ne s’ouvre pas, saisir http://localhost:3333 dans
le navigateur
21/

Les fichiers d’exercices
Télécharger sur votre bureau deux mini
jeux de données fictives
 Exo 1 :
http://bit.ly/2gBR06v
 Exo 2:
http://bit.ly/2zunAuQ
22/

Importer des données
Projet = un fichier de données + un ensemble de traitements
Un projet peut être réouvert, ou importé depuis une autre
installation d’OpenRefine
23/

Plusieurs formats de fichiers possibles
Depuis plusieurs emplacements
24/

Formats reconnus
Données tabulées (lignes/colonnes)
De préférence utiliser le format csv ou autre format brut (tsv…)
L’import de fichiers au format Excel, LibreOffice ou Google est
possible mais peut consommer beaucoup de ressources.
Données XML et JSON
Ne sont pas manipulées directement par Openrefine mais
converties en données tabulées.
La conversion peut consommer beaucoup de ressources. Elle
fonctionne bien pour des fichiers simples, mais les fichiers
complexes peuvent poser problème.
25/

Créer un nouveau projet à partir du fichier exo1.csv
26/

Charger le fichier dans OpenRefine le fichier précédemment
enregistré sur le Bureau
27/

Ecran d’import en 2 parties : aperçu des données + paramètres
28/

Principaux paramètres d’import
29/
Encodage des
caractères
(en général UTF-8
ou ISO 8859-1)
Séparateur de colonnes
(en général , mais parfois ; si
le fichier a été créé avec une
version française d’Excel
Modifier si entêtes multilignes
Détection des nombres et des
dates (dans le doute, à éviter)
En général à décocher

Pour lire et Ã©crire en franÃ§ais… choisir l’encodage
correspondant à celui du fichier
30/
1 av. St BarthÃ©lemy
1 av. St Barthélemy

Prudence avec la détection automatique des nombres et des
dates ! Dans le doute, désactiver l’option.
(remarque également valable pour Excel ou LibreOffice)
 Une série de chiffres n’est pas forcément un nombre.
 Ex: Numéros de téléphone : le 0 initial doit être préservé!
 Formats de nombres et formats monétaires différents
 Ex : 1,14 en France = 1.14 aux USA
 Ex : 10 € mais $ 10
 Formats de dates différents selon les pays.
 Ex : 02-03-1979 = 2 mars 1979 en Europe
3 février 1979 aux USA
31/

Une fois les paramètres d’imports choisis, lancer l’import
32/
[Optionnel]
Changer le nom du projet
Créer un projet

Il est également possible d’importer plusieurs fichiers dans le
même projet.
Ils doivent être structurés de manière identique (nombres et
noms des colonnes).
33/

Il est également possible d’importer plusieurs fichiers dans le
même projet.
La 1re colonne (File) du projet indiquera le nom du fichier
d’origine pour chaque ligne.
34/

Espace de travail
1. Présentation
35/

L’espace de travail
36/
Lien vers le
projet
ExportNouveau
projetContenu du fichier
Facettes
et filtres
Historique

L’espace de travail
37/
Colonnes de données
Nb lignes
affichées
Voir les lignes
précédentes ou
suivantesNb lignes du
fichier
Étoiles et marques: pour
isoler certaines lignes
Numéro de ligne
(automatique)

Différences avec un tableur
On ne voit pas toutes les lignes. Ce n’est pas le but de l’outil
On applique les formules à des colonnes entières, pas à des
cellules
Les données sont séparées des traitements : les formules ne
sont pas contenues dans les cellules
Une seule feuille
Pas de graphiques
38/

Comment explorer et manipuler les données
Modification d’une cellule : bouton edit visible au survol
 Ponctuelle
 Pour toutes cellules ayant la même valeur (dans la même
colonne ; ne s’applique pas aux cellules vides)
Actions globales : menu visible en cliquant sur le bouton en
haut de chaque colonne
 Affichage sélectif (tris, filtres, facettes…)
 Modifications (remplacements, nouvelles colonnes…)
39/

Les menus contextuels
Les plus fonctions les utilisées : facettes, édition de cellules et
de colonnes, tri
Fonction propre à la 1re colonne : suppression de lignes
40/
Colonne ordinaire Colonne « Toutes » (1re position)

Réordonner ou supprimer des colonnes
Dans la 1re colonne Toutes
41/

Tris, filtres et facettes
1. Présentation
42/

Trier les données
Activité : trier les données en fonction des valeurs de la
colonne code_personne (ordre alphabétique, sans tenir compte
des majuscules)
43/

Trier les données
colonne code_personne
44/
Plusieurs options,
mais le paramétrage
de base correspont à
notre besoin (a-z,
insensible à la casse)

Trier les données
colonne code_personne
45/
Pour l’ordre d’origine est préservé et le tri ne concerne que l’affichage

Trier les données
Retrier de façon permanente
46/
Menu visible après le tri

Filtrer les données
Activité : filtrer le fichier pour afficher les lignes dont la
colonne code_personne contient le mot « P005 » ET la colonne
animal_prefere le mot « chien »
47/

Activité : filtrer le fichier pour afficher les lignes dont la
colonne code_personne contient le mot « P005 » ET la colonne
animal_prefere le mot « chien »
48/

Toutes les opérations (export, nouveaux filtres, facettes,
modifications groupées) s’opèreront uniquement sur les
données filtrées.
Ex: modification groupée la colonne animal_prefere :
uniquement 1 lignes modifiée
49/

Deux options pour les filtres (peuvent s’additionner)
50/
Prendre ou compte ou non la casse (« nice » = « NICE » ?)
Traiter ou non l’expression comme une expression
rationnelle (ou expression régulière):
Ex:
Si l’option est activée,
[ab][56] sera interprété comme « a5 ou a6 ou b5 ou b6 »
P.A[0-9]* sera interprété comme « P suivi d’un caractère,
suivi de A, suivi d’une suite de chiffres »
Ni(ce|ssa) sera interprété comme « Nice ou Nissa »
Pour éviter un
bug, saisir
l’expression
rationnelle avant
de cocher la case

Pour annuler un filtre, cliquez sur la croix dans le coin supérieur
gauche du filtre
Nous allons annuler tous les filtres
Pour cela, cliquez sur Tout supprimer au dessus des filtres
51/

Utiliser les facettes
Les facettes permettent d’avoir un aperçu synthétique sur le
contenu d’une colonne.
Utile pour repérer des anomalies, isoler des valeurs à modifier,
modifier globalement un codage…
52/
Ex : modifier et corriger un codage
Vivant
Vivant
Vivant
Mort
Dead
Vivant
…
1
1
1
0
0
1
…
1 (35)
0 (501)
Vivant (35)
Mort (500)
Dead (1)

Par défaut, seules les 2000 premières choix sont affichées.
S’il y en a plus, Openrefine propose d’augmenter cette limite,
ou de n’afficher que les choix les plus fréquents (« facette par
nombre de choix »). Le choix reste mémorisé lors des
utilisations ultérieures.
53/

Activité : afficher les facettes textuelles correspondant au
contenu de la colonne ville.
Quelles anomalies repère-t-on?
54/

Activité : afficher les facettes textuelles correspondant au
contenu de la colonne ville.
55/
(blank) : valeur vide

Les options d’une facette
56/
Récupérer la liste Tri alphabétique (défaut) ou par nombre d’occurrences
valeurs vides (blank) toujours à la fin
Modifier la facette (complexe)
Regrouper les valeurs semblables

Activité : dans la facette ville, afficher les valeurs par « nombre
de choix », et ne conserver que celles présentes 2 fois.
57/

Activité : dans la facette ville, afficher les valeurs par « nombre
de choix », et ne conserver que celles présentes 2 fois.
58/
1 seule valeur, présente 2 fois
histogramme

Activité : dans la facette ville, remplacer la valeur « Havre (Le) »
par LE HAVRE
Quel effet sur les données?
59/

Activité : dans la facette ville, remplacer la valeur « Havre (Le) »
par LE HAVRE
60/

Activité : utiliser la facette ville pour afficher les lignes dont la
ville est CAEN

ville est CAEN
Cliquer

ville est CAEN
facette en orange : facette active

ville est Caen ou CAEN

Activité : modifier la facette pour sélectionner les lignes dont
la ville est Caen, en plus de CAEN
Survoler
Cliquer

ville n’est ni Caen ni CAEN
66/

ville n’est ni Caen ni CAEN
67/
Cliquer

ville n’est PAS Lyon
facette en noir barré : facette inversée

Utiliser les facettes: pour aller plus loin
Facettes numériques, chronologiques, en nuage de point :
suppose d’avoir des données reconnues par OpenRefine
comme des dates ou des nombres (pas le cas dans notre
exemple)
69/

Facettes personnalisées : suppose une utilisation du langage
GREL (voir plus loin)
70/

Facettes courantes : plusieurs options souvent utiles: par mot,
par doublons, par longueur de texte, par blanc (valeur
vide ou non)
71/

Activité : A partir de la colonne animal_prefere, appliquer une
facette textuelle ordinaire, puis une facette « par mots ».
Quelle différence?
72/
Facette textuelle Facette par mot

Regrouper des valeurs proches
1. Présentation
73/

Activité : Créer des facettes textuelles pour la colonne ville,
puis grouper les résultats pour repérer des variantes
d’orthographe ou de présentation.

d’orthographe ou de typographie.
75/

d’orthographe ou de typographie.
76/
Cliquer sur une
forme pour changer
la forme retenue
Sélectionner les
groupes à fusionner
Ou bien…
Tout sélectionner

Plusieurs algorithmes
77/
Méthodes rapides mais basiques
Regroupe les expressions dont
les « clés » sont identiques
Regroupe les expressions ne différant que par la casse,
l’accentuation, la ponctuation, le nombre d’espaces, l’ordre
ou la répétition des mots
- Ex : école = éc-ole = éCOLE = ecole
- Ex : Liberté, égalité = EGALITE: LIBERTE : EGALITE
Regroupe les expressions utilisant les mêmes caractères
(paramètre 1) ou bigrammes (paramètre 2).
- Ex (param 1) : paris = sirap = sirapa = pparaisiapa
- Ex (param 2) : paris-plage = paris plage
Regroupe les expressions ayant la même prononciation (en
anglais)
Regroupe les expressions ayant la même prononciation (en
allemand)

Plusieurs algorithmes
78/
Plus élaborées mais plus lentes
Regroupe les expressions en fonction du nombre d’étapes
élémentaires (suppression, ajout, modification de caractère)
nécessaires pour passer de l’une à l’autre.
Les variantes de caractères (accentués, majuscules,
minuscules) sont traités comme des caractères différents.
Augmenter le paramètre « rayon » (distance) diminue la
sensibilité de l’algorithme :
- Ex : paris = « distance de 1 » de Paris
- Ex : paris = « distance de 2 » de Pars
- Ex : paris = « distance de 5 » de dépaysé
Regroupe les expressions par complexité aglorithmique
(utilisé en génétique)
Baisser le paramètre « taille de
bloc » pour améliorer la détection
(attention risque de
ralentissement !

Attention! Dans certains cas ces algorithmes peuvent faire des
rapprochements non pertinents.
Résultat : on passe de 9 villes à 4 villes
79/

Appliquer des transformations courantes
1. Présentation
80/

Rappel:
Si un filtre ou une facette sont actifs, les transformations ne
s’appliquent qu’aux lignes sélectionnées.
81/81/

Modifier la casse
Activité: Transformer les valeurs de la colonne ville pour
obtenir passer tous les noms en majuscules
82/82/

Modifier la casse
Editer les cellules > Transformations courantes > En majuscules
83/83/

Supprimer les espaces superflus
Activité: Ajouter manuellement plusieurs espaces au début et
à l’intérieur d’une cellule, puis supprimer ces espaces en
utilisant le menu.
84/84/

Activité: Ajouter manuellement plusieurs espaces au début et
à l’intérieur d’une cellule, puis supprimer ces espaces en
utilisant le menu.
1/ ajout des espaces
(les espaces ne seront pas visibles dans l’affichage général des
données, mais ils ont bien été ajoutés)
85/85/

2/ suppression
Deux opérations
Editer les cellules > Transformations courantes > Supprimer les
espaces de début et de fin
Editer les cellules > Transformations courantes > Rassembler les
espaces consécutifs
86/86/

Transformer du texte en nombres ou en dates
Malgré les apparence, ces nombres et ces dates sont
considérés comme de simple suite de caractères.
Mais l’hétérogénéité des données peut rendre leur
reconnaissance délicate.
87/87/
JJ-MM-2017
JJ/MM/2017
JJ:MM:2017
JJ/ MM (2017)
Unité en k€
Unité en €
Séparateur décimal ,
Séparateur décimal .

Editer les cellules > Transformations courantes > En nombre / En
date
88/88/

Cette approche ne suffit pas à résoudre les cas complexes
(structure atypique, variation d’unités, séparateur décimal , )
 besoin d’utiliser le langage GREL
89/89/
Les valeurs de
type non
textuel (dates,
nombre,
booléens) sont
en vert, et
alignés à
droite

Effacer les cellules d’une colonne
Editer les cellules > Transformations courantes > Vider les cellules
90/90/

Supprimer les valeurs répétées sur plusieurs lignes
Editer les cellules > Vider
91/91/

Supprimer les valeurs répétées sur plusieurs lignes
Remarque : le mot « vider » a ici une signification différente
que dans l’opération « vider les cellules », qui supprime tout le
contenu des cellules.
92/92/

Opération inverse : recopier une valeur dans une série de
cellules vides situées en dessous
Editer les cellules > Remplir
93/93/

La suppression des valeurs répétées peut être nécessaire
pour d’autres opérations :
- Supprimer des doublons
- Créer des « entrées » regroupant plusieurs lignes
94/94/

Supprimer des doublons
Activité : Simplifier le fichier en ne gardant qu’une seule ligne
par personne (dans notre cas cela entraînera une perte
d’information, mais c’est pour la démonstratio…)
95/

Supprimer des doublons
Activité : Simplifier le fichier en ne gardant qu’une seule ligne
par personne
- Tri du fichier en fonction de la colonne code_personne et
enregistrement du tri
- Suppression des valeurs répétées pour la colonne
code_personne (Éditer les cellules -> Vider)
- Facette par blanc sur la colonne code_personne (Facette
courante -> Facette par blanc)
- Sélection de la facette « true » dans le panneau de gauche
- Suppression des lignes concernées (colonne Toutes > éditer
les lignes > supprimer les lignes)
96/

Exporter les données et les traitements
1. Présentation
97/

Exporter les données transformées
Plusieurs formats d’export
98/98/

Annuler ou rejouer un traitement
Historique permettant d’annuler (« défaire ») ou rejouer
(« refaire) les traitement sans limites
99/99/

Annuler ou rejouer un traitement
Limite :
- n’enregistre pas les modifications manuelles des cellules
- n’enregistre pas les facettes ni les tris
- en cas de retour en arrière jusqu’à une opération N et d’ajout
de nouvelles opérations, perte de l’historique des opérations
qui suivaient l’opération N
100/100/

Exporter les traitements
Les traitements peuvent être exportés et réappliqués au jeu de
données ou à un autre jeu présentant la même structure.
Extraire l’historique pour enregistrer les traitements :
101/101/
Copier dans le presse-papier
(Ctrl+C / Cmd+C)
Créer un fichier texte sur l’ordinateur
Ouvrir avec un éditeur de texte
Coller le contenu du presse papier
(Ctrl+V / Cmd+V)
Enregistrer le fichier

Réappliquer les traitements
À partir d’un jeu de données fraîchement téléchargé
102/102/
Ouvrir le fichier texte dans lequel les
traitements ont été enregistrés
Sélectionner tout le contenu et copier
dans le presse-papier
(Ctrl+C / Cmd+C)
Coller dans OpenRefine
(Ctrl+V/ Cmd+V)
Valider

Réappliquer les traitements
À partir d’un jeu de données fraîchement téléchargé
103/103/
Ouvrir le fichier texte dans lequel les
traitements ont été enregistrés
Sélectionner tout le contenu et copier
dans le presse-papier
(Ctrl+C / Cmd+C)
Coller dans OpenRefine
(Ctrl+V/ Cmd+V)
Valider

Lignes et entrées
1. Présentation
104/

Lignes et entrées
Des lignes peuvent être regroupées en « entrées » (records) si
elles se rapportent à un même objet.
Travailler avec des entrées permet des traitements avancés.
Pour créer des entrées :
1/ trier les données en fonction de la colonne servant de clé de regroupement
2/ déplacer cette colonne en 1re position du tableau
3/ supprimer les valeurs répétées dans cette colonne
105/105/

Restructurer des données
1. Présentation
106/

Restructurer les données
Cas fréquent : passer de plusieurs valeurs / cellule à une seule
Axe horizontal (créer de nouvelles colonnes)
Axe vertical (créer de nouvelles lignes)
107/107/
Nom Ville
Dupont Nice|Tours
Durand Bourges
Martin Nice|Paris
Nom Ville 1 Ville 2
Dupont Nice Tours
Durand Bourges
Martin Nice Paris
Nom Ville
Dupont Nice|Tours
Durand Bourges
Martin Nice|Paris
Nom Ville
Dupont Nice
Dupont Tours
Durand Bourges
Martin Nice
Martin ParisRisque : croire qu’il y a 2 Martin…

Nouveau jeu de données
Créer un nouveau projet à partir du fichier exo2.csv
108/108/

Éclater sur plusieurs lignes les cellules comprenant des
valeurs multiples
Passer de ceci
À celà
109/109/

Éclater sur plusieurs lignes les cellules comprenant des valeurs
multiples
1. Editer les cellules > Diviser les cellules multivaluées
2. Choisir le séparateur (ici « ; » ). Le séparateur peut être un
mot
110/110/

Remplir automatiquement les nouvelles cellules créées
(procédure vu plus haut)
1. Colonne espece: Editer les cellules > Remplir
2. Colonne nombre: Editer les cellules > Remplir
111/111/

Etape de nettoyage: Harmoniser les villes et les espèces en
utilisant uniquement les facettes et le clustering
112/112/

Regrouper sur une seule ligne des valeurs multiples
Passer de ceci
À ceci
113/113/

1. Les données doivent être organisées en « entrées » (vu plus
haut : tri sur 1re colonne puis Vider les cellules répétées)
114/114/
La ville sera utilisée pour définir les entrées

1. Editer les cellules > Joindre les cellules multivaluées
2. Choisir un séparateur
115/115/
Répéter pour les 2 colonnes
7 entrées 7 lignes

Eclater une colonne contenant plusieurs valeurs en plusieurs
colonnes
116/116/

117/117/
Décocher par
prudence
colonnes
1re option : définir un séparateur

Les opérations de « transposition »
Revenir à cette étape

Passer de A

Transposer > Transposer les cellules au travers des colonnes en
lignes
Options :
- résultat dans une seule colonne (« espece_nombre »)
- préfixer le nom de la colonne d’origine à chaque cellule

Colonne espece_nombre > Transposer > Transposer les lignes en
colonnes
Options :
- Transposer toutes les 2e lignes dans une nouvelle colonne

123/123/
colonnes
Passer de A

colonnes
Colonne espece_nombre 1 > Diviser en plusieurs colonnes
Options :
- Séparateur « : »
125/

colonnes
Même opération pour la colonne espece_nombre 2
126/

colonnes
Supprimer les colonnes inutiles et renommer les colonnes restantes
126/

127/127/
colonnes
2e option : définir la longueur de chaque champ

128/128/
colonnes
2e option : définir la longueur de chaque champrésultat

Restructurer des données
1. Présentation
129/

Introduction au langage GREL
Pendant quelques secondes, une information s’affiche après
chaque transformation
Ex:
Elle indique la formule utilisée par OpenRefine.
Ici :
value.trim() supprime les espaces initiaux et finaux
value.replace(/s+/,’’) simplifie les espaces répétés
Ces formules se retrouvent aussi dans l’historique des
traitements.
130/130/

Les facettes et transformations personnalisées reposent sur
des formules de ce type, saisies manuellement.
Elles utilisent le langage GREL (Google Refine Expression
Language, ou General Refine Expression Language).
Documentation :
https://github.com/OpenRefine/OpenRefine/wiki/General-
Refine-Expression-Language
Il est aussi possible d’utiliser deux autres langages (Python et
Clojure) pour des cas spécifiques.
131/131/

Dans la colonne espece, ouvrir le menu Editer les cellules >
Transformer
132/132/
Formule
(sans = initial)
Résultat de
la formule

Appliquer des transformations
personnalisées
Activité : dans la colonne espece, remplacer tous les « o » par
des « O » : formule value.replace("o","O")
133/133/
Prévisualisation
du résultat
valider

Syntaxe générale
 Pas de = avant les fonctions
 value désigne le contenu d’une cellule
 + permet de concaténer deux valeurs. Ex: "a"+"b" -> "ab"
 Nom des fonctions sensible aux majuscules
 Les fonctions sont suivies de (parametre1, parametre2…),
ou de () en absence de paramètre
 Une fonction peut s’écrire de deux manières :
 value.nom_de_la_fonction(parametres). Ex: value.trim ()
ou
 nom_de_la_fonction(value, parametres). Ex: trim (value)
134/134/

Intérêt:
Certaines fonctions sont absentes d’Excel ou difficile à
reproduire, notamment :
- Utilisation d’expressions régulières
- Récupération de données sur Internet
- Manipulation de données au format JSON, XML, HTML
135/135/

Deux menus utiles: aide et historique
136/136/
Aide précieuse!
Utiliser Crtrl+F pour rechercher une commande

Deux menus utiles: aide et historique
137/137/
Historique
Permet de réutiliser une formule

Exemple de fonctions utiles
length () longueur de la chaîne de caractère
trim () supprime les espaces initiaux et finaux
toUppercase() passe en majuscules (y compris lettres accentuées)
Ex: "école".toUppercase() -> « ÉCOLE »
toLowercase () passe en minuscules
indexOf (x) renvoie la position de x
(Attention, la numérotation commence à 0)
Ex: "bleu".indexOf (‘b‘) -> 0
substring (pos1,pos2) extrait les caractères entre pos1 et pos2
(Attention, la numérotation commence à 0
et pos2 est exclu)
Ex: "bleu".substring(1,3) -> « le » (lettres de position 1 et 2)
138/138/

replace (x, y) remplace la chaîne de caractère x par y.
Ex : "zorro".replace (‘zo’,’x’) -> "xrro"
replaceChars (x,y) replace les caractères contenus dans x par z
Ex : "zorro".replaceChars (‘zo’,’x’) -> "xrx"
split (x) décompose la valeur en tableau, en utilisant x comme
séparateur. Les éléments du tableau sont accessibles par [n] (numérotation à
partir de 0)
Ex : "01/12/2015".split(‘/’)[0] -> « 01 » (1er élément du tableau)
join (t, s) inverse de split : agrège les éléments d’un tableau t en
utilisant comme séparateur la chaîne de caractères s.
139/139/

cross (cell c, Nom_projet2, Nom_colonne) permet de croiser deux projets :
retourne un tableau de 0, 1 ou + lignes du projet Nom_projet2 pour lesquelles
les cellules de la colonne Nom_colonne ont le même contenu que la cellule c.
parseJson (s) : analyse la chaîne s et renvoie un objet manipulable
Ex : value.parseJson()["element-niv1"]["element-niv2"]
parseHtml (s) : analyse la chaîne s et renvoie un objet manipulable avec
d’autres fonctions
Ex:
value.parseHtml().select("div#content")[0].select("tr").toString()
140/140/

Récupération et exploiter des données sur Internet :
- API JSON
- API XML
- Page HTML
Remarque: il est nécessaire d’utiliser Python dans Openrefine
au lieu de GREL :
- pour récupérer des données en utilisant le protocole POST
- pour exploiter certaines données complexes après leur
récupération
141/141/

Activité : récupérer la population des villes à partir de l’API
https://geo.api.gouv.fr/
La syntaxe de l’API est
https://geo.api.gouv.fr/communes?nom=NOMDECOMMUNE
La réponse est en JSON : tableau de X villes dont le nom
correspond à la requête, avec plusieurs propriétés pour
chacune, dont population
142/142/

Activité : récupérer la population des villes à partir de l’API
https://geo.api.gouv.fr/
1re étape : Créer une colonne liste-urls contenant les URL
Colonne villes > Éditer colonne > Ajouter une colonne en fonction de
cette colonne
Formule :
"Racine_URL" + value
Ou encore mieux (évite les erreurs en cas de caractère parasite):
"Racine_URL" + value.escape(‘url’)
143/143/

2e étape : Récupérer les données dans une colonne data
Colonne liste-urls > Éditer colonne > Ajouter une colonne en
moissonnant les URL
144/144/
Bug dans la
version 2.7:
décocher l’option
« Mettre les
réponses en cache »
« conserver »
pour repérer
d’éventuelles
erreurs de
connexion

Résultat intermédiaire
145/145/

3e étape : Exploitation des données : créer une nouvelle
colonne à partir de data
Colonne data > Éditer colonne > Ajouter une colonne à partir de
cette colonne
Formule : value.parseJson()[0]["population"]
146/146/

Résultat final
147/147/

Pour aller plus loin
Documentation officielle
 Site
 Documentation (wiki)
Quelques tutoriels et retours d’expérience
 M. Bourdic, OpenRefine, "Excel aux hormones" pour nettoyage de données, 2017
 A. Courtin, “Reconcilier” une liste de nom d’architectes avec Wikidata en utilisant
OpenRefine, 2017
 Karen H, Using OpenRefine to Reconcile Name Entities, 2017
 Leçons du programme Library Carpentry. Open Refine for Librarians, 2016
 Leçons du programme Data Carpentry, 2015 ; variante Open Refine for Ecology
 T. Padilla, Getting Started with OpenRefine, 2015
 S. van Hooland , R. Verborgh et M. De Wilde, Cleaning Data with OpenRefine,
2013
 T. Hirst, Merging Datasets with Common Columns in Google Refine, 2011
 A. Falcone, Google Refine CheatSheets, 2011
146/

Découvrez OpenRefine: un outil gratuit pour nettoyer, préparer et enrichir vos données

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Découvrez OpenRefine: un outil gratuit pour nettoyer, préparer et enrichir vos données

Semelhante a Découvrez OpenRefine: un outil gratuit pour nettoyer, préparer et enrichir vos données (20)

Mais de Mathieu Saby

Mais de Mathieu Saby (8)

Último

Último (16)

Découvrez OpenRefine: un outil gratuit pour nettoyer, préparer et enrichir vos données

Notas do Editor