Online.Leren/OpenRefine/Deel IV

Oefenen met OpenRefine

Spaties verwijderen

Een veelvoorkomende, bijna onzichtbare, vorm van vervuiling in data zijn spaties voor of achter een term. Een spatie is voor een computer net zo goed een teken als eender welke letter uit het alfabet, alleen zien wij ze niet altijd, zeker niet diegene achter een term. Met ander woorden, een term mét een spatie erachter is niet hetzelfde als een term zonder spatie.

Voor dit voorbeeld gebruik je opnieuw het Online.Leren Oefenbestand en je opent dit in OpenRefine zoals in Deel II van deze training werd uitgelegd. Maak vervolgens een tekst facet van de kolom Soort object (Klik op het pijltje naast de naam van de kolom, kies Facet en vervolgens: Text facet).

In de linker kolom zie je nu alle soorten objecten die in dit bestand zijn gebruikt. Opvallend genoeg begint de alfabetische opsomming met de term prent en niet met affiche. Als je wat verder naar beneden scrolt kom je de term prent nog drie keer meer tegen, telkens hetzelfde geschreven, dus waarom worden ze dan apart opgesomd? Hier zijn de (onzichtbare) spaties schuldig aan. De term prent is voor een computer wel verschillend geschreven omdat deze begint met een spatie of juist eindigt met een spatie, of twee, of drie…

Online.Leren/OpenRefine/Deel IV

Oefenen met OpenRefine

Spaties verwijderen

Zoals gezegd zijn onbedoelde spaties een veelvoorkomende vervuiling in data en daarom heeft OpenRefine een standaard functie om dit probleem op te lossen.

Klik op het pijltje naast de titel van de kolom Soort Object. Kies Edit cells, vervolgens Common transforms en tot slot Trim leading en trailing whitespace. Je ziet nu in het venster aan de linkerkant dat de term prent nog maar één keer voorkomt, de data zijn met succes ontdaan van ongewenste spaties.

Online.Leren/OpenRefine/Deel IV

Oefenen met OpenRefine

Spaties verwijderen

Even resumeren, wat heb je precies gedaan? Je hebt een facet gemaakt om te zien welke termen er gebruikt worden in de kolom Soort object. Vervolgens heb je alle termen in deze kolom ontdaan van spaties voor en/of achter de term. Nu is de term prent gelijk in alle records.

Je hebt nu álle termen in de kolom Soort Object ontdaan van spaties. Wil je enkel de term prent van spaties ontdoen dan dien je eerst een selectie te maken. Dit kan je heel makkelijk doen door op het pijltje naast de kolom Soort object te klikken en vervolgens Text filter. Links verschijnt er een nieuw tekstvak waar je een zoekterm kunt invoeren. Type hier eens Ets.

Online.Leren/OpenRefine/Deel IV

Oefenen met OpenRefine

Hoofdletters verwijderen of toevoegen

Met de Text filter-functie van OpenRefine kun je heel gemakkelijk zoeken in de verschillende kolommen. Je hebt zojuist gezocht in de kolom Soort object naar de term Ets. Je hebt nu alle records geselecteerd die voldoen aan dit zoekcriterium. Je ziet meteen dat ets op verschillende manieren is geschreven, soms met hoofdletter en soms zonder.

Het gebruik van hoofdletters – of juist niet – is net zoals ongewenste spaties een veelvoorkomende vervuiling in databestanden. Om deze reden kan je met OpenRefine termen heel gemakkelijk van hoofdletters naar kleine letters transformeren en andersom.

Dit doe je door in de kolom Soort object, Edit cells te selecteren, vervolgens Common transforms en To titlecase. Alle termen beginnen nu met een hoofdletter. Probeer het nog eens en kies dan To lowercase of To uppercase. Zie je het verschil?

Online.Leren/OpenRefine/Deel IV

Oefenen met OpenRefine

Samengevat

Ongewenste spaties en hoofdletters zijn veelvoorkomende vormen van vervuiling in databestanden. OpenRefine erkent dit probleem en heeft daarom zogenaamde Common transforms waarmee je heel eenvoudig overbodige spaties kunt verwijderen en termen kunt voorzien of juist ontdoen van hoofdletters. Voor de liefhebbers is er zelfs een functie om de termen volledig in hoofdletters om te zetten.

De functie Text filter maakt het mogelijk om te zoeken in kolommen en op die manier selecties te maken.