De 6 meest rake redeneringen om géén data lake aan te leggen

Wat is een data lake?

Voordat we deze vragen beantwoorden, is het goed om een heldere voorstelling van een data lake te hebben. James Dixon, de grondlegger en CTO van Pentaho, vond de term uit. Hij beschrijft het als volgt:

“Als je een datamart beschouwt als een winkel vol met flesjes water – schoon, verpakt, georganiseerd en klaar voor consumptie – dan is het data lake een grote hoeveelheid water in een meer natuurlijke staat. De inhoud van dit meer komt uit diverse bronnen en vult zo het meer. Het is echter ongezuiverd water en niet verpakt. Meerdere gebruikers kunnen erin duiken, vissen, het onderzoeken en monsters meenemen.”

Datawarehouse versus data lake

Het grootste verschil tussen een datawarehouse en een data lake is dat een datawarehouse gevuld is met vooraf gestructureerde data. Een data lake is veel ruwer. Het grote voordeel van een datawarehouse is dat je door die structuur makkelijker antwoorden vindt op je BI-vragen dan bij een data lake. Maar in een data lake sla je veel complexere en of veel grotere massa’s aan data op. Die ga je vervolgens in analyses betrekken op het moment dat deze nodig zijn.
De Big Data Analytics opleiding In deze Big Data Analytics opleiding leer je alles over data lakes, de opslagplaats voor big data. Daarnaast leren we je hengelen met de juiste algoritmes en machine learning technieken. Zodat je goede Big Data resultaten kunt behalen voor jouw organisatie en deze intelligenter en meer datagedreven kan werken.Big Data Analytics training & Data Lakes

Is meer altijd beter?

Veel mensen denken dat meer altijd beter is. Veel organisaties gingen direct aan de slag met data lakes. Sommige managers zagen ze als een goede aanvulling op een datamart of hun datawarehouse. Of zelfs als vervanging. Maar er zijn 6 goede redenen om eerst goed na te denken voordat je zelf een data lake aanlegt.

1. Het meer blijft droog

Als je een meer wilt vullen, heb je miljoenen liters water nodig in plaats van een aantal flesjes. Je hebt dus vele terabytes aan data nodig en vooral ook de juiste data. Stel jezelf dus eerst de vraag of jouw organisatie wel een meer kan vullen en beheren, en met welk doel je deze big data wilt inzetten.

2. Regelgeving gooit roet in het eten

Veel data lakes worden gebruikt voor data die privacy- en regelgevingsrisico’s voor je organisatie opleveren. Organisaties verzamelen niet alleen data over medewerkers en klanten, maar ook over patiënten of cliënten. Deze data is echter niet allemaal onderworpen aan dezelfde regels. Dit klinkt heel logisch. Maar veel organisaties met een data lake weten niet altijd welke data ze allemaal verzamelen. En waar die data vandaan komt en welke verantwoordelijkheden en risico’s hieraan vastkleven.

Data stroomt in je data lake zonder duidelijk toezicht op de inhoud. Je verzamelt namelijk zo veel mogelijk. Omdat er bovendien een gebrek aan prioritering van de ruwe data is, is het nog moeilijker om aan alle wet- en regelgeving te voldoen.

3. Het meer wordt al snel een moeras

Op het moment dat je data lake zich vult, raakt het snel vervuild. Per definitie accepteert een data lake elke soort data. Met alle ruwe data die erin stroomt, is het ontzettend lastig om de datakwaliteit te bepalen, laat staan te bewaken.

Bovendien is het door de ruwe vorm bijna onmogelijk de lijn vast te stellen, en te houden, van ontdekkingen die andere analisten of gebruikers al deden met dezelfde data uit het meer. Zonder beschrijvende metadata moet elke onderzoeker telkens weer van meet af aan opnieuw beginnen. Het traceren van de juiste data is dan een ware nachtmerrie.

Als je niet een manier vindt om je data lake vanaf de start goed te onderhouden, loop je het risico dat je meer binnen de kortste keren een moeras wordt.

4. Geen vissers aanwezig

Okay, je hebt de technologie in huis voor het inrichten van een data lake. Maar heb je wel goede vissers, data scientists? Anders gezegd: beschik je wel over de juiste expertise om de data eruit te halen en effectief voor je organisatie in te zetten? Neem ook punt 2 en 3 goed in overweging. En heb je de juiste mensen om je meer in te dammen, te controleren, te zorgen dat het niet overstroomt en dat niet iedereen er zomaar “zonder visvergunning” ongecontroleerd in vist?

5. BI-tools nog niet allemaal klaar

Inmiddels heb je de vissers verzameld, maar beschikken zij wel over de juiste hengels? Nog lang niet alle BI-tools zijn namelijk zover dat ze kunnen hengelen in je data lake. En nieuwe tooling voor data lakes wijkt nogal af van hetgeen je gewend bent (en geldt punt 4). Voordat je een data lake aanlegt, moet je dus de juiste BI-hengels (en vissers) in huis hebben. Anders vis je naast het net.

6. Begin eerst klein

Heb je jouw zogenaamde “small data” al op orde en benut je die al optimaal? In plaats van direct een heel meer aan te leggen, is het voor veel organisaties beter om eerst eens te starten met flesjes mineraalwater.

Is jouw bedrijf klaar voor een data lake?

Een data lake kan een aanwinst zijn voor je organisatie. Maar start hier pas mee als alle randvoorwaarden op orde zijn. Anders word je data lake snel een moeras waar jouw organisatie hopeloos in vast komt te zitten.

Neem nu contact met ons op, dan kunnen we samen kijken of er wel een goede businesscase is voor een data lake binnen jouw organisatie.