Wat is data mining? Definitie, betekenis, tools, het proces & de toepassingen

Orden je gedachten voordat je data mining tools overweegt

Om het belang en de impact van het vakgebied datamining te doorgronden, is het raadplegen van enkele definities geen overbodige luxe. Het lezen van dit overzichtsartikel data mining helpt je bovendien om je gedachten te ordenen voordat je met een project start. Wil je daadwerkelijk met data mining aan de slag, roep dan de hulp in van de data mining experts van Passionned Group.

Data mining definitie

Data mining, artificial intelligence en big data worden vaak in één adem genoemd of aangehaald. Hetzelfde geldt voor data mining, deep learning, data science en predictive analytics. Hoewel al deze begrippen veel met elkaar te maken hebben, zijn er wezenlijke verschillen. Om begripsverwarring te voorkomen en de datamining betekenis scherp te krijgen, wordt binnen het opleidingsprogramma van de Passionned Academy en in ons Big Data boek daarom met een eenduidige data mining definitie gewerkt. Dat geldt met name ook voor de data mining cursus die in dat kader wordt gegeven.

Wat is data mining?

“Data mining is het vinden van verbanden, patronen en correlaties in gestructureerde data met behulp van machine learning, statistiek en databasetechnieken.”

Figuur 1: Wat is data mining? Data uit verschillende bronnen combineren, begrijpen, analyseren, minen en de resultaten helder visualiseren met als doel het nemen van betere beslissingen.

Het doel van datamining is het opdoen van nieuwe inzichten die “verborgen” zitten in de data en het vergaren van nieuwe kennis. Die kennis gebruik je vervolgens weer om betere beslissingen te nemen en processen verder te verbeteren en/of te innoveren.

Data mining betekenis: een klein stukje geschiedenis

De wortels van data mining of “datamining” (volgens de spelling volgens het Groene Boekje) gaan helemaal terug tot in de 18e eeuw toen de Bayesiaanse kansberekening, de waarschijnlijkheidstheorie en regressieanalyse als onderdelen van de wiskunde hun opwachting maakten.

De term data mining als concept dook echter pas in 1990 op binnen databasekringen. Werd eerst nog formeel gesproken van Knowledge Discovery in Databases, afgekort als KDD, later raakte de term datamining steeds meer in zwang.

Gelet op deze historie en het onderzoekende karakter van datamining is het niet vreemd dat data discovery een algemeen geaccepteerd synoniem is voor data mining. Data science is de verzamelnaam voor datawetenschappen in de meest ruime zin. Functionarissen in het bedrijfsleven of wetenschappers aan universiteiten die zich met data mining science bezighouden worden logischerwijs data scientists genoemd.

Verschil process mining vs data mining

Process mining en data mining worden in de praktijk heel vaak door elkaar gehaald, of erger nog, op één hoop gegooid. Desondanks is het aantal verschillen tussen beide concepten groter dan het aantal overeenkomsten. Data mining, process mining? Eén ding is zeker. Process mining is geen data mining en vice versa.

Laten we met de belangrijkste overeenkomsten beginnen. Zowel data mining als process mining vallen onder de brede paraplu van Data Analytics & BI. Beide maken bovendien in toenemende mate gebruik van algoritmes om verborgen patronen, (causale) verbanden en onregelmatigheden te ontdekken. Dan nu enkele verschillen.

Verschil data mining vs process mining

Er bestaat een wezenlijk verschil en een overlap tussen data mining en process mining. Een eenvoudig voorbeeld verduidelijkt dit verschil.

Figuur 2: Process Mining ligt op het snijvlak van Business Process Management (BPM) en data mining.

De focus bij datamining ligt nadrukkelijk op de patronen binnen de data. Zo probeert het Amerikaanse Pizza Hut bijvoorbeeld patronen in klantgedrag te ontdekken. Door artificial intelligence in data mining settings in te zetten, wil het bedrijf klanten pizza’s aanbevelen op basis van het huidige weer en afhankelijk van de plek waar klanten wonen, of waar ze hun pizza willen verorberen. Een bepaald weerpatroon veronderstelt een bepaalde voorkeur voor een specifieke pizza. De focus bij process mining daarentegen ligt op de afwijkingen in het bedrijfsproces? Waarom wordt de pizza niet op tijd bij de klant bezorgd en hoe worden verschillen in de baktijd verklaard? Binnen process mining wordt onder meer gewerkt met event logs, audit trails en tijdstempels.

Een ander verschil is dat datamining van oudsher werkt met min of meer statische tabellen met data, terwijl process mining tegenwoordig ook in staat is om in realtime bedrijfsprocessen te monitoren. Bij data mining speelt bovendien het toeval een grote rol, terwijl je bij process mining ook een van tevoren gedefinieerd probleem kunt analyseren. Datamining zoekt nadrukkelijk naar algemene patronen, terwijl process mining zoekt naar causale verbanden. Of zoals het platform TechTarget het omschrijft: “Data mining is more concerned with the what – that is, the patterns themselves – while process mining seeks to answer the why.”

Text mining vs data mining

Het vakgebied van datamining is aanzienlijk bekender dan dat van text mining, ook wel text analytics genoemd. Met de benoeming van prof. Jan C. Scholtes, de eerste hoogleraar Textmining in Nederland, kwam hier verandering in. In zijn oratie besteedde hij onder meer aandacht aan het verschil tussen data mining en text mining.

Figuur 3: De verschillende stappen in het text mining proces

Data mining is volgens Scholtes het analyseren van transactiegegevens die in relationele databases zitten. Denk aan creditcardbetalingen of pintransacties. Aan dergelijke transacties kan men diverse aanvullende kenmerken meegeven: datum, locatie, leeftijd van creditcardhouder, salaris, enzovoorts. “Met behulp van de combinatie van deze gegevens kun je dan patronen in interesses of gedrag bepalen. Bij text mining gaat het om het analyseren van ongestructureerde informatie en daar relevante patronen en kenmerken uithalen. Vervolgens kan je met die patronen en kenmerken beter zoeken, dieper data analyseren en sneller inzichten krijgen die anders vaak verborgen blijven.”

Business intelligence vs data mining

Hoe kun je data mining in business intelligence perspectief plaatsen? Data mining is een aparte tak van sport binnen het domein van de business intelligence manager. Hoewel de definities, het doel, de scope en de focus verschillen, werken de twee (BI manager en data scientist) idealiter als een tandem samen.

Data mining richt zich op het onderzoeken en formatteren van data, terwijl business intelligence zich focust op het interpreteren en presenteren van data om managers te ondersteunen bij hun beslissingen.

Er is nog een verschil: datamining is gefocust op het vinden van nieuwe KPI’s terwijl business intelligence juist de voortgang van bestaande KPI’s meet, monitort en visualiseert. Data mining gebruikt specifieke data sets om ongestructureerde data te onderzoeken, terwijl het aangrijpingspunt voor business intelligence de relationele databases en de daarin opgeslagen gestructureerde data zijn.

De training R & data mining Tijdens de training R & data mining maak je in drie intensieve dagen kennis met het vakgebied Predictive Analytics, data mining en text mining, en de basisprincipes van AI. Ook het Big Data concept, privacy en de ethiek komen natuurlijk langs, maar je leert vooral programmeren in R met de beschikbare bibliotheken. In deze cursus data mining leer je diverse complexere data analyses met verschillende algoritmes op te zetten.Schrijf je in voor de training Data Mining met R

Verschil data warehouse vs data mining

Professionals die geen business intelligence achtergrond hebben of geen opleiding BI hebben gevolgd, halen soms ook nog de termen datawarehousing en data mining door elkaar, terwijl er toch een wezenlijk verschil is. Data warehousing is een proces om gestructureerde data afkomstig van een of meer bronnen op te slaan in een datawarehouse (een centrale opslagplaats). Datamining daarentegen is een proces om betekenisvolle gegevens en waardevolle zakelijke inzichten uit een database of een datawarehouse te destilleren. Met andere woorden: je kunt slechts met datamining aan de slag als er een goed geïntegreerde grote database of een datawarehouse aanwezig is.

Data mining vs data science

Mensen vragen zich soms af wat het gehalte artificial intelligence in data mining is. Het antwoord op deze vraag is nog niet zo eenvoudig te geven. Vast staat in ieder geval dat datamining gebruik maakt van al dan niet geavanceerde algoritmes die op de achtergrond patronen proberen te ontdekken. Sommige leveranciers van data mining software claimen honderden algoritmes aan het werk te hebben gezet. In die zin hebben algoritmes, data mining, machine learning, deep learning en data mining direct of indirect altijd iets met elkaar te maken. Hetzelfde geldt voor kunstmatige gecreëerde tegenstellingen als data science vs data mining en data analytics vs data mining. Er bestaan altijd wel raakvlakken.

Data mining: meer techniek dan wetenschap?

Data science is een wetenschappelijk vakgebied, terwijl data mining meer een techniek is ter ondersteuning van de business. De onderlinge verwevenheid is groot en de gelijkenissen en overeenkomsten bestaan wel degelijk, maar dit rechtvaardigt absoluut niet dat je alle termen maar door elkaar husselt, zoals je bij data mining analytics wel eens ziet gebeuren. Ben je op zoek naar duiding, vraag een inspiratie- of moderatiesessie aan bij Passionned Group of volg een van de opleidingen, zoals bijvoorbeeld de opleiding Process Mining.

Verschil big data vs data mining

Soms wordt een tegenstelling gecreëerd die helemaal geen tegenstelling is, zoals bijvoorbeeld door big data vs data mining tegenover elkaar te stellen. Dat is niet echt behulpzaam voor een beter begrip van datamining. Big data is simpelweg een grondstof voor data mining. Niets meer en niets minder.

Overweeg open source data mining software

Naast de Software-as-a-Service leveranciers zijn er ook diverse aanbieders van open source datamining software. Sommige leveranciers zijn met name gespecialiseerd in specifieke dataming software, zoals textmining of in bepaalde data mining technieken, zoals bijvoorbeeld classificatie, clustering, regressie, associatie, het signaleren van outliers (uitschieters) enzovoorts. Hoe dan ook, het herkennen van patronen in big data staat centraal.

Figuur 5: Verschillende technieken die data mining tools ondersteunen

De data mining tools worden ook steeds gebruiksvriendelijker als we de leveranciers mogen geloven. Zij claimen dat gebruikers zonder enige programmeerervaring ook aansprekende resultaten kunnen boeken met data mining software. Claims als “no code” of “low code” en drag and drop-functionaliteit zouden die gebruiksvriendelijkheid onder meer bevorderen.

Sommige data mining software leveranciers zijn gespecialiseerd in een bepaalde sector, bijvoorbeeld de landbouw, industrie of het onderwijs. Specifieke marktkennis bij de softwareleverancier kan behulpzaam zijn bij het snel doorgronden van jouw bedrijfsprobleem dat je wilt gaan oplossen met een data mining tool.

Het handboek Artificial Intelligence In dit complete Artifical Intelligence-boek (al meer dan 25.000 exemplaren verkocht) komt het totale spectrum van data analyse en data mining aan bod. Met als doel: veel betere beslissingen nemen en het intelligenter maken van je bedrijf. Het biedt je een perfect kader om het grotere geheel (BI, AI & Data Science) structureel vorm te geven en te implementeren.Bestel het handboek Artificial Intelligence

Selectie data mining software: 5 tips

Aanbieders van data mining software adverteren soms met samengestelde termen als “predictive data mining software” of “data mining predictive analytics” om zo hun scope te verbreden en hun marktexposure optisch te vergroten. Het ontbreken van heldere definities in het producten- en dienstenportfolio van leveranciers maakt de markt voor data mining echter minder transparant, vertroebelt inhoudelijke discussies en verstoort een ordentelijk, objectief proces van leveranciers- en toolselectie.

Definities doen er dus wel degelijk toe. Data mining, het opsporen van patronen, is namelijk heel iets anders dan het voorspellen van patronen en processen zoals respectievelijk bij data analytics en process mining gebeurt. Data analytics is na patroonherkenning meestal de volgende stap in het proces om bedrijfsprocessen meer voorspelbaar te maken.
Heldere definities helpen om de juiste leverancier en data mining tool te selecteren waarmee je jouw specifieke bedrijfsprobleem kunt oplossen. De volgende 5 tips voor zakendoen met data mining softwareleveranciers kunnen je behoeden voor een flater of miskoop:

1. Trap niet in de bekende verkooptrucjes. Softwareleveranciers werken vaak met verschillende basis- en premiumversies. Tekst mining is dan bijvoorbeeld alleen te gebruiken als je een premium versie aanschaft. Wees daarop bedacht.
2. Gebruik je onderhandelingsmacht. Realiseer je dat softwareleveranciers bijna altijd bereid zijn kortingen te geven, zeker bij de aanschaf van grote aantallen licenties. Verkopers van data mining software moeten immers ook kun targets halen. Zogenoemde street prices wijken altijd af van de officiële list prices of brochureprijzen.
3. Wees kritisch op het aantal licenties. Bedenk dat aan elke extra module, functionaliteit of feature meestal ook een prijskaartje hangt. Niet elke gebruiker van data mining software hoeft altijd over alle functionaliteiten en plug ins te beschikken. Besparen op licentiekosten is altijd een optie.
4. Pas op voor scherpe aanbiedingen. Er is een flink aantal aanbieders op de markt die zogenaamde gratis versies van datamining software, Nederlandstalig soms, aanbieden. Hoewel dit in eerste instantie aantrekkelijk lijkt, moet je altijd bedacht zijn dat hierachter toch meestal wel abonnementsmodel schuilt gaat dat loopt via upgrading en/of premium versies.
5. Haal het maximale uit je investering. Bedenk dat een goede documentatie van de data mining software en datamining heel belangrijk is en die ontbreekt vaak bij freeware. Maar dan nog: data mining leer je niet uit een boekje. Oefening baart kunst. Volg daarom een relevante, ondersteunende training data mining. Passionned Academy verzorgt bijvoorbeeld de training R & Data Mining, waarbij je ook zelf programmeerervaring opdoet.

Enkele voorbeelden en toepassingen van data mining

De data mining voorbeelden of praktische use cases voor data mining liggen sinds de opkomst in de jaren negentig van de vorige eeuw bij wijze van spreken voor het oprapen. Organisaties lopen er vanwege concurrentiegevoeligheid alleen lang niet altijd mee te koop.

Het meest aansprekende data mining voorbeeld is ongetwijfeld afkomstig uit de filmklassieker MoneyBall, waar data mining de traditionele baseballwereld op zijn kop zette. In de omvangrijke reeks artikelen en boeken over data mining zijn een aantal klassieke use cases van data mining toegepast in het bedrijfsleven en de overheid inmiddels goed gedocumenteerd.

We vatten enkele toepassingen van datamining hieronder kort samen:

• Data mining algoritmes signaleren (creditcard)fraude in de financiële dienstverlening door (afwijkende) patronen te signaleren in betaalgedrag en menselijk gedrag.
• Supermarktketens en webwinkels gebruiken data mining methoden zoals associatieve technieken om achter consumentenpatronen te komen: welke artikelen worden bijvoorbeeld vaak gezamenlijk gekocht.
• Binnen het kader van precisielandbouw en zogenoemde smart farming worden onder meer weerpatronen en data over gewasgroei en bemesting geanalyseerd met behulp van data mining technieken.
• Waarom slijt een specifiek machineonderdeel veel sneller dan andere onderdelen? In fabrieken worden data mining methoden ingezet om bepaalde patronen en fouten in het fabricageproces te ontdekken en preventief onderhoud te voorspellen.
• Misbruik en fraude in de gezondheidszorg komen aan het licht als je data mining software gebruikt en op zoek gaat naar afwijkende patronen in patiëntengedrag, medicijngebruik, declaratiegedrag en deze vergelijkt met de protocollen.
• Door in ziekenhuizen op grote schaal data mining en big data analytics in te zetten, komen patronen in ziektebeelden en erfelijke ziekten aan het licht en kan de kwaliteit van zorg op termijn op een hoger plan worden getild.
• In de telecom wordt een data mining model al decennialang door telecom providers toegepast om patronen in belgedrag en het switchgedrag van telecomklanten te analyseren met als doel om klanten langer aan zich te binden.
• Data mining software bij de overheid wordt ingezet om uitkeringspatronen, de belastingmoraal van burgers te monitoren en te analyseren.
• Binnen de openbare ruimte zetten overheden data mining software en een data mining dashboard in om patronen te ontdekken in het kader van crowd control, verkeersregulatie en criminaliteitspreventie.

Verdiep je verder in data mining

Wil je meer inzicht in de beschikbare data mining methoden, volg dan onze cursus Data Mining met R. Je krijgt tijdens deze data mining cursus dan onder meer antwoord op vragen als: wat is datamining en hoe ontdek je verborgen patronen in de data van je organisatie? Ook leer je tijdens deze cursus Data mining programmeren in R, zodat je hiermee een predictive model kan ontwikkelen. Schrijf je nu in voor onze data mining training.

Data mining consultancy

Beschik je over big data en wil je een data mining model gaan opzetten, maar weet je niet waar te beginnen, dan biedt de data mining consultancy tak van Passionned Group uitkomst. Wij kunnen op korte termijn een interim data mining expert leveren die je in elke fase van het data mining proces kan ondersteunen. Ook kunnen we een in-company cursus Datamining organiseren voor een select gezelschap van collega’s die de kar moeten gaat trekken.

Wil je ook data mining in jouw bedrijf implementeren?

Wil je meer informatie over de inzet van een of meerdere data mining consultants of onze training Data mining in R? Neem dan gerust contact op met de adviseurs en consultants van de Passionned Group. Wij helpen je graag een flinke stap verder.

Over Passionned Group

De Passionned Group is een professioneel bedrijf met als specialisatie data mining & data science. Onze consultants helpen kleinere en grotere organisaties bij de digitale transformatie naar een intelligente, datagedreven organisatie. Om het jaar reiken we de Dutch BI & Data Science Award™ uit aan de Slimste organisatie van Nederland.

neem contact met ons op