Hva er prosessen for data mining?

Data mining prosessen er et verktøy for å avdekke statistisk signifikante mønstre i en stor datamengde. Det innebærer typisk fem hovedtrinn, som inkluderer forberedelse, datautforskning, modellbygging, distribusjon og gjennomgang. Hvert trinn i prosessen involverer et annet sett med teknikker, men de fleste bruker en form for statistisk analyse.

Før data mining-prosessen kan begynne, setter forskerne vanligvis forskningsmål. Dette forberedelsestrinnet bestemmer vanligvis hvilke typer data som må studeres, hvilke data mining-teknikker som skal brukes, og hvilken form resultatene vil ha. Dette innledende trinnet i prosessen kan være avgjørende for å samle nyttig informasjon.

Det neste trinnet i data mining-prosessen er leting. Dette trinnet innebærer vanligvis å samle inn nødvendige data fra et informasjonslager eller innsamlingsenhet. Deretter forbereder gruveeksperter typisk de rå datasettene for analyse. Dette trinnet består vanligvis av å samle, rengjøre, organisere og sjekke alle dataene for feil.

Disse utarbeidede dataene går vanligvis inn i det tredje trinnet i data mining-prosessen, modellbygging. For å oppnå dette tar forskere vanligvis små testprøver av data og bruker en rekke data mining-teknikker på dem. Modelltrinnet brukes ofte for å bestemme den beste metoden for statistisk analyse som kreves for å oppnå de ønskede resultatene.

Det er fire hovedteknikker som kan brukes i data mining-prosessen. Den første er klassifisering, som ordner data i forhåndsdefinerte grupper eller kategorier. I den andre teknikken, kalt clustering, lar forskere datamaskinen organisere dataene i grupper, slik den velger. En tredje data mining-teknikk søker assosiasjoner mellom variabler. Den fjerde ser vanligvis etter sekvensielle mønstre i dataene som kan brukes til å forutsi fremtidige trender.

Det siste trinnet i data mining-prosessen er distribusjon. For å gjøre dette blir teknikkene valgt i modellen brukt på det større datasettet, og resultatene blir analysert. Rapporten som kommer fra dette trinnet viser vanligvis mønstrene som er funnet i hele prosessen, inkludert klassifiseringer, klynger, assosiasjoner eller sekvensielle mønstre som finnes i datasettet.

Gjennomgang er ofte et viktig siste skritt. Denne fasen i prosessen innebærer vanligvis å gjenta gruvemodeller med et nytt datasett for å sikre at hovedsettet var representativt for hele datamengden. Resultatene kan ikke forutsi trender i den større populasjonen hvis datautvalget ikke representerer det nøyaktig.