Hva er Big Data?

Big data er målinger av data som har blitt så store at normale databaser ikke klarer å inneholde og arbeide med den enorme mengden informasjon. Data kommer i tre størrelser: liten, mellomstor og stor; ingen av disse målingene er strenge; i stedet er hver avhengig mer av brukervennlighet og hvilken type maskin som kan håndtere informasjonen. Spesielle maskiner, mye større og komplekse enn de som brukes til vanlige databaser, er nødvendige for big data. Denne typen data finnes vanligvis hos myndigheter og vitenskapelige byråer, men noen veldig store nettsteder inneholder også denne store mengden informasjon.

Data kommer i tre standard, men ikke strenge størrelser. Små data kan passe på en enkelt datamaskin eller maskin, for eksempel en bærbar datamaskin. Medium data kan passe på en diskmatrise og administreres best av en database. Databaser, uansett hvor store, er ikke i stand til å jobbe med big data, og spesielle systemer kan mye brukes i stedet. Selv om det ikke er noen streng retningslinje for hva big data er, starter de vanligvis rundt terabyte-nivået (TB) og går opp til petabyte-nivået (PB).

Forsøk på å jobbe med big data i en database som ikke er spesialisert for denne datamengden vil føre til flere vesentlige problemer. Databasen kan ikke håndtere mengden informasjon, så noen data må slettes. Dette er som å prøve å få plass til 100 gigabyte (GB) på en datamaskin med bare 50 GB harddiskplass; det kan ikke gjøres. Dataene som er igjen vil være uhåndterlige for både kontroll og administrasjon, fordi det vil ta lang tid å fullføre en hvilken som helst funksjon og databasen må stenges for nye innsendinger.

Selv om det er mulig å fortsette å kjøpe maskiner og legge til nye data i databasene, skaper dette det uhåndterlige problemet. Dette er fordi databaseprogramvare bare er laget for å fungere med middels data. Større datasett fører til feil og administrative problemer, fordi programvaren ganske enkelt ikke kan flytte eller jobbe med store data uten å få problemer.

Big data blir ikke møtt av de fleste organisasjoner eller nettsteder. Forsvars- og militærbyråer bruker denne mengden informasjon for å lage modeller og lagre testresultater, og mange store vitenskapelige byråer trenger disse spesialiserte maskinene av lignende årsaker. Noen veldig store nettsteder trenger store datamaskiner, men nettsteder er ikke så vanlige som byråer i dette markedet. Disse organisasjonene trenger å oppbevare alle dataene sine, fordi det hjelper med å analysere fremtidige data og komme med spådommer.