Wat is deduplicatie?

Deduplicatie is een proces dat wordt gebruikt om overbodige gegevens te verwijderen. Tijdens het proces wordt de harde schijf van een computer gescand op grote reeksen gegevens over vergelijkingsvensters. Tijdens het scannen op dubbele gegevens worden meestal reeksen van acht kilobytes of meer uitgezocht. Als de reeks ergens anders op het opslagsysteem wordt gevonden, wordt naar het gedupliceerde bestand verwezen en niet opnieuw opgeslagen.

Een succesvolle deduplicatie kan verschillende kilobytes aan gegevens op een computer elimineren, wat leidt tot duidelijke voordelen. Gegevensduplicatie neemt onnodige ruimte in het systeem in beslag en wanneer externe gegevens worden verwijderd, heeft de gebruiker meer opslagruimte op de computer. Hierdoor kan het systeem sneller en efficiënter werken omdat het niet verzandt met de extra gegevens. Bovendien is verbetering van de bandbreedte altijd meer merkbaar wanneer een computer meer vrije ruimte heeft.

Ontdubbeling omvat het verwijzen naar de grote hoeveelheid gegevens naar de eerste locatie en het verwijderen van de extra exemplaren van de gegevens, die echter worden geïndexeerd voor het geval ze nodig zijn. Vaak kunnen dezelfde exacte gegevens op maximaal 100 verschillende plaatsen op een harde schijf worden opgeslagen. Als elk een megabyte aan ruimte inneemt, zal deduplicatie deze ruimte op de harde schijf verkleinen van 100 megabytes naar slechts één. Het proces werkt door de gegevens te archiveren en de extra ruimte die wordt gewonnen, is zeer gunstig voor de harde schijf van een computer.

Bijkomende voordelen van deduplicatie zijn onder meer het verminderen van de benodigde hoeveelheid back-upruimte met maar liefst 90 procent, het verlagen van kosten zoals stroom, ruimte en koeling, het herstellen van een hoger serviceniveau, het elimineren van veel verschillende soorten fouten en het herstellen van gegevens op verschillende verschillende punten. Een nadeel van deduplicatie is dat het de dubbele gegevens identificeert met behulp van cryptografische hashfuncties, die onbetrouwbaar kunnen zijn, en een botsing of ander type fout zou resulteren in het verlies van gegevens. Als de persoon die de procedure heeft geautoriseerd niet op de hoogte is van de betrokken redundantiereductie, kan de betrouwbaarheid van de computer nadelig worden beïnvloed.

Gegevensontdubbeling werkt door eerst elk stuk gegevens dat wordt verwerkt te segmenteren. Elk segment wordt geïdentificeerd en vergeleken met gegevens die zich al in het systeem bevinden. Als de gegevens uniek zijn, worden deze opgeslagen op een schijf. Als het een dubbel stuk gegevens is, wordt in plaats daarvan een verwijzing gemaakt. Deduplicatie kan worden geïmplementeerd met behulp van software genaamd Data Domain, die werkt met data- en opslagsystemen om door gegevens te filteren, naar elke byte te verwijzen, deze te elimineren of op te slaan.