Co to jest architektura hurtowni danych?
Architektura hurtowni danych to projekt, który obejmuje wszystkie aspekty hurtowni danych dla środowiska korporacyjnego. Hurtownia danych to utworzenie centralnej domeny do przechowywania złożonych, zdecentralizowanych danych przedsiębiorstwa w logicznej jednostce, która umożliwia eksplorację danych, analizę biznesową i ogólny dostęp do wszystkich istotnych danych w organizacji. Architektura hurtowni danych obejmuje wszystkie wymagania sprawozdawcze, zarządzanie danymi, wymagania bezpieczeństwa, wymagania dotyczące szerokości pasma i wymagania dotyczące przechowywania.
Podczas tworzenia architektury hurtowni danych ważne jest, aby podzielić architekturę na określone domeny połączone w całościowy projekt końcowy. Ten projekt należy uznać za niebieski druk dla architektury danych przedsiębiorstwa. W szczególności należy rozważyć kilka podstawowych obszarów, biorąc pod uwagę architekturę hurtowni danych. Obszary te obejmują dostęp do systemu źródłowego, proces obszaru przejściowego, proces wzbogacania danych, architekturę danych, proces analizy biznesowej i wymagania dotyczące pamięci.
Hurtownia danych wymaga przesłania danych źródłowych z transakcji lub bazy danych do hurtowni danych. Proces ten został uproszczony do terminu Extract Transform and Load (ETL), który zasadniczo obejmuje obszary dostępu do systemu źródłowego, wzbogacania danych i architektury danych. Dla jasności lepiej jest szczegółowo zaprojektować te obszary architektoniczne, które nakreślą, w jaki sposób zostanie osiągnięty proces ETL. Chociaż niektóre dane są wymagane z systemów źródłowych, wszystkie dane nie są pożądane, ponieważ przeciążą hurtownię korporacyjną. Podstawowymi obszarami niepokojącymi podczas adresowania warstwy systemu źródłowego są metodologie dostępu do danych, dane wymagane z systemu źródłowego i wymagania dotyczące odświeżania.
Następną warstwą architektury hurtowni danych do rozważenia jest proces obszaru przejściowego. Ponieważ większość danych z systemów źródłowych będzie wymagać weryfikacji i czyszczenia danych, ważne jest utworzenie strefy lądowania dla danych źródłowych przed załadowaniem do warstwy reguł biznesowych hurtowni danych. Obszar przemieszczania przechowuje surowe źródła danych z systemów źródłowych, które zazwyczaj są opatrzone znacznikiem czasu, aby zapewnić aktualność danych.
Wzbogacanie danych lub proces reguł biznesowych to miejsce, w którym dane są czyszczone, aby osiągnąć pożądany wynik hurtowni danych. Dobrym przykładem tego podejścia do oczyszczania jest użycie narzędzi do czyszczenia adresów; w przypadku, gdy system źródłowy ma nieprawidłowe dane, proces wzbogacania danych uruchomi adres z zestawu danych surowych do systemu reguł biznesowych, który poprawi nieprawidłowe adresy. Jest to również czas, w którym niedokładne dane są usuwane lub modyfikowane w celu zapewnienia kompletności w hurtowni danych.
Następną warstwą do rozważenia jest warstwa architektury danych. W tym obszarze realizowany jest prawdziwy projekt lub schemat hurtowni danych przedsiębiorstwa. Hurtownia danych nie jest kombinacją wszystkich zestawów danych w przedsiębiorstwie, ale jest to nowo zdefiniowana baza danych zbudowana w celu umożliwienia przeglądu wszystkich podmiotów biznesowych w przedsiębiorstwie.
Wymaga to od architektury danych odpowiedzi na pytania, które zostaną postawione przez biznes w obszarze wywiadu gospodarczego i eksploracji danych. Tworząc architekturę danych w ten sposób, surowe zestawy danych zostaną przekształcone w tabele faktów, które pozwolą użytkownikom na tworzenie raportów ad-hoc dla całego widoku przedsiębiorstwa, a nie konkretnej bazy danych. Jest to również obszar, w którym będą przechowywane metadane dotyczące danych z surowego systemu, które mogą obejmować nazwę źródłowego systemu lub klucze podstawowe.
Następnym obszarem do rozważenia są wymagania dotyczące analizy biznesowej i raportowania. Tę warstwę można uznać za wymóg hurtowni danych dla użytkowników. Zazwyczaj ten obszar zawiera konserwowane raporty, możliwości raportowania ad-hoc oraz tablice i alerty na desce rozdzielczej przedsiębiorstwa. Warstwy analizy biznesowej zwykle są najbardziej brane pod uwagę, ponieważ jest to jedyny zewnętrzny element hurtowni danych.
Ostatnią warstwą do rozważenia są ogólne wymagania dotyczące przechowywania danych i konserwacji. Ponieważ hurtownia danych stale się rozwija i rozszerza, przechowywanie danych w bazie użytkowników musi być ściśle zarządzane i utrzymywane. Ponadto, podczas tworzenia architektury hurtowni danych, projekt powinien dokonywać realistycznych oszacowań, co będzie wymagane od pojemności przechowywania danych, a także od pasma o pojemności dostępu do danych. Wymagania te będą miały kluczowe znaczenie, ponieważ hurtownia danych będzie szeroko wykorzystywana w całym przedsiębiorstwie.