Co to jest architektura magazynu danych?
Architektura magazynów danych to projekt, który obejmuje wszystkie aspekty magazynowania danych dla środowiska korporacyjnego. Hurtowni danych jest tworzeniem centralnej domeny do przechowywania złożonych, zdecentralizowanych danych przedsiębiorstwa w jednostce logicznej, która umożliwia eksplorację danych, inteligencję biznesową i ogólny dostęp do wszystkich istotnych danych w organizacji. Architektura hurtowni danych obejmuje wszystkie wymagania raportowania, zarządzanie danymi, wymagania dotyczące bezpieczeństwa, wymagania dotyczące szerokości pasma i wymagania dotyczące przechowywania.
Podczas tworzenia architektury hurtowni danych ważne jest, aby podzielić architekturę na określone domeny, które są połączone z całościowym końcowym projektem. Ten projekt należy uznać za niebieski druk architektury danych przedsiębiorstwa. W szczególności należy opracować kilka głównych obszarów, biorąc pod uwagę architekturę magazynu danych. Obszary te to dostęp do systemu źródłowego, proces oceny przestrzennej, proces wzbogacania danych, architektura danych, inteligencja biznesowa PrOcess i wymagania dotyczące przechowywania.
Hurtowni danych wymaga przeniesienia danych źródłowych z transakcyjnej lub bazy danych w magazynie danych. Proces ten jest uproszczony do terminu transformację i obciążenie wyciągu (ETL), który zasadniczo zawiera obszary dostępu systemu źródłowego, wzbogacania danych i architektury danych. Ze względu na przejrzystość lepiej jest szczegółowo zaprojektować te obszary architektoniczne, co określa, w jaki sposób proces ETL zostanie osiągnięty. Chociaż niektóre dane są wymagane z systemów źródłowych, wszystkie dane nie są pożądane, ponieważ przeciążyłyby magazyn przedsiębiorstwa. Podstawowymi obszarami niepokoju podczas rozwiązywania się z warstwą systemu źródłowego są metodologie dostępu do danych, dane wymagane z systemu źródłowego i wymagania odświeżania.
Kolejna warstwa architektoniczna magazynowania danych, którą należy wziąć pod uwagę, to proces przestrzennego. Ponieważ większość danych z systemów źródłowychWalidacja Quire i oczyszczanie danych, ważne jest utworzenie strefy lądowania dla danych źródłowych przed załadowaniem do warstwy reguł biznesowych hurtowni danych. Obszar inscenizacji utrzymuje surowe kanały danych z systemów źródłowych, które są zwykle stemplowane czasowo, aby zapewnić niedawność danych.
Proces wzbogacania danych lub reguł biznesowych polega na oczyszczaniu danych w celu spełnienia pożądanego wyniku hurtowni danych. Dobrym przykładem tego podejścia do czyszczenia jest użycie narzędzi do czyszczenia adresów; W przypadku, gdy system źródłowy ma nieprawidłowe dane, proces wzbogacania danych uruchomi adres z zestawu danych RAW w system reguł biznesowych, który poprawiłby nieprawidłowe adresy. Jest to również czas, w którym niedokładne dane są usuwane lub modyfikowane, aby zapewnić kompletność w magazynie danych.
Następną warstwą do rozważenia jest warstwa architektury danych. W tym obszarze jest to, gdzie zakończy się prawdziwy projekt lub schemat magazynu danych przedsiębiorstwa. Hurtowni danych w niePołączenie wszystkich zestawów danych w przedsiębiorstwie, ale jest to nowo zdefiniowana baza danych zbudowana w celu umożliwienia przeglądu wszystkich podmiotów biznesowych w przedsiębiorstwie.
Wymaga to, aby architektura danych odpowiedziała na pytania, które będą postawione przez firmę w dziedzinie wywiadu biznesowego i wydobywania danych. Tworząc architekturę danych w ten sposób, surowe zestawy danych zostaną przekształcone w tabele faktów, które pozwolą użytkownikom wykonywać raportowanie ad-hoc w całym widoku przedsiębiorstwa, a nie określoną bazę danych. Jest to również obszar, który utrzyma metadane dotyczące danych z surowego systemu, który może zawierać nazwę systemu źródłowego lub klawisze podstawowe.
Następnym obszarem do rozważenia są wymogi dotyczące inteligencji biznesowej i raportowania. Tę warstwę można traktować jako wymaganie dla użytkownika dla magazynowania danych. Zazwyczaj obszar ten zawiera raporty z puszek, możliwości raportowania ad hoc oraz płytki lub alerty Dash Enterprise. BusinWarstwy inteligencji ESS zwykle uzyskują największe rozważenie, ponieważ jest to jedyny komponent skierowany w magazynie danych.
Ostatnią warstwą do rozważenia są ogólne wymagania i konserwacja danych. W miarę wzrostu i rozszerzania się hurtowni danych, przechowywanie danych bazowych użytkowników musi być ściśle zarządzane i utrzymywane. Ponadto, podczas tworzenia architektury hurtowni danych, projekt powinien dokonać realistycznych szacunków co do tego, co będzie wymagane, tworząc pojemność przechowywania danych, a także pasmo z pojemnością dostępu do danych. Wymagania te będą miały kluczowe znaczenie, ponieważ hurtownia danych będzie szeroko stosowana w całym przedsiębiorstwie.