2. HD - Architektura i infrastruktury hurtowni danych

2.1. Ogólna

architektura hurtowni

danych

Pierwszym krokiem w wyjaśnieniu

niejednoznaczności związanych z

hurtownią danych jest zrozumienie jej

architektury.

Architektura jest zbiorem zasad i struktur

będącym szkieletem ogólnego projektu

systemu czy hurtowni.

Wyróżniamy architektury:



Sieciowe,



Klient serwer,



Architektury dla konkretnych obszarów

tematycznych,



Architektury danych, funkcji, procesów,

itp.

Architekturę danych, funkcji i procesów

definiujemy poprzez rozpoznanie i

zrozumienie, w jaki sposób będą

wykorzystywane te elementy wewnątrz

przedsiębiorstwa. W architekturze

hurtowni danych podstawowym

składnikiem jest baza danych używana

do wspomagania decyzji.

Architektura jest, więc szkieletem

stworzonym z zasad i struktur (danych,

funkcji i procesów), na którym zostanie

zbudowany system hurtowni danych.

Architektura dla hurtowni danych ma

swoje własne cechy, które odróżniają ją

od innych systemów informatycznych.

Podstawowa architektura hurtowni

danych jest następująca.

Ogólna architektura

hurtowni danych

Ogólna architektura hurtowni

danych

Źródło

Ekstrakcja

Transformacja

Ładowanie

Hurtownia

danych

przedsiębiorstwa

Użytkownik Użytkownik

Użytkownik

Przekształcanie danych

Środowi
sko
dostępu
do
danych

Cechy właściwe dla hurtowni danych są

następujące:



Dane są wydzielane z systemów

źródłowych, baz danych, plików, itp.,



Dane z systemów źródłowych są

integrowane przed ich

wprowadzeniem do hurtowni danych,



Hurtownia danych jest oddzielną, stałą

bazą danych zaprojektowaną

specjalnie do wspomagania

podejmowania decyzji,



Użytkownicy mają dostęp do hurtowni

danych za pomocą „wysuniętych”

narzędzi i aplikacji.

Ogólna architektura hurtowni

danych

Dane są wydzielane z

systemów źródłowych, baz

danych, plików

Systemy działające w firmie są

dominującym źródłem informacji do

hurtowni danych. Podstawowe dane

(pola danych) potrzebne dla procesów

wspomagania podejmowania decyzji

zostaną wydzielone właśnie z tych

systemów. Czasami nawet całe tabele

lub pliki będą wydzielane, jeśli wszystkie

w nich pola są potrzebne do

przetwarzania wspomagającego

podejmowanie decyzji. Pola źródłowe

mogą pochodzić z różnych baz danych,

różnych platform i zawierać dane

różnych struktur, typów i formatu.

Dane z systemów źródłowych są

integrowane przed ich

wprowadzeniem do hurtowni

danych

Istotnym składnikiem architektury

hurtowni danych jest

integrowanie danych z wielu

źródeł przed ich wprowadzeniem

do hurtowni danych. Jest to

bardzo ważna i często nie

doceniana cecha hurtowni. Jeśli

dane pochodzą z wielu systemów

informacyjnych, baz danych

systemów informatycznych oraz

platform i technologii, to pewne

formy integracji są niezbędne i

konieczne.

Hurtownia danych jest oddzielną, stałą

bazą danych zaprojektowaną specjalnie do

wspomagania podejmowania decyzji

Nieodłącznym dla architektury hurtowni danych

jest, aby przetwarzanie operacyjne i

wspomaganie podejmowania decyzji były

rozłączne. Wynikiem przetwarzania

wspomagającego podejmowanie decyzji są,

podane w sposób przystępny, analityczne

informacje wykorzystywane w procesach

podejmowania taktycznych i strategicznych

decyzji. Procesy te często wymagają danych

historycznych (archiwalnych), które są

wykorzystywane do analiz porównawczych i

pozwalają na śledzenie trendów i wzorców

informacji w czasie. Jedna baza danych nie

może wydajnie służyć systemom przetwarzania

danych operacyjnych i systemowi

wspomagania podejmowania decyzji. Dlatego

oddzielna, stała baza danych jest podstawową

składową architektury hurtowni danych.

Użytkownicy mają dostęp do

hurtowni danych za pomocą

„wysuniętych” narzędzi i aplikacji

W systemie hurtowni danych środowisko

dostępu do danych tworzy jeszcze

jedną warstwę architektury hurtowni

danych.

Do tego środowiska zalicza się

„wysunięte” narzędzia, aplikacje,

szkolenie i pomoc niezbędne do

uzyskiwania użytecznych i dostępnych

informacji z hurtowni wspomagającej

podejmowanie decyzji

Architektura hurtowni danych zawsze

zawiera środowisko dostępu da danych

wspomagający podejmowanie decyzji.

Warianty architektur

Niezwykle ważne jest zrozumienie, że

składniki ogólnej architektury mogą

być implementowane na różne

sposoby, zorientowane na:



proces integracji danych źródłowych

w jedną standardową bazę danych,



obszary działalności przedsiębiorstwa,



aktualną strukturę organizacyjną.

W dalszej części wykładu zostały

przedstawione trzy warianty

architektur zorientowanych na

powyższe zagadnienia.

Wariant 1. Zintegrowana baza danych

przekazująca dane hurtowni danych

Źródło

Ekstrakcja

Transformacja

Ładowanie

Zintegrowana

baza

danych

Użytkownik

Hurtownia

danych

przedsiębiorstwa

Aktualizacje

Jest to dość skomplikowana architektura, w której

dane są wydzielane z systemów źródłowych,

podlegają integracji, a następnie są wprowadzane

do zintegrowanej bazy danych, która z reguły jest

w trzeciej postaci normalnej (bez redundancji

danych). Taką postać bazy danych można uzyskać,

gdy źródła danych są zrealizowane jako systemy

informatyczne, wykorzystujące relacyjne bazy

danych. Informacje, które są wprowadzane do

zintegrowanej bazy danych, są niezmienialne.

Jednak inne dane źródłowe są dodawane do

zintegrowanej bazy danych poprzez aplikację

umożliwiającą modyfikację nazw w celu uzyskania

określonego nazewnictwa lub przyjętego

standardu.

Dlaczego firma chciałby używać takiej architektury?.

To rozwiązanie umożliwia wykorzystywać

zintegrowane dane do podejmowania

codziennych decyzji

związanych z jego

działalnością.

Wariant 1. Zintegrowana baza

danych przekazująca dane hurtowni

danych

Zalety rozwiązania:



wspomaganie podejmowania decyzji operacyjnych

(codziennych), taktycznych i strategicznych,



możliwość zasilania hurtowni danych informacjami o bardzo

dużej jakości, ponieważ dane przeszły proces porządkowania i

integracji, podczas tworzenia Zintegrowanej Bazy Danych UDT,



docieranie do informacji za pomocą niewielkiej liczby aplikacji i

dość w krótkim czasie,



możliwość szybkiego skonstruowania systemu informowania

kierownictwa (SIK) oraz dedykowanego systemu

raportowania, również w zakresie codziennych czynności -

zadań, wykonywanych przez poszczególnych pracowników

organizacji,



łatwość porządkowania i dodawania nowych pól do bazy

danych poprzez wykorzystanie aplikacji umożliwiającej

aktualizację i modyfikację danych, zawartych w zintegrowanej

bazie danych

Wady rozwiązania:



niekonwencjonalna architektura,



podwyższone koszty rozwiązania w zakresie infrastruktury,



podwyższone koszty pielęgnacji i zarządzania konfiguracją.

Wariant 1. Zintegrowana baza

danych przekazująca dane hurtowni

danych

- Zalety i wady

Wariant 2: Wydziałowe

hurtownie danych

Podstawowym założeniem tego rozwiązania jest

istnienie hurtowni danych dla całego

przedsiębiorstwa oraz hurtowni danych

związanych z różnymi obszarami działalności

organizacji.

Jakie argumenty mogłyby przemawiać za takim

rozwiązaniem architektury dla firmy:



spełnienie strategicznego, początkowego

wymogu, by wszystkie bazy danych używały

modelu danych organizacji jako podstawowego,



oddzielenie procesów integracji danych od

procesów projektowania baz danych i

denormalizacji,



korzystanie z hurtowni danych firmy jako z

jednolitego źródła dla wszystkich odwzorowań

danych źródłowych

Wariant 2: Wydziałowe hurtownie danych

Źródło

Ekstrakcja

Transformacja

Ładowanie

Hurtownia

danych

przedsiębiorstwa

Hurtownia
wydziałowa

Użytkownik UżytkownikUżytkownik

Przekształcanie danych

Środowis
ko
dostępu
do
danych

Zalety rozwiązania:



Elastyczność rozwiązania w zakresie

skalowalności (poziomej i pionowej)

architektury, poprzez dokładanie lub

zamykanie poszczególnych hurtowni

wydziałowych,



Jednolite źródło.tych samych danych dla

poszczególnych obszarów działalności UDT,



Zachowanie konwencjonalnej architektury.

Wady rozwiązania



wysokie koszty rozwiązania w zakresie

infrastruktury,



duże koszty pielęgnacji i zarządzania

konfiguracją.

Wariant 2: Wydziałowe

hurtownie danych

Wariant 3: Tematyczna

hurtownia danych

Jest to architektura hurtowni danych, w

której dane są integrowane i

przeprojektowywane, a następnie

wprowadzane do oddzielnych hurtowni,

dla różnych obszarów tematycznych

działalności przedsiębiorstwa. chociaż ta

architektura nie ma jednej dużej bazy

danych, to zawiera wszystkie podstawowe

elementy, które sprawiają, że jest

prawdziwą hurtownią danych Rozwiązanie

to różni się od rozwiązania poprzedniego

tym, że nie istnieje hurtownia danych dla

całego przedsiębiorstwa, stanowiąca

jedno jednolite źródło dla wszystkich

tematycznych hurtowni danych.

Źródło

Ekstrakcja

Transformacja

Ładowanie

Hurtownia
wydziałowa

Użytkownik UżytkownikUżytkownik

Przekształcanie danych

Środowis
ko
dostępu
do
danych

Wariant 3: Tematyczna

hurtownia danych

Zalety rozwiązania:



Elastyczność rozwiązania w zakresie

skalowalności (poziomej i pionowej)

architektury, poprzez dokładanie lub

zamykanie poszczególnych hurtowni

wydziałowych,



Łatwość implementacji rozwiązania.



Niższe niż dla pozostałych wariantów koszty

rozwiązania w zakresie infrastruktury,



Niższe niż dla pozostałych wariantów koszty

pielęgnacji i zarządzania konfiguracją,

Wady rozwiązania



Brak jednolitego źródła tych samych danych

dla poszczególnych obszarów działalności

firmy

Wariant 3: Tematyczna

hurtownia danych

Infrastruktury techniczne

Infrastruktury techniczne hurtowni danych

są blisko związane z architekturą. Zalicza

się do nich:



technologie,



platformy,



bazy danych,



platformy sprzętowe i systemowe



oraz inne składniki niezbędne do tego,

aby architektura hurtowni była

funkcjonalna.

Przyjęto, że za infrastrukturę techniczną

też uważane jest szkolenie.

Na kolejnym slajdzie zostały przedstawione

przykłady infrastruktur technicznych.

Przykład relacji między architekturą a

infrastrukturami

Źródło

Ekstrakcja

Transformacja

Ładowanie

Hurtownia

danych

przedsiębiorstwa

Użytkownik

Przekształc

anie danych

4 5

1. Szkolenie w zakresie
metodyki wspomagania
podejmowania decyzji

2. Szkolenie w zakresie
relacyjnych baz danych

3. Narzędzia konwersji
danych

4. Umiejętności
administratora bazy danych

5. Sprzęt i relacyjna baz
danych

6. Sieć lokalna,, łączność i
stacje robocze

7. Przeglądanie ofert
sprzedaży bram

8. Przegląd dostępnego,
wysuniętego
oprogramowania

9. Przegląd dostępnych
narzędzi nawigacji po
metadanych

Infrastruktury techniczne –narzędzia, platformy,

komunikacja, bazy danych, szkolenia, itp. – wymagają

sporo czasu na ich określenie, instalację i dostrojenie.

Nowy sprzęt i oprogramowanie należy zakupić i

uruchomić.

Ponadto należy przejrzeć i wybrać narzędzia do integracji

danych, zorganizonizować sieci, bramy baz danych i

komunikację.

Techniczne infrastruktury powinny zostać określone, w

zależności od przyjętej architektury hurtowni danych i

być w fazie instalowania przed rozpoczęciem

tworzenia hurtowni danych.

Bardzo duży wpływ na wybór odpowiednich infrastruktur

technicznych ma aktualne środowisko przetwarzania

danych, a mianowicie czy jest ono ustrukturalizowane

(zintegrowane) czy niezintegrowane.

Środowisko przetwarzania danych ma bardzo duży wpływ

na wybór metodyki (cyklu życia systemu hurtowni

danych) realizacji systemu wspomagania

podejmowania decyzji.

Infrastruktury techniczne

Edukacja w zakresie wspomagania podejmowania

decyzji,

Wybór narzędzi przekształcania danych

Szkolenie w zakresie narzędzi przekształcania danych

Wybór bazy danych i platformy

Wiedza i umiejętności w zakresie baz danych i

platform

Wybór bram

Strategia replikacji danych

Wybór narzędzi do replikacji

Wiedza i umiejętności w zakresie projektowania bazy

dla hurtowni danych

10.

Baza danych i platformy

11.

Sieć i łączność

12.

Stacje robocze i oprogramowanie

13.

Wybór narzędzi dostępu do danych

14.

Szkolenie użytkowników w zakresie dostępu do

danych

15.

Dostęp do meta danych

16.

Szkolenie w zakresie nawigowania po meta danych.

Infrastruktury techniczne - lista

docelowa



Uwaga!. Przed przystąpieniem do

budowy hurtowni danych musi być

ustalona architektura hurtowni

danych (należy wybrać jeden

konkretny wariant) oraz techniczne

infrastruktury dla tego wariantu.

Bez ustalenia właściwej

architektury i infrastruktur

technicznych budowa hurtowni

danych z reguły kończy się

niepowodzeniem.

Infrastruktury techniczne -

lista docelowa

2.4. Podsumowanie



Architektura jest zbiorem zasad i struktur

będących szkieletem ogólnego projektu systemu.



Architekturę danych określa się przez ustalenie, w

jaki sposób dane powinny wędrować w systemie

hurtowni danych oraz jak będą wykorzystywane

wewnątrz przedsiębiorstwa.



Architektura danych dla hurtowni danych musi

posiadać następujące cechy:



Dane są wydzielone z systemów źródłowych, baz

danych i plików;



Dane z systemów źródłowych są integrowane przed

wprowadzeniem do hurtowni danych;



Hurtownia danych jest oddzielną, stałą bazą danych,

zaprojektowaną specjalnie do przetwarzania

analitycznego wspomagającego podejmowanie

decyzji, opartego na dużych ilościach danych;



Użytkownicy maja dostęp do hurtowni danych

poprzez wysunięte narzędzia i aplikacje (stacje

robocze)



Pola źródłowe dla hurtowni danych mogą pochodzić z

różnych baz danych, różnych platform i różnić się

strukturami, typami i formatami.



Jedna baza danych nie może być „wspólna” zarówno w

przetwarzaniu operacyjnym, jak i wspomagającym

podejmowanie decyzji.



Nie istnieje jeden dobry sposób implementacji hurtowni

danych za pomocą określonego zbioru infrastruktur

technicznych; jednakże podstawowe składniki architektury

hurtowni danych muszą zostać zrealizowane i dla nich

muszą być zdefiniowane infrastruktury techniczne.



Infrastruktury techniczne to techniki, narzędzia, platformy,

bazy danych, bramy oraz inne elementy niezbędne do

zrealizowania wybranej architektury hurtowni danych.



Częścią zadania, jakim jest zbudowanie hurtowni danych,

jest znalezienie infrastruktur technicznych

odpowiadającym potrzebom wspomagania podejmowania

decyzji, tak, aby stworzyć solidną architekturę

umożliwiającą pracę w zadanych warunkach.



Ta sama architektura hurtowni danych może zostać

zaimplementowana przy użyciu różnych infrastruktur.



Szkolenie techniczne jest bardzo ważną infrastrukturą

techniczną.

Rozpoznanie właściwej architektury i infrastruktur powinno

być przedsięwzięciem oddzielnym od tworzenia hurtowni

danych.

2.4. Podsumowanie c.d.

Document Outline