Hurtownie danych

Hurtownie danych

Wstęp

Wstęp

„Hurtownia danych to zbiór zintegrowanych,
nieulotnych, ukierunkowanych baz danych,
wykorzystywanych w systemach
wspomagania decyzji.”

W.H.Inmon

W.H.Inmon

 

 

Hurtownie danych

Hurtownie danych

Wstęp – OLAP/OLTP

Wstęp – OLAP/OLTP

OLTP – On-Line Transaction Processing

OLTP – On-Line Transaction Processing

(przetwarzanie transakcyjne)

(przetwarzanie transakcyjne)

OLAP – On-Line Analytical Processing

OLAP – On-Line Analytical Processing

(przetwarzanie analityczne)

(przetwarzanie analityczne)

 

 

Hurtownie danych

Hurtownie danych

OLAP/OLTP - porównanie

OLAP/OLTP - porównanie

OLAP

OLTP

Dane zorientowane tematycznie

Dane zorientowane procesowo

Duża wielkość (od 
kilkudziesięciu GB do kilku TB) 

Mała wielkość (kilkadziesiąt MB 
– kilka GB)

Przechowywane są dane 
historyczne 

Przechowywane są dane 
teraźniejsze

Zdenormalizowana struktura 
danych (kilka tabel – wiele 
kolumn w tabeli)

Znormalizowana struktura 
danych (wiele tabel – kilka 
kolumn w tabeli)

Złożone zapytania 

Proste zapytania

Dane zagregowane

Dane jednostkowe

 

 

Hurtownie danych

Hurtownie danych

Analiza danych – OLAP

Analiza danych – OLAP

Narz

Narz

ę

ę

dzia klasy OLAP, s

dzia klasy OLAP, s

ł

ł

u

u

żą

żą

 do tworzenia ró

 do tworzenia ró

ż

ż

nego rodzaju 

nego rodzaju 

analiz. Najwa

analiz. Najwa

ż

ż

niejsz

niejsz

ą

ą

 rol

 rol

ę

ę

 odgrywa tu analiza 

 odgrywa tu analiza 

wielowymiarowa która jest podstawą przetwarzania 

wielowymiarowa która jest podstawą przetwarzania 

analitycznego. Dane przetrzymywane w hurtowniach 

analitycznego. Dane przetrzymywane w hurtowniach 

danych maj

danych maj

ą

ą

 najcz

 najcz

ęś

ęś

ciej struktur

ciej struktur

ę 

ę 

wielowymiarow

wielowymiarow

ą

ą

.

.

 

 

 

 

Hurtownie danych

Hurtownie danych

Modelowanie danych

Modelowanie danych

Podczas analizy , dane poddawane s

Podczas analizy , dane poddawane s

ą

ą

 typowym operacj

 typowym operacj

om

om

 

 

do których zaliczamy m.in. :

do których zaliczamy m.in. :

 

 

-

-

zwijanie

zwijanie

 – podnoszenie poziomu agregacji czyli 

 – podnoszenie poziomu agregacji czyli 

uogólnianie danych

uogólnianie danych

 

 

-

-

rozwijanie 

rozwijanie 

– zmniejszanie poziomu agregacji, dane 

– zmniejszanie poziomu agregacji, dane 

staj

staj

ą

ą

 si

 si

ę

ę

 bardziej szczegó

 bardziej szczegó

ł

ł

owe

owe

 

 

-

-

selekcja – 

selekcja – 

wybór interesuj

wybór interesuj

ą

ą

cych elementów wymiarów

cych elementów wymiarów

 

 

- 

- 

projekcja – 

projekcja – 

zmniejszanie licz

zmniejszanie licz

b

b

y wymiarów

y wymiarów

 

 

-

-

obracanie

obracanie

 

 

 

 

Hurtownie danych

Hurtownie danych

Modelowanie danych

Modelowanie danych

 

 

Hurtownie danych

Hurtownie danych

Systemy OLAP

Systemy OLAP

Systemy OLAP które są spotykane na świecie można 

Systemy OLAP które są spotykane na świecie można 

podzielić na dwa główne typy : 

podzielić na dwa główne typy : 

ROLAP

ROLAP

 (Relational OLAP) 

 (Relational OLAP) 

czyli systemy relacyjne oraz 

czyli systemy relacyjne oraz 

MOLAP

MOLAP

 (Multidimensional 

 (Multidimensional 

OLAP)  - systemy wielowymiarowe. Istnieją jeszcze 

OLAP)  - systemy wielowymiarowe. Istnieją jeszcze 

systemy hybrydowe 

systemy hybrydowe 

HOLAP

HOLAP

 (Hybrid OLAP) które są 

 (Hybrid OLAP) które są 

połączeniem ROLAP i MOLAP. 

połączeniem ROLAP i MOLAP. 

 

 

Hurtownie danych

Hurtownie danych

ROLAP

ROLAP

Systemy ROLAP jest architektur

Systemy ROLAP jest architektur

ą

ą

 opart

 opart

ą

ą

 o relacyjne bazy 

 o relacyjne bazy 

danych. Typowym sposobem przechowywania danych s

danych. Typowym sposobem przechowywania danych s

ą

ą

 

 

schematy gwiazdy i p

schematy gwiazdy i p

ł

ł

atka 

atka 

ś

ś

niegu które zostały ju

niegu które zostały ju

ż

ż

 

 

wyja

wyja

ś

ś

nione wcze

nione wcze

ś

ś

niej. Motor ROLAP jest warstw

niej. Motor ROLAP jest warstw

ą

ą

 logiczn

 logiczn

ą

ą

, 

, 

która t

która t

ł

ł

umaczy 

umaczy 

żą

żą

dania u

dania u

ż

ż

ytkownika na zapytania j

ytkownika na zapytania j

ę

ę

zyka 

zyka 

SQL. Istniej

SQL. Istniej

ą

ą

 dwa sposoby dzia

 dwa sposoby dzia

ł

ł

ania

ania

 :

 :

 

 

Hurtownie danych

Hurtownie danych

ROLAP

ROLAP

Drugim, cz

Drugim, cz

ęś

ęś

ciej wykorzystywanym sposobem dzia

ciej wykorzystywanym sposobem dzia

ł

ł

ania, 

ania, 

podczas procesu ETL czyli procesu zasilania hurtowni 

podczas procesu ETL czyli procesu zasilania hurtowni 

danych z systemów 

danych z systemów 

ź

ź

ród

ród

ł

ł

owych, który wi

owych, który wi

ąż

ąż

e si

e si

ę

ę

 z 

 z 

oczyszczeniem, konsolidacj

oczyszczeniem, konsolidacj

ą

ą

 oraz przekszta

 oraz przekszta

ł

ł

ceniem danych 

ceniem danych 

do wspólnego formatu, wykonywane s

do wspólnego formatu, wykonywane s

ą

ą

 niezb

 niezb

ę

ę

dne 

dne 

agregacje  - motor ROLAP kieruje zapytania SQL do 

agregacje  - motor ROLAP kieruje zapytania SQL do 

danych 

danych 

ź

ź

ród

ród

ł

ł

owych i cz

owych i cz

ęś

ęś

ciowo zagregowanych w 

ciowo zagregowanych w 

relacyjnej bazie danych

relacyjnej bazie danych

. 

. 

 

 

Hurtownie danych

Hurtownie danych

MOLAP

MOLAP

Drugim rodzajem s

Drugim rodzajem s

ą

ą

 systemy MOLAP. Architektura MOLAP 

 systemy MOLAP. Architektura MOLAP 

opiera si

opiera si

ę

ę

 na predefiniowanych wielowymiarowych 

 na predefiniowanych wielowymiarowych 

tablicach zawieraj

tablicach zawieraj

ą

ą

cych zagregowane dane za

cych zagregowane dane za

ł

ł

adowane z 

adowane z 

ró

ró

ż

ż

nych zasobów danych. W porównaniu do relacyjnych 

nych zasobów danych. W porównaniu do relacyjnych 

systemów, systemy MOLAP cechuje du

systemów, systemy MOLAP cechuje du

ż

ż

a wydajno

a wydajno

ść

ść

. S

. S

ą

ą

 

 

optymalne dla operacji selekcji oraz projekcji wymiarów. 

optymalne dla operacji selekcji oraz projekcji wymiarów. 

Mog

Mog

ą

ą

 przetwarza

 przetwarza

ć

ć

 z

 z

ł

ł

o

o

ż

ż

one zapytania i szybko zwracaj

one zapytania i szybko zwracaj

ą

ą

 

 

wyniki. Niestety posiadaj

wyniki. Niestety posiadaj

ą

ą

 te

 te

ż

ż

 istotne wady. Najbardziej 

 istotne wady. Najbardziej 

istotn

istotn

ą

ą

 z nich jest mo

 z nich jest mo

ż

ż

liwo

liwo

ść

ść

 przetrzymywania znacznie 

 przetrzymywania znacznie 

mniejszej ilo

mniejszej ilo

ś

ś

ci danych od systemów ROLAP.

ci danych od systemów ROLAP.

 

 

 

 

Hurtownie danych

Hurtownie danych

ROLAP/MOLAP – porównanie 

ROLAP/MOLAP – porównanie 

Funkcjonalność

ROLAP

MOLAP

Wielkość

50 GB -10 TB

1 – 50 GB

Struktura danych

Gwiazda/Płatek 

śniegu/ inne

„Kostka” danych

Zarządzanie

Złożone

Proste

Projektowanie

Czasochłonne

Szybkie

Wydajność (całościowo)

Mała

Duża

Motory

-

      

IBM (DB2 – 

RedBrick)

-

      

MicroStrategy

-

      

Oracle

-

      

Sysbase

-

      

Cognos

-

      

Hyperion