8.Systemy_z_pam_rozproszoną

8. Systemy

z pami

rozproszon

Przypomnienie

Pami

ęć

rozproszona

– cecha architektury komputera, gdzie

zapewniony jest sieciowy dost

p do pami

ci fizycznej, która

nie jest wspólna. Podzadania maj

bezpo

redni dost

p tylko do

pami

ci lokalnej, a dost

p do pami

ci innych maszyn (gdzie

wykonywane s

inne podzadania) jest uzyskiwany poprzez

komunikacj

CPU

RAM

CPU

RAM

Połączenia

sieciowe

Połączenia

sieciowe

CPU

RAM

CPU

RAM

System rozproszony

definicje

Zbiór niezale

nych komputerów

, który z punktu

widzenia u

ytkownika zachowuje si

cznie jak

pojedynczy komputer

Zbiór komputerów nie posiadaj

cych wspólnej

pami

ci ani zegara

Zbiór niezale

nych komputerów poł

czonych

sieci

komunikacyjn

Klasa systemów komputerowych

obejmuj

ca:

–

Systemy słabo powi

zane (ang.

loosely coupled;

np.

maszyny w sieci komputerowej)

–

Systemy silnie powi

zane (ang.

tightly coupled

; np.

maszyny wieloprocesorowe)

Korzy

ci z system

w rozproszonych

Współu

ytkowanie zasobów

(danych, urz

dze

)

Współdzielenie obci

ąŜ

enia zadaniami

Zwi

kszenie dost

pno

(dublowanie zasobów,

zast

powanie zasobów i przenoszenie zada

w razie

awarii)

Potencjalne

polepszenie wska

ników ekonomicznych

wzgl

dem systemu scentralizowanego

Elastyczno

ść

w zakresie zwi

kszania mocy

obliczeniowej

Dobra

skalowalno

ść

systemu (łatwo

ść

dostosowywania

systemu do rosn

cych obci

ąŜ

)

Wady system

w rozproszonych

Zło

one oprogramowanie

Dla rozwi

heterogenicznych (mieszane

architektury i platformy systemowe)

konieczno

ść

standaryzacji interfejsów komunikacyjnych

(sprz

t/protokoły)

Silna zale

ść

od poprawnego działania interfejsów

komunikacyjnych

ksza podatno

ść

na zagro

enia bezpiecze

stwa

Cechy system

w rozproszonych

Przezroczysto

ść

(ang. transparency) ze wzgl

du na:

– Współu

ytkowanie zasobów

(fakt korzystania z

zasobów nie jest widoczny dla innych u

ytkowników)

– Poło

enie

(lokalizacja zasobu sprz

towego lub danych

nie musi by

znana)

– Mo

liwo

ść

migracji zasobów

(plików, danych,

procesów, usług, maszyn wirtualnych)

– Redundancj

danych

(np. replikacj

) dla zwi

kszenia

wydajno

ci i/lub dost

pno

– Potencjalne awarie

(wykonanie zadania nie zale

y od

sprawno

ci odr

bnych zasobów sprz

towych)

Cechy system

w rozproszonych (2)

Niejednorodno

ść

elementów składowych

(ang.

heterogeneity):

– Sprz

tu komputerowego

(ró

ne architektury

komputerów)

– Oprogramowania komputerów

(ró

ne systemy

operacyjne, oprogramowanie narz

dziowe, metody

rodki zarz

dzania zasobami)

– Zastosowanych rozwi

sieciowych

(ró

ne media

transmisyjne, protokoły telekomunikacyjne, interfejsy
fizyczne/logiczne)

Cechy system

w rozproszonych (3)

Poziom autonomii elementów

wzgl

dem cało

systemu:

– NISKI – centralne zarz

dzanie zasobami

– WYSOKI – lokalne zarz

dzanie zasobami

Topologia poł

cze

elementów systemu:

– W

zły

– Kraw

dzie

Elementy schemat

w po

łą

cze

zeł

(

inaczej

komputer, maszyna, serwer,

stanowisko, host, itp.)

Kraw

(inaczej poł

czenie, ł

cze, itp.)

systemu rozproszonego

Sprzęt

System

operacyjny

Inne

oprogramowanie

zeł

Zasoby lokalne

Inny w

zeł

Sprzęt

System

operacyjny

Inne

oprogramowanie

Zasoby zdalne

Topologie system

w rozproszonych

Poł

czenie pełne

Poł

czenie cz

ęś

ciowe

Koszt budowy: du

Koszt komunikacji: mały
Niezawodno

ść

: du

(awaria w

zła po

redniego nie psuje sieci)

Koszt budowy:

redni-du

Koszt komunikacji: mały
Niezawodno

ść

rednia

(awaria w

zła po

redniego mo

e zepsu

sie

)

Poł

czenie drzewiaste

Poł

czenie gwia

dziste

Koszt budowy: mniejszy ni

sieci cz

ęś

ciowej

Koszt komunikacji: wi

kszy ni

dla sieci pełnej

Niezawodno

ść

: mała

(awaria w

zła po

redniego psuje sie

)

Koszt budowy: liniowo zale

ny od liczby w

złów

Koszt komunikacji: mały, potencjalne w

skie

gardło w w

ęź

le centralnym

Niezawodno

ść

: mała

(awaria w

zła centralnego psuje sie

)

Poł

czenie pier

cieniowe

Poł

czenie magistralowe

Koszt budowy: liniowo zale

ny od liczby w

złów

Koszt komunikacji: du

Niezawodno

ść

: mała

(awaria ka

dego w

zła psuje sie

)

Koszt budowy: liniowo zale

ny od liczby w

złów

Koszt komunikacji: mały
Niezawodno

ść

: mała dla magistrali,

a dla w

złów

Kryteria oceny topologii

Koszt budowy

: koszt poł

czenia w

złów w

cało

ść

(jednorazowy)

Koszt komunikacji

: czas przesyłania

komunikatu pomi

dzy danymi

stanowiskami

Niezawodno

ść

: wpływ awarii w

zła lub

kraw

dzi na komunikacj

pomi

dzy

pozostałymi w

złami

Komunikacja

Nazwy i tłumaczenie nazw

(jak procesy odnajduj

nawzajem w celu

wymiany komunikatów)

Strategie wyznaczania tras

przesyłania

komunikatów

Strategie przesyłania pakietów

(pojedynczo,

grupowo)

Strategie poł

cze

(jak procesy wysyłaj

komunikatów)

Strategie rozstrzygania konfliktów

o dost

p do sieci

Nazwy i t

umaczenie nazw

Identyfikator w

zła

– Nazwa domenowa

(nazwa DNS)

www.pwsz.nysa.pl

jednoznaczna, wygodna dla człowieka

– Adres IP

213.199.201.130

jednoznaczny, wygodny dla maszyny

Przekład nazw na adresy IP – usługa DNS

Identyfikator procesu

w danym w

ęź

le,

Wskazanie procesu

w zdalnym systemie:

<ID_w

zła, lokalny_ID_procesu>

Strategie wyznaczania tras

Ustalanie drogi

, któr

zostanie przesłany komunikat do

zdalnego w

zła:

– Jednoznaczne, gdy istnieje tylko jedna droga (np. topologia drzewa

lub gwiazdy)

– Wieloznaczne, gdy mo

liwych dróg jest wi

cej ni

jedna (np.

topologia pier

cienia, sie

w pełni poł

czona)

Tablica tras

w ka

dym w

ęź

le – drogi alternatywne, koszt

poł

czenia, aktualizacja tablicy

Wyznaczanie trasy

(ang. routing):

– Trwałe (trasa okre

lona z góry, w zasadzie niezmienna)

– Metod

obwodu wirtualnego (trasa ustalona na czas trwania jednej

sesji, np. przesłania pliku lub poł

czenia terminalowego)

– Dynamiczne (tras

okre

la si

przed wysłaniem komunikatu)

Strategie przesy

ania pakiet

Implementacja przesyłania komunikatów

w postaci pakietów (ramek lub datagramów)

Przesyłanie pakietów

– bezpoł

czeniowo

(bez gwarancji dostarczenia lub z

potwierdzeniem dostarczenia)

– poł

czeniowo

(dla zwi

kszenia niezawodno

wymiany pakietów)

Strategie po

łą

cze

czenie par procesów w celu wymiany informacji

– Komutowanie ł

czy

: ustanowienie stałego poł

czenia

fizycznego na wył

czno

ść

na czas trwania komunikacji

(analogia: analogowa ł

czno

ść

telefoniczna)

– Komutowanie komunikatów

: dynamiczne ustanowienie ł

cza

na czas przesyłania jednego komunikatu; komunikat zawiera
dane nadawcy i odbiorcy; to samo ł

cze mo

e słu

przesyłania komunikatów od ró

nych nadawców

(analogia: dostarczanie poczty)

– Komutowanie pakietów

: pakiety składaj

ce si

na komunikat

zawieraj

dane nadawcy i odbiorcy, s

osobno wysyłane do

miejsca przeznaczenia, gdzie z powrotem s

składane

w komunikat

Strategie rozstrzygania konflikt

Sie

jako medium

przesyłania komunikatów
- zasób ograniczony

Kraw

(ł

cze) –

potencjalne w

skie

gardło

, je

li nale

y do

wielu tras przesyłania
komunikatów

Przykład

Łącze

4-5

stanowi element tras:

1-3-5-2, 2-4-5, 3-5-4, i in.

Strategie rozstrzygania konflikt

w (2)

CSMA/CD

– wielodost

p z badaniem stanu ł

cza

i wykrywaniem kolizji

Przekazywanie

etonu

– odebranie przez w

zeł

ąŜą

cego w sieci (o strukturze pier

cienia)

specjalnego komunikatu (ang. token) uprawnia ten
w

zeł do zast

pienia

etonu przez swoje komunikaty,

a nast

pnie odtworzenie

etonu

Pojemniki na komunikaty

– w sieci (o strukturze

pier

cienia) kr

ąŜą

pojemniki puste lub zaj

te przez

komunikaty stałej długo

ci wyposa

one w adres

nadawcy i odbiorcy; wskazany odbiorca pobiera
adresowany do niego komunikat i opró

nia pojemnik

Systemy operacyjne system

w rozproszonych

Sieciowy system operacyjny

– Instalowany na ka

dym pojedynczym komputerze

– Jawnie wskazywany przez u

ytkownika (system lokalny lub

zdalny)

– Udost

pniaj

cy pliki i inne zasoby w sposób jawny

– Mała tolerancja bł

dów

Systemy operacyjne system

w rozproszonych (2)

Rozproszony system operacyjny

– Słabe wzajemne powi

zanie składników sprz

– Silne wzajemne powi

zanie oprogramowania

– Jeden system operacyjny (jeden egzemplarz, nie typ)

– Liczba komputerów, ich poło

enie i lokalizacja zasobów nie

musz

znane u

ytkownikom

– Jednolity dost

p do zasobów lokalnych i zdalnych

– Jawna lub niejawna migracja danych, oblicze

i procesów

pomi

dzy komputerami

– Mała autonomia poszczególnych komputerów

– Du

a odporno

ść

na bł

Przykłady: Amoeba, Mach, Chorus, DCE

Obliczenia w systemach rozproszonych

Pocz

tek prac

– lata 1980

(

rodowiska PVM, P4, PICL;

standard przesyłania komunikatów LAM)

rodowisko PVM

(ang. Parallel Virtual Machine)

– projekt wewn

trzny Oak Ridge National Laboratory (1989)

do programowania równoległego w sieci niejednorodnych
komputerów,

– University of Tennessee (1991)
– Trzecia wersja (1993)
– implementacje dla ró

nych platform (m.in. Unix, MS Windows,

Mac)

– obecny rozwój mało intensywny

Obliczenia w systemach rozproszonych. MPI

rodowisko MPI

(ang. Message Passing Interface) –

formalna specyfikacja interfejsu programowego

– Wersje MPI-1 (1994) i MPI-2 (1998)
– MPI-2 - nadzbiór MPI-1 (zgodno

ść

w gór

);

– najpopularniejsze wydania: MPI-1.2 i MPI-2.1
– Pierwsza zaawansowana implementacja MPI-2 – 2002 r.
– Przeznaczone dla j

zyków C/C++, Fortran, Java, i in.

– Dost

pne dla komputerów równoległych i heterogenicznych

sieci maszyn o ró

nych platformach systemowych

– Mechanizmy komunikacji: punkt-punkt i grupowa
– Komunikacja nie obci

ąŜ

a procesora operacjami kopiowania

pami

– Uwa

ane za standard dla zastosowa

praktycznych

Obliczenia w systemach rozproszonych. MPI (2)

MPI

– specyfikacja biblioteki funkcji do wymiany

komunikatów dla programowania równoległego

– MPI-1 nie obsługuje pami

ci współdzielonej

– MPI-2 obsługuje rozproszon

pami

ęć

współdzielon

Program w MPI

– Zbiór niezale

nych procesów korzystaj

cych z ró

nych

danych (model MIMD)

– Mo

liwe wykorzystanie pami

ci współdzielonej

– Sposób programowania - architektura NUMA
– Procesy - własne przestrzenie adresowe
– Procesy jedno- lub wielow

tkowe

– Interfejs programistyczny – implementacja ukryta przed

programist

Obliczenia w systemach rozproszonych. MPI (3)

Zalety MPI

– Wysoka efektywno

ść

w systemach wieloprocesorowych

– Bogata biblioteka funkcji (MPI-2: ponad 500 funkcji dla ANSI

C/C++ i ANSI Fortranu 90)

– Dobra dokumentacja

– Status public domain

– de facto standard

Wady MPI

– Statyczna konfiguracja jednostek przetwarzaj

cych

– Statyczna struktura procesów w czasie wykonania programu

(nie dotyczy implementacji MPI-2)

– Brak wielow

tkowo