14.Zdalny dostęp do danych

Dost

p do danych

Dost

p do danych:

Do no

ników danych

(poziom fizyczny – dane

surowe) poprzez interfejsy:

wewn

trzne

lokalne

zdalne (sieciowe)

– Do samych danych

(poziom logiczny):

•

Plików

•

Baz danych

Poziom fizyczny

– dane udost

pniane blokami

Poziom logiczny

– dane udost

pniane w postaci

zgodnej z typami danych lub ich strukturami, np.

char, string, integer, array [,] of real, record,

struct, file, database

(podane nazwy typów danych –

abstrakcyjne, niezwi

zane z konkretnym j

zykiem programowania)

Posta

danych

sektor

Blok danych

Potrzebna dana

Obs

uga danych

Poziom fizyczny

– Zawarto

ść

nika danych musi by

przetworzona przez

system operacyjny – system plików lub system bazodanowy

Poziom logiczny

– Zdalne pliki danych

•

Musz

udost

pnione poprzez system operacyjny

•

Mog

bezpo

rednio wykorzystywane przez aplikacje

– Zdalne bazy danych

•

Musz

przył

czone do systemu

•

Mog

wykorzystywane przez aplikacje

Architektura klient

serwer

Usługa

(ang. service) typowa czynno

ść

przetwarzania w

rodowisku rozproszonym, wykonywana na jednej lub wielu

maszynach

Serwer

(ang. server) – oprogramowanie

wiadcz

ce usług

dla

nieokre

lonego wcze

niej klienta, wykonywane na konkretnej

maszynie

Klient

– proces

Ŝą

daj

cy wykonania usługi za pomoc

sekwencji

czynno

ci nazywanych interfejsem klienta

śądanie usługi

Wynik

Klient

Serwer

Poj

cia

klienta

serwera

nie dotycz

sprz

tu lecz wzajemnych relacji

Architektura klient

serwer (2)

Przykład

: system plików

dostarcza usługi plikowe:

– Tworzenia pliku,
– Usuwanie pliku,
– Zapis do pliku,
– Odczyt z pliku,
– Operacje na katalogach,

Lokalny system plików

utrzymuje dane na dysku(-ach) danej

maszyny

– Odwzorowanie

: sektor dysku-jednostka alokacji (blok)-identyfikator

pliku-nazwa pliku

przezroczyste dla u

ytkownika (programu,

klienta)

Rozproszony system plików

na dyskach wielu niezale

nych

maszyn

– Odwzorowanie

: sektor dysku-jednostka alokacji (blok)-

maszyna

identyfikator pliku-nazwa pliku

przezroczyste dla u

ytkownika

(programu, klienta)

– Dodatkowy poziom odwzorowania

: wiele egzemplarzy danego pliku

Model przetwarzania

Nośnik

System plików

SZBD

Aplikacje

Usługi

Lokalne
i zdalne

Przetwarzanie danych zdalnych

Sposób po

redni

Utworzenie lokalnej kopii pliku danych

Przetwarzanie lokalnej kopii pliku danych

Ewentualna aktualizacja zdalnego pliku danych

Program

Lokalna kopia pliku

Plik zdalny

Pobieranie kopii

[Aktualizacja]

Przetwarzanie danych

Przetwarzanie danych zdalnych (2)

Sposób bezpo

redni

1. Logiczne przył

czenie (zamontowanie) zdalnego pliku danych

2. Przetwarzanie zdalnego pliku danych (bez tworzenia lokalnej

kopii)

3. Logiczne odł

czenie (odmontowanie) pliku danych

Program

Plik zdalny

Przetwarz

anie dany

Zdalne przesy

anie plik

File Transfer Protocol

(FTP)

– element sieciowego

systemu operacyjnego

Serwer FTP

(demon)

Klient FTP

Zdalne przesy

anie plik

w (2)

FTP

korzysta z sieci TCP/IP

Tworzy 2 poł

czenia

–

kontrolne

- inicjowane przez klienta (port

serwera):

identyfikator, hasło, polecenia, statusy

–

danych

– inicjowane przez serwer: pliki

Tryby pracy FTP

– Aktywny

: klient wysyła do serwera swój adres i dane

uwierzytelnienia, serwer inicjuje poł

czenie dla danych na

porcie

– Pasywny

(komunikacja poprzez zapor

sieciow

): klient

wysyła do serwera swój adres i dane uwierzytelnienia oraz
inicjuje poł

czenie dla danych na porcie

>1024

Zdalne przesy

anie plik

w (3)

FTP umo

liwia dost

– Nieanonimowy

– logowanie do konta u

ytkownika w danym

systemie, gdzie działa usługa FTP;
nazwa konta i hasło – ustalone indywidualnie.
Opcjonalne uwi

zienie u

ytkownika w jego katalogu

prywatnym (chroot)

– Anonimowy

– standardowa nazwa konta:

ftp

lub

anonymous

hasło – dowolne (zalecane: adres email).
Opcjonalne uwi

zienie u

ytkownika w katalogu publicznym

Niektóre polecenia FTP

– get, put (transmisja pojedynczych plików),
– mget, mput (transmisja wielu plików wg wzorca nazwy),
– cd, dir, pwd, lcd (polecenia dotycz

ce katalogów)

Niechroniona transmisja

plików oraz informacji kontrolnej

Nie myli

protokołu FTP z poleceniem lub aplikacj

klienta

Zdalne przesy

anie plik

w (4)

Protokół SCP

(Secure Copy)

– Działa przez tunelowanie usługi RPC przez protokół SSH (port

22), zapewniaj

cy uwierzytelnianie i szyfrowanie

Nie myli

protokołu SCP

z poleceniem lub aplikacj

o tej samej nazwie

Zdalne przesy

anie plik

w (5)

Protokół SFTP

(Secure FTP lub SSH FTP)

– Korzysta z poł

czenia SSH-2

– Umo

liwia:

•

dost

p do plików

•

przesyłanie plików

•

zarz

dzanie plikami (wznawianie przerwanych transmisji,

listowanie katalogów, zdalne usuwanie plików)

– Bardziej funkcjonalny od SCP

Nie myli

protokołu SFTP

z poleceniem lub aplikacj

o tej samej nazwie

Udost

pnianie plik

System Message Block

(SMB) lub

Common Internet

File System

(CIFS) – sieciowy protokół aplikacyjny :

– Architektura klient-serwer (poj

cia wzgl

dne)

– Przeznaczenie

•

Współdzielenie plików

•

Współdzielenie drukarek

•

Komunikacja mi

dzyprocesowa

– Stosowany w MS Windows (jako

Microsoft Windows Network

)

– Pocz

tkowo SMB działał w oparciu o NetBIOS/NetBEUI

– Od wersji MS Windows 2000, SMB opiera si

o TCP

– Popularna implementacja dla Linuxa -

Samba

Zdalne wywo

ywanie procedur

Remote Procedure Call

(RPC; 1976)

– Pierwsza popularna implementacja – Sun RPC (obecnie ONC RPC),

podstawa dla NFS

Działanie

(analogia wywołania funkcji):

– Architektura klient-serwer
– Klient wysyła

do znanego zdalnego serwera

Ŝą

danie wykonania

okre

lonej procedury i podaje parametry wywołania; zostaje

zablokowany w oczekiwaniu na odpowied

– Serwer wykonuje

Ŝą

dan

procedur

i odsyła odpowied

(lub informacj

o bł

dzie)

– Klient wznawia

przetwarzanie

Uwagi

– Klient nie okre

la i nie zna szczegółów dotycz

cych sposobu

realizacji

Ŝą

dania

– Ze wzgl

du na ró

norodno

ść

klientów, do standaryzacji wywoła

RPC wprowadzono Interface Description Language (IDL)

– Istniej

generatory kodu dla interfejsu wywoła

(np. RPCGEN)

Sieciowy system plik

Network File System

(NFS; Sun Microsystems, 1984)

Krótka historia protokołu:

– Wersja 1

(1984) - eksperymentalna

– Wersja 2

(1989) - protokół bezstanowy, oparty w cało

o UDP, limit wielko

ci pliku: 2 GB

– Wersja 3

(1995) - zniesienie limitu 2 GB (licznik 64-bitowy),

asynchroniczny zapis na serwerze, przej

cie na TCP

realno

ść

transportu plików poprzez WAN

– Wersja 4

(Internet Engineering Task Force; 2000, 2003) - poprawa

wydajno

ci, mocne zabezpieczenia, protokół stanowy:

•

wymaga TCP

•

nasłuchuje na porcie 2049

•

nie korzysta z portmappera, rpc.mountd, rpc.lockd, rpc.statd

•

obsługuje listy kontroli dost

pu (ACL)

•

Wersja 4 modyfikacja 1

– m.in. obsługa Parallel NFS (pNFS)

Sieciowy system plik

w (2)

Zastosowanie NFS

- głównie systemy UNIX, Linux, BSD

Implementacja NFS

(na przykładzie s.o. Linux:

RedHat Enterprise Linux 5

CentOS 5

)

– Dost

pne wersje NFSv2, NFSv3, NFSv4

– Domy

lna NFSv3

– Wszystkie wersje domy

lnie korzystaj

z TCP; UDP jest zachowane

dla wstecznej zgodno

Sieciowy system plik

w (3)

Usługi NFS

realizuj

nast

puj

ce procesy RPC serwera:

– rpc.mountd

– odbiera

Ŝą

danie klienta montowania udziału

dyskowego i sprawdza, czy

Ŝą

dany zasób jest eksportowany;

proces uruchamiany jest automatycznie przez usług

nfs

i nie

wymaga konfigurowania (nieu

ywany z NFSv4)

– rpc.nfsd

– pozwala na wskazanie wersji i protokołu, który jest

oferowany przez serwer (odpowiada usłudze

nfs

)

– rpc.lockd

– umo

liwia klientom blokowanie plików na

serwerze; niezb

dny dla realizacji tej funkcji (odpowiada

usłudze

nfslock;

nieu

ywany z NFSv4)

– C.d.n.

Sieciowy system plik

w (4)

C.d.

– rpc.statd

– implementuje protokół RPC Network Status Monitor

(NSM) informuj

cy klientów o restarcie serwera NFS bez jego

uprzedniego zamkni

cia; proces uruchamiany jest automatycznie

przez usług

nfslock

i nie wymaga konfigurowania (nieu

ywany

z NFSv4)

– rpc.quotad

– proces dostarcza zdalnym klientom informacji

o wykorzystanym limicie pami

ci dyskowej (ang. quota);

uruchamiany jest automatycznie przez usług

nfs

i nie wymaga

konfigurowania

– rpc.idmapd

– proces zapewnia zwrotne wywołania (ang. upcall)

klienta i serwera NFSv4, które odwzorowuj

nazwy u

ywane

podczas transmisji (w postaci u

ytkownik@domena) na lokalne

UID oraz GID; posiada własny plik konfiguracyjny. Wymagany
przez NFSv4.

Sieciowy system plik

w (5)

Zestawienie procedur RPC realizuj

cych usługi NFS

tak

/etc/
idmapd.conf

idmap

rpc.idmapd

tak

rpc.nfsd

NFS quota

rpc.rquotad

nie

rpc.lockd

NFS NSM

rpc.statd

nie

nfslock

rpc.lockd

tak

/etc/exports

nfs

rpc.nfsd

nie

rpc.nfsd

NFS mount

rpc.mountd

Obecny

w NFSv4

Plik

konfigurac.

Proces-

przodek

Realizowana

usługa

Nazwa

nie

portmapper

portmap

Sieciowy system plik

w (6)

Dost

p klienta do usługi NFS

jest chroniony przez

TCP wrappers:

– plik

/etc/hosts.allow

# hosts.allow

This file describes the names of the hosts which are

allowed to use the local INET services, as decided

by the '/usr/sbin/tcpd' server.

portmap: 172.30.205.200/255.255.255.255: allow

lockd:

172.30.205.200/255.255.255.255: allow

mountd:

172.30.205.200/255.255.255.255: allow

rquotad: 172.30.205.200/255.255.255.255: allow

statd: 172.30.205.200/255.255.255.255: allow

Plik /etc/hosts.allow

Zezwolenie na dost

p z komputera o IP=172.30.205.200; plik przegl

dany jako

pierwszy

Sieciowy system plik

w (7)

C.d.

– plik

/etc/hosts.deny

## hosts.deny

This file describes the names of the hosts which are

*not* allowed to use the local INET services, as decided

by the '/usr/sbin/tcpd' server.

## The portmap line is redundant, but it is left to remind you that

# the new secure portmap uses hosts.deny and hosts.allow. In particular

# you should know that NFS uses portmap!

portmap:ALL

lockd:ALL

mountd:ALL

rquoatd:ALL

statd:ALL

Plik /etc/hosts.deny

Zakaz dost

pu ze wszystkich komputerów

; plik przegl

dany jako

drugi

Sieciowy system plik

w (8)

Konfiguracja eksportu

plik

/etc/exports

/var/exports

172.30.205.200(ro,sync,nohide)\

172.30.205.201(ro,sync,nohide)\

172.30.205.202(ro,sync,nohide)\

172.30.205.203(ro,sync,nohide)\

172.30.205.204(ro,sync,nohide)\

172.30.205.205(ro,sync,nohide)

Sieciowy system plik

w (9)

Jednorazowe montowanie zdalnego zasobu po stronie
klienta

, np.

mount –t nfs 172.30.205.205:/var/exports /mnt/exports

Montowanie zdalnego zasobu podczas startu systemu

– Plik

/etc/fstab

LABEL=/ / ext3 defaults

1 1

LABEL=/var

/var

ext3 defaults

1 2

tmpfs

/dev/shm

tmpfs

defaults

0 0

devpts

/dev/pts

devpts

gid=5,mode=620 0 0

sysfs

/sys

sysfs

defaults

0 0

proc /proc proc

defaults

0 0

LABEL=SWAP-sda2 swap

swap

defaults

0 0

172.30.205.205:/var/exports

/mnt/exports

nfs

ro,rsize=8192,wsize=8192 0 0

Inne sieciowe systemy plik

Alternatywne protokoły

– Server Message Block

(SMB alias CIFS) dla MS Windows

– NetWare Core Protocol

(NCP) - MS Windows

– Apple Filing Protocol

(AFP) - komputery firmy Apple

– Andrew File System

(AFS; IBM) -

– Coda File System

(CFS) -

Rozproszone systemy plik

Network Block Device

(NBD; sieciowe urz

dzenie

blokowe)

– Usługa realizowana w architekturze klient-serwer

– Zdalne udost

pnianie pliku jako urz

dzenia blokowego (np.

dysku) w systemie Linux

– Sieciowe urz

dzenie blokowe mo

e słu

do utworzenia

systemu plikowego, a tak

e by

elementem macierzy RAID

Rozproszone systemy plik

w (2)

[

ródło: http://www.linuxjournal.com/article/3778]

•

Por

wnanie NFS i NBD

Rozproszone systemy plik

w (3)

Global File System

(GFS; ang. globalny system plików) –

system plików dla klastrów wysokiej dost

pno

– No

niki danych poł

czone za pomoc

interfejsów lub protokołów

(np. FC, iSCSI, NBD) – współdzielone pomi

dzy w

złami klastra

– Mechanizm blokady dost

pu, dla zapewnienia spójno

ci danych

– Zmiany stanu systemu plików widoczne natychmiast we

wszystkich maszynach klastra

– Dobra skalowalno

ść

– Wysoka dost

pno

ść

dzi

ki pracy transakcyjnej (ang. journalling)

(podobnie jak

ext3)

– Kronika zmian odr

bna dla ka

dego w

zła klastra

– Obecnie kod otwarty – licencja GNU GPL
– GFS2 wł

czony do j

dra Linuxa 2.6.19