LAB 4

LAB 4 :Wyra

enia regularne

Po co s

wyra

enia regularne?

stym zadaniem, które wykonuje si

podczas pracy z komputerem jest wyszukiwanie danego fragmentu tekstu w jakim

pliku, zmienianie go,

sprawdzanie, czy dany tekst si

w tym pliku znajduje. Generalnie potrzebujemy narz

dzi do znajdywania wzorca o zadanej charakterystyce w jakim

kszym tek

cie. T

charakterystyk

musimy jako

podawa

. W najprostszym przypadku podajemy po prostu tekst, jaki chcemy znale

źć

. Na przykład, aby

znale

źć

wszystkie linie w pliku

tekst.txt

, w których znajduje si

fragment

est

, wystarczy wykona

polecenie

grep est tekst.txt

Wtedy dla pliku

tekst.txt

o zawarto

To jest plik tekstowy.

Testujemy narz

dzie grep.

Trzecia linia.

A to czwarta linia.

To jest pi

ta linia.

w wyniku otrzymamy

To jest plik tekstowy.

Testujemy narz

dzie grep.

To jest pi

ta linia.

Zamiast wyszukiwa

dan

fraz

, mo

emy chcie

znale

źć

bardziej skomplikowane wzorce, jak na przykład wszystkie adresy email, które znajduj

danym tek

cie, czy te

wszystkie formy słowa pies. W tych celach potrzebne s

bardziej zaawansowane mo

liwo

ci podawania charakterystyki frazy, której

chcemy szuka

. Tak

liwo

ść

daj

wła

nie wyra

enia regularne.

Składnia

Znaki

Najprostsze wyra

enia regularne składaj

z ci

gu znaków. Niektóre znaki s

specjalne, wi

c aby rozpozna

który

z nich, trzeba poprzedza

backslashem. Nast

puj

ce znaki s

specjalne:

[

]

. Na przykład, aby wyszuka

w tek

cie fraz

\abc[?]

ywamy wyra

enia

\\abc\[\?\]

Klasy znaków

Przypu

ść

my,

e chcemy znale

źć

wyst

pienie jednego z ła

cuchów

psa

psu

psy

. Zatem pierwsze dwa znaki s

ustalone i s

. Natomiast przy

trzecim znaku mamy pewn

dowolno

ść

. Chcemy, aby trzeci znak mógł by

równy

lub

. Do tego słu

Ŝą

klasy znaków. List

znaków, któr

chcemy

rozpozna

, umieszczamy pomi

dzy nawiasami kwadratowymi:

[auy]

. Nasze wyra

enie wygl

da wi

c tak:

ps[auy]

bashtest@host:~$ grep ps[auy] <<KONIEC

> psami

> psom

> psu

> ps

> KONIEC

psami

psu

bashtest@host:~$

W klasach mo

emy podawa

przedziały znaków u

ywaj

c my

lnika. Na przykład

[0-9]

rozpoznaje dowoln

cyfr

. Mo

emy podawa

kilka przedziałów:

[a-zA-Z]

rozpozna dowoln

liter

angielsk

li umie

cimy znak

na pocz

tku opisu klasy, b

dzie to oznacza

rozpoznawanie wszystkich znaków nie znajduj

cych si

na li

cie. Na przykład

[^xX]

oznacza dowolny znak ró

ny od

. Oczywi

cie mo

emy podawa

przedziały.

li chcemy umie

na li

cie znak

]

, nale

y go poda

jako pierwszy na li

cie. Aby umie

, nale

y go umie

w dowolnym miejscu, byle nie na

pocz

tku. Wreszcie, aby umie

, nale

y go umie

na ko

cu listy.

Ponadto mamy mo

liwo

ść

kojarzenia dowolnego znaku oprócz znaku ko

ca linii. Do tego słu

y znak specjalny

(kropka).

Powtórzenia

Znak specjalny

próbuje dopasowa

poprzedzaj

cy go element zero lub wi

cej razy w szukanym tek

cie. Na przykład

dopasowuje si

do ci

gu znaków

równo

ci (by

e ci

gu pustego).

Inny przykład, wyra

enie

[a-zA-Z][a-zA-Z0-9_]*

reprezentuje identyfikator, tzn. niepusty ła

cuch znaków zaczynaj

cy si

od litery i składaj

cy si

liter, cyfr oraz znaków podkre

lenia.

Znak specjalny

jest podobny do

z tym,

e próbuje on dopasowa

poprzedzaj

cy go element jeden lub wi

cej razy.

Znak specjalny

mówi,

e poprzedzaj

cy element mo

e wyst

, b

nie. Na przykład wyra

enie

-?[0-9]+

oznacza dowolny niepusty ci

g cyfr, by

e poprzedzony znakiem

. Czyli takie wyra

enie mo

e słu

do rozpoznawania dowolnej liczby całkowitej (je

eli dopu

cimy to,

e zapis dziesi

tny

liczby mo

e mie

wiod

ce zera).

Ponadto ilo

ść

powtórze

na poda

bardziej w uniwersalny sposób:

symbol powtórzenia liczba powtórze

poprzedzaj

cego elementu

{n}

dokładnie

{n,}

co najmniej

{,m}

co najwy

{n,m}

co najmniej

i co najwy

Pozycjonowanie

Znaczniki pozycjonuj

ce s

takimi symbolami, które nie s

kojarzone z

adnym ci

giem znaków, ale z pozycj

w tek

cie spełniaj

pewne ustalone warunki.

li chcemy, aby wzorzec był dopasowywany od pocz

tku linii, wyra

enie zaczynamy znakiem

. Je

li chcemy, aby wzorzec był dopasowywany do ko

linii, wyra

enie ko

czymy znakiem

. Gdy u

yjemy oba znaki, wzorzec b

dzie dopasowywany do całej linii.

Na przykład,

eby znale

źć

linie, w których znajduje si

dokładnie jedna kropka, mo

emy u

wyra

enia

^[^.]*\.[^.]*$

. U

ycie

na pocz

tku i

cu oznacza,

e zawsze b

dzie próba dopasowania całej linii. Nast

pnie

[^.]*

oznacza dowolny ci

g znaków nie zawieraj

cy kropki, a

oznacza

wyst

pienie kropki (trzeba u

, bo

jest znakiem specjalnym).

Aby znale

źć

lini

, która zaczyna si

od dowolnej liczby spacji, liczby, pó

niej kropki, a nast

pnie spacji i du

ej litery, u

ywamy wyra

enia

^ *[0-9][0-

9]*\. *[A-Z]

. Za pomoc

tego wyra

enia zostan

znalezione na przykład

1. Wst

2.Wprowadzenie

13. Zako

czenie

a nie zostan

znalezione takie linie

1 Trafienie

3. echo - komenda wbudowana

4 . Punkt czwarty

2006

^ 1. Wst

Oprócz znaczników rozpoznaj

cych pocz

tek i koniec linii, mamy te

szereg znaczników rozpoznaj

cych ko

ce słowa:

znacznik mówi

cy,

e w tym miejscu zaczyna si

nowe słowo

znacznik mówi

cy,

e w tym miejscu ko

czy si

słowo

znacznik mówi

cy,

e w tym miejscu jest kraw

słowa (nie zaczyna ani nie ko

czy si

adne słowo)

znacznik mówi

cy,

e w tym miejscu nie znajduje si

kraw

słowa

Dokładne definicje, co to jest brzeg słowa, s

nieprzyjemnie skomplikowane i je pominiemy. Przyjrzyjmy si

przykładowi. Dla frazy

Jola jest lojalna

nast

puj

ce wyra

enia zostan

dopasowane do wycinka tej frazy:

•

\<jest\>

•

\bjest\b

•

\Best\b

•

\Bes\B

a poni

sze wyra

enia nie zostan

dopasowane:

•

\<est\>

•

\best\b

•

\Bes\b

•

\>jest\<

Alternatywa

li chcemy, aby był rozpoznawany jeden z dwóch mo

liwych napisów, to mo

emy u

alternatywy

, na przykład

jeden|dwa

rozpozna albo słowo

jeden

albo słowo

dwa

. Operator

e mie

jako argumenty te

inne wyra

enia, na przykład

[0-9]*|[a-z]*|[A-Z]*

rozpoznaje albo ci

g cyfr, albo

g małych liter, albo ci

g du

ych liter.

Priorytety i nawiasowanie

Najwi

kszy priorytet maj

operatory powtórzenia. Je

li chcemy mie

wyra

enie oznaczaj

ce powtórzenie wi

kszej liczby elementów, to mo

emy zrobi

poprzez stosowanie nawiasów

( ... )

. Na przykład wyra

enie

([a-z][a-z])*

oznacza ci

g składaj

cy si

z parzystej liczby małych literek.

Najmniejszy priorytet ma alternatywa. Je

li chcemy wpisa

wyra

enie, które rozpoznaje wszystkie słowa, które rozpoczynaj

lub od

, to nie

emy napisa

Ta|Do[a-z]*

, gdy

takie wyra

enie rozpoznaje albo słowo

, albo ci

g literek zaczynaj

cy si

. Z pomoc

przychodz

nawiasy:

(Ta|Do)[a-z]*

Wyra

enia podstawowe i rozszerzone

Wyra

enia regularne dzielimy na podstawowe i rozszerzone. W wyra

eniach podstawowych znaki

{

(

)

nie maj

specjalnego znaczenia, zamiast

nich trzeba u

ywa

wersji z backslashem:

. W wyra

eniach rozszerzonych mo

emy stosowa

wszystkie wymienione znaki specjalne.

Rozró

nienie takie powstało na skutek ró

nych narz

dzi i zachowania kompatybilno

ci mi

dzy nimi. Niektóre narz

dzia u

ywaj

składni z podstawowymi, a

niektóre z rozszerzonymi wersjami wyra

regularnych. Przy omawianiu poszczególnych komend powiemy, które u

ywaj

jakiej składni.

Przykłady wykorzystania

grep

Polecenie

grep

jest podstawowym narz

dziem do wyszukiwania wzorca w tek

cie z u

yciem wyra

regularnych.

grep

ywa podstawowych wyra

li jest potrzeba u

ycia rozszerzonych wyra

na u

wtedy w zast

pstwie polecenia

egrep

Podstawowe u

ycie, to

grep wzorzec

gdzie wzorzec jest wyra

eniem regularnym. Wzorzec jest wyszukiwany w standardowym wej

ciu i na standardowe wyj

cie s

wypisywane linie zawieraj

wzorzec.

na poda

plik lub pliki jako argumenty:

grep wzorzec plik

lub

grep wzorzec plik1 plik2 ...

W przypadku jednego pliku, działanie jest takie samo jak bez argumentów, z t

ró

nic

e dane s

czytane z pliku, a nie ze standardowego wej

cia.

W wersji z wieloma plikami wzorzec wyszukiwany jest w ka

dym pliku. Wy

wietlane s

linie zawieraj

ce wyst

pienie wzorca poprzedzone nazw

pliku, w

którym został on znaleziony.

Ponadto jest wiele opcji kontroluj

cych sposób szukania i wy

wietlane informacje. Omówimy najprzydatniejsze z nich.

-e wzorzec

alternatywny sposób podania wzorca; przydatny, gdy wyra

enie regularne mo

e zaczyna

od znaku

-i

ignoruje rozró

nianie wielkich liter,

-c

zlicza tylko liczb

wyst

pie

wzorca,

-w

dopasowuje wzorzec tylko do całych słów,

-x

dopasowuje wzorzec tylko do całych linii,

-v

odwraca sens dopasowania i wyszukuje tylko linie w których nie udało si

dopasowa

wzorca,

-q

nic nie wypisuje na standardowe wyj

cie i ko

czy działania na pierwszym dopasowaniu; przydatne, gdy polecenie

grep

chcemy u

jako

warunku.

grep

zwraca zero jako kod wyj

cia, gdy wzorzec uda si

znale

źć

i warto

ść

niezerow

w przeciwnym przypadku. Mo

na to wykorzysta

w poł

czeniu z opcj

-q

w instrukcjach warunkowych. Na przykład

if grep -qw TODO opis_prac.txt; then

echo "Zostało jeszcze co

do zrobienia"

li chcemy z pliku usun

ąć

linie, które pasuj

do wzorca mo

emy zrobi

to w nast

puj

cy sposób:

TMPFILE=/tmp/xyzabcd

cp plik $TMPFILE

grep -xv wzorzec $TMPFILE >plik

rm -f $TMPFILE

expr

Polecenie

expr

oprócz obliczania wyra

arytmetycznych ma te

podstawowe operacje na ła

cuchach znakowych. Szczególnie przydatny jest operator

Jego składnia to

expr ła

cuch : wzorzec

Wzorzec jest wyszukiwany na pocz

tku ła

cucha (czyli tak jakby zawsze na pocz

tku wzorca stał

). Je

li zostanie on znaleziony, wypisywana jest liczba

dopasowanych znaków. W przeciwnym razie liczba dopasowanych znaków wynosi 0.

eli we wzorcu były u

ywane nawiasy

, zwracany jest ła

cuch dopasowany w tym podwyra

eniu.

Status wyj

cia jest równy zero tylko wtedy, gdy do wzorca uda si

dopasowa

niepusty ci

g znaków.

Oto kilka przykładów:

•

wietlenie rozszerzenia pliku znajduj

cego si

na zmiennej plik:

expr "$plik" : ".*\.$[^.]*$"

•

Zmiana rozszerzenia z

tar.gz

tgz

pliku na zmiennej plik:

if expr "$plik" : ".*\.tar\.gz$"; then

mv $plik `expr "$plik" : "$.*\.$tar\.gz"`tgz

oczywi

cie

jest zb

dny je

li wiemy,

e nazwa pliku na pewno ko

czy si

.tar.gz

sed

Najpro

ciej rzecz ujmuj

sed

jest edytorem strumieniowym. Czyta ze standardowego wej

cia lub z pliku, je

li został podany jako argument, nast

pnie

wykonuje operacje podane w komendach edycyjnych i wynik wyrzuca zawsze na standardowe wyj

cie.

Najcz

ęś

ciej

sed

jest u

ywany z komend

edycyjn

postaci

s/wzorzec/zamiennik/

, gdzie

wzorzec

jest podstawowym wyra

eniem regularnym, a

zamiennik

jest ła

cuchem znakowym jakim b

dzie zast

piony znaleziony wzorzec. W ła

cuchu

zamiennik

emy u

ywa

specjalnych sekwencji

odnosz

cych si

do znalezionego tekstu.

n, gdzie n jest liczb

, oznacza ła

cuch skojarzony z n-t

par

nawiasów

$ ... $

. Znak

kojarzy z całym

znalezionym ła

cuchem.

Na przykład, aby zamieni

dy ci

g wykrzykników w jeden wykrzyknik mo

na u

komendy

s/!\+/!/

bashtest@host:~$ echo 'Hej!! Hej!!!! Tutaj!' | sed 's/!\+/!/'

Hej! Hej!!!! Tutaj!

bashtest@host:~$

Domy

lnie

sed

wykonuje zast

pienie tylko przy pierwszym skojarzeniu wzorca w danej linii. Aby szukał wszystkich skojarze

nale

y doda

przyrostek

komendy edycyjnej:

bashtest@host:~$ echo 'Hej!! Hej!!!! Tutaj!' | sed 's/!\+/!/g'

Hej! Hej! Tutaj!

bashtest@host:~$

Aby zamieni

znak

na znak

we wszystkich liczbach zmiennopozycyjnych mo

emy u

komendy

s/$[0-9]\+$\.$[0-9]\+$/\1,\2/g

yli

my tutaj odno

ników.

oznacza grup

cyfr przed

w znalezionym ła

cuchu, a

oznacza grup

cyfr po

Do rozdzielania komendy

nie trzeba wcale u

ywa

znaku

, ale mo

e to by

dowolny wybrany znak. Na przykład komenda

s+C:\\+/mnt/win/+g

zamieni wszystkie wyst

pienia

C:\

/mnt/win/

sed

e te

słu

do filtrowania wej

cia. Opcja

-n

powoduje,

e domy

lnie nic nie jest wypisywane. Trzeba doda

przyrostek

do komendy, aby wynik

został wypisany. Na przykład

sed -n 's/[a-zA-Z0-9]/&/p' opis.txt

wypisze tylko te linie pliku

opis.txt

, które zawieraj

znak alfanumeryczny.

Ponadto

sed

posiada znacznie wi

cej ró

nych u

ytkowych funkcji. Mo

na poprzedzi

komend

adresem. Na przykład

sed '20s/.../.../'

zadziała

tylko w 20 linii. Adresem mo

e by

numer linii, wyra

enie regularne albo zakres. S

inne komendy, na przykład

sed '/^#/d'

usunie wszystkie linie,

które zaczynaj

od znaku

Przykłady

Podaj wyra

enie regularne rozpoznaj

ce adres strony http.

Podaj wyra

enie regularne rozpoznaj

ce adres mail

Podaj wyra

enie regularne rozpoznaj

ce kod pocztowy

Podaj wyra

enie regularne rozpoznaj

ce numerowane linie na pocz

tku wiersza.

Podaj wyra

enie regularne rozpoznaj

ce komentarz w j

zyku C:

/* ... */

/\*([^*]|(\*+[^*/]))*\*+/

Podaj wyra

enie regularne rozpoznaj

ce słowa, w których wyst

puje parzysta liczba wyst

pie

litery

[b-z]*(a[b-z]*a[b-z]*)*

Podaj wyra

enie regularne, które rozpoznaje ci

g znaków składaj

cy si

z parzystej liczby wyst

pie

znaku

i znaku

(aa|bb|(ab|ba)(aa|bb)*(ab|ba))*

cej wiadomo

ci na:

http://wyrazenia-regularne.pl/

http://www.regular-expressions.info/quickstart.html

http://pl.wikipedia.org/wiki/Wyra%C5%BCenia_regularne

http://www.digipedia.pl/man/grep.1.html