Testy jako metoda badań pedagogicznych pomocnicza w stosunku do eksperymentu i obserwacji

Testy są oddzielną metodą badań, ale bardzo często przychodzą z pomocą badaczowi przeprowadzającemu eksperyment lub obserwację, a i osoba posługująca się ankietą może w niej zawrzeć pytania w formie zadań testowych. Przed i po wprowadzeniu do układu zmien­nej niezależnej osoba przeprowadzająca eksperyment może sprawdzić testami stan grupy eks­perymentalnej i kontrolnej i dzięki temu mieć już pewien ugruntowany pogląd na to, jakie pozytywne bądź negatywne zmiany przyniósł eksperyment. Podobnie pomocne, a może i nie­odzowne jest przeprowadzenie testu przed lub w trakcie obserwacji, ponieważ bez tego

bada­cz nie będzie wiedział, jakie są przyczyny takiego czy innego zachowania osoby lub grupy badanej. Ale i znajomość zasad obserwacji jest bardzo ważna dla osiągnięcia popraw­nych wyników niektórych testów takich jak: projekcyjne lub sytuacyjne np. grupie osób pole­camy przenieść szafę z pokoju do pokoju. Sytuacja ta, która zostaje rozwiązana przez czynno­ści, ukazuje: szybkość reakcji, tworzenie się ośrodka przywódczego, skłonności do podpo­rządko­wania się, itd. Wszystkie te czynności są wychwytywane przez badacza dzięki wpraw­nej ob­serwacji.

Jak widać metody badań, nie tylko te wymienione, pozostają ze sobą w ścisłym związku i doskonale się uzupełniają.

Pojęcie testów

Najogólniej test [ang. test - próba] jest to próba rozpoznania interesujących nas właściwości pewnych przedmiotów. W psychologii i pedagogice jest to próba umożliwiająca ustalenie charakteru i poziomu czynności psychicznych oraz osiągnięć szkolnych dzieci, młodzieży i dorosłych. Na ogół test składa się z racjonalnie dobranego zestawu zadań, które ma wykonać osoba lub grupa badana. Dobór i układ zadań testowych ( pytań, poleceń, rysunków, obraz­ków) zależy od charakteru badanych czynników u interesującej badacza grupy lub osoby. Metody testowe umożliwiają porównywanie grup i pojedynczych osób oraz ustalenie różnic indywidualnych, z tego względu dość często stosuje się je w procesach selekcji jak i do badania osiągnięć szkolnych.

Dobrze przygotowane testy są odpowiednio wystandaryzowane i znormalizowane, cechuje je wysoka rzetelność i trafność, duża obiektywność, moc dyskryminacyjna i ekonomiczność. Wyniki testów są ujmowane ilościowo i ów rezultat jest podstawą wnioskowania o pewnych właściwościach (psychicznych, stopniu opanowania materiału, predyspozycji zawodowych).

Każdy test musi być odpowiednio dostosowany i jednakowy dla badanej grupy, czy to wiekowej czy rozwoju umysłowego. Na przykład test dla dzieci siedmioletnich nie nadaje się do badania dzieci dziesięcioletnich, podobnie nawet najlepiej wystandaryzowany test na inte­ligencję opracowany dla Amerykanów nie nadaje się dostosowania w Europie, a szczególnie w Polsce, ponieważ warunki są tak różne, że całkowicie inaczej kształtują wiedzę osób w tych krajach.

Warto również dodać, że aby badanie za pomocą metody testowej dało dobre rezultaty to oprócz wysokiego stopnia standaryzacji powinno spełniać jeszcze kilka wymagań:

1. Mieć właściwą konstrukcję treściową:

1. dostosowanie użytych sformułowań do poziomu badanych,

2. używanie tylko sformułowań koniecznych,

3. używanie dyspozycji wyraźnie i przejrzyście skonstruowanych, nie sugerują­cych i nie stawiających wygórowanych żądań,

2. Czas na rozwiązanie i samo zadanie nie powinny być zbyt długie.

3. Formalny kształt testu, jego estetyka, wielkość i wyrazistość winny być atrakcyjne, nie zniechęcające.

4. Miejsce i warunki przeprowadzania testu powinno być w miarę komfortowe (szczegól­nie, jeśli chodzi o testy psychologiczne).

5. Sposób badania winien być spokojny, nie zakłócony nieoczekiwanymi brakami, jasno objaśniony i zakończony protokółem.

Nie trzeba chyba dodawać, że te warunki powinny być oczywiście w miarę zbliżone dla po­szczególnych badanych, aby wpływ otoczenia, atmosfery, jaka panuje podczas badania oraz inne czynniki wywierały jak najmniejszy wpływ na wyniki testu.

Rodzaje testów

Ilość testów jest ogromna, dlatego w literaturze nie spotyka się numerycznego opisu testów, lecz raczej próby klasyfikacji ich rodzajów. Ponieważ niektóre rodzaje testów nie ist­nieją modelowo, a istnieje tylko przedmiot, który mierzą, zasada ich tworzenia i stosowania. To znaczy, że osoba chcąca zbadać zakres wiedzy z jakiegoś przedmiotu (np. przyroda w młodszych klasach szkoły podstawowej) nie znajdzie takiego testu w literaturze. Może go stworzyć mając cel i znając ogólne zasady budowania testów osiągnięć szkolnych.

Natomiast inne testy istnieją realnie, modelowo i nie można ich zmieniać, a do ich stosowania konieczne jest specjalistyczne przygotowanie (np. testy inteligencji, dojrzałości szkolnej, osobowości, a szczególnie gruntownego przygotowania i ogromnego doświadczenia wymagają testy projekcyjne).

Klasyfikacji testów można dokonywać z różnych punktów widzenia i stosując różne kryteria. Na przykład testy można podzielić biorąc pod uwagę kryterium merytoryczne, - czyli podział wedle zasady, co test mierzy, oraz kryterium metodyczne - podział wedle za­sady jak test mierzy.

1. Z punkty widzenia przedmiotu pomiaru wyróżnia się:

1. Testy zdolności

1. testy inteligencji,

2. testy zdolności specjalnych,

2. Testy osobowości

1. testy cech,

2. testy zainteresowań,

3. testy postaw,

4. testy charakterologiczne,

5. testy typologiczne,

3. Testy wiadomości

2. Z punktu widzenia metodyki pomiaru wyróżnia się:

1. Testy werbalne i niewerbalne

1. ustne,

2. pisemne,

3. rysunkowe,

2. Testy czynnościowe (manipulacyjne, testy wykonania)

1. testy przyrządowe (klocki, układanki itp.),

2. sytuacyjne,

3. Testy projekcyjne

Dla nas wystarczający będzie podział na testy: psychologiczne i dydaktyczne.

Ogromna ilość testów psychologicznych, ze wszystkimi swoimi odmianami, daje psycholo­gowi możliwość dokładnego zbadania interesujących go cech psychicznych u danej osoby. Owe testy psychologiczne mają również bardzo duże znaczenie dla pedagogów.

Testy te pozwalają badać ogromną ilość cech takich jak:

• Inteligencję można badać za pomocą np. niewerbalnego testu Ravena składającego się

z serii po12 testów zawierających szereg rysunków, które zmieniają się według pewnej za­sady, a zadaniem badanego jest wykrycie tej zasady i wskazanie (wśród kilku możliwych) rysunku stanowiącego dopełnienie szeregu. Podobnym, również niewerbalnym, testem jest test Arthur - test inteligencji badający analizę i syntezę myślową. Zadanie badanego polega na ułożeniu ornamentów z wyciętych kolorowych kartoników według 20 wzorów. Kolejnym niewerbalnym testem jest próba Kohsa. Jest to test inteligencji badający przebieg analizy i syntezy myślowej. Składa się z serii zadań o wzrastającej trudności; badany ma ułożyć we­dług rysunków wzory składające się z 4, 9, 16 różnokolorowych sześciennych klocków. Ten test jest bardzo często łączony z innymi, najczęściej werbalnymi próbami inteligencji. Testy werbalne takie jak: test Weschlera czy Terman'a - Merill'a (jest ich oczywiście znacznie więcej) nie zawierają tylko zadań słownych, ale przeważnie przeplatają się one z zadaniami polegającymi na rysowaniu przedstawionych wzorów i układaniu w odpowiedniej kolejności obrazków. Z tego właśnie względu testy werbalne są doskonalsze od niewerbalnych - nie ujmując niczego tym drugim.

• Uwagę i pamięć operacyjną. Te cechy bada się za pomocą testów Burdona i Couvego.

W pierwszym zadanie badanego polega na wykreślaniu z ciągu losowo ułożonych liter (po 48 w 20 liniach), liter z góry określonych przez badającego (najczęściej w, z, r) w jak najkrót­szym lub określonym czasie. Drugi test polega na wyszukiwaniu trzydziestu trzycyfrowych, z góry określonych cyfr, z pośród stu. Oczywiście w tym przypadku czas również nie jest bez znaczenia.

• Pamięć wzrokową. Bada na przykład test Bentona, który oprócz wymienionej cechy po­zwala na ujawnienie ograniczonych uszkodzeń ośrodkowego układu nerwowego. Podobne ograniczenia tylko, że w zakresie kory mózgowej można wykryć przy pomocy testu Gra­ham'a - Kendall'a, który jest również testem pamięci wzrokowo-ruchowej.

• Rozwój umysłowy dzieci (w wieku 4-10 lat) można zbadać za pomocą testu Goode­nough. Badanie jest bardzo proste do wykonania, ponieważ dziecko ma za zadanie narysować człowieka, a do oceny rysunku (wymagającej już niestety sporej wiedzy i doświadczenia) służy lista składająca się z 51 elementów, które wyodrębniono na podstawie badań jako wy­raźnie i systematycznie zmieniające się w miarę rozwoju intelektualnego dziecka. [zał.]

• Bardzo ważną grupą testów psychologicznych są te stosowane w poradnictwie zawodo­wym służącymi określeniu przydatności danej osoby do konkretnego zawodu. Tych testów jest, podobnie jak innych, bardzo dużo, dlatego wymienimy tylko kilka: test Bennetta (badający rozumienie zasad mechaniki i jest, choć już nie najmłodszym, najczęściej stoso­wany w baterii testów), „Test Piętnastu Słów A. Reya” (bada zdolności do szybkiego zapamię­tywania i przypominania zapamiętanego materiału), „Ogólny Test Klasyfikacyjny”, Test Znajomości Słów”, test „Myślenie Techniczne Zb. Dobruszka”, „Test Kwadratów”, „In­wentarz Osobowości”, „Skala Temperamentów”. Wszystkie te testy oraz wiele innych są bardzo dokładnie opisane w książce pod redakcją Janiny Dembskiej „Testy psychologiczne w poradnictwie zawodowo-wychowawczym”.

• Bardzo specyficzną formą testów psychologicznych są testy projekcyjne, budzące najwięcej kontrowersji, a wynika to z materiału, jakim dysponują - jest on wieloznaczny i niekonkretny, przez co może być dowolnie interpretowany przez badacza. Po drugie analiza rozwiązania testu jest przeprowadzana przez specjalnie do tego przygotowanego psychologa, który oprócz instrukcji może w procesie interpretacji zachowań badanego kierować się także subiektywnymi przesłankami. Mimo to testy projekcyjne zyskują coraz szerszą rzeszę zwolenników. Do najczęściej stosowanych należą testy: Murraya, Roschacha i Rozenzweiga.

Testy projekcyjne opierają się na założeniu, że sytuacje bodźców, które mają nieokreślony, wieloznaczny charakter, powodują rzutowanie (projekcję) własnych stanów psychicznych badanego na zewnątrz. [zał.]

Testy dydaktyczne (testy osiągnięć szkolnych) mogą być różnego rodzaju. B. Niemierko dzieli je ze względu na:

1. Mierzoną cechę osiągnięć badanego

2. Układ odniesienia wyników testowania

3. Stopień zaawansowania konstrukcyjnego testu

4. Zasięg stosowania testu

5. Typ czynności wykonywanej przez badanego dla udzielenia odpowiedzi na zadanie testowe

• Ze względu na mierzoną cechę osiągnięć badanego omawiane testy dzielą się na testy mocy i szybkości.

Testy mocy składają się z zadań różniących się między sobą nie tylko pod względem treści, lecz także z uwagi na trudności, jakie sprawiają przy ich rozwiązaniu. Ponadto obejmują taką liczbę zadań, która uniemożliwia wszystkim osobom badanym ich rozwiązanie w określonym czasie. Mierzoną cechą osiągnięć badanego jest tu moc osiągnięć - zdolności badanego do wykonania odpowiednich czynności w takim czasie, jakiego na to potrzebuje.

Testy szybkości złożone są z zadań łatwych i jednorodnych, co do treści. Wchodząca w ich skład liczba zadań jest zawsze większa, niż możliwości ich wykonania w ściśle określonym czasie, który trwa z reguły bardzo krótko (kilka minut). Miarą osiągnięć badanego jest ilość poprawnych odpowiedzi udzielonych w tym czasie. Ten rodzaj testów jest rzadko stosowany.

• Z uwagi na układ odniesienia wyników testowania, testy osiągnięć szkolnych dzielą się na testy różnicujące i sprawdzające.

Testy różnicujące są tak skonstruowane, że za ich pomocą można zarejestrować indywidualne różnice pomiędzy poszczególnymi uczniami lub grupami uczniów. Dzieje się tak, dlatego że jego zadania mają różną skalę trudności i nie wszyscy z pośród badanych uczniów będą wstanie je rozwiązać. Uzyskane z ich pomocą wyniki testowe dobrze różnicują osoby badane, ale w małym stopniu pokazują jak opanowały wymagania stawiane im w procesie nauczania. Układem odniesienia dla ich wyników są „inne wyniki testowania”, a nie założone z góry wymagania.

Testy sprawdzające mają na celu określenie poziomu osiągnięć szkolnych w ściśle określonym zakresie, zgodnie z konkretnymi wymaganiami stawianymi uczniom. Podczas ich konstruowania kierujemy się przede wszystkim przerobionym materiałem na lekcjach bez względu na to czy pytania będą dla uczniów zbyt trudne czy zbyt łatwe. Punktem odniesienia dla wyników testów sprawdzających jest określony program nauczania, którego zakres określa nauczyciel danego przedmiotu.

• Według stopnia zaawansowania konstrukcyjnego testy osiągnięć szkolnych dzielą się na testy standaryzowane i nieformalne.

Testy standaryzowane oznaczają się wysokim stopniem rzetelności i trafności oraz podlegają tak zwanej normalizacji i standaryzacji. Wymienione cechy zostaną szerzej omówione w dalszej części referatu. Testy te pozwalają na bardzo obiektywną ocenę osiągnięć ucznia.

Testy nieformalne pozbawione są z reguły cech testów standaryzowanych, są mało diagnostyczne. Konstruktor układa ten rodzaj testów na własny użytek, aby sprawdzić postępy uczniów w opanowaniu materiału wykładanego na lekcjach.

• Biorąc pod uwagę zasięg stosowania testów osiągnięć szkolnych można podzielić je na testy szerokiego użytku i testy nauczycielskie.

Testy szerokiego użytku pokrywają się z testami standaryzowanymi i mogą być stosowane przez różne osoby, a nie tylko ich konstruktorów.

Testy nauczycielskie są testami nieformalnymi, przeznaczonymi wyłącznie na użytek ich konstruktorów.

• Wreszcie ze względu na typ czynności wykonywanej przez badanego dla udzielenia odpowiedzi na zadane testowe, testy osiągnięć szkolnych dzielimy na pisemne, ustne i praktyczne.

Testy pisemne wymagają składania przez badanych składania odpowiedzi na piśmie i stanowią do 90% obecnie stosowanych testów osiągnięć szkolnych.

Testy ustne są rozwiązywane przez osoby badane w formie „głośnej”.

Testy praktyczne zakładają wykonanie przez osoby badane czynności ruchowych. Należą do nich między innymi testy umiejętności praktyczno-technicznych lub testy badające sprawność fizyczną uczniów.

Mówiąc o rodzajach testów osiągnięć szkolnych warto również przedstawić typy zadań testowych, których jest, około 12, lecz do najczęściej stosowanych należą m. in. zadania:

1. wielokrotnego wyboru,

2. wielokrotnego szeregowania,

3. dwustronnego wyboru,

4. jednostronnego wyboru (np. zaznacz liczby, które są 2 potęgą liczb parzystych),

5. alternatywne (prawdy i fałszu),

Każdy, kto kiedykolwiek pisał jakiś test, (czy to przy okazji nauki w szkole, czy to przy innej okazji) na pewno spotkał się z tymi typami.

Zastosowanie testów

Zakres użyteczności poszczególnych rodzajów testów z uwagi na wykorzystanie ich przez nauczycieli oraz administrację szkoły i nadzór pedagogiczny, jak również w badaniach naukowych przedstawia tabela.

To, jeśli chodzi o testy dydaktyczne, a co do wykorzystania testów psychologicznych przez instytucje oświatowe, to mają one także szerokie zastosowanie w rozmaitych dziedzinach.

1. Badanie poziomu inteligencji lub wiadomości i ich rozsiania w klasie.

2. Badania eksperymentalne nad czynnikami lub warunkami, które wpływają na nabywanie wiadomości szkolnych.

3. Ocena skuteczności nowych metod nauczania (pomocy wizualnych itp.), zmian programowych.

4. Badanie różnic indywidualnych. Na przykład w jednej klasie mogą się znajdować uczniowie o różnym „wieku czytania” lub „wieku arytmetyki” około 3 lat powyżej i poniżej normy.

5. Diagnostyka indywidualna. Np. może się tak zdarzyć, że uczeń o dużej inteligencji, ale nie umiejący wykorzystać swych zdolności bądź to z powodu trudności natury uczuciowej bądź to z powodu lenistwa, albo uczeń mało zdolny, opóźniony w nauce, ale robiący nieoczekiwane postępy, zostają niezauważeni przez nauczyciela.

6. Testy diagnostyczne łączone z obserwacją różnego rodzaju błędów pozwalają psychologowi na wykrycie trudności specyficznych dla opóźnienia w nauce i na przeprowadzenie reedukacji.

7. Poradnictwo zawodowe.

8. Poradnictwo szkolne. Ważne decyzje takie jak przeniesienie dziecka do szkoły specjalnej dla dzieci niedorozwiniętych lub anormalnych, należy podejmować dopiero po przebadaniu go szeregiem testów przez specjalistę.

Testy prawidłowe i ich cechy

Dla celów badawczych najbardziej odpowiednie są testy prawidłowe (standaryzowane). Testy te odznaczają się czterema szczególnie ważnymi cechami. Są to trafność, rzetelność, normalizacja i standaryzacja.

Trafność testu decyduje o tym, czy mierzy on rzeczywiście to, co zamierzmy przy jego pomocy zbadać. Cecha ta wydaje się na pozór nie istotna. Mało, kto bowiem sądzi, że test może badać sferę zjawisk, której w jego konstrukcji nie przewidziano. Tymczasem wcale nie tak rzadko zdarza się, że dany test nie bada tego, co badać powinien. Nic wiec dziwnego, że zbytnie zaufanie do testu pod względem jego trafności może prowadzić do nieuniknionych błędów w ocenie wyników. Większość testów, charakteryzujących się wysokim stopniem trafności, wyróżnia się zdolnością różnicowania badanych osób w zależności od reprezentowanego przez nich poziomu, czyli tak zwaną m o c ą d y s k r y m i n a c y j n ą. Dlatego bardzo ważną sprawą staje się właściwa ocena testu pod względem jego trafności.

Możemy wyróżnić cztery rodzaje trafności:

1. trafność wewnętrzną (treściową) danego testu, opartą na analizie jego treści,

2. trafność diagnostyczną opartą na porównywaniu wyników testowania z wynikami innych badań przeprowadzonych w tym samym czasie, co test,

3. trafność prognostyczną (kongruencyjną), opartą na porównaniu wyników testowania z wynikami innych badań przeprowadzonych po upływie pewnego czasu,

4. trafność teoretyczną, opartą na zgodności wyników testowania ze wskaźnikami, których konstrukcja znajduje uzasadnienie w teorii pedagogicznej,

Drugą cechą prawidłowego testu jest rzetelność, czyli inaczej jego dokładność. Polega na tym, że uzyskane wyniki u tej samej osoby lub grupy osób podczas kolejnych badań, za pomocą danego testu, będą do siebie bardzo zbliżone. Chodzi tu o dwu- lub kilkakrotne przeprowadzenie tego samego testu w niewielkich odstępach czasu, zakładając, że badane osoby nie będą w międzyczasie uzupełniały swojej wiedzy, ani ćwiczyły swych umiejętności. Oczywiście wyniki tych serii nigdy nie będą takie same, tylko mniej lub bardziej do siebie podobne. Rzetelność jest tym większa im większy zachodzi związek między np. powtórzonymi badaniami za pomocą tego samego testu, a wynikami innych badań mierzących tą samą cechę, co test. Warto również powiedzieć, że stopień rzetelności testu pozostaje w ścisłym związku z jego obiektywnością. To znaczy, że im większą posiada rzetelność, tym otrzymane z jego pomocą wyniki są bardziej niezależne od osoby badającej.

Kolejną cechą jest normalizacja i polega na opracowaniu specjalnych norm umożliwiających odpowiednią interpretację wyników badania testowego. Mają one ułatwić klasyfikację osób badanych według poprawnie rozwiązanych zadań testowych oraz porównanie ich osiągnięć z tzw. normami wymagań. Normalizacja testu jest konieczna zarówno, gdy konstruuje się nowy test, jak również w przypadku posługiwania się testem nie przystosowanym do warunków, w jakich ma być stosowany lub osób, których ma dotyczyć.

Ostatnią cechą jest standaryzacja testu, która oznacz wysoki poziom rzetelności i trafności łącznie z opracowanymi normami, a ponadto jednolitość postępowania przy badaniu, mającą na celu zmniejszenie do minimum zależności wyników badającego i zewnętrznych warunków panujących podczas badania. Ponadto wysoce wystandaryzowany test powinien posiadać jednolitą instrukcję, według której badacz postępuje oraz dokładnie określone zasady oceny i interpretacji wyników.

Znaczenie testów

O ogromnym znaczeniu testów, czy to dla psychologów i pedagogów czy to dla badaczy z innych profesji, nie trzeba nikogo go przekonywać. Tak ogromną rolę spełniają szczególnie dzięki temu, że:

• stawiają wszystkich wobec takich samych wymagań, a więc dają jednakowe szanse wykazania się swymi umiejętnościami,

• gwarantują sprawiedliwą, wymierną i porównywalną ocenę wyników, eliminując do minimum czynnik subiektywny,

• umożliwiają ocenę (badanie) wielu osób jednocześnie, przez co dają dużą oszczędność czasu, tak potrzebnego dla pełnej realizacji celów dydaktyczno-wychowawczych, czy w przypadku psychiatrii - leczniczych,

• pozwalają na sprawdzenie zasobu wiadomości, umiejętności w bardzo szerokim zakresie i krótkim czasie,

• stwarzają możliwość porównywania wyników nauczania wielu klas i szkół, a co za tym idzie pozwalają pośrednio zbadać skuteczność stosowanych metod nauczania,

• pozwalają (szczególnie testy psychologiczne) na wykrycie zaburzeń psychiki, percepcji, pamięci, zaburzeń rozwojowych u dzieci, ograniczonych uszkodzeń centralnego i ośrodkowego układu nerwowego i wiele innych.

Trzeba sobie jednocześnie zdać sprawę z faktu, iż konstruowanie testów wymaga, podobnie bardzo wnikliwej wiedzy metodologicznej jak w przypadku tworzenia dobrej koncepcji badań eksperymentalnych, czy innych metod badań naukowych. Niestety tworzone są one niejednokrotnie przez osoby mało kompetentne w tej kwestii. Dlatego nie należy się dziwić, że budzą tyle samo nadziei i oczekiwań odnośnie ich wartości poznawczej, co rozgoryczenia i uczucia zawodu wskutek niedostatecznie rzetelnych i trafnych wyników otrzymanych w następstwie ich zastosowania.

Dlatego na koniec warto przypomnieć o standaryzacji testów i wszystkich pojęciach z nią związanych. Należy o tym zawsze pamiętać, aby w trakcie stosowania tej metody badań uchronić się od niepotrzebnych przekłamań wyników, a co za tym idzie, niepowodzenia w pracy badawczej.

BIBLIOGRAFIA:

B. Niemierko „Testy osiągnięć szkolnych. Podstawowe pojęcia i techniki obliczeniowe”

M. Łobocki „Metody badań pedagogicznych”

J. Dębska „Testy psychologiczne w poradnictwie wychowawczo-zawodowym”

W. Okoń „Słownik pedagogiczny”

„Słownik psychologiczny”

Bateria testów - zestaw testów służących do badania różnych zdolności, stosowany najczęściej w poradnictwie zawodowym

B. Niemierko „Testy osiągnięć szkolnych. Podstawowe pojęcia i techniki obliczeniowe”

1

---