K. Gierłowski, T. Gierszewski, K. Nowicki

Katedra Systemów Informacyjnych, Politechnika Gdańska

Propozycja architektury i realizacji wydziałowego systemu LMS testowania i oceniania wiedzy Studentów

Streszczenie

W referacie omówiono zagadnienia testowania i automatycznej oceny wiedzy studentów w systemach zdalnego nauczania. Przedstawiono ograniczenia powszechnie spotykanych technologii. Zaprezentowano autorski system LMS testowania i oceniania wiedzy studentów. System zrealizowano i przetestowano na wydziale ETI Politechniki Gdańskiej. System zaprojektowano z myślą o modularności, uniwersalności i prostocie obsługi. Zastosowane rozwiązania są unikatowe pod względem architektury systemu i funkcjonalności.

1. Wstęp

Zastosowanie systemu komputerowego wspomagania procesu dydaktycznego (LMS – Learning Management System) przynosi wiele korzyści. Wynikają one  zarówno z wspierania przez system wielu zadań strony organizacyjnej procesu dydaktycznego, jak i z bezpośredniego ułatwienia dostępu do wiedzy użytkownikom systemu. Należy jednak pamiętać, iż niezbędnym warunkiem udanego wdrożenia systemu LMS jest jego dostosowanie do sposobu pracy organizacji, której działanie ma wspomagać. Jeżeli integracja jest nieudana, należy albo zdecydować się na użycie innego (lepiej spełniającego nasze wymagania) systemu LMS, albo podjąć świadomą decyzję o dostosowaniu sposobu pracy organizacji do wzorca promowanego przez system LMS (co w przypadku dużych, złożonych jednostek organizacyjnych jest z reguły niemożliwe).

Obecnie rynek systemów LMS osiągnął pewną dojrzałość i dostępne są zaawansowane produkty mogące spełnić wymagania większości organizacji. Postępująca (wprawdzie jeszcze dość powoli) standaryzacja systemów e‑learningu pozwala mieć nadzieję na ochronę naszych inwestycji w tego rodzaju systemy – znacząca modernizacja lub zmiana używanego systemu LMS nie będzie musiała wiązać się z koniecznością ponownego tworzenia od podstaw konfiguracji i zawartości dydaktycznej naszego systemu [1].

Niestety, mimo że dysponujemy szerokim wyborem systemów LMS, dobranie systemu dobrze dostosowanego do naszych potrzeb okazuje się często zadaniem  trudnym i pracochłonnym – szczególnie jeśli nasze wymagania i docelowe środowisko pracy systemu odbiegają od zakładanego przez twórców systemu wzorców. Na te właśnie problemy natknęliśmy się projektując system testowania i oceny wiedzy studentów, do zastosowania na Wydziale Elektroniki, Telekomunikacji i Informatyki Politechniki Gdańskiej (WETI PG).

Żaden z rozpatrywanych, dostępnych na rynku, systemów nie spełniał naszych oczekiwań w zakresie funkcjonalności, dostosowania do środowiska pracy, możliwości dalszej rozbudowy i kosztów wdrożenia [2]. W tej sytuacji zdecydowaliśmy się na samodzielne zaprojektowanie oraz implementację systemu, dostosowanego do tego, jak się okazało bardzo wymagającego, środowiska pracy.

2. Analiza istniejących rozwiązań

Głównym problemem, który pojawił się podczas wyboru systemu LMS mającego wspomagać testowanie wiedzy studentów na WETI PG, okazały się, realizowane przez projektantów LMS, założenia dotyczące środowiska pracy systemu: praca online i centralizacja systemu.

Wymóg pracy online

Dostępne w tej chwili na rynku systemy e-learningu opierają się, w przytłaczającej większości, na zastosowaniu technologii internetowych (web-based technologies) [3]. Pozwala to na wykorzystanie oferowanych przez nie zaawansowanych metod opisu materiałów dydaktycznych oraz umożliwia dotarcie do najszerszego możliwego kręgu odbiorców – architektura web-based thin-client daje możliwość dostępu do systemu wszystkim użytkownikom wyposażonym w przeglądarkę internetową. Jednak, obok swoich niezaprzeczalnych zalet, rozwiązania te posiadają również znaczące wady, z których dyskwalifikujący okazał się, w naszym przypadku, wymóg pracy w trybie online. Oznacza to, że klient musi przez cały czas (lub jego znaczącą większość) pracy dysponować łącznością sieciową z serwerem LMS stanowiącym jądro systemu.

Wymaganie to w drastyczny sposób ogranicza użyteczność takiego systemu dla organizacji zajmującej się zaawansowanymi badaniami i edukacją z zakresu sieci komputerowych, systemów operacyjnych itp. System mogący pracować wyłącznie w trybie online nie będzie możliwy do zastosowania, na przykład, podczas laboratoriów, gdzie użytkownicy z reguły nie dysponują stabilną łącznością sieciową (gdyż to właśnie jej zapewnienie w różnych scenariuszach jest często tematem ćwiczenia). W połączeniu z faktem, iż sprawdzenie wiedzy studentów przed rozpoczęciem właśnie zajęć praktycznych jest szczególnie ważne [4,5], przesądza to o nieprzydatności takich systemów.

Konieczność pracy w trybie online, nie jest jedyną wadą zastosowania technologii internetowych w rozpatrywanym środowisku. Pomimo szeroko reklamowanej niezależności od sprzętu i oprogramowania, są one jednak wrażliwe na niestandardowe konfiguracje systemu operacyjnego (w szczególności ustawienia zabezpieczeń) [6], a także na niedostosowanie wersji niektórych jego elementów (przeglądarki internetowej, Java Runtime Environment, bibliotek parsera XML itp.). Wszystkie te elementy mogą stać się przedmiotem zajęć dydaktycznych, stąd nie możemy zakładać ich poprawnej konfiguracji.

Nie bez znaczenia jest też większa podatność aplikacji zrealizowanych z użyciem technologii internetowych na nieautoryzowane działania użytkownika. Szczególnie, iż w rozpatrywanym środowisku mamy do czynienia z użytkownikami o znacznej wiedzy i doświadczeniu w tej dziedzinie.

 

 

Centralizacja systemu

Kolejnym rozwiązaniem, dominującym wśród dostępnych systemów LMS, a w naszym przypadku niepożądanym, jest centralizacja systemu. Jest on najczęściej zrealizowany w postaci pojedynczego serwera, przechowującego całą zawartość dydaktyczną oraz zbierającego informacje o działaniach użytkownika. Podejście takie powoduje wystąpienie szeregu negatywnych, z naszego punktu widzenia, efektów.

Konieczna jest centralna administracja całością systemu, a konfiguracja podstawowych ustawień systemowych jest wspólna dla wszystkich użytkowników.

System LMS realizowany jest najczęściej jako aplikacja serwerowa, przeznaczona do uruchomienia na pojedynczym serwerze (lub grupie serwerów tworzących klaster). Zaawansowane systemy LMS pozwalają, w takim wypadku, administratorowi systemu na delegację części funkcji administracyjnych, lecz wyłącznie tych dotyczących zawartości dydaktycznej systemu, a nie podstaw jego działania.

Skalowalność systemu jest poważnie ograniczona. Umieszczenie systemu na pojedynczym serwerze w sposób bezpośredni określa liczbę użytkowników którzy mogą z niego, w sposób efektywny, korzystać. Jej zwiększenie wymaga zmiany zastosowanego sprzętu, co wiąże się najczęściej z koniecznością ponownej instalacji systemu. Ponadto taka rozbudowa możliwa jest tylko do określonych (wyznaczanych przez aktualny poziom technologii) granic. Dalsza rozbudowa wymaga zmiany architektury samego systemu LMS, tak aby wspierał tworzenie klastrów typu aktywny-aktywny, pozwalających na rozłożenie obciążenia na kilka równorzędnych serwerów.

Awarie systemu mają charakter globalny. Fakt umieszczenia całości systemu na pojedynczym serwerze (czy nawet grupie serwerów pracujących w formie klastra) powoduje iż tworzymy pojedynczy punkt awarii, której skutki odczują wszyscy użytkownicy systemu. Choć dysponujemy dziś wieloma mechanizmami służącymi podniesieniu niezawodności w tego rodzaju konfiguracjach (co pozwala znacząco ograniczyć prawdopodobieństwo ich wystąpienia), to jednak w przypadku wystąpienia awarii, czy konieczności konserwacji, sparaliżowane zostanie zawsze działanie całości systemu.

Należy też pamiętać, iż wydział wyższej uczelni (szczególnie tej wielkości co Politechnika Gdańska) składa się z wielu jednostek organizacyjnych, stosujących własne metody pracy i procedury realizacji zadań związanych z interesującym nas tematem oceniania wiedzy studentów. Wynika stąd, że wdrożenie scentralizowanego systemu wspomagające te działania okazać się niemożliwe bez gruntownych zmian w dotychczasowym sposobie pracy.

Powyższe cechy powodują, że system LMS o scentralizowanej architekturze nie wydaje się optymalnym rozwiązaniem. Brak jest jednak systemu e-learningu zrealizowanego od podstaw w architekturze rozproszonej. Zaawansowane systemy LMS pozwalają wprawdzie na automatyczną wymianę danych między serwerami (co pozwala na stworzenie złożonego systemu), lecz rozwiązania te są drogie oraz skomplikowane w konfiguracji.

Biorąc pod uwagę charakterystykę środowiska docelowego, dla którego przeznaczony będzie wdrażany system oceny wiedzy studentów, oraz cechy aktualnie dostępnych systemów LMS oferujących interesujące nas funkcje, zadecydowano o celowości zaprojektowania własnego systemu realizującego opisane wcześniej zadania. Żaden z rozpatrywanych, dostępnych na rynku, systemów LMS nie spełniał założonych wymagań, lub jego zastosowanie okazywało się nieekonomiczne.

3. Projekt systemu

Większość dostępnych obecnie systemów LMS posiada mechanizmy służące sprawdzaniu wiedzy uczestników kursów w postaci testów wyboru. Stopień ich zaawansowania nie jest, z reguły, zbyt wysoki. Mechanizmy te są w stanie doskonale przedstawić użytkownikowi treść zadań (tekst, grafika, animacja, dźwięk…) dzięki zastosowaniu technologii internetowych, lecz znaczące ograniczenia pojawiają się w części zbierania wyników i ich automatycznej oceny. Pierwszym z celów naszego systemu uczyniliśmy zatem osiągnięcie jak największej elastyczności mechanizmów automatycznej oceny testów.

Doświadczenie uczy, że w większości przypadków, test pisemny nie jest jedynym składnikiem końcowej oceny wiedzy – najczęściej składa się na nią również, dokonywane na bieżąco, oszacowanie zaangażowania i efektywności pracy studenta podczas zajęć. Zadecydowano zatem, iż należy uwzględnić w projektowanym systemie mechanizmy wspierające również ten zakres oceny.

Kolejnym, koniecznym w naszym środowisku docelowym, wymogiem jest możliwość pracy systemu w trybie offline, to znaczy bez łączności sieciowej, czy nawet na stanowiskach w ogóle pozbawionych osprzętu sieciowego. Umożliwi to wykorzystanie go podczas każdych zajęć gdzie studenci mają dostęp do komputera, włącznie z ćwiczeniami laboratoryjnymi. W celu uczynienia systemu wygodniejszym w obsłudze i jeszcze bardziej uniwersalnym, zdecydowano się na umieszczenie w nim elementów pozwalających także na pracę w trybie online (zarówno z użyciem sieci lokalnej, jak i Internetu).

W przypadku każdego systemu LMS (a w szczególności pozwalającego na automatyczne testowanie i ocenę wiedzy), ważnym elementem są mechanizmy bezpieczeństwa. W naszym przypadku kluczowym jest zapewnienie poufności i sprawiedliwości testów, a także ochrona ich wyników przed utratą lub nieautoryzowaną modyfikacją.

Projektując system dla przedsiębiorstwa o wielkości i złożoności wyższej uczelni, należy wziąć pod uwagę jej strukturę organizacyjną. W naszym przypadku mamy do czynienia z podziałem na wiele jednostek organizacyjnych o zróżnicowanych sposobach pracy i oczekiwaniach pod względem funkcjonalności. Jak już wspomniano, system o scentralizowanej strukturze nie spełni tu naszych oczekiwań – wobec tego faktu zdecydowano się na realizację nowatorskiego rozwiązania wśród systemów LMS, a mianowicie zaprojektowania systemu o architekturze rozproszonej i modułowej.

Odpowiednie wykorzystanie tej architektury umożliwi również łatwą modernizację i rozbudowę systemu w przyszłości.

Nie można również zapominać, iż żaden system, nie ważne jak kompleksowy, nie działa w próżni. Jedną z kluczowych cech, decydujących o uniwersalności i przydatności systemu LMS, jest możliwość wymiany danych z otoczeniem. Z tego też powodu zdecydowano się na zastosowanie w systemie wyłącznie standaryzowanych technologii transmisji, zapisu i przechowywania danych, jak na przykład: SOAP, XML czy serwery SQL.

3.1 Architektura systemu

Jak już wspomniano, system charakteryzuje się architekturą modułową i rozproszoną, ze zdolnością do tworzenia struktur hierarchicznych. System składa się z następujących modułów: oceny w czasie rzeczywistym, testów, dystrybucji testów i zbierania danych, dostępu webowego oraz grupowania. W przypadku zastosowania ich wszystkich w jednym systemie, tworzą one strukturę pokazaną na rysunku 1..

 

 

Rys. 1. Hierarchiczna struktura systemu

 

Architektura modułowa, w połączeniu z użyciem wewnątrz systemu wyłącznie standaryzowanych formatów zapisu i sposobów transmisji danych pozwala na wykorzystanie tylko wybranych, interesujących nas jego części, przy zastosowaniu do dalszej obróbki danych własnych narzędzi [7].

Możliwe jest, na przykład, zastosowanie wyłącznie modułu testów, w celu przeprowadzenia pisemnego testu wyboru. Analiza uzyskanych wyników może natomiast przebiegać z użyciem arkusza kalkulacyjnego Microsoft Excel, który znakomicie współpracuje z generowanymi przez moduł testów danymi w formacie XML. Lub też przeciwnie, można przesłać do systemu wyniki testów prowadzonych własnymi narzędziami, w celu ich dalszego zapisu i obróbki (rys. 2).

 

Rys. 2. Możliwość stosowania wymiennych modułów podczas obróbki danych.

 

Taka (występująca na każdym z poziomów hierarchii) dowolność w wykorzystaniu tworzących system modułów pozwala na łatwe dostosowanie sposobu jego pracy do istniejących procedur i narzędzi, co znacząco podnosi atrakcyjność systemu i szansę na jego udane wdrożenie. Zainteresowani nim użytkownicy nie są bowiem zmuszani do zaprzestania użycia dotychczasowych narzędzi, lecz mogą zintegrować je z systemem i w gruntowny sposób wpływać na sposób jego pracy.

Zastosowanie architektury hierarchicznej pozwala, z kolei, uniezależnić konfigurację systemu w określonej jednostce organizacyjnej od innych jego części, zachowując jednocześnie możliwość pracy systemu jako całości. Dowolne zmiany wprowadzone w pracy systemu przez administratorów i użytkowników w określonej, na przykład, katedrze/laboratorium/przedmiocie itp. pozostają bez wpływu na sposób obsługi innych katedr/laboratoriów/przedmiotów.

Możliwe jest nawet użycie całkowicie odmiennych modułów w miejsce standardowych, jak długo zachowany zostaje pewien podstawowy zestaw funkcji koniecznych do realizacji komunikacji wewnątrz-systemowej. Oznacza to także łatwość ewentualnego wprowadzania uaktualnień systemu, które można testować i wprowadzać stopniowo, bez konieczności zakłócania jego pracy jako całości.

System o opisanej powyżej architekturze bardzo dobrze się skaluje (ze względu na agregację informacji), a wykorzystanie do budowy hierarchii uniwersalnego modułu grupowania, pozwala tworzyć dowolną liczbę poziomów hierarchii. Dodatkowo, w przypadku awarii któregoś z węzłów systemu, będzie ona miała wpływ wyłącznie na jego węzły potomne w drzewie hierarchii. Pozostała część systemu pozostanie sprawna.

3.2 Moduł testów

Podstawowym modułem systemu jest moduł testów. Stanowi on standardową cześć kliencką systemu i pozwala na przeprowadzanie testów wyboru oraz automatyczną ich ocenę. Moduł ma postać aplikacji przeznaczonej dla systemu Windows 9x/NT/2000/XP nie wymagającej instalacji, lecz tylko uruchomiania na stanowisku roboczym.

Moduł powyższy został zaprojektowany w sposób, który pozwala mu działać w jak największej liczbie możliwych środowisk. Obsługiwane są następujące konfiguracje:

·         całkowicie pozbawiona łączności sieciowej – testy i ich rozwiązania przechowywane są i przenoszone ręcznie, w formie zaszyfrowanych plików,

·         konfiguracja z bliskim serwerem – gdy dysponujemy szybkim i bezpiecznym łączem do serwera SQL zbierającego wyniki (jak ma to miejsce w przypadku zajęć laboratoryjnych),

·         konfiguracja zdalnego kursu, z serwerem odległym – przeznaczona do wymiany informacji przez niezabezpieczoną intersieć (na przykład Internet), gdzie nie dysponujemy żadnymi gwarancjami obsługi naszej transmisji danych lub posiadamy jedynie okresową łączność sieciową.

Moduł ten jest elementem stykającym się bezpośrednio z końcowym użytkownikiem, stąd szczególny nacisk położono na stworzenie prostego, lecz uniwersalnego interfejsu użytkownika. Innymi kluczowymi aspektami projektu i implementacji powyższego modułu są bezawaryjność i ochrona danych, zarówno przed ich utratą, jak i nieautoryzowanym dostępem i modyfikacją. Są to zagadnienia szczególnej wagi w przypadku systemu mającego możliwość pracy w trybie offline. W naszym przypadku zrealizowano je z użyciem standaryzowanych metod szyfrowania oraz rozbudowanych mechanizmów obsługi kopii zapasowych, specjalnie dostosowanych do specyfiki środowiska Microsoft Windows.

3.3 Moduł dystrybucji testów i zbierania danych

W przypadku zdalnego testowania wiedzy za pośrednictwem sieci Internet, system oferuje mechanizmy automatycznej dystrybucji testów do użytkowników i następnie zbierania ich odpowiedzi.

Użytkownik posługuje się w tym przypadku standardowym klientem systemu w postaci modułu testów i wymienia dane z pomocą protokołu SOAP z modułem dystrybucji testów i zbierania danych.

Zastosowanie takiego rozwiązania pozwala na bezpieczną (z zastosowaniem protokołu SSL) i odporną na niesprzyjające warunki w sieci transmisję zestawu zadań do klienta i następnie odbiór wyników. Łączność sieciowa konieczna jest przy tym jedynie przy pobieraniu zadań, a następnie w dowolnym momencie po zakończeniu testu, w celu przesłania wyników. Klient sam wykrywa istnienie łączności sieciowej i dokonuje transmisji, gdy napotka taką możliwość. Jako że powyższy sposób pracy realizowany jest w środowisku otwartym dla różnych użytkowników, moduł ten zawiera także mechanizmy uwierzytelniania i kontroli dostępu.

Drugim zastosowaniem modułu, jest wspomaganie pracy systemu w trybie offline, gdy klienci w ogóle nie dysponują łącznością sieciową z pozostałą częścią systemu, a zadania i rozwiązania przenoszone są ręcznie, w formie zaszyfrowanych plików. W takim przypadku moduł pozwala na prowadzenie do systemu rozwiązań przenoszonych tą drogą.

3.4 Moduł oceniania w czasie rzeczywistym

Jak już wspomniano, poza testowaniem i oceną wiedzy teoretycznej za pomocą testów wyboru, system pozwala również na ocenę osiągnięć studenta podczas zajęć. Temu właśnie zadaniu służy moduł oceniania w czasie rzeczywistym.

 

Rys. 2 Interfejs użytkownika

 

Interfejs użytkownika powyższego modułu udostępnia użytkownikowi listę studentów uczestniczących w aktualnych zajęciach, oraz tabelę danych o numerowanych kolumnach, w których można umieszczać punktację za wykonanie kolejnych zadań, aktywność itp. Jeśli moduł testów był w stanie przekazać odpowiednie dane (istniała łączność sieciowa), prowadzący zajęcia widzi również wyniki przeprowadzonego testu teoretycznego, oraz inne dane podane przez studentów (takie jak numer stanowiska, indeksu itp.).

Interfejs użytkownika (patrz rys.2) pozwala na wprowadzanie danych na wiele różnych sposobów – przy użyciu klawiatury lub myszy, wyświetlając dane w formie cyfrowej lub graficznej itp. Położono tu nacisk na czytelność interfejsu, prostotę obsługi i możliwość uruchomienia modułu na różnorodnym sprzęcie. Przygotowywana jest wersja w języku Java, między innymi na urządzenia przenośne (mobile – palmtopy, telefony komórkowe itp.).

Podobnie jak moduł testów, moduł oceniania w czasie rzeczywistym może pracować w trybie:

·         online - gdy dysponujemy bezpośrednią łącznością z bazą danych SQL,

·         offline - pracujemy bez łączności sieciowej, zapisując dane do pliku. Do późniejszego wprowadzenia zebranych danych do systemu używamy modułu dystrybucji testów i zbierania danych.

3.5 Moduł dostępu webowego

Moduł dostępu webowego pełni podobne funkcje co moduł testowania, lecz realizuje je techniką popularną wśród systemów LMS, czyli w architekturze web-based thin-client. Został wprowadzony w celu zwiększenia uniwersalności systemu. Biorąc pod uwagę fakt, iż moduł testów posiada określone środowisko pracy (system operacyjny Windows), może to ograniczać naszą docelową grupę odbiorców (choć jak wskazują dane statystyczne – nieznacznie). Moduł dostępu webowego umożliwia przeprowadzanie, tworzonych na bieżąco, szybkich testów. Jest to możliwe niezależnie od lokalizacji użytkowników oraz z wykorzystaniem odmiennej od Windows platformy klienta –  te możliwości daje nam zastosowanie sieci Internet oraz przeglądarki internetowej.

Zestaw funkcji oferowanych przez omawiany moduł jest mniejszy niż w przypadku pełnego modułu testów, z uwagi na ograniczenia środowiska pracy systemu (przeglądarka internetowa). Dotyczą go również wszelkie wady tego rodzaju rozwiązań [8], dla uniknięcia których zdecydowano się na użycie w systemie odmiennych rozwiązać  (na przykład wymóg pracy online). Moduł ten powstał jednak, gdyż w pewnych scenariuszach prosty dostęp webowy do systemu sprawdzi się najlepiej.

3.6 Moduł grupowania

Elementami łączącym rozproszone moduły systemu w jedną całość są moduły grupowania. Pomagają one tworzyć hierarchiczną strukturę, zapewniając funkcje synchronizacji i agregacji danych oraz pozwalając na wyszukiwanie informacji w całym systemie.

Zastosowano jeden, uniwersalny, rodzaj modułu grupowania pozwalający na połączenie zebranych danych o rozwiązaniach i ocenach, w celu stworzenia całościowej bazy danych o wynikach nauczania. Moduł jest wysoce konfigurowalny, tak, aby mógł pełnić swoją rolę nawet w przypadku budowy bardzo rozbudowanych i skomplikowanych systemów. Jego konfiguracja odbywa się z pomocą plików w formacie XML, co pozwala na łatwe zarządzanie zarówno w sposób ręczny (poprzez bezpośrednią edycję plików, które zachowują formę zrozumiałą przez człowieka), jak i automatyczny (poprzez zastosowanie zewnętrznych mechanizmów (istnieje wiele rozwiązań służących automatycznemu przetwarzaniu plików XML).

W standardowym pakiecie, umieszczono gotowe wzorce konfiguracji, pozwalające modułowi na:

·         proste przekazywanie informacji o zawartości bazy danych do modułu wyższego w hierarchii,

·         realizację funkcji elementu konsolidującego oceny całkowite z poszczególnych zajęć i pozwalającego na wystawienie oceny końcowej z przedmiotu,

·         realizację funkcji elementu konsolidującego oceny z poszczególnych przedmiotów.

4. Wdrożenie systemu i jego wyniki

W chwili obecnej zaimplementowano oraz wdrożono w środowisku (najpierw testowym, potem produkcyjnym) moduły testowy, oceny w czasie rzeczywistym, dystrybucji testów i zbierania danych oraz podstawowe funkcje modułu grupowania.

Od czasu rozpoczęcia pracy systemu w środowisku produkcyjnym, był on stosowany podczas zajęć prowadzonych przez Katedrę Systemów Informacyjnych. Obejmowały one laboratoria dotyczące projektowania, utrzymania i obsługi sieci komputerowych, przeznaczone dla studentów studiów dziennych oraz wieczorowych WETI PG. System posłużył również do prowadzenia zdalnych testów dla Podyplomowego Studium Projektowania i Zarządzania Sieciami Komputerowymi. Ogółem przetworzono z jego pomocą ponad 10000 testów.

Wprowadzenie systemu do środowiska produkcyjnego, zaowocowało znaczącą poprawą efektywności pracy, dzięki oszczędności czasu wykładowcy.
Czas jaki należało poświęcić na samą mechaniczną ocenę testów i wystawienie ocen uległ ponad trzykrotnemu skróceniu. Dodatkowo wprowadzenie modułu oceny w czasie rzeczywistym, pozwoliło na praktyczne wyeliminowanie konieczności ręcznej obróbki (odszukiwania na listach ocen, dopisywania, sumowania punktów) ocen za aktywność w trakcie zajęć.

W chwili obecnej możliwe jest udostępnienie uczestniczącym w zajęciach laboratoryjnych studentom osiągniętej przez nich oceny (na którą składa się pisemny test wyboru oraz aktywność i liczba poprawność realizacji zadań praktycznych) w momencie zakończenia zajęć.

Ponadto, nawet tylko częściowe wprowadzenie systemu, spowodowało znaczący (ponad 50%) spadek liczby błędów popełnianych podczas zbierania i obróbki danych o wynikach studentów. Przewidujemy dalszy spadek liczby powyższych błędów, w miarę modyfikacji systemu zgodnie z, zebranymi podczas wstępnego wdrożenia, obserwacjami.

 

5. Zakończenie

Integracja systemów LMS testowania wiedzy z istniejącą strukturą placówki dydaktycznej nie jest zadaniem łatwym. Wymagania są tym większe, im bardziej rozbudowana jest istniejąca struktura. W chwili obecnej większość dostępnych systemów LMS oferuje rozwiązania uniwersalne, które nie zawsze można dostosować do konkretnych założeń. Zaprojektowanie od podstaw systemu LMS jest interesującym rozwiązaniem dla dużych placówek dydaktycznych o ściśle określonych wymaganiach.

W referacie przedstawiono propozycję systemu oceniania wiedzy, który spełnia wymagania środowiska Politechniki Gdańskiej. Zaimplementowane mechanizmy są uniwersalne, łatwe w instalacji i obsłudze. Realizacja systemu w postaci rozproszonej uniezależnia poszczególne jednostki od siebie. Tym samym możliwe jest funkcjonowanie systemu adekwatnie do zainteresowania poszczególnych administratorów. Mechanizmy integracji pozwalają zrealizować bazę ogólnouczelnianą. Z przeprowadzonego wdrożenia wstępnego wynika, że funkcjonalność systemu jest bardzo wysoka.

BIBLIOGRAFIA

[1] Wisher R., Hultin J., Jesukiewicz P., Dodds P.: I/ITSEC 2004 - Status of the ADL Initiative, I/ITSEC 2004.

[2] Learning Management Systems 2004”, Bersin & Associates, June 2004.

[3] Gierłowski K., Nowicki K.:. Zastosowanie technologii internetowych w realizacji systemów zdalnego nauczania. Zeszyty naukowe Wydziału ETI Politechniki Gdańskiej. Gdańsk 2004.

[4] Gierłowski K., Nowicki K.., Uhl T.: Didaktische simulationsmodelle für E-learning in der IK-ausbildung. 7. Workshop Multimedia für Bildung und Wirtschaft. Ilmenau, 2003.

[5] Graesser A.C., Person N.K: Question asking during tutoring, American Educational Research Journal, 1994.

[6] Gierłowski K., Nowicki K.:. Analiza możliwości zastosowania symulatorów dydaktycznych w systemach nauczania wspomaganego komputerowo zgodnych ze standardem SCORM 2004. IV Konferencja i Warsztaty Politechniki Warszawskiej “Uniwersystet Wirtualny: model, praktyka, narzędzia”.

[7] World Wide Web Consortium, Internet Technologies Whitepapers, February 2005, http://www.w3.org

[8] Nowicki, K. Gierłowski K.: Nowe technologie teleinformatyczne w realizacji systemów zdalnej edukacji. Krajowe Sympozjum Telekomunikacji 2004.

 

A LMS STUDENDS’ KNOWLEDGE EXAMINATION AND EVALUATION SYSTEM PROPOSAL AND IMPLEMENTATION FOR A FACULTY SCALE

Summary

 

This paper considers knowledge testing and automatic evaluation issues in remote learning systems. At the beginning the limitations of common technologies were presented. Basing on this knowledge, a new LMS system for knowledge testing and evaluation was introduced. The system was designed and implemented at the faculty of ETI, Gdańsk University of Technology. The presented system has a set of unique features which cover the system architecture and functionality elements. The system is modular, flexible and simple in maintenance. One of the objectives at the design level was automatic evaluation of the tests. This functionality is especially valuable for complex academic sites such as Gdańsk University of Technology.