Czy Więcej niż Matura działa? Opinie i ewaluacja jakości kształcenia

Wstęp – na jakie pytania odpowiemy w tej ewaluacji?

Cześć! Jeśli jesteś tutaj to najprawdopodobniej poszukujesz źródła rzetelnych opinii na temat kursów Więcej niż Matura lub opisu sposobu ewaluacji, jaki wykorzystujemy, by oceniać skuteczność Więcej niż Matura oraz dalej rozwijać kursy maturalne.

Nazywam się Dariusz Chrapek, jako założyciel i twórca Więcej niż Matura zdecydowałem się napisać ten wpis, aby ułatwić Ci znalezienie wszystkich kluczowych informacji, których potrzebujesz, by zaufać metodyce nauczania Więcej niż Matura.

W tym wpisie znajdziesz zarówno linki do publicznych recenzji wystawionych przez byłych kursantów jak i wyniki wewnętrznych anonimowych ankiet, które kursanci cyklicznie wypełniali w toku realizacji kursów. Podzielę się również tutaj wynikami rocznej ewaluacji kursów Więcej niż Matura przeprowadzonej przez 12 osoby zespół opiekunów dydaktycznych, w tym przedstawię rzeczy chwalone przez kursantów jak i problemy jakie zgłosili byli kursanci wraz z opisem sposobów, w jakie je rozwiązaliśmy, celem przygotowania lepszej wersji kursów.

W tym podsumowaniu znajdziesz odpowiedzi na wiele pytań, między innymi:

– Jakie cele postawiliśmy sobie tworząc Więcej niż Matura?
– Czy udało się je osiągnąć?
– Czym jest gwarancja satysfakcji i jaką rolę odgrywa w ewaluacji kursów Więcej niż Matura?
– Czy więcej niż matura zastępuje korepetycje?
– Jak przeprowadzana jest ewaluacja?
– Gdzie mogę znaleźć niezależne opinie?
– Jak wygląda system oceny kursów Więcej niż Matura?
– Jakie są wyniki ewaluacji ostatniej edycji kursów?
– Jakie wyniki uzyskują kursanci Więcej niż Matura?
– Jakie dane o aktywności kursantów wykorzystujemy w ewaluacji i rozwoju kursów?

To tyle na ten moment, życzę Ci miłej lektury! W razie gdyby pojawiły się pytania, to zapraszam do sekcji komentarzy pod wpisem.

Opinie o Więcej niż Matura

Jeśli szukasz opinii o Więcej niż Matura, to masz na ten moment trzy wyjścia. Pierwsze jest takie aby wejść na facebooka Więcej niż Matura, jest to aktualnie jedyne miejsce gdzie znajdują się opinie byłych kursantów jak i nauczycieli korzystających z portalu Więcej niż Matura. Część opinii może nie być widoczna, ze względu na ustawienia prywatności użytkowników, którzy je umieścili.

Drugie źródło to ten wpis. Jest to pierwsze podsumowanie ewaluacji Więcej niż Matura, jaką przeprowadziliśmy, bo też portal funkcjonuje od końcówki 2022 roku. To co znajdziesz tutaj i  co może Cię interesować, to wyniki z wewnętrznej ewaluacji kursantów, czyli z systemu ocen lekcji stanowiącego część portalu. W ramach niego, każdy kursant po realizacji lekcji oceniają ją w 5 kryteriach na 5 stopniowej skali oraz może udzielić dodatkowych uwag jakościowych tak, by w pełni przekazać informację zwrotną na temat lekcji dostępnej na portalu. 

Pozostaje jeszcze kontakt z samymi użytkownikami portalu, do czego Cię zachęcam. W okresie od stycznia do października 2023 roku z portalu korzystało i korzysta łącznie ponad 800 osób, także jest zdecydowana szansa, że kogoś z nich znasz lub odnajdziesz na jednej z grup facebookowych.

Opis procesu ewaluacji kursów Więcej niż Matura

Aby zrozumieć proces ewaluacji musimy zacząć od celów jakie ma realizować portal Więcej niż Matura. Bez tego część wyników ewaluacji może być trudna w interpretacji. Gdy rozpoczynaliśmy pracę nad Więcej niż Matura postawiliśmy sobie następujące cele:

1. Kursy mają całkowicie zastąpić podręczniki oraz kursy wideo.
2. Kursy mają całkowicie zastąpić zbiory zadań.
3. Kursy mają całkowicie zastąpić tradycyjne indywidualne korepetycje.
4. Kursy mają pomóc w przygotowaniu do matury z nastawieniem na osiągnięcie wysokiego wyniku, czyli takiego, który pozwoli dostać się na studia lekarskie w Polsce, czyli minimum 75%.
5. Kursy mają pomóc w organizacji całej nauki, czyli do początku do końca uwzględniać w swoim programie całość działań jakie musi wykonać uczeń, by przygotować się do matury.
6. Cena dostępu do kursów powinna być taka, by była pozytywnie oceniania przez kursantów, adekwatna ale jednocześnie by umożliwiała na uczestnictwo w kursie każdej osobie w Polsce.
7. Konstrukcja jak i metodyka kursów powinna działać efektywnie i przez to budzić zaufanie, dlatego od początku istnienia w ramach kursów Więcej niż Matura powinna być zapewniania gwarancja satysfakcji, czyli zwrot kosztów w przypadku nieuzyskania minimum 75% na egzaminie maturalnym z Biologii lub Chemii.

Ostatni punkt w tym wydźwięku stanowi szczególną rolę dla nas jako zespołu. Gwarancja satysfakcja (GS) zakłada, że jeśli kursant zrealizuje 100% kursu i spędzi na danym kursie odpowiednią liczbę godzin aktywności, to otrzyma gwarancję. Ta polega na tym, że jeśli pomimo nauki z kursem, kursant nie otrzyma minimum 75% na maturze z Biologii lub Chemii, to otrzyma zwrot kosztów lub rok dostępu do kursów bez opłat celem poprawy wyniku.

Naturalnie procent osób, które na tę GS się zgłaszają po maturze jest ważnym czynnikiem, który uwzględniamy przy ewaluacji kursów Więcej niż Matura, bo jest bezpośrednim wskaźnikiem sukcesu, pod który optymalizujemy konstrukcję kursów jak i kształt całego portalu. Im mniejszy ten wskaźnik, tym lepiej działają kursy.

Podobnie czynimy to na portalu Więcej niż LEK, który jest naszym drugim, starszym portalem, gdzie każdego roku do swoich egzaminów uczy się już ponad 58% wszystkich absolwentów kierunku lekarskiego. Na nim gwarancję satysfakcji również zapewniamy. Jest to wyraz metodyki nauczania jak i nowoczesnego systemu kształcenia wykorzystującego platformę e-learningową, która bardzo precyzyjnie zbiera dane aktywności o nauce kursanta. To pozwala jemu/jej lepiej rozumieć swoją naukę a zespołom opiekunów kursów pozwala na ich sukcesywnie doskonalenie.

W sumie to sprawdzenie opinii i recenzji kursantów Więcej niż LEK również jest sposobem na sprawdzenie rzetelności metodyki jak i pracy zespołu, gdyż jest to jedna firma i jeden zespół, który rozwija oba te portale. W przypadku portalu dla medyków działamy jednak zdecydowanie dłużej bo od 2017 roku.

Oferowanie gwarancji satysfakcji na naszych kursach jest możliwe, gdyż mamy dostęp do danych aktywności kursantów obejmujących 100% ich nauki. Oznacza to, że jeśli kursant realizuje założenia kursu to prowadzi na kursie 100% swojej nauki, czyli możemy dzięki temu jako nauczyciele dokładnie sprawdzić jak mu idzie i czy jego aktywność i poziom zaangażowania w naukę predestynuje kursanta do uzyskania wysokiego wyniku. Jednocześnie możemy to zbadać, i między innymi w ten sposób powstały kryteria ukończenia kursów. Po prostu policzyliśmy ile średnio trzeba poświęcić na naukę do matury z biologii i chemiii by myśleć o wyniku powyżej 75%. Do tego dochodzi jeszcze kilka innych czynników, jak tempo nauki, różnice w formułach czy też kolejność realizacji materiału, niemniej najbardziej krytyczny jest sam fakt przerobienia całego materiału, łączny czas nauki i liczba rozwiązanych zadań maturalnych.

Jakie dane aktywności kursantów wykorzystujemy w ewaluacji i rozwoju kursów?

Czasy aktywności, łączne i w poszczególnych lekcjach. Wyniki rozwiązań zadań maturalnych w trzech różnych trybach rozwiązywania zadań. Liczba, miejsce i tematyka zadawanych pytań. Analiza popełnianych błędów przez pryzmat zagadnienia jak i typów zadań maturalnych. Wyniki jakościowe i ilościowe pochodzące z systemu ankiet, który tworzy system oceniania lekcji dostępny bezpośrednio na portalu, na końcu każdej lekcji. Analiza treści komentarzy dodawanych do treści teoretycznych jak i zadań maturalnych. Dodatkowo po ogłoszeniu wyników kontaktujemy się z kursantami i wstecznie zbieramy ich prawdziwe wyniki maturalne, tak aby dodać je jako kluczową ostatnią cegiełkę w ewaluacji danej edycji kursów Więcej niż Matura.

System ocen lekcji – opinie kursantów Więcej niż Matura

System oceny lekcji zbiera opinie kursantów Więcej niż Matura z dokładnością do jednej lekcji. Łącznie na kursach maturalnych z Biologii i Chemii dostępnych jest 176 lekcji. Kursant ocenia lekcji w 5 kryteriach na 5 stopniowej skali – (Nie zgadzam się, raczej się nie zgadzam, raczej się zgadzam, zgadzam się i trudno powiedzieć). Oceny te liczone są jako 1,2,3 lub 4 punkty. W przypadku odpowiedzi trudno powiedzieć odpowiedź nie jest wliczana do średniej.

Następnie liczona jest średnia ocena lekcji ( z 5 kryteriów łącznie)  jak i średnia ocena w każdym z 5 kryteriów. Są to:

Jakość wykonania materiałów teoretycznych, w ramach której oceniana jest to czy treści są zrozumiałe oraz to czy były odpowiednio przejrzyste i czytelne.

Następnie oceniana jest wartość merytoryczna, w której kursant ocenia to czy treści były wyczerpujące i aktualne. Tutaj jest to ważne pod kątem spełniania potrzeby realizacji podstawy programowej.

Na końcu oceniania jest warstwa audiowizualna, czyli to czy ilustracje i zdjęcia obecne w lekcji były wystarczające by odpowiednio zwizualizować zagadnienie.

Takie wyniki są na bieżąco zbierane przez system i na przestrzeni miesięcy i lat ocenianie przez zespół. Dodatkowo w każdej odpowiedzi można udzielić odpowiedzi jakościowej, która jest cyklicznie (co tydzień) sprawdzana przez głównego opiekuna kursu. Czasami kursanci piszą tam jakiś konkretny feedback, bo zabrakło jakiegoś zdjęcia czy ilustracji, która ich zdaniem powinna być w lekcji. A czasami po prostu piszą, że dziękują za lekcję, bo dzięki niej zrozumieli zagadnienie, które do tej pory sprawiało im trudność.

Średnie wyniki dla okresu od stycznia 2023 do października 2023 są następujące:

Dla Kursu maturalnego z Biologii to średnio – 93,09/100 punktów procentowych.

Dla Kursu maturalnego z Chemii to średnio – 97,01/100 punktów procentowych.

Ta średnia wyliczona jest jako średni wynik zaliczony z sumy pojedynczych odpowiedzi udzielonych w powyższych pięciu kategoriach. Łącznie został wyliczony na podstawie 13 654 pojedynczych odpowiedzi, których udzieliło 442 unikalnych osób w systemie. Tutaj ważny komentarz, nie wszyscy użytkownicy wypełniają te ankiety, ale liczba ta jest zdecydowanie wystarczająca do wyciągania zgeneralizowanych wniosków, gdyż we wskazanym okresie z systemu korzystało łącznie ponad 800 osób, posiadając różne długości trwania dostępu do portalu. Naturalnie osoba, która kupuje dostęp na 3 miesiące zrealizuje i oceni mniej lekcji niż taka, która uczy się z WNM przez 9 miesięcy.

Dodatkowo, chciałbym pokazać wykres ilustrujący te oceny w czasie. Widać na nim bardzo dobrze, jak informacja zwrotna zbierana przez ten system stale powoduje wzrost średniej oceny lekcji. Po prostu zarówno mikro jak i makro feedback jest na bieżąco wprowadzany na kursy, co usprawnia je z dnia na dzień. Poniższy wykres przeliczony jest za pomocą średniej kroczącej w okresie 90 dni, która jest zwykłą średnią arytmetyczną wartości z ostatnich 90 dni. Pokazuje to, pomimo, że wahania te są bardzo mało, jak spojrzymy na oś x to zauważymy, ze jest to zakres 3-4 punktów dla danego kursu i wahania te oceniam jako naturalne. Kluczowa zatem pozostaje długofalowa tendencja, która jest wzrostowa.

Jeśli zaś chodzi o wyniki w poszczególnych kategoriach, to średnie wyglądały następująco:

Pomimo, że kursy są na rynku dopiero od końca 2022 roku to wyniki są bardzo dobre i przez zespół kursów oceniane są pozytywnie. Wyniki te są zbliżone do tych, które uzyskują kursy dla studentów medycyny, które na rynku są od wielu lat. Doświadczenie wyniesione z pracy nad tamtymi kursami zdecydowanie zaowocowały przy tworzeniu kursów maturalnych, tym bardziej, że samo wyzwanie jakim jest matura, jest wyzwaniem mniej skomplikowanym niż egzaminy na kierunku lekarskim czy lekarsko-dentystycznym. Nawet gdy spojrzymy na najniższą ocenę, poziomu wyczerpania treści dla kursu z Biologii, to średnia ta jest bardzo wysoka. Zaś po wejściu w dane głębiej okaże się, że jest są tylko 2 lekcje, które mocno tę średnią zaniżają, lekcje te dotyczą roślin. To jest temat, który też był wskazywany jako najtrudniejszy dla większości maturzystów i dlatego tym lekcjom w kolejnej edycji kursów poświęciliśmy dodatkową uwagę.

Ankiety badające satysfakcję

Kolejnym źródłem informacji, na podstawie których oceniamy i rozwijamy kursy Więcej niż Matura są ankiety badające satysfakcję. Jest to anonimowa ankieta, która organizowana jest 4 razy w roku. Pytania w niej zawarte są bardziej szczegółowe, skupiają się na ocenie jakościowej różnych aspektów metodyki kursów ale przede wszystkim, same zadowolenia i poziomu zaspokojenia potrzeb kursantów. Innymi słowy mniej skupiają się na lekcjach i treściach kursu a bardziej skupiają się na ogólnym flow nauki z kursem i obsługą przez nauczycieli. Ta ankieta ma za zadanie odpowiedzieć na głównie na jedno ważne pytanie, czy kursanci są zadowoleni z nauki z Więcej niż Matura. Dodatkowo badamy również takie kwestie jak to, czy zdaniem kursantów Więcej niż Matura jest w stanie zastąpić korepetycje.

Do oceny satysfakcji klientów wykorzystujemy wskaźnik NPS (Net Promotor Score), który wyliczany jest z odpowiedzi na pierwsze pytanie ankiety, które brzmi następująco:

“Czy poleciłabyś/poleciłbyś kursy maturalne Więcej niż Matura znajomym?”

Odpowiedzi udziela się na skali od 0 do 10. Dodatkowo można podać opisowe uzasadnienie.

Wskaźnik NPS wylicza się poprzez zsumowanie % wyniku 9 i 10 i odjęcie od tego sumy wyników poniżej od 0 do 6. Innymi słowy, osoby dajace 9 i 10 to osoby aktywnie polecające. Zaś 6 i niżej to osoby aktywnie zniechęcają do nauki. Wyniki 7 i 8 to osoby zadowolone, ale którym czegoś brakuje jeszcze.

Ostatni pomiar wskaźnika NPS wyniósł 61 dla obu kursów łącznie. NPS oceniany jest na skali od -100 do +100. Wyniki poniżej zera są kiepskie, pomiędzy o a 50 dobre a powyżej 61 doskonałe. Dla przykładu, Iphone od firmy Apple ma około 70-80.

Co ciekawe, w ostatniej ankiecie (stan na początek września 2023 roku) nikt nie dał mniej niż 7, a większość ocen stanowiły 9 i 10. To oznacza, że kursanci Więcej niż Matura aktywnie polecają naukę z kursami. Co zresztą widać w innych częściach ankiety, gdzie badamy to skąd kursant dowiedział się o Więcej niż Matura. Polecenia od znajomych i nauczycieli od jakiegoś czasu zaczynają stanowić drugie źródło kursantów po wyszukiwaniach w googlu.

Co ważne, należy być świadomym faktu, że w tej ankiecie bierze udział około 8-11% kursantów. Jest to wystarczająco do generalizacji wniosków ponad 500 osobach na kursie, ale nie jest to input od 100% kursantów i tego każda osoba czytająca powinna być świadoma. W tym aspekcie wyższy % zaangażowania w udzielanie informacji zwrotnej mają mikro ankiety na koniec lekcji gdyż ich wypełnienie zajmuje dosłownie chwilę, gdzie uczestnictwo w kwartalnej ankiecie to zaangażowanie na około 15 minut.

Analiza wyników tych ankiet mogłaby stanowić osobny artykuły, dlatego podam jeszcze wyniki dwóch pytań, które mogą zaciekawić każdą osobę, czy to nauczyciela czy to potencjalnego ucznia, który myśli o nauce z Więcej niż Matura.

W ankiecie pojawia się stałe pytanie, które brzmi “Czy nauka z kursami Więcej niż Matura pomaga Ci w przygotowaniu do matury?”

Na to pytanie 95-98% osób (w zależności od etapu roku szkolnego) odpowiada “zdecydowanie tak” lub “raczej tak”. W historii prowadzenia ankiet nikt nigdy nie odpowiedział, że kursy nie pomagają.

Kolejne ciekawe pytanie, które służy nam do badania jednego z naszych celów przytoczonych na początku tego artykułu to pytanie, które brzmi następująco:

“Czy możesz zgodzić się ze stwierdzeniem, że opieka dydaktyczna na kursie Więcej niż Matura jest w stanie zastąpić indywidualne korepetycje, które odbywają się 1–2 razy w tygodniu? Niezależnie od Twojego stanowiska , napisz, proszę, co myślisz na ten temat.”

I tutaj co ciekawe, 97% osób jednoznacznie wskazuje pozytywną odpowiedź na to pytanie, w tym rozumieniu, że uważają, że wbudowane korepetycje na kursach Więcej niż Matura zdecydowanie zastępują indywidualne korepetycje. Jeśli ciekawi Cie ten temat, to zapraszam do innego poradnika, w którym porównuje wbudowane korepetycje Więcej niż Matura z tymi tradycyjnymi.

Z tego względu, na ten moment wraz z zespołem oceniamy, że ten cel udało się zrealizować. I nic dziwnego, gdyż każdego dnia odpowiadamy na dziesiątki jeśli nie nawet setki pytań, które spływają przez system e-learningowy. Konsultacje i sprawdzanie poprawności odpowiedzi w systemie jest najintensywniej wykorzystywaną funkcją portalu Więcej niż Matura. Z tego względu, po prostu obserwujemy jak dobrze ten system działa, że kursanci z niego korzystają i wyniki ankiety nas po prostu nie zaskakują. To jest ten sam model nauki, z którego korzysta ponad 12 000 studentów medycyny rocznie w ramach portalu Więcej niż LEK. Na Więcej niż Matura został wprowadzony w sposób analogiczny, przy czym większy akcent położyliśmy na sprawdzanie zadań maturalnych i co ciekawe, maturzyści zadawają średnio 4 razy więcej pytań niż studenci medycyny. To ogólnie związane jest z faktem, że zadania maturalne, w szczególności z Biologii, są bardziej subiektywne w ocenie i pomoc osób, które na co dzień sprawdzają matury, po prostu jest bardzo przydatna dla kursantów. 

Wywiady z użytkownikami

Kolejnym źródłem informacji o tym, w jaki sposób maturzyści korzystają z portalu Więcej niż Matura są wywiady z użytkownikami. Polegają one na tym, ze metodyk nauczania (w tym przypadku ja, autor tego wpisu) spotyka się na 30-45 minutowej wideokonferencji. Ma ona na celu przede wszystkim być konsultacją dla maturzysty, który konsultuje swój plan nauki, problemy w uczeniu się czy motywacji do nauki.

Drugim celem spotkania jest upewnienie się, że kursant rozumie metodykę kursu i korzysta z wszystkich funkcji kursu jak i platformy e-learningowej. Jest to naturalnie okazja do weryfikacji wielu założeń metodycznych jak ux-owych samej platformy e-learningowej. Wywiady te prowadzone są regularnie, gdyż zgłosić się na nie mogą sami kursanci. Konsultacje z metodykiem nauczania i trenerem efektywnej nauki jest częścią usługi dostępu do kursów Więcej niż Matura. Dzięki temu jako zespół możemy weryfikować poziom umiejętności uczenia się samych maturzystów i diagnozować problemy z jakimi się borykają. Czasami problemem jest zbyt intensywna nauka, czasami niezrozumienie konstrukcji kursu, czasami problemy zdrowotne lub motywacje a jeszcze w innych przypadkach złe nawyki jak np. przepisywanie treści teoretycznych do notatek 1:1, bez dokonywania selekcji.

Te spotkania wpływają na kształt poradników, procesu onboardingowego jak i zaleceń, które dostępne są we wstępie do kursu. Im więcej wiemy na temat tego w jaki sposób maturzyści się uczą, jakie błędy w nauce robią, tym bardziej możemy zaadresować ich potrzeby i stworzyć dla nich stosowne zalecenia. Jedną z największych bolączek jakie widzę wśród maturzystów to jest ogromne przyzwyczajenie do nauki z nagrań wideo, co jest bardzo nieefektywną formą nauki do matury, gdyż wyucza bierną postawę przy nauce. Na Więcej niż Matura proponuje coś dokładnie odwrotnego i cały kurs zbudowany jest w założeniu bycia metodą aktywną, czyli angażująca uwagę ucznia poprzez działania. Taka metoda lepiej sprawdza przy nauce dużej ilości treści teoretycznych, które w dodatku trzeba umieć wykorzystać w bardzo praktycznych zadaniach maturalnych. Podobnie robimy to na portalu Więcej niż LEK, gdzie mniej niż 1% treści jest przedstawionych w formie wideo.

To jest coś do czego się dojrzewa lub dochodzi po popełnieniu pewnych błędów. Wiele osób chce uczyć się z wideo, bo to jest po prostu lżejsza forma nauki. Dodatkowo wydaje się bardziej zaawansowana technologicznie, choć tak naprawdę nie jest. Jest jeden z tematów, który często jest powodem nieuczestnictwa w kursach Więcej niż Matura. Myślę, że wynika to z ogólnego braku wiedzy na temat procesu uczenia się oraz faktu, że stworzenie nagrań jest proste, więc wiele firm idzie w tym kierunku. A później wiele z tych osób trafia na Więcej niż Matura, z ankiet i wywiadów wynika, że co 2-3 osoba, która uczy się z nami celem poprawy wyniku wcześniej uczyła się z kursów wideo lub po prostu z darmowych filmików na YouTubie. W dużym skrócie, nauka z wideo jest mniej efektywna, bo w inny sposób angażuje nasze procesy uwagowe, a uwaga jest jednym z kluczowych elementów wpływających dalej na procesy pamięci, czyli przekłada się na długofalowe zapamiętanie materiału. Dodatkowa kwestia jest czysto ux-owa, czyli nauka z wideo, w szczególności robienie notatek czy prowadzenie odwtórek jest bardziej czasochłonne. Ponadto samo tempo nauki z wideo powoduje, ze jest to metoda mniej spersonalizowana, czyli trafiająca jedynie do wąskiego grona osób. To wszystko przekłada się na to, że jest to mniej efektywny sposób, z którego lata temu świadomie zrezygnowaliśmy. Naturalnie krótkie formy wideo nadal są na kursie, ale nie stanowią one głównego środka przekazu.

Wspominam o tym, gdyż analiza tego aspektu jest ważnym celem metodycznym portalu Więcej niż Matura. Ostatecznie celem jest przygotowanie maturzysty na osiągnięcie wyniku +75%, zatem użyte metody muszą być przemyślane pod każdym możliwym kątem. Gdy analizowaliśmy różne środki dydaktyczne to okazało się, że wbrew pierwszej intuicji wideo wypadało gorzej niż tekst i grafiki czy interaktywny moduł do rozwiązywania zadań. Potwierdza to również wiele badań, których pojawia się coraz więcej. Na forach metodycznych na których jestem obecny twórcy różnych kursów dzielą się wynikami ankiet ich kursantów i okazuje się, że % osób, która woli tekst i grafiki ponad wideo wynosi w większości przypadków ponad 50%, co jest dla wszystkich zaskakujące. Moim zdaniem to jest naturalne, bo gdy uczymy się trudnych rzeczy i musimy je naprawdę dobrze zrozumieć opanować i usystematyzować, to analiza tekstu w skupieniu i zrobienie notatek parafrazujących nasze zrozumienie po prostu działa lepiej, i to ludzie czują.

Analiza danych aktywności kursantów na kursach Więcej niż Matura

Ostatnim dużym źródłem informacji o aktywności kursantów jest system analizy danych wbudowany w platformę e-learningową. To jest część systemu dostępna jedynie dla opiekunów kursu oraz zespołu projektantów doświadczeń edukacyjnych, czyli metodyków firmy Bethink, która odpowiada za kształt kursów Więcej niż Matura oraz Więcej niż LEK.

System ten jest głównym narzędziem jakie wykorzystujemy do oceny tego co de facto się dzieję na kursach, system ten to nasze “oczy”.

To trochę tak, jakbyśmy wiedzieli co dokładnie robią kursanci – gdzie i ile czasu spędzają, co czytają, jak idzie im rozwiązywanie zadań maturalnych, w jakim tempie się uczą, jakie mają zaległości, jakie typy zadań sprawiają im trudność, które zagadnienia są dla nich najtrudniejsze, którzy z kursantów potencjalnie nie zdążą przerobić całego materiału, ile czasu spędzają na poszczególnych modułach lekcji, czy wykonują odwtórki czy jedynie czytają treści teoretyczne, ile pytań zadają, w jakich miejscach portalu i kursów, czy robią przerwy przy nauce, jakie są ich sesje skupienia, jak długie przerwy od nauki robią oraz wiele wiele więcej.

Ciężko jest opisać wszystkie dane i wiedzę jaką możemy wyciągnąć z tego systemu, gdyż jest to system rewolucyjny, który nie jest stosowany na żadnej uczelni, nie tylko w Polsce ale i na świecie. Mało kto zdaje sobie sprawę z faktu, że firma Bethink, która odpowiada za stworzenie kursów Więcej niż Matura to jedna z największych szkół e-learningowych w Europie, i to zarówno w perspektywie liczby kursantów jak i liczby spędzonych godzin rocznie nauki na naszych portalach.

Mówię o tym, aby można była sobie uświadomić jak poważnie podchodzimy do zrozumienia tego jak ludzie się uczą, jak poważnie traktujemy postawione przed nami cele oraz to czy nasze kursy realnie działają. Innymi słowy, w przypadku kursów maturalnych, czy pomagają maturzystą i czy pozwalają im na osiągnięcie wyniku, który przekłada się na dostanie na studia lekarskie, które dla wielu osób, będą wyznacznikiem sukcesu na maturze.

System ten jest tak zaawansowany, że dla większości nauczycieli czy metodyków jest to zaskoczenie w kwestii tego do jakich danych mamy dostęp i co możemy z nimi zrobić. A między innymi te dane pozwalają nam dokładnie zbadać ścieżkę osoby, która zaczyna się uczyć i osiąga sukces na maturze. Na bazie tego dalej konstruujemy warunki realizacji kursu, które wyrażają się w wspomnianej na początku tego artykuły gwarancji satysfakcji.

Jeśli interesuje Cię temat, to w listopadzie 2023 roku odbędzie się Forum Metodyczne organizowane przez centrum rozwoju szkół wyższych Merito, wydarzenie będzie się we Wrocławiu. Mam zaszczyt występować tam, tematem tego wystąpienie będzie właśnie konstrukcja systemu analizy danych platformy Więcej niż Matura i Więcej niż LEK oraz tego w jaki sposób dostęp do tych danych zmienia rolę nauczycieli i metodyków nauczania w procesie kształcenia. System ten jest tak wartościowy, że pomimo jego krótkiego wieku został w październiku 2023 wdrożony do trzech liceów, które przez cały 2023-2024 szkolny będą testować portal Więcej niż Matura jako formę wsparcia dla uczniów i nauczycieli w systemie klasy odwróconej.

System ten służy do bieżącej jak i rocznej ewaluacji działania kursów. Pozwala na diagnozowanie problemów, szukanie okazji do rozwoju kursów czy po prostu weryfikację hipotez, które pojawią się w toku wywiadów z użytkownikami czy w ankietach badających satysfakcję. Dzięki niemu możemy budować system nauczania oparty w możliwie największym stopniu na danych, a nie na intuicji prowadzących czy opinii wąskiej grupy najbardziej zaangażowanych kursantów.

Raport roczny podsumowujący rok funkcjonowania Więcej niż Matura

Raport roczny to suma wszystkich danych i wniosków z nich płynących, które tworzymy w maju po napisaniu matury. Dodatkowo, w lipcu po ogłoszeniu wyników oceniamy samą skuteczność kursów i uzupełniamy ten raport.

Kluczowe rzeczy, które stanowią cel tego raportu to zdiagnozowanie powodów dla których kursanci polecają Więcej niż Matura, czynników które powodują, że uzyskują wysokiego wyniki oraz powodów, które spowodowały niezadowolenie z kursów.

I tak w ostatniej ewaluacji rocznej wraz z zespołem zdiagnozowaliśmy następujące rzeczy.

Pięć głównych powodów, dla których maturzyści wybierali Więcej niż Matura i pozostawali w nauce z Więcej niż Matura. Były to:

1 – Fakt, że cała nauka jest w jednym miejscu. Czyli platforma zastępuje podręczniki, zbiory zadań jak i korepetycje. To ułatwia organizację nauki i pozwala na bardzo systematyczne i efektywne uczenie się.

2 – Fakt, że na platformie znajdują się monitory realizacji kursu jak i zadań maturalnych. Te monitory realizacji pokazują na bieżąco kursantowi czy zdąży z całą nauką na czas do matury. Innymi słowy odpowiadają na pytanie, na które do tej pory wielu maturzystów czy korepetytorów w ogóle nie potrafiła odpowiedzieć. To uspokaja i motywuje.

3 – Fakt, że każdy uczeń posiada swój własny spersonalizowany plan nauki, uczy się we własnym tempie, wtedy kiedy chce, może również zadawać pytania i konsultować się wtedy gdy chce i w takiej liczbie w jakiej chce. To jest ważny czynnik powodujący, że zadowolenie z tych kursów będzie wysokie dla szerokiego grona osób, które mają różne nawyki edukacyjne.

4 – Fakt, że uczniowie mają wbudowane korepetycje. Czyli mogą zadawać pytania oraz prosić o sprawdzenie rozwiązań zadań maturalnych przez osoby sprawdzające prawdziwe matury. Jest to de facto funkcja definiująca metodykę nauczania Więcej niż Matura i kursanci bardzo wysoko ją ocenili.

5 – Fakt, że kurs posiada Gwarancję satysfakcji, czyli gwarantuje wynik powyżej 75% lub zwrot kosztów (ewentualnie rok nauki bez opłat do poprawki). Znam wielu sceptyków, którzy uważają, że to źle działa i jest to zabieg jedynie marketingowy. Niemniej dane z ankiet wśród kursantów jak i z wywiadów z użytkownikami mówią coś przeciwnego. GS jest wyrazem metodyki, po prostu ona jest symbolem tego, że kurs działa. I to przekonuje wiele osób, które stoją przed wyborem sposobu uczenia się. Myślę, że po tym jak na Więcej niż Matura wprowadziliśmy Gwarancję Satysfakcji to więcej firm czy korepetytorów będzie musiała o tym pomyśleć, bo maturzyści po prostu będą tego oczekiwać.

I co bardzo cieszy, w pierwszej edycji kursu 81% osób, które zrealizowały warunki ukończenia kursu uzyskały wyniki powyżej 75%. Jest to wynik z którego jako zespół opiekunów jesteśmy bardzo zadowoleni. Mamy również nadzieję, że wszystkie wnioski, które wyciągnęliśmy do przygotowania kolejnych edycji pozwolą poprawić ten wynik.

A jakie były zatem te wnioski? Co zdecydowaliśmy się zmienić?

Kursanci wskazali 4 główne powody niezadowolenia.

1 – Nieoptymalne ułożenie zadań w lekcjach odtwórkowych.
2 – Nieoznakowanie formuły matury.
3 – Błędy i literówki w prezentacjach.
4 – Brak nagrań wideo.

Pierwsze trzy aspekty udało się zaadresować i rozwiązać po pierwszej edycji kursów. Te problemy już nie występują. Nieoptymalne ułożenie zadań wynikało z tego, że bardzo chcieliśmy, aby nie pojawiały się w lekcjach zadania, które wymagają wiedzy, jaka nie była przekazywana na kursie. Ostatecznie nie udało się tego zrealizować w pełni bo zadań zadań tych było za dużo i chcieliśmy aby w każdej lekcji liczba zadań była podobna. Rozwiązaliśmy to tak, że wybraliśmy tylko zadania, które jednoznacznie sprawdzają wiedzę z lekcji, której dotyczą. Zaś zadania przekrojowe po prostu pojawią się po koniec kursu.

Oznakowanie formuły było problemem przez pierwszy miesiąc nauki. Później we wstępach do kursu pojawiły się wytyczne jak i tabele opisujące różnice w formułach oraz odpowiednie komentarze w postaci opisu priorytetu lekcji. Wielu uczniów bardzo nie chce uczyć się niepotrzebnych zagadnień. Różnice w formułach są tak małe, że ich śledzenie naszym zdaniem jest stratą czasu. Szybciej po prostu jest nauczyć się kilka zagadnień więcej bo i z tego jest zysk w postaci ogólnego rozwoju wiedzy, która może się przydać na maturze. Niemniej jest grupa osób, która nie lubi Biologii czy Chemii i bardzo chce nie uczyć się niczego co niepotrzebne. Także teraz jest o możliwe, niezależnie od tego w jakiej formule sie uczymy. W przypadku Chemii nie zdecydowaliśmy się na tak drastyczny ruch, gdyż różnice w formułach są po prostu nielogiczne. Innymi słowy, ciężko powiedzieć czego nie trzeba się uczyć, bo nawet jak coś jest wykreślone z formuły to jest ostatecznie potrzebne do nauczenia bo warunkuje zrozumienie innego tematu, który jest wymagany. Z tego względu na Chemii po prostu zalecamy uczyć się wszystkiego zgodnie z rozpiską we wstępie do lekcji.

Błędy czy literówki są naturalnie pokłosiem 3 letniego procesu wydawniczego. Kursy Więcej niż Matura to de facto dwa podręczniki i dwa zbiory zadań, w dodatku większe niż ich papierowe odnośniki. Takie błędy pojawią się w procesie wydawniczym i po prostu potrzeba czasu by je wyeliminować. I to też naturalnie się udało zrobić, gdyż całość treści przeszła powtórną weryfikację i edycję treści w roku 2023.

Ostatni aspekt nie został zaadresowany, gdyż w ocenie całego zespołu Więcej niż Matura to jest po prostu oczekiwanie grupy maturzystów, którzy chcą uczyć się w sposób lekki. A lekko niestety nie zawsze oznacza efektywnie. Tak jak pisałem powyżej w sekcji wywiadów z użytkownikami, lista problemów z nagraniami wideo jest bardzo długa i ostatecznie powodują one spadek jakości nauki. Nagrania wideo są obecne na kursach Więcej niż Matura ale występują tylko w postaci krótkich animacji, które mają ilustrować pewną dynamikę procesów, które trudno opisać słowami. Czyli używamy ich wtedy, gdy nie ma innego wyjścia, by coś pokazać. W każdym innym przypadku wybieramy teksty grafiki tabele i schematy, gdyż pozwalają one na aktywne i spersonalizowane nauczenie w stopniu większym niż nagrania wideo.

Analiza wyników prawdziwych matur uzyskiwanych przez kursantów

Wyniki ostatniej analizy podałem w poprzednim wątku. Tutaj chciałbym opisać to w jaki sposób te dane są zbierane i w jaki sposób są interpretowane.

Po pierwsze, po ogłoszeniu wyników matur kontaktujemy się z wszystkimi kursantami, którzy wcześniej wyrazili na to zgodę. Jest to większość osób, ale naturalnie nie wszyscy. Kontakt jest telefoniczny lub w formie sms, w zależności od udzielonej zgody.

Po drugie, czekamy 2 tygodnie od ogłoszenia wyników i sprawdzamy w systemie liczbę osób, które zrealizowała warunki ukończenia kursu. Zakładamy, że wszystkie osoby, które się do nas nie zgłosiły po zwrot pieniędzy z powodu niezdania na minimum 75% matury po po prostu napisały powyżej 75%. Ostatecznie nie ma logicznego powodu by sądzić, że w przypadku niezdania matury na 75% kursant nie zgłosi się po 2-3 tysiące złotych.

Tak powstaje wspomniany wcześniej wskaźnik, który w pierwszej edycji wyniósł 81%. Czyli 81% osób, które ukończyły kurs uzyskały wynik powyżej 75% na maturze z Biologii lub Chemii.

Warunki ukończenia kursu są następujące:

1 – Minimum 200 godzin aktywności na kursie.
2 – Zrealizowanie 100% lekcji.
3 – Rozwiązywanie minimum 500 zadań maturalnych w trybie samodzielnym.
4 – Nauka w kolejności zagadnień zalecanej na kursie.
5 – Rozpoczęcie nauki minimum na 100 dni przed maturą i maksymalnie 12 miesięcy przed maturą.

Wszystkie te warunki mają pokazać przyszłemu kursantowi jak ma się uczyć, jeśli chce osiągnąć sukces. Trzeba zrealizować cały materiał i przećwiczyć go w zadaniach, to zajmuje około 200 godzin. Następnie kolejność realizacji zagadnień pozwala uczyć się efektywniej zaś ograniczenia czasowe wskazują na to kiedy jest za późno lub za wcześnie na intensywne przygotowania do matury.

Co ważne, pierwsza edycja kursów Więcej niż Matura zaczęła się w październiku, więc czasu do matury było mniej niż w aktualnych edycjach. Teraz kursanci zaczynają się uczyć już w lipcu-sierpniu, także mają zdecydowanie większą szansę na lepsze przygotowanie.

Wiele osób, które nie zrealizowały tych wymagań również napisało maturę powyżej 75%, ale nie są brani pod uwagę przy obliczaniu tego wskaźnika. Niektórzy z nich nie zrealizowali kilku lekcji, inni uczyli się szybko, zrealizowali cały kurs i zadania ale zajęło im to np. 150 godzin. Także tutaj też powinniśmy być  świadomi, że pomimo nierealizacji tych arbitralnych wymagań kursant nadal ma szanse na wysoki wynik, choć szansa ta statycznie jest mniejsza niż w przypadku, gdy warunki są spełnione.

Wbudowanie korepetycje jako narzędzie doskonalące kursy

Większość kontaktu z kursantami odbywa się w module dyskusji, który jest dostępny w lekcjach teoretycznych, odwtórkowych jak i w module zadań maturalnych. Jest to ogromne źródło informacji na temat tego z czym borykają się maturzyści i bardzo często doprowadza do zmian w samym kursie.

Działa to w dość prosty sposób. Jeśli opiekunowie kursu widzą, że jakaś część lekcji teoretycznej rodzi wiele pytań, podobnych pytań, to może to oznaczać, że coś nie jest napisane tak zrozumiale jakby mogło. W takiej sytuacji poza udzieleniem odpowiedzi na pytanie opiekun może podjąć decyzję, aby od razu zmienić treść lekcji, dodać jakiś schemat lub dodatkowy przypis z komentarzem. Jest to naturalny cykl rozwoju kursów tworzonych w naszej metodyce. Powoduje to, że im kursy dłużej są na rynku i im więcej osób je zrealizuje tym są one lepsze.

W pierwszej edycji uczyło się z nami niecałe 300 osób, w drugiej uczy się już ponad 700 osób. Ilość mikro zmian jakie wprowadziliśmy w treści po wszystkich zadanych pytań jest ogromna, wręcz trudna do zliczenia. Dzięki tym zmianom treści są coraz lepsze, ułatwiają zrozumienie materiału i redukują czas jaki jest potrzebny na zrealizowanie lekcji z sukcesem.

Co ważne, każda nowa osoba ucząca się z tego systemu może zapoznać się z wszystkimi pytaniami i odpowiedziami jakie wcześniej pozostawili byli kursanci, co jest również wysoko ocenianym aspektem w ankietach ewaluacyjnych.

Niezależne opinie o Więcej niż Matura – gdzie można je znaleźć?

Na ten moment jest to dział recenzji/opinii na fanpage’u facebookowym. Są niezależne, gdyż nie możemy ich w żaden sposób ukryć lub edytować. Przy czym warto przy czytaniu zwrócić uwagę na komentarze, tam będzie zawarta informacja czy dana osoba w ogóle kurs realizowała, czy miała dostęp czy też testowała jedynie próbkę kursu. Zamieszczanie tej informacji jest wymagane prawnie i staramy się cyklicznie te recenzje/opinię pod tym kątem weryfikować.

Dodatkowo warto poszukać filmów na YT, gdzie kilka osób nagrało nagrania opisujące nasz portal i wyraziło opinię na ich temat. Kilku z tych osób portal spodobał się na tyle, że zostali oni ambasadorami marki i pomagają w promocji portalu Więcej niż Matura.

Ostatecznie źródło to po prostu znajomi. Warto napisać do ludzie i spytać czy znają czy korzystają. Jedno co mogę doradzić to to, by nie zrażać się tym, że ludzie piszą, że nie warto bo nie ma wideo. To jest temat, który się powtarza i dlatego taki nacisk na niego kładę. Nauka z wideo nie jest spersonalizowana, nie jest aktywna, ale za to jest lekka i daje wrażenie postępów bez wkładania wysiłku. Wiele osób wpada w tę pułapkę.

A jeśli nadal nie wierzysz, to warto sprawdzić konkurencyjne rozwiązania i poszukać informacji o sposobie prowadzenia ewaluacji, czyli sprawdzić czy mają taki wpis na swojej stronie jak ten zamieszczony tutaj, którego lekturę właśnie powoli kończysz.

Więcej niż Matura jest krokiem naprzód jeśli chodzi o jakość prywatnej edukacji. Niewiele firm chce lub posiada środki na świadczenie usług w sposób opierający się na danych oraz udostępniający te dane do oceny potencjalnym klientom. Mam wielką nadzieję, że przykład jaki dajemy zmieni podejście wielu firm, nauczyciel i korepetytorów w tym aspekcie, bo to długofalowo spowoduje, że wszyscy będą świadczyć lepsze usługi edukacyjne.

Współpraca ze szkołami – niezależne ewaluacje

Z ciekawych rzeczy, jeśli prowadzisz szkołę i/lub chcesz aby w Twojej szkole portal (w tym kursy) Więcej niż Matura pojawiło się jako system wspierający naukę uczniów, wraz z systemem analizy aktywności uczniów, to śmiało do nas napisz.

W roku 2023/2024 prowadzimy testowe programy polegające na udostępnieniu naszych narzędzi dla szkół, zaś od września 2024 dostęp instytucjonalny pojawi się w ofercie portalu.

Celem tych współpracy jest stworzenie niezależnych ewaluacji prowadzonych bezpośrednio przed szkoły. Jak tylko pojawią się w 2024 roku wyniki tych ewaluacji to podzielimy się nim w osobnym artykule.

Podsumowanie 

Jeśli tutaj, to wielkie gratulacje! Bardzo doceniam fakt, że tyle energii zostało przez Ciebie włożone w lekturę artykułu. To jest całkiem spora dawka informacji!

Mam nadzieję, ze udało mi się odpowiedzieć na Twoje pytania, wątpliwości jak i czystą ciekawość. Jeśli pozostają jeszcze jakieś lub pojawiły się po lekturze tego wpisu to zachęcam do kontaktu. Przy czym w tym celu proszę nie używaj chatbota WNM dostępnego na stronie, gdyż nie ma on dostępu do danych, by udzielić wszystkich odpowiedzi na pytania dotyczące ewaluacji.

W trochę ponad rok od premiery zbliżamy się do magicznej liczby 1000 osób uczących się na portalu. Moim zdaniem ten wynik mówi sam za siebie. Jest on dobry dopełnieniem pierwszej ewaluacji i bardzo pozytywnego odbioru jak i dobry wyników osób, które uczyły się na portalu Więcej niż Matura.

Jeśli szukasz szczegółowych informacji na temat samych kursów, zachęcam Cię poczytania o nich tutaj:

– Kurs maturalny z Chemii
– Kurs maturalny z Biologii

Tymczasem! Trzymamy kciuki za naukę Twoją, lub Twoich podopiecznych!

Dariusz Chrapek

⇒ FACEBOOK
⇒ INSTAGRAM
⇒ TIKTOK
⇒ YOUTUBE