Czy Więcej niż Matura działa? Opinie i ewaluacja jakości kształcenia

Wstęp – na jakie pytania odpowiemy w tej ewaluacji?

Cześć! Jeśli jesteś tutaj, to najprawdopodobniej poszukujesz źródła rzetelnych opinii na temat kursów Więcej niż Matura lub opisu sposobu ewaluacji, jaki wykorzystujemy, by oceniać skuteczność Więcej niż Matura oraz dalej rozwijać kursy maturalne.

Nazywam się Dariusz Chrapek, jako założyciel i twórca Więcej niż Matura zdecydowałem się napisać ten wpis, aby ułatwić Ci znalezienie wszystkich kluczowych informacji, których potrzebujesz, by zaufać metodyce nauczania Więcej niż Matura.

W tym wpisie znajdziesz zarówno linki do publicznych recenzji wystawionych przez byłych kursantów, jak i wyniki wewnętrznych anonimowych ankiet, które kursanci cyklicznie wypełniali w toku realizacji kursów. Podzielę się również tutaj wynikami rocznej ewaluacji kursów Więcej niż Matura przeprowadzonej przez 12-osobowy zespół opiekunów dydaktycznych, w tym przedstawię rzeczy chwalone przez kursantów oraz problemy, jakie zgłosili byli kursanci (wraz z opisem sposobów, w jakie je rozwiązaliśmy, celem przygotowania lepszej wersji kursów).

W tym podsumowaniu znajdziesz odpowiedzi na wiele pytań, między innymi:

• Jakie cele postawiliśmy sobie, tworząc Więcej niż Matura?
• Czy udało się je osiągnąć?
• Czym jest Gwarancja Satysfakcji i jaką rolę odgrywa w ewaluacji kursów Więcej niż Matura?
• Czy Więcej niż Matura zastępuje korepetycje?
• Jak przeprowadzana jest ewaluacja?
• Gdzie mogę znaleźć niezależne opinie?
• Jak wygląda system oceny kursów Więcej niż Matura?
• Jakie są wyniki ewaluacji ostatniej edycji kursów?
• Jakie wyniki uzyskują kursanci Więcej niż Matura?
• Jakie dane o aktywności kursantów wykorzystujemy w ewaluacji i rozwoju kursów?
  

To tyle na ten moment, życzę Ci miłej lektury! W razie gdyby pojawiły się pytania, to zapraszam do sekcji komentarzy pod wpisem.

Opinie o Więcej niż Matura

Jeśli szukasz opinii o Więcej niż Matura, to masz na ten moment trzy wyjścia. Pierwsze jest takie, aby wejść na Facebooka Więcej niż Matura; jest to aktualnie jedyne miejsce, w którym znajdują się opinie byłych kursantów, jak i nauczycieli korzystających z portalu Więcej niż Matura. Część opinii może nie być widoczna ze względu na ustawienia prywatności użytkowników, którzy je umieścili.

Drugie źródło to ten wpis. Jest to pierwsze podsumowanie ewaluacji Więcej niż Matura, jaką przeprowadziliśmy, bo też portal funkcjonuje od końcówki 2022 roku. To, co znajdziesz tutaj i  co może Cię interesować, to wyniki z wewnętrznej ewaluacji kursantów, czyli z systemu ocen lekcji stanowiącego część portalu. W ramach niego każdy kursant po realizacji lekcji ocenia ją w 5 kryteriach na 5-stopniowej skali oraz może udzielić dodatkowych uwag jakościowych, tak by w pełni przekazać informację zwrotną na temat lekcji dostępnej na portalu. 

Pozostaje jeszcze kontakt z samymi użytkownikami portalu, do czego Cię zachęcam. W okresie od stycznia do października 2023 roku z portalu korzystało i korzysta łącznie ponad 800 osób, także zdecydowanie jest szansa, że kogoś z nich znasz lub odnajdziesz na jednej z grup facebookowych.

Opis procesu ewaluacji kursów Więcej niż Matura

Aby zrozumieć proces ewaluacji, musimy zacząć od celów, jakie ma realizować portal Więcej niż Matura. Bez tego część wyników ewaluacji może być trudna w interpretacji. Gdy rozpoczynaliśmy pracę nad Więcej niż Matura, postawiliśmy sobie następujące cele:

1. Kursy mają całkowicie zastąpić podręczniki oraz kursy wideo.
2. Kursy mają całkowicie zastąpić zbiory zadań.
3. Kursy mają całkowicie zastąpić tradycyjne indywidualne korepetycje.
4. Kursy mają pomóc w przygotowaniu do matury z nastawieniem na osiągnięcie wysokiego wyniku, czyli takiego, który pozwoli dostać się na studia lekarskie w Polsce (czyli ponad 75%).
5. Kursy mają pomóc w organizacji całej nauki, czyli do początku do końca uwzględniać w swoim programie całość działań, jakie musi wykonać uczeń, by przygotować się do matury.
6. Cena dostępu do kursów powinna być taka, by była pozytywnie oceniania przez kursantów, adekwatna, ale jednocześnie, by umożliwiała uczestnictwo w kursie każdej osobie w Polsce.
7. Konstrukcja, jak i metodyka, kursów powinna działać efektywnie i przez to budzić zaufanie, dlatego od początku istnienia w ramach kursów Więcej niż Matura powinna być zapewniania Gwarancja Satysfakcji, czyli zwrot kosztów w przypadku nieuzyskania powyżej 75% na egzaminie maturalnym z biologii lub chemii.

Ostatni punkt w takim właśnie brzmieniu stanowi szczególną rolę dla nas jako zespołu. Gwarancja Satysfakcja (GS) zakłada, że jeśli kursant zrealizuje 100% kursu i spędzi na danym kursie odpowiednią liczbę godzin aktywności, to otrzyma gwarancję. Gwarancję na to, że jeśli (pomimo nauki z kursem) nie otrzyma powyżej 75% na maturze z biologii lub chemii, to otrzyma zwrot kosztów lub dodatkowy rok dostępu bez opłat w celu poprawy wyniku.

Naturalnie procent osób, które na tę GS się zgłaszają po maturze, jest ważnym czynnikiem, który uwzględniamy przy ewaluacji kursów Więcej niż Matura, bo jest bezpośrednim wskaźnikiem sukcesu, pod który optymalizujemy konstrukcję kursów, jak i kształt całego portalu. Im mniejszy ten wskaźnik, tym lepiej działają kursy.

Podobnie czynimy to na portalu Więcej niż LEK, który jest naszym drugim, starszym portalem, gdzie każdego roku do swoich egzaminów uczy się już ponad 58% wszystkich absolwentów kierunku lekarskiego. Na nim Gwarancję Satysfakcji również zapewniamy. Jest to wyraz metodyki nauczania, jak i nowoczesnego systemu kształcenia wykorzystującego platformę e-learningową, która bardzo precyzyjnie zbiera dane aktywności o nauce kursanta. To pozwala mu lepiej rozumieć swoją naukę, a zespołom opiekunów kursów pozwala na ich sukcesywnie doskonalenie.

W zasadzie sprawdzenie opinii i recenzji kursantów Więcej niż LEK również jest sposobem na sprawdzenie rzetelności metodyki, jak i pracy zespołu, gdyż to jedna firma – i jeden zespół – rozwija oba te portale. W przypadku portalu dla medyków działamy jednak zdecydowanie dłużej, bo od 2017 roku.

Oferowanie Gwarancji Satysfakcji na naszych kursach jest możliwe, gdyż mamy dostęp do danych aktywności kursantów obejmujących 100% ich nauki. Oznacza to, że jeśli kursant realizuje założenia kursu, to prowadzi na kursie 100% swojej nauki, czyli możemy dzięki temu jako nauczyciele dokładnie sprawdzić, jak mu idzie oraz czy aktywność i poziom zaangażowania kursanta w naukę predestynują go do uzyskania wysokiego wyniku. Jednocześnie możemy to zbadać – i między innymi w ten sposób powstały kryteria ukończenia kursów. Po prostu policzyliśmy, ile średnio trzeba poświęcić na naukę do matury z biologii i chemii, by myśleć o wyniku powyżej 75%. Do tego dochodzi jeszcze kilka innych czynników, jak tempo nauki, różnice w formułach czy też kolejność realizacji materiału, niemniej najbardziej krytyczne są: sam fakt przerobienia całego materiału, łączny czas nauki i liczba rozwiązanych zadań maturalnych.

Jakie dane aktywności kursantów wykorzystujemy w ewaluacji i rozwoju kursów?

Czasy aktywności – łączne i w poszczególnych lekcjach. Wyniki rozwiązań zadań maturalnych w trzech różnych trybach rozwiązywania zadań. Liczba, miejsce i tematyka zadawanych pytań. Analiza popełnianych błędów przez pryzmat zagadnienia, jak i typów zadań maturalnych. Wyniki jakościowe i ilościowe pochodzące z systemu ankiet, który tworzy system oceniania lekcji dostępny bezpośrednio na portalu, na końcu każdej lekcji. Analiza treści komentarzy dodawanych do treści teoretycznych, jak i zadań maturalnych. Dodatkowo po ogłoszeniu wyników kontaktujemy się z kursantami i wstecznie zbieramy ich prawdziwe wyniki maturalne, tak aby dodać je jako kluczową ostatnią cegiełkę w ewaluacji danej edycji kursów Więcej niż Matura.

System ocen lekcji – opinie kursantów Więcej niż Matura

System oceny lekcji zbiera opinie kursantów Więcej niż Matura z dokładnością do jednej lekcji. Łącznie na Kursie maturalnym z Biologii i Kursie maturalnym z Chemii dostępnych jest 176 lekcji. Kursant ocenia lekcje w 5 kryteriach na 5-stopniowej skali („nie zgadzam się”, „raczej się nie zgadzam”, „raczej się zgadzam”, „zgadzam się” i „trudno powiedzieć”). Cztery pierwsze oceny są liczone są jako 1, 2, 3 lub 4 punkty. W przypadku „trudno powiedzieć” odpowiedź nie jest wliczana do średniej.

Następnie liczona jest średnia ocena lekcji (z 5 kryteriów łącznie), jak i średnia ocena w każdym z 5 kryteriów z 3 kategorii. Są to:

• Jakość wykonania materiałów teoretycznych, w ramach której oceniane jest to, czy treści były zrozumiałe oraz to, czy były odpowiednio przejrzyste i czytelne.
• Następnie oceniana jest wartość merytoryczna; kursant ocenia to, czy treści były wyczerpujące oraz czy były aktualne. Jest to ważne pod kątem spełniania potrzeby realizacji podstawy programowej.
• Na końcu oceniania jest warstwa audiowizualna, czyli to, czy ilustracje i zdjęcia obecne w lekcji były wystarczające, by odpowiednio zwizualizować zagadnienie.

Takie wyniki są na bieżąco zbierane przez system i na przestrzeni miesięcy i lat ocenianie przez zespół. Dodatkowo w każdej odpowiedzi można udzielić odpowiedzi jakościowej, która jest cyklicznie (co tydzień) sprawdzana przez głównego opiekuna kursu. Czasami kursanci piszą tam jakiś konkretny feedback, bo zabrakło jakiegoś zdjęcia czy ilustracji, które ich zdaniem powinny być w lekcji. A czasami po prostu piszą, że dziękują za lekcję, bo dzięki niej zrozumieli zagadnienie, które do tej pory sprawiało im trudność.

Średnie wyniki dla okresu od stycznia 2023 do października 2023 są następujące:

• Dla Kursu maturalnego z Biologii to średnio 93,09/100 punktów procentowych.
• Dla Kursu maturalnego z Chemii to średnio 97,01/100 punktów procentowych.

Ta średnia wyliczona jest jako średni wynik zaliczony z sumy pojedynczych odpowiedzi udzielonych w powyższych 5 kategoriach. Łącznie został wyliczony na podstawie 13 654 pojedynczych odpowiedzi, których udzieliło 442 unikalnych osób w systemie. Tutaj ważny komentarz: nie wszyscy użytkownicy wypełniają te ankiety, ale liczba ta jest zdecydowanie wystarczająca do wyciągania zgeneralizowanych wniosków, gdyż we wskazanym okresie z systemu korzystało łącznie ponad 800 osób posiadających różne długości trwania dostępu do portalu. Naturalnie osoba, która kupuje dostęp na 3 miesiące, zrealizuje i oceni mniej lekcji niż taka, która uczy się z WNM przez 9 miesięcy.

Dodatkowo chciałbym pokazać wykres ilustrujący te oceny w czasie. Widać na nim bardzo dobrze, jak informacja zwrotna zbierana przez ten system stale powoduje wzrost średniej oceny lekcji. Po prostu zarówno mikro-, jak i makrofeedback jest na bieżąco wprowadzany na kursy, co usprawnia je z dnia na dzień. Poniższy wykres przeliczony jest za pomocą średniej kroczącej w okresie 90 dni, która jest zwykłą średnią arytmetyczną wartości z ostatnich 90 dni. Jak spojrzymy na oś x, to zauważymy, że różnice mieszczą się w zakresie 3–4 punktów dla danego kursu i wahania te oceniam jako naturalne. Kluczowa zatem pozostaje długofalowa tendencja – która jest w tym przypadku wzrostowa.

Jeśli zaś chodzi o wyniki w poszczególnych kategoriach, to średnie wyglądały następująco:

Pomimo że kursy są na rynku dopiero od końca 2022 roku, to wyniki są bardzo dobre i przez zespół oceniane pozytywnie. Wyniki te są zbliżone do tych, które uzyskują kursy dla studentów medycyny (będące na rynku od wielu lat). Doświadczenie wyniesione z pracy nad tamtymi kursami zdecydowanie zaowocowało przy tworzeniu kursów maturalnych, tym bardziej, że samo wyzwanie, jakim jest matura, jest wyzwaniem mniej skomplikowanym niż egzaminy na kierunku lekarskim czy lekarsko-dentystycznym. Nawet gdy spojrzymy na najniższą ocenę poziomu wyczerpania treści dla Kursu maturalnego z Biologii, to średnia ta jest bardzo wysoka. Zaś po wejściu w dane głębiej okaże się, że są tylko 2 lekcje, które mocno tę średnią zaniżają (lekcje te dotyczą roślin). To jest temat, który też był wskazywany jako najtrudniejszy dla większości maturzystów i dlatego tym lekcjom w kolejnej edycji kursów poświęciliśmy dodatkową uwagę.

Ankiety badające satysfakcję

Kolejnym źródłem informacji, na podstawie których oceniamy i rozwijamy kursy Więcej niż Matura, są ankiety badające satysfakcję. Są to ankiety anonimowe, organizowane 4 razy w roku. Pytania w nich zawarte są bardziej szczegółowe, skupiają się na ocenie jakościowej różnych aspektów metodyki kursów, ale przede wszystkim samego zadowolenia i poziomu zaspokojenia potrzeb kursantów. Innymi słowy, mniej skupiają się na lekcjach i treściach kursu, a bardziej skupiają się na ogólnym flow nauki z kursem i obsłudze przez nauczycieli. Ta ankieta ma za zadanie odpowiedzieć przede wszystkim na jedno ważne pytanie. Brzmi ono: czy kursanci są zadowoleni z nauki z Więcej niż Matura? Dodatkowo badamy również takie kwestie jak to, czy zdaniem kursantów Więcej niż Matura jest w stanie zastąpić korepetycje.

Do oceny satysfakcji klientów wykorzystujemy wskaźnik NPS (Net Promotor Score), który wyliczany jest z odpowiedzi na pierwsze pytanie ankiety, które brzmi następująco: „Czy polecił(a)byś kursy maturalne Więcej niż Matura znajomym?”.

Odpowiedzi udziela się na skali od 0 do 10. Dodatkowo można podać opisowe uzasadnienie.

Wskaźnik NPS wylicza się poprzez zsumowanie procentowego wyniku ocen 9–10 i odjęcie od tego sumy wyników 0–6. Wynika to z założenia, że osoby dające 9 i 10 to te aktywnie polecające. Zaś osoby zaznaczające 6 i niżej to osoby aktywnie zniechęcające do nauki. Wyniki 7 i 8 dają osoby zadowolone, ale którym jeszcze czegoś brakuje.

Ostatni pomiar wskaźnika NPS wyniósł 61 dla obu kursów łącznie. NPS oceniany jest na skali od –100 do +100. Wyniki poniżej 0 są kiepskie, pomiędzy 0 a 50 dobre, a powyżej 61 doskonałe. Dla przykładu: iPhone od firmy Apple ma około 70–80.

Co ciekawe, w ostatniej ankiecie (stan na początek września 2023 roku) nikt nie dał mniej niż 7, a większość ocen stanowiły 9 i 10. To oznacza, że kursanci Więcej niż Matura aktywnie polecają naukę z kursami. Co zresztą widać w innych częściach ankiety, gdzie badamy to, skąd kursant dowiedział się o Więcej niż Matura. Polecenia od znajomych i nauczycieli od jakiegoś czasu zaczynają stanowić drugie źródło kursantów zaraz po wyszukiwaniach w Google’u.

W tej ankiecie bierze udział około 8–11% kursantów. Jest to wystarczająca ilość do generalizacji wniosków przy ponad 500 osobach na kursie, ale nie jest to input od 100% kursantów i tego każda osoba czytająca powinna być świadoma. W tym aspekcie wyższy procent zaangażowania w udzielanie informacji zwrotnej mają mikroankiety na koniec lekcji, gdyż ich wypełnienie zajmuje dosłownie chwilę (podczas gdy uczestnictwo w kwartalnej ankiecie to zaangażowanie na około 15 minut).

Analiza wyników tych ankiet mogłaby stanowić osobny artykuły, dlatego podam jeszcze tylko wyniki odpowiedzi na dwa pytania, które mogą zaciekawić każdą osobę, czy to nauczyciela, czy to potencjalnego ucznia, który myśli o nauce z Więcej niż Matura.

W ankiecie pojawia się stałe pytanie, które brzmi „Czy nauka z kursami Więcej niż Matura pomaga Ci w przygotowaniu do matury?”.

Na to pytanie 95–98% osób (w zależności od etapu roku szkolnego) odpowiada „zdecydowanie tak” lub „raczej tak”. W historii prowadzenia ankiet nikt nigdy nie odpowiedział, że kursy nie pomagają.

Kolejne ciekawe pytanie, które służy nam do badania jednego z naszych celów przytoczonych na początku tego artykułu, brzmi następująco:

„Czy możesz zgodzić się ze stwierdzeniem, że opieka dydaktyczna na kursie Więcej niż Matura jest w stanie zastąpić indywidualne korepetycje, które odbywają się 1–2 razy w tygodniu? Niezależnie od Twojego stanowiska, napisz, proszę, co myślisz na ten temat”.

I tutaj, co ciekawe, 97% osób jednoznacznie wskazuje pozytywną odpowiedź na to pytanie, w tym rozumieniu, że uważają, że wbudowane korepetycje na kursach Więcej niż Matura zdecydowanie zastępują indywidualne korepetycje. Jeśli ciekawi Cię ten temat, to zapraszam do innego poradnika, w którym porównuję wbudowane korepetycje Więcej niż Matura z tymi tradycyjnymi.

Z tego względu na ten moment wraz z zespołem oceniamy, że ten cel udało się zrealizować. I nic dziwnego, gdyż każdego dnia odpowiadamy na dziesiątki – jeśli nie setki – pytań, które spływają przez system e-learningowy. Konsultacje i sprawdzanie poprawności odpowiedzi w systemie jest najintensywniej wykorzystywaną funkcją portalu Więcej niż Matura. Z tego względu po prostu obserwujemy, jak dobrze ten system działa, ponieważ kursanci chętnie z niego korzystają, i wyniki ankiety nas nie zaskakują. To jest ten sam model nauki, z którego korzysta ponad 12 000 studentów medycyny rocznie w ramach portalu Więcej niż LEK. Na Więcej niż Matura został wprowadzony w sposób analogiczny, przy czym większy akcent położyliśmy na sprawdzanie zadań i, co ciekawe, maturzyści zadają średnio 4 razy więcej pytań niż studenci medycyny. To ogólnie związane jest z faktem, że zadania maturalne, w szczególności z biologii, są bardziej subiektywne w ocenie i pomoc osób, które na co dzień sprawdzają matury, po prostu jest bardzo przydatna dla kursantów. 

Wywiady z użytkownikami

Kolejnym źródłem informacji o tym, w jaki sposób maturzyści korzystają z portalu Więcej niż Matura, są wywiady z użytkownikami. Polegają one na tym, ze metodyk nauczania (w tym przypadku ja, autor tego wpisu) spotyka się z danym kursantem na 30–45-minutowej wideokonferencji. Ma ona być przede wszystkim konsultacją dla maturzysty, który może zadać pytania na temat swojego planu nauki, problemów w uczeniu się czy w braku motywacji do nauki.

Drugim celem spotkania jest upewnienie się, że kursant rozumie metodykę kursu i korzysta z wszystkich funkcji kursu, jak i platformy e-learningowej. Jest to naturalnie okazja do weryfikacji wielu założeń metodycznych, jak i UX-owych platformy. Wywiady te prowadzone są regularnie, gdyż regularnie zgłaszają się na nie kursanci. Konsultacje z metodykiem nauczania i trenerem efektywnej nauki są częścią usługi dostępu do kursów Więcej niż Matura. Dzięki temu jako zespół możemy weryfikować poziom umiejętności uczenia się samych maturzystów i diagnozować problemy, z jakimi się borykają. Czasami problemem jest zbyt intensywna nauka, czasami niezrozumienie konstrukcji kursu, czasami problemy zdrowotne lub motywacje, a jeszcze w innych przypadkach złe nawyki, jak np. przepisywanie treści teoretycznych do notatek 1:1, bez dokonywania selekcji.

Te spotkania wpływają na kształt poradników, procesu onboardingowego, jak i zaleceń, które dostępne są we wstępie do kursu. Im więcej wiemy na temat tego, w jaki sposób maturzyści się uczą, jakie błędy w nauce robią, tym lepiej możemy zaadresować ich potrzeby i stworzyć dla nich stosowne zalecenia. Jedną z największych bolączek, jakie dostrzegam wśród maturzystów, jest ogromne przyzwyczajenie do nauki z nagrań wideo, co jest bardzo nieefektywną formą nauki do matury, gdyż wyucza bierną postawę przy nauce. Na Więcej niż Matura proponuję coś dokładnie odwrotnego i cały kurs zbudowany jest na założeniu bycia metodą aktywną, czyli angażująca uwagę ucznia poprzez działania. Taka metoda lepiej sprawdza przy nauce dużej ilości treści teoretycznych, które w dodatku trzeba umieć wykorzystać w bardzo praktycznych zadaniach maturalnych. Podobnie robimy to na portalu Więcej niż LEK, gdzie mniej niż 1% treści jest przedstawionych w formie wideo.

To jest coś, do czego się dojrzewa lub dochodzi po popełnieniu pewnych błędów. Wiele osób chce uczyć się z wideo, bo to jest po prostu lżejsza forma nauki. Dodatkowo wydaje się bardziej zaawansowana technologicznie, choć tak naprawdę nie jest. Jest to jeden z tematów, który często jest powodem nieuczestniczenia w kursach Więcej niż Matura. Myślę, że wynika to z ogólnego braku wiedzy na temat procesu uczenia się oraz faktu, że stworzenie nagrań jest proste, więc wiele firm idzie w tym kierunku. A później wiele z tych osób trafia na Więcej niż Matura; z ankiet i wywiadów wynika, że co 2–3 osoba, która uczy się z nami w celu poprawy wyniku, wcześniej uczyła się z kursów wideo lub po prostu z darmowych filmików na YouTubie. W dużym skrócie: nauka z wideo jest mniej efektywna, bo w inny sposób angażuje nasze procesy uwagi, a uwaga jest jednym z kluczowych elementów wpływających dalej na procesy pamięci, czyli przekłada się na długofalowe zapamiętanie materiału. Dodatkowa kwestia jest czysto UX-owa: nauka z wideo, w szczególności robienie notatek czy prowadzenie odwtórek, jest bardziej czasochłonne. Ponadto samo tempo nauki z wideo powoduje, ze jest to metoda mniej spersonalizowana, czyli trafiająca jedynie do wąskiego grona osób. To wszystko przekłada się na to, że jest to mniej efektywny sposób, z którego lata temu świadomie zrezygnowaliśmy. Naturalnie krótkie formy wideo nadal są na kursie, ale nie stanowią one głównego środka przekazu.

Wspominam o tym, gdyż analiza tego aspektu jest ważnym celem metodycznym portalu Więcej niż Matura. Ostatecznie celem jest przygotowanie maturzysty na osiągnięcie wyniku powyżej 75%, zatem użyte metody muszą być przemyślane pod każdym możliwym kątem. Gdy analizowaliśmy różne środki dydaktyczne, to okazało się, że – wbrew pierwszej intuicji – wideo wypadało gorzej niż tekst i grafiki czy interaktywny moduł do rozwiązywania zadań. Potwierdza to również wiele badań. Na forach metodycznych, na których jestem obecny, twórcy różnych kursów dzielą się wynikami ankiet ich kursantów i okazuje się, że procent osób, które wolą tekst i grafiki niż wideo, wynosi w większości przypadków ponad 50%, co jest dla wszystkich zaskakujące. Moim zdaniem to jest naturalne, bo gdy uczymy się trudnych rzeczy i musimy je naprawdę dobrze zrozumieć, opanować i usystematyzować, to analiza tekstu w skupieniu i zrobienie notatek parafrazujących nasze zrozumienie po prostu działa lepiej. Ludzie to czują.

Analiza danych aktywności kursantów na kursach Więcej niż Matura

Ostatnim dużym źródłem informacji o aktywności kursantów jest system analizy danych wbudowany w platformę e-learningową. To jest część systemu dostępna jedynie dla opiekunów kursu oraz zespołu projektantów doświadczeń edukacyjnych, czyli metodyków firmy Bethink, którzy odpowiadają za kształt kursów Więcej niż Matura oraz Więcej niż LEK.

System ten jest głównym narzędziem, jakie wykorzystujemy do oceny tego, co de facto się dzieje na kursach; system ten to nasze „oczy”.

To trochę tak, jakbyśmy widzieli, co dokładnie robią kursanci – gdzie i ile czasu spędzają, co czytają, jak idzie im rozwiązywanie zadań maturalnych, w jakim tempie się uczą, jakie mają zaległości, jakie typy zadań sprawiają im trudność, które zagadnienia są dla nich najtrudniejsze, którzy z kursantów potencjalnie nie zdążą przerobić całego materiału, ile czasu spędzają na poszczególnych modułach lekcji, czy wykonują odwtórki czy jedynie czytają treści teoretyczne, ile pytań zadają, w jakich miejscach portalu i kursów, czy robią przerwy przy nauce, jakie są ich sesje skupienia, jak długie przerwy od nauki robią (oraz wiele, wiele więcej).

Ciężko jest opisać wszystkie dane i całą wiedzę, jaką możemy wyciągnąć z tego systemu, gdyż jest to system rewolucyjny, który nie jest stosowany na żadnej uczelni (nie tylko w Polsce, ale i na świecie). Mało kto zdaje sobie sprawę z faktu, że firma Bethink, która odpowiada za stworzenie kursów Więcej niż Matura, to jedna z największych szkół e-learningowych w Europie – i to zarówno w perspektywie liczby kursantów, jak i liczby spędzonych godzin rocznie nauki na naszych portalach.

Mówię o tym, aby można była sobie uświadomić, jak poważnie podchodzimy do zrozumienia tego, jak ludzie się uczą, jak poważnie traktujemy postawione przed nami cele oraz to, czy nasze kursy realnie działają. W przypadku kursów maturalnych: czy pomagają maturzystom i czy pozwalają im na osiągnięcie wyniku, który przekłada się na dostanie na studia lekarskie, co dla wielu osób będzie wyznacznikiem sukcesu na maturze.

System ten jest tak zaawansowany, że dla większości nauczycieli czy metodyków zaskoczenie stanowi, do jakich danych mamy dostęp i co możemy z nimi zrobić. A między innymi te dane pozwalają nam dokładnie zbadać ścieżkę osoby, która zaczyna się uczyć i osiąga sukces na maturze. Na bazie tego dalej konstruujemy warunki realizacji kursu, które wyrażają się we wspomnianej na początku tego artykułu Gwarancji Satysfakcji.

Jeśli interesuje Cię temat, to w listopadzie 2023 roku odbędzie się Forum Metodyczne organizowane przez centrum rozwoju szkół wyższych Merito; wydarzenie będzie miało miejsce we Wrocławiu. Mam zaszczyt tam wystąpić, a tematem mojego wystąpienia będzie właśnie konstrukcja systemu analizy danych platformy Więcej niż Matura i Więcej niż LEK oraz tego, w jaki sposób dostęp do tych danych zmienia rolę nauczycieli i metodyków nauczania w procesie kształcenia. System ten jest tak wartościowy, że pomimo jego krótkiego wieku został w październiku 2023 wdrożony do trzech liceów, które przez cały rok szkolny 2023/2024 będą testować portal Więcej niż Matura jako formę wsparcia dla uczniów i nauczycieli w systemie klasy odwróconej.

System ten służy do bieżącej, jak i rocznej ewaluacji działania kursów. Pozwala na diagnozowanie problemów, szukanie okazji do rozwoju kursów czy po prostu weryfikację hipotez, które pojawią się w toku wywiadów z użytkownikami czy w ankietach badających satysfakcję. Dzięki niemu możemy budować system nauczania oparty w możliwie największym stopniu na danych, a nie na intuicji prowadzących czy opinii wąskiej grupy najbardziej zaangażowanych kursantów.

Raport roczny podsumowujący rok funkcjonowania Więcej niż Matura

Raport roczny to suma wszystkich danych i wniosków z nich płynących. Tworzymy go w maju po napisaniu matury. Dodatkowo w lipcu po ogłoszeniu wyników oceniamy samą skuteczność kursów i uzupełniamy raport.

Kluczowe rzeczy, które stanowią cel tego raportu, to zdiagnozowanie powodów, dla których kursanci polecają Więcej niż Matura, czynników, które przyczyniają się do tego, że uzyskują wysokie wyniki, oraz powodów, które powodują niezadowolenie z kursów.

I tak w ostatniej ewaluacji rocznej wraz z zespołem zdiagnozowaliśmy następujące rzeczy:

5 głównych powodów, dla których maturzyści wybierali Więcej niż Matura i pozostawali w nauce z Więcej niż Matura. Były to:

1 – Fakt, że cała nauka jest w jednym miejscu. Czyli platforma zastępuje podręczniki, zbiory zadań, jak i korepetycje. To ułatwia organizację nauki i pozwala na bardzo systematyczne i efektywne uczenie się.

2 – Fakt, że na platformie znajdują się monitory realizacji kursu, jak i zadań maturalnych. Te monitory realizacji pokazują na bieżąco kursantowi, czy zdąży z całą nauką na czas do matury. Innymi słowy: odpowiadają na pytanie, na które do tej pory wielu maturzystów czy korepetytorów w ogóle nie potrafiło odpowiedzieć. To uspokaja i motywuje.

3 – Fakt, że każdy uczeń posiada swój własny spersonalizowany plan nauki, uczy się we własnym tempie, wtedy, kiedy chce; może również konsultować się i zadawać pytania zawsze wtedy, gdy chce, w nieograniczonej ilości. To jest ważny czynnik powodujący, że zadowolenie z tych kursów będzie wysokie dla szerokiego grona osób, które mają różne nawyki edukacyjne.

4 – Fakt, że uczniowie mają wbudowane korepetycje. Czyli mogą zadawać pytania oraz prosić o sprawdzenie rozwiązań zadań maturalnych przez osoby sprawdzające prawdziwe matury. Jest to de facto funkcja definiująca metodykę nauczania Więcej niż Matura i kursanci bardzo wysoko ją ocenili.

5 – Fakt, że kurs posiada Gwarancję Satysfakcji, czyli gwarantuje wynik powyżej 75% lub zwrot kosztów (ewentualnie rok nauki bez opłat do poprawki). Znam wielu sceptyków, którzy uważają, że to źle działa i jest to zabieg jedynie marketingowy. Niemniej dane z ankiet wśród kursantów, jak i z wywiadów z użytkownikami mówią coś przeciwnego. GS jest wyrazem naszej metodyki i symbolem tego, że kurs działa. I to przekonuje wiele osób, które stoją przed wyborem sposobu uczenia się. Myślę, że po tym, jak na Więcej niż Matura wprowadziliśmy Gwarancję Satysfakcji, to więcej firm czy korepetytorów będzie musiała o tym pomyśleć, ponieważ maturzyści po prostu będą tego oczekiwać.

I, co bardzo cieszy, w pierwszej edycji kursu 81% osób, które zrealizowały warunki ukończenia kursu, uzyskało wyniki powyżej 75%. Jest to wynik, z którego jako zespół opiekunów jesteśmy bardzo zadowoleni. Mamy również nadzieję, że wszystkie wnioski, jakie wyciągnęliśmy na rzecz przygotowania kolejnych edycji, pozwolą poprawić ten wynik.

A jakie były zatem te wnioski? Co zdecydowaliśmy się zmienić?

Kursanci wskazali 4 główne powody niezadowolenia.

1 – Nieoptymalne ułożenie zadań w lekcjach odtwórkowych.

2 – Nieoznakowanie formuły matury.

3 – Błędy i literówki w prezentacjach.

4 – Brak nagrań wideo.

Pierwsze trzy aspekty udało się zaadresować i rozwiązać po pierwszej edycji kursów. Te problemy już nie występują. Nieoptymalne ułożenie zadań wynikało z tego, że bardzo chcieliśmy, aby nie pojawiały się w lekcjach zadania, które wymagają wiedzy, jaka nie była przekazywana wcześniej na kursie. Ostatecznie nie udało się tego zrealizować w pełni, bo zadań tych było za dużo i chcieliśmy, aby w każdej lekcji liczba zadań była podobna. Rozwiązaliśmy to tak, że wybraliśmy tylko zadania, które jednoznacznie sprawdzają wiedzę z lekcji, której dotyczą. Zaś zadania przekrojowe po prostu pojawią się pod koniec kursu.

Oznakowanie formuły było problemem przez pierwszy miesiąc nauki. Później we wstępach do kursu pojawiły się wytyczne, jak i tabele opisujące różnice w formułach oraz odpowiednie komentarze w postaci opisu priorytetu lekcji. Wielu uczniów bardzo nie chce uczyć się niepotrzebnych zagadnień. Różnice w formułach są tak niewielkie, że ich śledzenie naszym zdaniem jest stratą czasu. Szybciej po prostu jest nauczyć się kilku zagadnień więcej, bo można osiągnąć z tego zysk w postaci ogólnego rozwoju wiedzy, która może się przydać na maturze. Niemniej jest grupa osób, która nie lubi biologii czy chemii i bardzo chce nie uczyć się niczego, co niepotrzebne. Także teraz jest to możliwe, niezależnie od tego, w jakiej formule się uczymy. W przypadku chemii nie zdecydowaliśmy się na tak drastyczny ruch, gdyż różnice w formułach są po prostu nielogiczne. Innymi słowy, ciężko powiedzieć, czego nie trzeba się uczyć, bo nawet jak coś jest wykreślone z formuły, to jest ostatecznie potrzebne do nauczenia się, bo warunkuje zrozumienie innego tematu, który jest wymagany. Z tego względu na chemii po prostu zalecamy uczyć się wszystkiego zgodnie z rozpiską we wstępie do lekcji.

Błędy czy literówki są naturalnie pokłosiem 3-letniego procesu wydawniczego. Kursy Więcej niż Matura to de facto dwa podręczniki i dwa zbiory zadań, w dodatku większe niż ich papierowe odnośniki. Takie błędy pojawią się w procesie wydawniczym i po prostu potrzeba czasu, by je wyeliminować. I to też naturalnie się udało zrobić, gdyż całość treści przeszła powtórną weryfikację i edycję treści w roku 2023.

Ostatni aspekt nie został zaadresowany, gdyż w ocenie całego zespołu Więcej niż Matura to jest po prostu oczekiwanie grupy maturzystów, którzy chcą uczyć się w sposób lekki. A lekko niestety nie zawsze oznacza efektywnie. Tak jak pisałem powyżej w sekcji wywiadów z użytkownikami, lista problemów z nagraniami wideo jest bardzo długa i ostatecznie powodują one spadek jakości nauki. Nagrania wideo są obecne na kursach Więcej niż Matura,  ale występują tylko w postaci krótkich animacji i mają ilustrować pewną dynamikę procesów, które trudno opisać słowami. Czyli używamy ich wtedy, gdy nie ma innego wyjścia, by coś pokazać. W każdym innym przypadku wybieramy teksty, grafiki, tabele i schematy, gdyż pozwalają one na aktywne i spersonalizowane nauczenie w stopniu większym niż nagrania wideo.

Analiza wyników prawdziwych matur uzyskiwanych przez kursantów

Wyniki ostatniej analizy podałem w poprzednim wątku. Tutaj chciałbym opisać to, w jaki sposób te dane są zbierane i w jaki sposób są interpretowane.

Po pierwsze, po ogłoszeniu wyników matur kontaktujemy się ze wszystkimi kursantami, którzy wcześniej wyrazili na to zgodę. Jest to większość osób, ale naturalnie nie wszyscy. Kontakt jest telefoniczny lub w formie smsa, w zależności od udzielonej zgody.

Po drugie, czekamy 2 tygodnie od ogłoszenia wyników i sprawdzamy w systemie liczbę osób, które zrealizowały warunki ukończenia kursu. Zakładamy, że wszystkie osoby, które się do nas nie zgłosiły po zwrot pieniędzy z powodu niezdania na wyżej niż 75% matury, po prostu napisały powyżej 75%. Ostatecznie nie ma logicznego powodu, by sądzić, że w przypadku niezdania matury na taki procent, kursant nie zgłosi się po 2–3 tysiące złotych.

Tak powstaje wspomniany wcześniej wskaźnik, który w pierwszej edycji wyniósł 81%. Czyli 81% osób, które ukończyły kurs, uzyskało wynik powyżej 75% na maturze z biologii lub chemii.

Warunki ukończenia kursu są następujące:

• Minimum 200 godzin aktywności na kursie.
• Zrealizowanie 100% lekcji.
• Rozwiązywanie minimum 500 zadań maturalnych w trybie samodzielnym.
• Nauka w kolejności zagadnień zalecanej na kursie.
• Rozpoczęcie nauki minimum na 100 dni przed maturą i maksymalnie 12 miesięcy przed maturą.

Wszystkie te warunki mają pokazać przyszłemu kursantowi, jak ma się uczyć, jeśli chce osiągnąć sukces. Trzeba zrealizować cały materiał i przećwiczyć go w zadaniach – to zajmuje około 200 godzin. Następnie kolejność realizacji zagadnień pozwala uczyć się efektywniej, zaś ograniczenia czasowe wskazują na to, kiedy jest za późno lub za wcześnie na intensywne przygotowania do matury.

Co ważne, pierwsza edycja kursów Więcej niż Matura zaczęła się w październiku, więc czasu do matury było mniej niż w aktualnych edycjach. Teraz kursanci zaczynają się uczyć już w lipcu–sierpniu, także mają zdecydowanie większą szansę na lepsze przygotowanie.

Wiele osób, które nie zrealizowały tych wymagań, również napisało maturę powyżej 75%, ale nie są brani pod uwagę przy obliczaniu tego wskaźnika. Niektórzy z nich nie zrealizowali kilku lekcji, inni uczyli się szybko, zrealizowali cały kurs i zadania, ale zajęło im to np. 150 godzin. Także tutaj też powinniśmy być świadomi, że pomimo niezrealizowania tych arbitralnych wymagań, kursant nadal ma szanse na wysoki wynik, choć szansa ta statycznie jest mniejsza niż w przypadku, gdy warunki zostają spełnione.

Wbudowanie korepetycje jako narzędzie doskonalące kursy

Większość kontaktu z kursantami odbywa się w module dyskusji, który jest dostępny w lekcjach teoretycznych, odwtórkowych, jak i w module zadań maturalnych. Jest to ogromne źródło informacji na temat tego, z czym borykają się maturzyści, i bardzo często doprowadza do zmian w samym kursie.

Działa to w dość prosty sposób. Jeśli opiekunowie kursu widzą, że jakaś część lekcji teoretycznej rodzi wiele pytań (podobnych pytań), to może to oznaczać, że coś nie jest napisane tak zrozumiale, jakby być mogło. W takiej sytuacji – poza udzieleniem odpowiedzi na pytanie – opiekun może podjąć decyzję, aby od razu zmienić treść lekcji, dodać jakiś schemat lub dodatkowy przypis z komentarzem. Jest to naturalny cykl rozwoju kursów tworzonych w naszej metodyce. Powoduje to, że im kursy dłużej są na rynku i im więcej osób je zrealizuje, tym są one lepsze.

W pierwszej edycji uczyło się z nami niecałe 300 osób, w drugiej uczy się już ponad 700 osób. Ilość mikrozmian, jakie wprowadziliśmy w treści po wszystkich zadanych pytaniach, jest ogromna, wręcz trudna do zliczenia. Dzięki tym zmianom treści są coraz lepsze, ułatwiają zrozumienie materiału i redukują czas, jaki jest potrzebny na zrealizowanie lekcji z sukcesem.

Co ważne, każda nowa osoba ucząca się z tego systemu może zapoznać się ze wszystkimi pytaniami i odpowiedziami, jakie wcześniej pozostawili byli kursanci, co jest również wysoko ocenianym aspektem w ankietach ewaluacyjnych.

Niezależne opinie o Więcej niż Matura – gdzie można je znaleźć?

Na ten moment jest to dział recenzji/opinii na fanpage’u facebookowym. Są niezależne, gdyż nie możemy ich w żaden sposób ukryć lub edytować. Przy czym warto przy czytaniu zwrócić uwagę na komentarze; tam będzie zawarta informacja, czy dana osoba w ogóle kurs realizowała, czy miała pełny dostęp czy też testowała jedynie próbkę kursu. Zamieszczanie tej informacji jest wymagane prawnie i staramy się cyklicznie recenzje/opinie pod tym kątem weryfikować.

Dodatkowo warto poszukać treści na YT, gdzie kilka osób nagrało filmy opisujące nasz portal i wyraziło opinie na ich temat. Kilku z tych osób portal spodobał się na tyle, że zostali oni ambasadorami marki i pomagają w promocji portalu Więcej niż Matura.

Źródło to też po prostu znajomi. Warto napisać do ludzi i spytać, czy znają, czy korzystają. Jedno, co mogę doradzić, to aby nie zrażać się tym, że ludzie piszą, że nie warto uczestniczyć w kursie, bo nie ma w nim wideo. To jest temat, który się powtarza i dlatego taki nacisk na niego kładę. Nauka z wideo nie jest spersonalizowana, nie jest aktywna, ale za to jest lekka i daje wrażenie postępów bez wkładania wysiłku. Wiele osób wpada w tę pułapkę.

A jeśli nadal nie wierzysz, to warto sprawdzić konkurencyjne rozwiązania i poszukać informacji o sposobie prowadzenia ewaluacji, czyli sprawdzić, czy mają taki wpis na swojej stronie jak ten zamieszczony tutaj, którego lekturę właśnie powoli kończysz.

Więcej niż Matura jest krokiem naprzód, jeśli chodzi o jakość prywatnej edukacji. Niewiele firm chce lub posiada środki na świadczenie usług w sposób opierający się na danych oraz udostępniający te dane do oceny potencjalnym klientom. Mam wielką nadzieję, że przykład, jaki dajemy, zmieni podejście wielu firm, nauczycieli i korepetytorów w tym aspekcie, bo to długofalowo spowoduje, że wszyscy będą świadczyć lepsze usługi edukacyjne.

Współpraca ze szkołami – niezależne ewaluacje

Z ciekawych rzeczy: jeśli prowadzisz szkołę i/lub chcesz, aby w Twojej szkole portal (w tym kursy) Więcej niż Matura pojawił się jako system wspierający naukę uczniów, wraz z systemem analizy aktywności uczniów, to śmiało do nas napisz.

W roku szkolnym 2023/2024 prowadzimy testowe programy polegające na udostępnieniu naszych narzędzi dla szkół, zaś od września 2024 dostęp instytucjonalny pojawi się w ofercie portalu.

Celem tych współpracy jest stworzenie niezależnych ewaluacji prowadzonych bezpośrednio przez szkoły. Jak tylko pojawią się w 2024 roku wyniki tych ewaluacji, to podzielimy się nimi w osobnym artykule.

Podsumowanie

Jeśli tutaj jesteś – wielkie gratulacje! Bardzo doceniam fakt, że tyle energii zostało przez Ciebie włożone w lekturę artykułu. To jest całkiem spora dawka informacji!

Mam nadzieję, ze udało mi się odpowiedzieć na Twoje pytania, wątpliwości, jak i zaspokoić czystą ciekawość. Jeśli pozostają jeszcze jakieś – lub pojawiły się po lekturze tego wpisu – to zachęcam do kontaktu. (Przy czym w tym celu, proszę, nie używaj chatbota WNM dostępnego na stronie, gdyż nie ma on dostępu do danych wystarczających, by udzielić odpowiedzi na wszystkie pytania dotyczące ewaluacji).

W trochę ponad rok od premiery zbliżamy się do magicznej liczby 1000 osób uczących się na portalu. Moim zdaniem ten wynik mówi sam za siebie. Jest on dobry dopełnieniem pierwszej ewaluacji i bardzo pozytywnego odbioru, jak i dobrych wyników osób, które uczyły się na portalu Więcej niż Matura.

Jeśli szukasz szczegółowych informacji na temat samych kursów, zachęcam Cię poczytania o nich tutaj:

• Kurs maturalny z Chemii
• Kurs maturalny z Biologii

Tymczasem! Trzymamy kciuki za naukę Twoją lub Twoich podopiecznych!

Dariusz Chrapek

⇒ FACEBOOK
⇒ INSTAGRAM
⇒ TIKTOK
⇒ YOUTUBE