Spis treści
- Wstęp – na jakie pytania odpowiemy w tej ewaluacji?
- Opinie o Więcej niż Matura – najlepsze kursy maturalne
- Opis procesu ewaluacji i Gwarancji Satysfakcji
- System ocen lekcji – opinie kursantów o Więcej niż Matura
- Ankiety badające satysfakcję kursantów Więcej niż Matura
- Wywiady z kursantami – jakie kursy maturalne polecają?
- Analiza danych aktywności kursantów na Więcej niż Matura
- Raport roczny podsumowujący naukę za rok 2023/2024
- Analiza prawdziwych wyników matur uzyskiwanych przez kursantów
- Wbudowanie korepetycje – cecha najlepszych kursów maturalnych
- Niezależne opinie o Więcej niż Matura – TrustPilot
- Podsumowanie
Cześć! Jeśli jesteś tutaj, to najprawdopodobniej poszukujesz źródła rzetelnych opinii na temat kursów Więcej niż Matura lub opisu sposobu ewaluacji, jaki wykorzystujemy, by oceniać skuteczność Więcej niż Matura oraz dalej rozwijać kursy maturalne.
Nazywam się Dariusz Chrapek, jako założyciel i twórca Więcej niż Matura zdecydowałem się napisać ten wpis, aby ułatwić Ci znalezienie wszystkich kluczowych informacji, których potrzebujesz, by zaufać metodyce nauczania Więcej niż Matura.
W tym wpisie znajdziesz zarówno linki do publicznych recenzji wystawionych przez byłych kursantów na portalu Trustpilot, jak i wyniki wewnętrznych anonimowych ankiet, które kursanci cyklicznie wypełniali w toku realizacji kursów. Podzielę się również tutaj wynikami rocznej ewaluacji kursów Więcej niż Matura przeprowadzonej przez 15-osobowy zespół opiekunów dydaktycznych, w tym przedstawię rzeczy chwalone przez kursantów oraz problemy, jakie zgłosili byli kursanci (wraz z opisem sposobów, w jakie je rozwiązaliśmy, celem przygotowania lepszej wersji kursów na kolejny rok). Wszystko po to, aby przygotować najlepsze kursy maturalne.
W tym podsumowaniu znajdziesz odpowiedzi na wiele pytań, między innymi:
- Jakie cele postawiliśmy sobie, tworząc Więcej niż Matura?
- Czy udało się je osiągnąć?
- Czym jest gwarancja satysfakcji i jaką rolę odgrywa w ewaluacji kursów Więcej niż Matura?
- Czy Więcej niż Matura zastępuje korepetycje?
- Jak przeprowadzana jest ewaluacja?
- Gdzie mogę znaleźć niezależne opinie?
- Jak wygląda system oceny kursów Więcej niż Matura?
- Jakie są wyniki ewaluacji ostatniej edycji kursów?
- Jakie wyniki maturalne uzyskują kursanci Więcej niż Matura?
- Jakie dane o aktywności kursantów wykorzystujemy w ewaluacji i rozwoju kursów?
To tyle na ten moment, życzę Ci miłej lektury! W razie gdyby pojawiły się pytania, to zapraszam do sekcji komentarzy pod wpisem.
Jeśli szukasz opinii o Więcej niż Matura, to masz na ten moment trzy wyjścia. Pierwsze jest takie, aby wejść na nasz Trustpilot, jest to aktualnie jedyne miejsce, gdzie znajdują się opinie byłych kursantów – suma z ocena jest „doskonała” czyli kursy posiadają najwyższe oznaczenie Trustpilot.
Drugie źródło to ten wpis. Jest to pierwsze podsumowanie ewaluacji Więcej niż Matura, jaką przeprowadziliśmy, bo też portal funkcjonuje od końcówki 2022 roku. To, co znajdziesz tutaj i co może Cię interesować, to wyniki z wewnętrznej ewaluacji kursantów, czyli z systemu ocen lekcji stanowiącego część portalu. W ramach niego każdy kursant po realizacji lekcji ocenia ją w 5 kryteriach na 5-stopniowej skali oraz może udzielić dodatkowych uwag jakościowych, tak by w pełni przekazać informację zwrotną na temat lekcji dostępnej na portalu.
Pozostaje jeszcze kontakt z samymi użytkownikami portalu, do czego Cię zachęcam. W ostatnim roku z portalu skorzystało ponad 2000 osób, co spowodowało, że od 2024 roku na kursach obowiązują limity miejsc. Jest wysoce prawdopodobne, że któregoś z użytkowników znasz lub odnajdziesz na jednej z grup facebookowych czy na discordach maturalnych.
Aby zrozumieć proces ewaluacji, musimy zacząć od celów, jakie ma realizować portal Więcej niż Matura. Bez tego część wyników ewaluacji może być trudna w interpretacji. Gdy rozpoczynaliśmy pracę nad Więcej niż Matura, chcieliśmy stworzyć nie tylko najlepsze kursy online, ale przede wszystkim najlepsze kursy maturalne; postawiliśmy sobie następujące cele:
- Najlepsze kursy maturalne mają całkowicie zastąpić podręczniki oraz kursy wideo – gdyż są to mało efektywne formy uczenia się.
- Najlepsze kursy maturalne mają całkowicie zastąpić zbiory zadań – bo te nie dają możliwości konsultacji z nauczycielem ani monitorowania statystyk.
- Najlepsze kursy maturalne mają całkowicie zastąpić tradycyjne indywidualne korepetycje – bo na tradycyjnie prowadzonych korepetycjach nie można wracać do zadanych pytań ani udzielonych konsultacji oraz są one bardzo drogie.
- Najlepsze kursy maturalne mają pomóc w przygotowaniu do matury z nastawieniem na osiągnięcie wysokiego wyniku – takiego, który pozwoli dostać się na studia lekarskie w Polsce, czyli wyniku w TOP15% najwyższych wyników w kraju.
- Kursy mają pomóc w organizacji całej nauki, czyli od początku do końca uwzględniać w swoim programie całość działań, jakie musi wykonać uczeń, by przygotować się do matury.
- Cena dostępu do kursów powinna być taka, by była pozytywnie oceniania przez kursantów, adekwatna, ale jednocześnie umożliwiająca uczestnictwo w kursie każdej osobie w Polsce.
- Konstrukcja, jak i metodyka kursów powinny działać efektywnie i przez to budzić zaufanie, dlatego od początku istnienia w ramach kursów Więcej niż Matura powinna być zapewniania Gwarancja Satysfakcji, czyli zwrot kosztów w przypadku nieuzyskania na egzaminie maturalnym z biologii lub chemii wyniku w TOP15% wyników w kraju.
Ostatni punkt w takim właśnie brzmieniu stanowi szczególną rolę dla nas jako zespołu, gdyż możliwość zaproponowania przez nas takiego rodzaju „kontraktu” jest jednym z dowodów, że tworzymy najlepsze kursy online do matury i być może najlepsze kursy do matury w ogóle. Gwarancja Satysfakcja (GS) zakłada, że jeśli kursant zrealizuje 100% kursu i spędzi na danym kursie odpowiednią liczbę godzin aktywności, to otrzyma gwarancję. Gwarancję na to, że jeśli (pomimo nauki z kursem) wynik, który osiągnie nie znajdzie się w TOP15% wyników matury z biologii lub chemii, to otrzyma zwrot kosztów lub dodatkowy rok dostępu bez opłat w celu poprawy wyniku.
Naturalnie procent osób, które na tę GS się zgłaszają po maturze, jest ważnym czynnikiem, który uwzględniamy przy ewaluacji kursów Więcej niż Matura, bo jest bezpośrednim wskaźnikiem sukcesu, pod który optymalizujemy konstrukcję kursów, jak i kształt całego portalu. Im mniejszy ten wskaźnik, tym lepiej działają kursy. Przy czym należy pamiętać, że tak wysokie wyniki pozwalają na studiowanie kierunku lekarskiego stacjonarnie, zaś na większość kierunków wystarczą wyniki w TOP 25–30%.
Podobnie czynimy to na portalu Więcej niż LEK, który jest naszym drugim, macierzystym portalem, gdzie każdego roku do swoich egzaminów uczy się już ponad 70% absolwentów kierunku lekarskiego. Na nim Gwarancję Satysfakcji również zapewniamy. Jest to wyraz metodyki nauczania, jak i nowoczesnego systemu kształcenia wykorzystującego platformę e-learningową, która bardzo precyzyjnie zbiera dane aktywności o nauce kursanta. To pozwala mu lepiej rozumieć swoją naukę, a zespołom opiekunów kursów pozwala na ich sukcesywnie doskonalenie.
W zasadzie sprawdzenie opinii i recenzji kursantów Więcej niż LEK również jest sposobem na sprawdzenie rzetelności metodyki, jak i pracy zespołu, gdyż to jedna firma – i jeden zespół – rozwija oba te portale. W przypadku portalu dla medyków działamy jednak zdecydowanie dłużej, bo od 2017 roku. Możesz zapoznać się z opiniami o nim na Trustpilocie Więcej niż LEK.
Oferowanie Gwarancji Satysfakcji na naszych kursach jest możliwe, gdyż mamy dostęp do danych aktywności kursantów obejmujących 100% ich nauki. Oznacza to, że jeśli kursant realizuje założenia kursu, to prowadzi na kursie 100% swojej nauki, czyli możemy dzięki temu jako nauczyciele dokładnie sprawdzić, jak mu idzie oraz czy aktywność i poziom zaangażowania kursanta w naukę predestynują go do uzyskania wysokiego wyniku. Jednocześnie możemy to zbadać – i między innymi w ten sposób powstały kryteria ukończenia kursów. Po prostu policzyliśmy, ile średnio trzeba poświęcić na naukę do matury z biologii i chemii, by myśleć o osiągnięciu TOP15% wyników. Do tego dochodzi jeszcze kilka innych czynników, jak tempo nauki, różnice w formułach czy też kolejność realizacji materiału, niemniej najbardziej krytyczne są: sam fakt przerobienia całego materiału, łączny czas nauki i liczba rozwiązanych zadań maturalnych.
Jakie dane aktywności kursantów wykorzystujemy w ewaluacji i rozwoju najlepszych kursów do matury?
Czasy aktywności – łączne i w poszczególnych lekcjach. Wyniki rozwiązań zadań maturalnych w trzech różnych trybach rozwiązywania zadań. Liczba, miejsce i tematyka zadawanych pytań. Analiza popełnianych błędów przez pryzmat zagadnienia, jak i typów zadań maturalnych. Wyniki jakościowe i ilościowe pochodzące z systemu ankiet, który tworzy system oceniania lekcji dostępny bezpośrednio na portalu, na końcu każdej lekcji. Analiza treści komentarzy dodawanych do treści teoretycznych, jak i zadań maturalnych.
Dodatkowo po ogłoszeniu wyników kontaktujemy się z kursantami i wstecznie zbieramy ich prawdziwe wyniki maturalne, tak aby dodać je jako kluczową ostatnią cegiełkę w ewaluacji danej edycji kursów Więcej niż Matura. Robimy to po to, aby stworzyć najlepszy kurs na rynku. Dzięki informacjom zwrotnym od tysięcy kursantów możemy ulepszać każdą część lekcji osobno. Posiadamy również wbudowany system do wyłapywania zadań, które są trudne dla dużej liczby osób, co pozwala nam ułożyć dodatkowe wyjaśnienia do tych zadań.
System oceny lekcji zbiera opinie kursantów Więcej niż Matura z dokładnością do jednej lekcji. Łącznie na Kursie maturalnym z Biologii i Kursie maturalnym z Chemii dostępnych jest 176 lekcji. Kursant ocenia lekcje w 5 kryteriach na 5-stopniowej skali („nie zgadzam się”, „raczej się nie zgadzam”, „raczej się zgadzam”, „zgadzam się” i „trudno powiedzieć”). Cztery pierwsze oceny są liczone są jako 1, 2, 3 lub 4 punkty. W przypadku „trudno powiedzieć” odpowiedź nie jest wliczana do średniej.
Następnie liczona jest średnia ocena lekcji (z 5 kryteriów łącznie), jak i średnia ocena w każdym z 5 kryteriów z 3 kategorii. Są to:
- Jakość wykonania materiałów teoretycznych, w ramach której oceniane jest to, czy treści były zrozumiałe oraz to, czy były odpowiednio przejrzyste i czytelne.
- Następnie oceniana jest wartość merytoryczna; kursant ocenia to, czy treści były wyczerpujące oraz czy były aktualne. Jest to ważne pod kątem spełniania potrzeby realizacji podstawy programowej.
- Na końcu oceniania jest warstwa audiowizualna, czyli to, czy ilustracje i zdjęcia obecne w lekcji były wystarczające, by odpowiednio zwizualizować zagadnienie.
Takie wyniki są na bieżąco zbierane przez system i na przestrzeni miesięcy i lat ocenianie przez zespół. Dodatkowo w każdej odpowiedzi można udzielić odpowiedzi jakościowej, która jest cyklicznie (co tydzień) sprawdzana przez głównego opiekuna kursu. Czasami kursanci piszą tam jakiś konkretny feedback, bo zabrakło jakiegoś zdjęcia czy ilustracji, które ich zdaniem powinny być w lekcji. A czasami po prostu piszą, że dziękują za lekcję, bo dzięki niej zrozumieli zagadnienie, które do tej pory sprawiało im trudność.
Średnie wyniki dla okresu ostatnich 12 miesięcy są następujące:
- Dla Kursu maturalnego z Biologii to średnio 94,21/100 punktów procentowych.
- Dla Kursu maturalnego z Chemii to średnio 96,34/100 punktów procentowych.
Ta średnia wyliczona jest jako średni wynik zaliczony z sumy pojedynczych odpowiedzi udzielonych w powyższych 5 kategoriach. Łącznie został wyliczony na podstawie 66 000 pojedynczych odpowiedzi, których udzieliło 1523 unikalnych osób w systemie. Tutaj ważny komentarz: nie wszyscy użytkownicy wypełniają ankiety, ale liczba uzupełnionych formularzy jest zdecydowanie wystarczająca do wyciągania zgeneralizowanych wniosków.
Dodatkowo chciałbym pokazać wykres ilustrujący te oceny w czasie. Widać na nim bardzo dobrze, jak informacja zwrotna zbierana przez ten system stale powoduje wzrost średniej oceny lekcji. Dzieje się to dzięki implementacji feedbacku użytkowników, każdego dnia, dzień po dniu, od kilku lat. Poniższy wykres przeliczony jest za pomocą średniej kroczącej w okresie 90 dni, która jest zwykłą średnią arytmetyczną wartości z ostatnich 90 dni. Jak spojrzymy na oś x, to zauważymy, że różnice mieszczą się w zakresie 3–4 punktów dla danego kursu i wahania te oceniam jako naturalne. Kluczowa zatem pozostaje długofalowa tendencja – która jest w tym przypadku wzrostowa.
Jeśli zaś chodzi o wyniki w poszczególnych kategoriach, to średnie wyglądały następująco:
Pomimo że kursy są na rynku dopiero od końca 2022 roku, to wyniki są bardzo dobre i przez zespół nauczycieli tworzących kursy oceniane bardzo pozytywnie. Ostatecznie co 2 osoba, która ukończyła nasze kursy, dostałaby się ze swoim wynikiem na bezpłatną medycynę, a 3 na 4 osoby dostałyby się na płatną medycynę. Doświadczenie wyniesione z pracy nad najlepszymi kursami dla studentów medycyny zdecydowanie zaowocowało przy tworzeniu kursów maturalnych, tym bardziej, że samo wyzwanie, jakim jest matura, jest wyzwaniem mniej skomplikowanym niż egzaminy na kierunku lekarskim czy lekarsko-dentystycznym.
Kolejnym źródłem informacji, na podstawie którego oceniamy i rozwijamy kursy Więcej niż Matura, są ankiety badające satysfakcję. Są to ankiety anonimowe, organizowane 4 razy w roku. Pytania w nich zawarte są bardziej szczegółowe, skupiają się na ocenie jakościowej różnych aspektów metodyki kursów, ale przede wszystkim samego zadowolenia i poziomu zaspokojenia potrzeb kursantów. Innymi słowy, mniej skupiają się na lekcjach i treściach kursu, a bardziej skupiają się na ogólnym flow nauki z kursem i obsłudze przez nauczycieli. Ta ankieta ma za zadanie odpowiedzieć przede wszystkim na jedno ważne pytanie. Brzmi ono: czy kursanci są zadowoleni z nauki z Więcej niż Matura? Dodatkowo badamy również takie kwestie jak to, czy zdaniem kursantów Więcej niż Matura jest w stanie zastąpić korepetycje – ostatecznie uważamy, że ten warunek powinien spełniać najlepszy kurs.
Do oceny satysfakcji klientów wykorzystujemy wskaźnik NPS (Net Promotor Score), który wyliczany jest z odpowiedzi na pierwsze pytanie ankiety, które brzmi następująco:
„Czy polecił(a)byś kursy maturalne Więcej niż Matura znajomym?”
Odpowiedzi udziela się na skali od 0 do 10. Dodatkowo można podać opisowe uzasadnienie.
Wskaźnik NPS wylicza się poprzez zsumowanie procentowego wyniku ocen 9–10 i odjęcie od tego sumy wyników 0–6. Wynika to z założenia, że osoby dające 9 i 10 to te aktywnie polecające. Zaś osoby zaznaczające 6 i niżej to osoby aktywnie zniechęcające do nauki. Wyniki 7 i 8 dają osoby zadowolone, ale którym jeszcze czegoś brakuje.
NPS oceniany jest na skali od –100 do +100. Wyniki poniżej 0 są kiepskie, pomiędzy 0 a 50 dobre, a powyżej 61 doskonałe. Dla przykładu: iPhone od firmy Apple ma około 70–80.
Wynik badania NPS w ostatniej edycji dla matur wyniósł 61.
To oznacza, że kursanci Więcej niż Matura aktywnie polecają naukę z kursami. Co zresztą widać w innych częściach ankiety, gdzie badamy to, skąd kursant dowiedział się o Więcej niż Matura. Polecenia od znajomych i nauczycieli od jakiegoś czasu zaczynają stanowić drugie źródło kursantów zaraz po wyszukiwaniach w Google’u.
Analiza wyników tych ankiet mogłaby stanowić osobny artykuły, dlatego podam jeszcze tylko wyniki odpowiedzi na dwa pytania, które mogą zaciekawić każdą osobę, czy to nauczyciela, czy to potencjalnego ucznia, który myśli o nauce z Więcej niż Matura.
W ankiecie pojawia się stałe pytanie, które brzmi „Czy nauka z kursami Więcej niż Matura pomaga Ci w przygotowaniu do matury?”.
Na to pytanie 95–98% osób (w zależności od etapu roku szkolnego) odpowiada „zdecydowanie tak” lub „raczej tak”. W historii prowadzenia ankiet nikt nigdy nie odpowiedział, że kursy nie pomagają.
Kolejne ciekawe pytanie, które służy nam do badania jednego z naszych celów przytoczonych na początku tego artykułu, brzmi następująco:
„Czy możesz zgodzić się ze stwierdzeniem, że opieka dydaktyczna na kursie Więcej niż Matura jest w stanie zastąpić indywidualne korepetycje, które odbywają się 1–2 razy w tygodniu? Niezależnie od Twojego stanowiska, napisz, proszę, co myślisz na ten temat”.
I tutaj, co ciekawe, 97% osób jednoznacznie wskazuje pozytywną odpowiedź na to pytanie, w tym rozumieniu, że uważają, że wbudowane korepetycje na kursach Więcej niż Matura zdecydowanie zastępują indywidualne korepetycje. Jeśli ciekawi Cię ten temat, to zapraszam do innego poradnika, w którym porównuje wbudowane korepetycje Więcej niż Matura z tymi tradycyjnymi.
Z tego względu na ten moment wraz z zespołem oceniamy, że ten cel udało się zrealizować i kolejny fundament pod tworzenie najlepszego kursu na rynku został postawiony. I nic dziwnego, gdyż każdego dnia odpowiadamy nawet na setki pytań, które spływają przez system e-learningowy. Konsultacje i sprawdzanie poprawności odpowiedzi w systemie jest najintensywniej wykorzystywaną funkcją portalu Więcej niż Matura. Z tego względu po prostu obserwujemy, jak dobrze ten system działa, ponieważ kursanci chętnie z niego korzystają, i wyniki ankiety nas nie zaskakują. To jest ten sam model nauki, z którego korzysta ponad 16 000 studentów medycyny rocznie w ramach portalu Więcej niż LEK.
Na Więcej niż Matura został wprowadzony w sposób analogiczny, przy czym większy akcent położyliśmy na sprawdzanie zadań maturalnych i, co ciekawe, maturzyści zadają średnio 4 razy więcej pytań niż studenci medycyny. To ogólnie związane jest z faktem, że zadania maturalne, w szczególności z biologii, są bardziej subiektywne w ocenie i pomoc osób, które na co dzień sprawdzają matury, po prostu jest bardzo przydatna dla kursantów.
Kolejnym źródłem informacji o tym, w jaki sposób maturzyści korzystają z portalu Więcej niż Matura, są wywiady z użytkownikami. Polegają one na tym, ze metodyk nauczania (w tym przypadku ja, autor tego wpisu) spotyka się z danym kursantem na 30–45-minutowej wideokonferencji. Ma ona być przede wszystkim konsultacją dla maturzysty, który może zadać pytania na temat swojego planu nauki, problemów w uczeniu się czy w braku motywacji do nauki.
Drugim celem spotkania jest upewnienie się, że kursant rozumie metodykę kursu i korzysta z wszystkich funkcji kursu, jak i platformy e-learningowej. Jest to naturalnie okazja do weryfikacji wielu założeń metodycznych, jak i UX-owych platformy. Wywiady te prowadzone są regularnie, gdyż regularnie zgłaszają się na nie kursanci. Konsultacje z metodykiem nauczania i trenerem efektywnej nauki są częścią usługi dostępu do kursów Więcej niż Matura. Dzięki temu jako zespół możemy weryfikować poziom umiejętności uczenia się samych maturzystów i diagnozować problemy, z jakimi się borykają. Czasami problemem jest zbyt intensywna nauka, czasami niezrozumienie konstrukcji kursu, czasami problemy zdrowotne lub motywacje, a jeszcze w innych przypadkach złe nawyki, jak np. przepisywanie treści teoretycznych do notatek 1:1, bez dokonywania selekcji.
Te spotkania wpływają na kształt poradników, procesu onboardingowego, jak i zaleceń, które dostępne są we wstępie do kursu. Im więcej wiemy na temat tego, w jaki sposób maturzyści się uczą, jakie błędy w nauce robią, tym lepiej możemy zaadresować ich potrzeby i stworzyć dla nich stosowne zalecenia. Jedną z największych bolączek, jakie dostrzegam wśród maturzystów, jest ogromne przyzwyczajenie do nauki z nagrań wideo, co jest bardzo nieefektywną formą nauki do matury, gdyż wyucza bierną postawę przy nauce. Na Więcej niż Matura proponuję coś dokładnie odwrotnego i cały kurs zbudowany jest na założeniu bycia metodą aktywną, czyli angażująca uwagę ucznia poprzez kolejne działania, które uczeń aktywnie wykonuje – bez pracy i aktywności ucznia nauka nie posuwa się naprzód. Taka metoda lepiej sprawdza przy nauce dużej ilości treści teoretycznych, które w dodatku trzeba umieć wykorzystać w bardzo praktycznych zadaniach maturalnych. Podobnie robimy to na portalu Więcej niż LEK, gdzie mniej niż 1% treści jest przedstawionych w formie wideo.
To jest coś, do czego się dojrzewa lub dochodzi po popełnieniu pewnych błędów. Wiele osób chce uczyć się z wideo, bo to jest po prostu lżejsza forma nauki. Dodatkowo wydaje się bardziej zaawansowana technologicznie, choć tak naprawdę nie jest. Jest to jeden z tematów, który często jest powodem nieuczestniczenia w kursach Więcej niż Matura. Myślę, że wynika to z ogólnego braku wiedzy na temat procesu uczenia się oraz faktu, że stworzenie nagrań jest proste, więc wiele firm idzie w tym kierunku. A później wiele z tych osób trafia na Więcej niż Matura; z ankiet i wywiadów wynika, że co 2 osoba, która uczy się z nami w celu poprawy wyniku, wcześniej uczyła się z kursów wideo lub po prostu z darmowych filmików na YouTubie. W dużym skrócie: nauka z wideo jest mniej efektywna, bo w inny sposób angażuje nasze procesy uwagowe, a uwaga jest jednym z kluczowych elementów wpływających dalej na procesy pamięci, czyli przekłada się na długofalowe zapamiętanie materiału.
Dodatkowa kwestia jest czysto UX-owa: nauka z wideo, w szczególności robienie notatek czy prowadzenie odtwórek, jest bardziej siermiężne i wręcz czasochłonne. Ponadto samo tempo nauki z wideo powoduje, że jest to metoda mniej spersonalizowana, czyli trafiająca jedynie do wąskiego grona osób. To wszystko przekłada się na to, że jest to mniej efektywny sposób, z którego lata temu świadomie zrezygnowaliśmy. Naturalnie krótkie formy wideo nadal są na kursie, ale nie stanowią one głównego środka przekazu.
Wspominam o tym, gdyż analiza tego aspektu jest ważnym celem metodycznym portalu Więcej niż Matura. Ostatecznie celem jest przygotowanie maturzysty na osiągnięcie wyniku w TOP15%, zatem użyte metody muszą być przemyślane pod każdym możliwym kątem. Gdy analizowaliśmy różne środki dydaktyczne, to okazało się, że – wbrew pierwszej intuicji – wideo wypadało gorzej niż tekst i grafiki czy interaktywny moduł do rozwiązywania zadań. Potwierdzają to również badania, których pojawia się coraz więcej. Dotyczą one nie tylko nauki z wideo, ale też ogólnego wpływu dostępu do technologii cyfrowej w zbyt wczesnym wieku, co dalej powoduje wypracowanie złych nawyków edukacyjnych.
Na forach metodycznych, na których jestem obecny, twórcy różnych kursów dzielą się wynikami ankiet ich kursantów i okazuje się, że procent osób, które wolą tekst i grafiki niż wideo, wynosi w większości przypadków ponad 50%, co jest dla wszystkich zaskakujące. Moim zdaniem to jest naturalne, bo gdy uczymy się trudnych rzeczy i musimy je naprawdę dobrze zrozumieć, opanować i usystematyzować, to analiza tekstu w skupieniu i zrobienie notatek parafrazujących nasze zrozumienie po prostu działa lepiej. Ludzie to czują.
Ostatnim dużym źródłem informacji o aktywności kursantów jest system analizy danych wbudowany w platformę e-learningową. To jest część systemu dostępna jedynie dla opiekunów kursu oraz zespołu projektantów doświadczeń edukacyjnych, czyli metodyków firmy Bethink, którzy odpowiadają za kształt kursów Więcej niż Matura oraz Więcej niż LEK.
System ten jest głównym narzędziem, jakie wykorzystujemy do oceny tego, co de facto się dzieje na kursach; system ten to nasze „oczy”.
To trochę tak, jakbyśmy widzieli, co dokładnie robią kursanci – gdzie i ile czasu spędzają, co czytają, jak idzie im rozwiązywanie zadań maturalnych, w jakim tempie się uczą, jakie mają zaległości, jakie typy zadań sprawiają im trudność, które zagadnienia są dla nich najtrudniejsze, którzy z kursantów potencjalnie nie zdążą przerobić całego materiału, ile czasu spędzają na poszczególnych modułach lekcji, czy wykonują odtwórki czy jedynie czytają treści teoretyczne, ile pytań zadają, w jakich miejscach portalu i kursów, czy robią przerwy przy nauce, jakie są ich sesje skupienia, jak długie przerwy od nauki robią (oraz wiele, wiele więcej).
Ciężko jest opisać wszystkie dane i całą wiedzę, jaką możemy wyciągnąć z tego systemu, gdyż jest to system rewolucyjny, który nie jest stosowany na żadnej uczelni (nie tylko w Polsce, ale i na świecie). Mało kto zdaje sobie sprawę z faktu, że firma Bethink, która odpowiada za stworzenie kursów Więcej niż Matura, to jedna z największych szkół e-learningowych w Europie – i to zarówno w perspektywie liczby kursantów, jak i liczby spędzonych godzin rocznie nauki na naszych portalach.
Piszę o tym, aby można była sobie uświadomić, jak poważnie podchodzimy do zrozumienia tego, jak ludzie się uczą, jak poważnie traktujemy postawione przed nami cele oraz to, czy nasze kursy realnie działają. W przypadku kursów maturalnych: czy pomagają maturzystom i czy pozwalają im na osiągnięcie wyniku, który przekłada się na dostanie na studia lekarskie, co dla wielu osób będzie wyznacznikiem sukcesu na maturze.
System ten jest tak zaawansowany, że dla większości nauczycieli czy metodyków zaskoczenie stanowi, do jakich danych mamy dostęp i co możemy z nimi zrobić. A między innymi te dane pozwalają nam dokładnie zbadać ścieżkę osoby, która zaczyna się uczyć i osiąga sukces na maturze. Na bazie tego dalej konstruujemy warunki realizacji kursu, które wyrażają się we wspomnianej na początku tego artykułu Gwarancji Satysfakcji.
Jeśli interesuje Cię temat, to w listopadzie 2023 roku odbyło się Forum Metodyczne organizowane przez centrum rozwoju szkół wyższych Merito, wydarzenie odbyło się we Wrocławiu. Miałem zaszczyt występować tam, a tematem mojego wystąpienia była właśnie konstrukcja systemu analizy danych platformy Więcej niż Matura i Więcej niż LEK oraz tego, w jaki sposób dostęp do tych danych zmienia rolę nauczycieli i metodyków nauczania w procesie kształcenia.
System ten jest tak wartościowy, że pomimo jego krótkiego wieku został w październiku 2023 wdrożony do trzech liceów, które przez cały rok szkolny 2023/2024 testowały portal Więcej niż Matura jako formę wsparcia dla uczniów i nauczycieli w systemie klasy odwróconej.
System ten służy do bieżącej, jak i rocznej ewaluacji działania kursów. Pozwala na diagnozowanie problemów, szukanie okazji do rozwoju kursów czy po prostu weryfikację hipotez, które pojawią się w toku wywiadów z użytkownikami czy w ankietach badających satysfakcję. Dzięki niemu możemy budować system nauczania oparty w możliwie największym stopniu na danych, a nie na intuicji prowadzących czy opinii wąskiej grupy najbardziej zaangażowanych kursantów.
Raport roczny to suma wszystkich danych i wniosków z nich płynących. Tworzymy go w maju po napisaniu matury. Dodatkowo w lipcu po ogłoszeniu wyników oceniamy samą skuteczność kursów i uzupełniamy raport.
Kluczowe rzeczy, które stanowią cel tego raportu, to zdiagnozowanie powodów, dla których kursanci polecają Więcej niż Matura, czynników, które przyczyniają się do tego, że uzyskują wysokie wyniki, oraz powodów, które powodują niezadowolenie z kursów.
I tak w ostatniej ewaluacji rocznej wraz z zespołem zdiagnozowaliśmy następujące rzeczy.
5 głównych powodów, dla których maturzyści wybierali Więcej niż Matura i pozostawali w nauce z Więcej niż Matura. Były to:
- Fakt, że cała nauka jest w jednym miejscu. Czyli platforma zastępuje podręczniki, zbiory zadań, jak i korepetycje. To ułatwia organizację nauki i pozwala na bardzo systematyczne i efektywne uczenie się.
- Fakt, że na platformie znajdują się monitory realizacji kursu, jak i zadań maturalnych. Te monitory realizacji pokazują na bieżąco kursantowi, czy zdąży z całą nauką na czas do matury. Innymi słowy: odpowiadają na pytanie, na które do tej pory wielu maturzystów czy korepetytorów w ogóle nie potrafiło odpowiedzieć. To uspokaja i motywuje.
- Fakt, że każdy uczeń posiada swój własny spersonalizowany plan nauki, uczy się we własnym tempie, wtedy, kiedy chce; może również konsultować się i zadawać pytania zawsze wtedy, gdy chce, w nieograniczonej ilości. To jest ważny czynnik powodujący, że zadowolenie z tych kursów będzie wysokie dla szerokiego grona osób, które mają różne nawyki edukacyjne.
- Fakt, że uczniowie mają wbudowane korepetycje. Czyli mogą zadawać pytania oraz prosić o sprawdzenie rozwiązań zadań maturalnych przez osoby sprawdzające prawdziwe matury. Jest to de facto funkcja definiująca metodykę nauczania Więcej niż Matura i kursanci bardzo wysoko ją ocenili.
- Fakt, że kurs posiada Gwarancję Satysfakcji, czyli gwarantuje TOP15% wyników lub zwrot kosztów (ewentualnie rok nauki bez opłat do poprawki). Znam wielu sceptyków, którzy uważają, że to źle działa i jest to zabieg jedynie marketingowy. Niemniej dane z ankiet wśród kursantów, jak i z wywiadów z użytkownikami mówią coś przeciwnego. GS jest wyrazem naszej metodyki i symbolem tego, że kurs działa. I to przekonuje wiele osób, które stoją przed wyborem sposobu uczenia się. Myślę, że po tym, jak na Więcej niż Matura wprowadziliśmy Gwarancję Satysfakcji, to więcej firm czy korepetytorów będzie musiało o tym pomyśleć, ponieważ maturzyści po prostu będą tego oczekiwać.
I, co bardzo cieszy – w pierwszej dużej edycji kursu, w której uczestniczyło ponad 1500 osób, aż 77% osób spośród tych, którzy zrealizowali 100% lekcji i spędzili na portalu minimum 200 godzin na kurs, uzyskało wyniki pozwalające na dostanie się na medycynę niestacjonarne oraz 50,1% – na medycynę stacjonarnie. Jest to wynik, z którego jako zespół opiekunów jesteśmy bardzo zadowoleni. Mamy również nadzieję, że wszystkie wnioski, jakie wyciągnęliśmy na rzecz przygotowania kolejnych edycji, pozwolą poprawić ten wynik.
A jakie były zatem te wnioski? Co zdecydowaliśmy się zmienić?
Kursanci wskazali 4 główne powody niezadowolenia.
- Nieoptymalne ułożenie zadań w lekcjach odtwórkowych.
- Nieoznakowanie formuły matury.
- Błędy i literówki w prezentacjach.
- Brak nagrań wideo.
Pierwsze trzy aspekty udało się zaadresować i rozwiązać po pierwszych edycjach kursów. Te problemy już nie występują. Nieoptymalne ułożenie zadań wynikało z tego, że bardzo chcieliśmy, aby nie pojawiały się w lekcjach zadania, które wymagają wiedzy, jaka nie była przekazywana wcześniej na kursie. Ostatecznie nie udało się tego zrealizować w pełni, bo zadań tych było za dużo i chcieliśmy, aby w każdej lekcji liczba zadań była podobna. Rozwiązaliśmy to tak, że wybraliśmy tylko zadania, które jednoznacznie sprawdzają wiedzę z lekcji, której dotyczą. Zaś zadania przekrojowe po prostu pojawią się pod koniec kursu.
Oznakowanie formuły było problemem przez pierwszy miesiąc nauki. Później we wstępach do kursu pojawiły się wytyczne, jak i tabele opisujące różnice w formułach oraz odpowiednie komentarze w postaci opisu priorytetu lekcji. Wielu uczniów bardzo nie chce uczyć się niepotrzebnych zagadnień. Różnice w formułach są tak niewielkie, że ich śledzenie naszym zdaniem jest stratą czasu. Szybciej po prostu jest nauczyć się kilku zagadnień więcej, bo można osiągnąć z tego zysk w postaci ogólnego rozwoju wiedzy, która może się przydać na maturze. Niemniej jest grupa osób, która nie lubi biologii czy chemii i bardzo chce nie uczyć się niczego, co niepotrzebne. Także teraz jest to możliwe, niezależnie od tego, w jakiej formule się uczymy. W przypadku chemii nie zdecydowaliśmy się na takie wyszczególnienia, gdyż różnice w formułach są po prostu nielogiczne. Innymi słowy, ciężko powiedzieć, czego nie trzeba się uczyć, bo nawet jak coś jest wykreślone z formuły, to jest ostatecznie potrzebne do nauczenia się, bo warunkuje zrozumienie innego tematu, który jest wymagany. Z tego względu na chemii po prostu zalecamy uczyć się wszystkiego zgodnie z rozpiską we wstępie do lekcji.
Błędy czy literówki są naturalnie pokłosiem 3-letniego procesu wydawniczego. Kursy Więcej niż Matura to de facto dwa podręczniki i dwa zbiory zadań, w dodatku większe niż ich papierowe odnośniki. Takie błędy pojawią się w procesie wydawniczym i po prostu potrzeba czasu, by je wyeliminować. I to też naturalnie się udało zrobić, gdyż całość treści przeszła powtórną weryfikację i edycję treści w roku 2023.
Ostatni aspekt nie został zaadresowany, gdyż w ocenie całego zespołu Więcej niż Matura to jest po prostu oczekiwanie grupy maturzystów, którzy chcą uczyć się w sposób lekki. A lekko niestety nie zawsze oznacza efektywnie. Tak jak pisałem powyżej w sekcji wywiadów z użytkownikami, lista problemów z nagraniami wideo jest bardzo długa i ostatecznie powodują one spadek jakości nauki. Nagrania wideo są obecne na kursach Więcej niż Matura, ale występują tylko w postaci krótkich animacji i mają ilustrować pewną dynamikę procesów, które trudno opisać słowami. Czyli używamy ich wtedy, gdy nie ma innego wyjścia, by coś pokazać. W każdym innym przypadku wybieramy teksty, grafiki, tabele i schematy, gdyż pozwalają one na aktywne i spersonalizowane nauczenie w stopniu większym niż nagrania wideo.
Wyniki ostatniej analizy podałem w poprzednim wątku. Tutaj chciałbym opisać to, w jaki sposób te dane są zbierane i w jaki sposób są interpretowane.
Po pierwsze, po ogłoszeniu wyników matur kontaktujemy się ze wszystkimi kursantami, którzy wcześniej wyrazili na to zgodę. Jest to większość osób, ale naturalnie nie wszyscy. Kontakt jest telefoniczny lub w formie smsa, w zależności od udzielonej zgody.
Po drugie, czekamy 2 tygodnie od ogłoszenia wyników i sprawdzamy w systemie liczbę osób, które zrealizowały warunki ukończenia kursu. Zakładamy, że wszystkie osoby, które się do nas nie zgłosiły po zwrot pieniędzy z powodu nieuzyskania wyniku TOP15%, po prostu taki wyniki uzyskały. Ostatecznie nie ma logicznego powodu, by sądzić, że w przypadku niezdania matury na taki procent, kursant nie zgłosi się po 2–3 tysiące złotych.
W ostatniej edycji ponad 90% osób podzieliło się z nami swoimi wynikami, a ich wyniki były bardzo dobre, gdyż mediana wyniosła 72% dla chemii i 70% dla biologii. Zatem połowa osób osiągnęła wyniki takie jak wskazane lub wyższe.
Warunki ukończenia kursu są następujące:
- Minimum 200 godzin aktywności na kursie.
- Zrealizowanie 100% lekcji.
- Rozwiązywanie minimum 500 zadań maturalnych w trybie samodzielnym.
- Rozpoczęcie nauki minimum na 100 dni przed maturą i maksymalnie 12 miesięcy przed maturą.
Wszystkie te warunki mają pokazać przyszłemu kursantowi, jak ma się uczyć, jeśli chce osiągnąć sukces. Trzeba zrealizować cały materiał i przećwiczyć go w zadaniach – to zajmuje około 200 godzin. Następnie kolejność realizacji zagadnień pozwala uczyć się efektywniej, zaś ograniczenia czasowe wskazują na to, kiedy jest za późno lub za wcześnie na intensywne przygotowania do matury.
Teraz kursanci zaczynają się uczyć już w lipcu–sierpniu, także mają zdecydowanie większą szansę na lepsze przygotowanie. Wiele osób, które nie zrealizowały tych wymagań, również napisało maturę w TOP15% wyników w kraju, ale nie są brani pod uwagę przy obliczaniu tego wskaźnika. Niektórzy z nich nie zrealizowali kilku lekcji, inni uczyli się szybko, zrealizowali cały kurs i zadania, ale zajęło im to np. 150 godzin. Także tutaj też powinniśmy być świadomi, że pomimo niezrealizowania tych arbitralnych wymagań kursant nadal ma szanse na wysoki wynik, choć szansa ta statycznie jest mniejsza niż w przypadku, gdy wszystkie warunki zostały spełnione.
Większość kontaktu z kursantami odbywa się w module dyskusji, który jest dostępny w lekcjach teoretycznych, odwtórkowych, jak i w module zadań maturalnych. Jest to ogromne źródło informacji na temat tego, z czym borykają się maturzyści, i bardzo często doprowadza do zmian w samym kursie.
Działa to w dość prosty sposób. Jeśli opiekunowie kursu widzą, że jakaś część lekcji teoretycznej rodzi wiele pytań (podobnych pytań), to może to oznaczać, że coś nie jest napisane tak zrozumiale, jakby być mogło. W takiej sytuacji – poza udzieleniem odpowiedzi na pytanie – opiekun może podjąć decyzję, aby od razu zmienić treść lekcji, dodać jakiś schemat lub dodatkowy przypis z komentarzem. Jest to naturalny cykl rozwoju kursów tworzonych przy zastosowaniu naszej metodyki. Powoduje to, że im kursy dłużej są na rynku i im więcej osób je zrealizuje, tym są one lepsze. Łącznie przeszło przez nie już kilka tysięcy osób, pozostawiając po sobie ponad 20 000 pytań, na które odpowiedział nasz zespół nauczycieli.
W pierwszej edycji uczyło się z nami niecałe 300 osób, w drugiej uczyło się już ponad 1500 osób, w kolejnej jest to kilka tysięcy osób! Ilość mikrozmian, jakie wprowadziliśmy w treści po analizie wszystkich zadanych pytań, jest ogromna, wręcz trudna do zliczenia. Dzięki tym zmianom treści są coraz lepsze, ułatwiają zrozumienie materiału i redukują czas, jaki jest potrzebny na zrealizowanie lekcji z sukcesem.
Co ważne, każda nowa osoba ucząca się z tego systemu może zapoznać się ze wszystkimi pytaniami i odpowiedziami, jakie wcześniej pozostawili byli kursanci, co jest również wysoko ocenianym aspektem w ankietach ewaluacyjnych.
Na ten moment jest to Trustpilot Więcej niż Matura. Są to recenzje niezależne, gdyż nie możemy ich w żaden sposób ukryć lub edytować. Przy czym warto przy czytaniu zwrócić uwagę na komentarze; tam będzie zawarta informacja, czy dana osoba w ogóle kurs realizowała, czy miała pełny dostęp czy też testowała jedynie próbkę kursu. Zamieszczanie tej informacji jest wymagane prawnie i staramy się cyklicznie recenzje/opinie pod tym kątem weryfikować.
Dodatkowo warto poszukać treści na YT, gdzie kilka osób nagrało filmy opisujące nasz portal i wyraziło opinie na ich temat. Kilku z tych osób portal spodobał się na tyle, że zostali oni ambasadorami marki i pomagają w promocji portalu Więcej niż Matura.
Źródło to też po prostu znajomi. Warto napisać do ludzi i spytać, czy znają, czy korzystają. Jedno, co mogę doradzić, to aby nie zrażać się tym, że ludzie piszą, że nie warto uczestniczyć w kursie, bo nie ma w nim wideo. To jest temat, który się powtarza i dlatego taki nacisk na niego kładę. Nauka z wideo nie jest spersonalizowana, nie jest aktywna, ale za to jest lekka i daje wrażenie postępów bez wkładania wysiłku. Wiele osób wpada w tę pułapkę.
A jeśli nadal nie wierzysz, to warto sprawdzić konkurencyjne rozwiązania i poszukać informacji o sposobie prowadzenia ewaluacji, czyli sprawdzić, czy mają taki wpis na swojej stronie jak ten zamieszczony tutaj, którego lekturę właśnie powoli kończysz.
Więcej niż Matura jest krokiem naprzód, jeśli chodzi o jakość prywatnej edukacji. Niewiele firm chce lub posiada środki na świadczenie usług w sposób opierający się na danych oraz udostępniający te dane do oceny potencjalnym klientom. Mam wielką nadzieję, że przykład, jaki dajemy, zmieni podejście wielu firm, nauczycieli i korepetytorów w tym aspekcie, bo to długofalowo spowoduje, że wszyscy będą świadczyć lepsze usługi edukacyjne.
Jeśli tutaj jesteś – wielkie gratulacje! Bardzo doceniam fakt, że tyle energii zostało przez Ciebie włożone w lekturę artykułu. To jest całkiem spora dawka informacji!
Mam nadzieję, że udało mi się odpowiedzieć na Twoje pytania, wątpliwości, jak i zaspokoić czystą ciekawość. Jeśli pozostają jeszcze jakieś niejasne kwestie – lub pojawiły się po lekturze tego wpisu – to zachęcam do kontaktu. (Przy czym w tym celu, proszę, nie używaj chatbota WNM dostępnego na stronie, gdyż nie ma on dostępu do danych wystarczających, by udzielić odpowiedzi na wszystkie pytania dotyczące ewaluacji).
W trochę ponad rok od premiery zbliżyliśmy się do magicznej liczby 1000 osób uczących się na portalu, po 2 latach to już 3000! Moim zdaniem ten wynik mówi sam za siebie. Jest on dobrym dopełnieniem pierwszej dużej ewaluacji i bardzo pozytywnego odbioru, jak i rezultatów osób, które uczyły się na portalu Więcej niż Matura. Ostatecznie co 2 osoba, która ukończyła w 100% nasz kurs, napisała maturę na wynik pozwalający na studiowanie na jednym z najbardziej wymagających kierunków studiów. To daje satysfakcję!
Jeśli szukasz szczegółowych informacji na temat samych kursów, zachęcam Cię poczytania o nich tutaj:
Tymczasem! Trzymamy kciuki za naukę Twoją, lub Twoich podopiecznych!
Dariusz Chrapek