Jak poznáte, že jste odvedli dobrou práci? Pokud jste obeznámeni s neurolingvistickým programováním, rozpoznáte zde klasifikující otázku [1]. Lidé typicky odpovídají buď „vím, že ano; je to můj standard“ (vnitřní rámec hodnocení), nebo „lidé/můj vedoucí/studenti/ statistiky mi řekli/ukázali, že jsem odvedl dobrou práci“ (vnější rámec). Jak odpovíte vy? Třebaže žádná odpověď není ani správná, ani špatná, je daná otázka z pohledu učitele poněkud komplikovaná.

Original English version below
 

Prohlášení: kupodivu se zdá, že urážet lidí není dobrá cesta k podnícení konstruktivního dialogu, ale je to naopak výborný prostředek k polarizaci názorů (jak ukázal můj loňský článek). Jelikož námět této práce je mému srdci velice blízký, mým cílem je – víc než kdy dřív – spolupracovat; proto slibuji, že nebudu nikoho urážet (alespoň ne úmyslně).

Jak víme, že si jako vyučující vedeme dobře? Měli bychom se jednoduše držet metody, kterou považujeme za správnou, nezávisle na tom, jaký má dopad na znalosti studentů? Nebo bychom se naopak měli soustředit pouze na to, co na studenty podle jejich vlastního vyjádření funguje? Mělo by být naším cílem, aby studenti měli rádi dané téma (nebo nás), nebo bychom se měli postarat, aby se učili bez ohledu na to, jestli je to těší? Souvisí vůbec radost studentů z učení s jejich studijními výsledky? Je úroveň vzdělávání, jak ji vnímají studenti, dobrým indikátorem jejich skutečných znalostí? Jak vlastně měříme vědomosti studentů? A konečně, co děláme pro zlepšení své výuky – a především, co zlepšení naší výuky znamená?

Tento článek uvažuje o cestách vedoucích k dosažení vynikající úrovně ve vyšším vzdělávání a o způsobech hodnocení jeho kvality jak z hlediska lidí, tak institucí.

Studentské hodnocení nestačí

Odvádíme při výuce dobrou práci? Ve většině států světa včetně České republiky našly univerzity uniformní, pro všechny stejný způsob, jak na tuto otázku odpovědět: studentské hodnocení. Na konci semestru či ročníku studenti ohodnotí jednotlivé předměty a pedagogy. Toto řešení je pochopitelné: jde o poměrně rychlý a úsporný způsob, jak uchopit problém, jenž je pro univerzity klíčový. Samotní pedagogové tak mohou rovněž získat užitečnou zpětnou vazbu.

Několik studií [2, 3] nicméně poukázalo na důležitý problém: korelace mezi hodnocením ze strany studentů a jejich studijními výsledky je dosti slabá. Jinými slovy: to, jak příznivě studenti hodnotí předmět a vyučujícího, příliš nevypovídá o tom, jestli se opravdu naučili, co měli.

Tohle pro mne byla zpráva sice znepokojující, ale ve skutečnosti nijak zvlášť překvapivá. Vždyť studentské hodnocení výuky či vyučujícího může být ovlivněno řadou faktorů: obtížností předmětu, velikostí třídy nebo dokonce genderovými předsudky, neboť se zdá, že pedagožky jsou hodnoceny méně příznivě než jejich mužští kolegové [2, 3]. A to ani nezmiňuji, že sama skupina studentů zapojených do hodnocení je předpojatá [4]. Zmíněné studie proto volaly po zavedení jiných způsobů určování kvality výuky a pedagogů. Jak tedy změřit, zda předmět či vyučující dosáhli svých cílů?

Než odpovíme na tuto komplikovanou otázku, je třeba si vyjasnit pár věcí: Co ve skutečnosti míníme slovem „učení“? Na první pohled se to může zdát triviální, je to však složitější. Dále – jaký je vlastně cíl předmětu a učitele? Abychom na tuto otázku odpověděli, musíme se dotknout významného tématu: filosofie učení. Různé filosofie učení totiž s sebou nesou odlišné cíle výuky. Teprve po probrání těchto bodů budeme moci přemýšlet, jak vylepšit kvalitu výuky na univerzitách, včetně způsobu hodnocení této kvality.

O učení

Intuitivně asi máme hrubou představu, co znamená „porozumět“ tématu. Chceme-li však zavést výukové strategie poskytující co nejlepší vzdělání, musíme přesně vědět, co proces učení obnáší. To je naštěstí předmětem psychologických a pedagogických výzkumů už celá desetiletí.

Jedním z dobře zavedených pojmů vyplývajících z bádání je Bloomova taxonomie vzdělávacích cílů [5]. Ta, stručně řečeno, hierarchicky dělí vzdělávání do různých úrovní, od nejjednodušších úkolů po ty nejsložitější a nejnáročnější (viz obr.).

Bloomova taxonomie vzdělávacích cílů.

Pokud vyučujete na vysoké škole, pak i kdybyste tuto taxonomii nikdy neviděli, přesto intuitivně víte, že například pro napsání dobrého vědeckého článku jsou nezbytné všechny uvedené úrovně znalostí. Jak ovšem v tom případě ohodnotíme úroveň vědomostí studentů? Postupujeme-li podle zmíněné taxonomie, dokážeme určit, jaký typ zkoušky posoudí jednotlivé úrovně znalostí. Například: „Urči tento rostlinný druh a popiš jeho ekologii.“ Tato zkouška hodnotí pouze první dva stupně znalostí a dovedností: „zapamatování si“ a „pochopení“. Podobně zkoušky formou testů, při nichž respondent vybírá správnou odpověď z několika nabídnutých možností (tzv. testy s více odpověďmi, angl. multiple choice questions, MCQs) zkoumají pouze nejzákladnější úroveň znalostí, tj. „zapamatování si“. Z toho důvodu přední pedagogové používání testů s více odpověďmi zavrhují.¹⁾

Tyto testy bezesporu usnadňují práci hodnotiteli, pokud posuzuje stovky studentů. Jestliže se však testy s více odpověďmi nebo podobné méně náročné testy využívají po celou dobu studia, na jeho konci vycházejí studenti, kteří si sice dokážou „pamatovat“, ovšem vůbec neznáme jejich dovednosti na vyšších úrovních vzdělávání. Když se pak pustí do doktorského studia, najednou se od nich očekává, že dokážou psát vědecké články, což ovšem vyžaduje znalosti na všech úrovních. Problém je, že s nimi nikdo takovéto dovednosti ani neprocvičoval, ani je z nich nezkoušel.

V tom pravděpodobně spočívá síla francouzského vzdělávacího systému, díky němuž jsou Francouzi proslulí svým „kritickým myšlením“: od střední školy výše jsou studenti hodnoceni prostřednictvím esejů. Esejem míním několikastránkovou práci, která obhajuje dobře vyargumentované stanovisko, je strukturovaná – obsahuje úvod, argumentaci s příklady a závěr. Svým způsobem nemá příliš daleko k vědeckému článku. Například ke konci střední školy musí studenti absolvovat zkoušku z každého předmětu (biologie, matematika, filosofie…). Dostanou zadanou otázku, třeba „Jaký má smysl vysvětlovat umělecké dílo?“ (národní zkouška z filosofie z roku 2019), a musí na toto téma napsat esej. Ten fakticky představuje velmi dobrý způsob, jak ohodnotit všechny úrovně Bloomovy taxonomie: studenti je musí využít všechny, od „pamatování si“ (filosofické pojmy a koncepce naučené během roku) až po „tvorbu“ (napsání strukturovaného eseje zakončeného stanoviskem, osobním závěrem studentů založeným na jejich znalostech a úvahách, jež v průběhu celé práce rozvíjejí). Snadné, ne? No, já jsem u této zkoušky bídně pohořel.

Každopádně se na francouzských univerzitách stává zkouška v podobě eseje normou, alespoň v biologii (kterou jsem absolvoval). Studenti z ní mohou mít hrůzu; alespoň mi to přiznali ti, které jsem esejemi mučil. Proč jim nahánějí strach? Bojí se té tvořivé části – člověk musí zaujmout nějaké stanovisko, aniž by věděl, jestli je „správné“. A „mýlit se“ je, jak se zdá, pro studenty hodně děsivá představa. Pokud tedy chceme, aby na sebe studenti brali riziko chyb, je zásadní po celou dobu výuky nastolit „kulturu bez viny“ (angl. no-blame culture).

Další klíčový bod: je známo, že pokud chceme, aby si studenti udrželi motivaci, musíme jim zadávat sice ambiciózní, ale přitom splnitelné úkoly [6]. Nejsou dostatečně náročné? Studenti se začnou nudit. Jsou příliš ambiciózní? Studenty odradí. Já jsem jako student zkoušení prostřednictvím esejů miloval. Vnímal jsem je jako ambiciózní výzvy, díky nimž jsem konečně mohl ukázat, že dovedu víc než jenom takříkajíc vydávit znalosti, kterými mě nakrmili. Že dovedu sám myslet. Přesto tyto úkoly zůstaly na dosažitelné úrovni (vzhledem k tomu, že jsem se jako student sice zajímal víc o gothic rock než o biologii, ale studoval jsem samozřejmě dost na to, abych bezpečně zvládl Bloomovu úroveň „zapamatování si“).

A další věc přispěla k dosažitelnosti zmíněných výzev: průprava. Před závěrečnou zkouškou studium zahrnovalo výukové činnosti zdokonalující všechny úrovně Bloomovy taxonomie, od nabývání teoretických znalostí až po práci vyžadující vyšší úroveň vzdělávacích cílů. Výukové aktivity a hodnocení schopností studentů byly sestavovány tak, aby směřovaly k zamýšleným studijním výsledkům. Soulad mezi nimi byl obsáhle teoreticky rozpracován a uveden do praxe pod názvem „konstruktivní propojení“ [6] a je jednou z výukových strategií založených na požadovaném výsledku učení. Konstruktivní propojení se používá na univerzitách ve Švédsku, kde jsem strávil pár let.

Na čem excelence vzdělávání závisí? Konstruktivní propojení má na tuto otázku speciální odpověď [6], podívejme se však podrobněji, jaké typy odpovědí vůbec existují – každá totiž vychází z jiné filosofie vyučování. Co je však důležité, z každé vyplývají i odlišné způsoby hodnocení kvality výuky a vyučujících.

„Jací jsou studenti“

Studenti se zapisují ke studiu z různých důvodů, s odlišnou mírou zaujetí, s různými přirozenými sklony a dovednostmi. Někteří třeba chtějí dobře placené pracovní místo, jiní nevědí, co jiného dělat, a pár dalších jsou rození učenci se zájmem o vysokoškolské studium per se.

Přístup k vyučování zohledňující, „jací jsou studenti“, je prostý: někteří jsou „dobří“ čili „motivovaní“ (rození učenci) a pedagog má za úkol je najít. Pokud ostatní studenti nestačí držet ve výuce krok, není to velký problém, nebo je dokonce cílem o ně přijít. Nedávno jsem měl mimořádně skvělou studentku, která dokázala myslet a řešit problémy mnohem rychleji, než jsem to během vyučovacích hodin dovedl já. Psaní esejů pro ni ale zjevně představovalo muka. Nebyla typem „rozeného učence“. Byla typem, kterého by při přístupu „jací jsou studenti“ vyhodili. Tato metoda totiž nemění status quo: „rození učenci“ mezi studenty by dosáhli cíle i bez učitelů, neboť jsou už svou podstatou motivováni se učit. A co se týče všech ostatních, ti by opustili univerzitu se stejnou mírou nasazení a dovedností, s jakou na ni vstupovali.

Jak se při tomto přístupu k vyučování nahlíží na hodnocení ze strany studentů? Pokud jsou výuka či pedagog klasifikováni špatně, je to ve skutečnosti dobré znamení: „tyto přednášky nejsou pro každého, pouze pro ty dobré“. Excelentní úroveň je zde totiž synonymem pro výběrovost, je to strom, pro který se nevidí les: „Podívejte se na tohoto skvělého studenta, naše výuka se u nadaných osvědčuje.“

„Co dělá vyučující“

Při tomto přístupu se vyučující soustředí na to, jakým způsobem může zlepšit kvalitu poskytovaného vzdělávání, jak co nejsrozumitelněji podat látku nebo jak studenty motivovat; obměňuje tedy obsah přednášek, komunikační techniky při výuce… Ve srovnání s předcházejícím přístupem jde rozhodně o velký krok kupředu, jelikož učitel vynakládá čas a úsilí na zkvalitnění způsobu výuky.

Studenti ve svém hodnocení tento přístup oceňují: pokud mají rádi svého učitele a jeho přednášky, protože pedagog díky svému zvýšenému úsilí objasňuje látku srozumitelně a studenty zaujme, jistě to znamená, že výuka je dobrá. Tento vyučovací přístup se nicméně nezaměřuje na sledování, zda studenti získali znalosti na všech úrovních Bloomovy taxonomie. Získá-li tedy předmět či vyučující od studentů při hodnocení hodně bodů, neznamená to, že se studenti opravdu naučili, co se od nich čekalo.

„Co dělají studenti“

Tento přístup se soustředí na konečný výsledek: efekt vzdělávání. Zahrnuje tudíž:

1. vytyčení plánovaných vzdělávacích cílů;
2. navržení výukových činností pro studenty tak, aby stanovených cílů dosáhli;
3. hodnocení (zkoušku), zda studenti na konci cyklu přednášek dosáhli určených studijních výsledků.

Výukové aktivity spočívají v tom, že studenti plní úkoly odpovídající každé úrovni Bloomovy taxonomie. Proč je plnění úkolů důležité? Jednoduše proto, že je dokážeme měřit. Co si student myslí, měřitelné není – nedokážeme číst myšlenky. V předmětech, v nichž studenti víc sami něco dělají, než poslouchají, mohou poznat, jestli dělají pokroky (sebehodnocení je pro učení přínosnější [6]), a vyučující to rovněž vidí.

Kromě toho vyšší úrovně Bloomovy taxonomie vzdělávacích cílů v sobě zahrnují úkoly vyžadující aktivní práci. Při „předávání vědomostí“ (powerpointová přednáška) studenti neprocvičují „tvůrčí úroveň“ vzdělávání. Aktivní zapojení také udržuje motivaci studentů, což platí i o těch, kteří by při jiných přístupech vypadli ze hry. Jak už bylo řečeno výše, zadávání dosažitelných úkolů je účinný způsob, jak studenty motivovat, a vzdělávací aktivity až do nejvyšších úrovní Bloomovy taxonomie jsou sice náročné, ale přesto proveditelné, pokud nepospícháme a studenty tam dovedeme. Dosažení excelentní úrovně zde skutečně znamená uplatnit výukovou strategii vedoucí k hlubokým znalostem, ale vyžaduje to čas.

V důsledku toho je do určité míry potřeba obětovat něco z množství vyučovaných témat, protože se víc času věnuje „šplhání“ do vyšších úrovní znalostí. To nastoluje významnou otázku: chceme, aby ze studentů byly chodící encyklopedie, obsahující množství nezpracovaných informací dostupných na povel, nebo raději chceme, aby dokázali nabyté informace zpracovávat a přicházeli s novými nápady? Roli encyklopedie v současnosti přejímá Google, kdežto pochopit smysl daných informací zatím dovedou lépe lidé.

Přístup „co dělají studenti“ nepochybně závisí na tom, „co dělá vyučující“, jelikož od pedagoga vyžaduje, aby neustále kontroloval, zda výukové aktivity slouží stanoveným vzdělávacím cílům, a podle toho je upravovat. Sahá však ještě dál, neboť cílí spíš ke „konečnému produktu“ (= co dělají studenti) než na proces dosahování tohoto cíle (= co dělá vyučující). A právě v tom tkví slabina hodnocení výuky a vyučujících ze strany studentů: jak už jsme vysvětlovali výše, studenti hodnotí pouze to, co vyučující dělá (srozumitelnost přednášek atd.), ovšem nikoli zda oni sami dosahují stanovených vzdělávacích cílů.

Výsledky místo dojmů

Potřebujeme vědět, zda jako vyučující skutečně vedeme studenty k dosažení stanovených vzdělávacích cílů. Jak toho dosáhnout? Úspěšné, vysoce kvalitní vzdělávání znamená, že maximum studentů dosáhne stanovených vzdělávacích cílů (to znamená hlubokých znalostí na všech úrovních Bloomovy taxonomie). Jak ale zjistíme, že to jako pedagogové zvládáme? Nemám dokonalé řešení. Samozřejmě to poznáváme, když studenty zkoušíme. Nicméně je jasné, že když jako vyučující výuku koncipujeme A SOUČASNĚ posuzujeme, zda studenti dosahují stanovených vzdělávacích výsledků, ocitáme se ve střetu zájmů. Proto nemůžeme výsledky studentů u zkoušek využívat k hodnocení, zda jsme v jejich výuce odvedli dobrou práci.

Co kdyby studenty zkoušel jiný vyučující? Dokážeme si představit dvojice pedagogů, kteří se ještě před zahájením výuky daného předmětu dohodnou na stanovených vzdělávacích cílech, přičemž jeden pedagog pak bude studenty učit a druhý zkoušet. Druhý vyučující by mohl být z jiné univerzity, aby se maximálně redukovaly střety zájmů. Zkoušky v podobě esejů zaručí, že jedna zkouška ohodnotí všechny úrovně Bloomovy taxonomie vzdělávacích cílů.

Dalším, ještě proveditelnějším způsobem, jak určit, zda jsme při vyučování odvedli dobrou práci, by mohlo být využití výsledků studentů při závěrečné zkoušce, ovšem tato zkouška by proběhla procesem zvaným kalibrované recenzní řízení (calibrated peer review).²⁾ Stručně řečeno, místo aby studenty zkoušel vyučující, zkoušení provádějí sami studenti (anonymně hodnotí jeden druhého), kteří se předem naučili, jak posuzovat, zda bylo dosaženo vzdělávacích cílů, nebo nikoli. Výhodou je, že se tak odstraní střet zájmů, kdy by učitel byl zároveň tvůrcem i posuzovatelem výuky. Takto bychom mohli opřít hodnocení výuky a vyučujících o průměr mezi dojmy studentů (stávající hodnocení) a o jejich úspěšnost při dosahování stanovených vzdělávacích cílů (na základě výsledků jejich závěrečných zkoušek skládaných s využitím kalibrovaného recenzního řízení). Co tomu říkáte?

Cesta k zlepšení

A co nabízet pouze přednášky a další formy výuky, jejichž cílem je zajišťovat všechny úrovně vzdělávání až do vyšších řádů? To by znamenalo jak školit, tak testovat studenty pro všechny úrovně vzdělávání (a zapomenout na testy s více odpověďmi a na další zkoušky prověřující pouze paměť; co zavést můj oblíbený typ zkoušek, tj. eseje?). Toho se dá nejlépe dosáhnout vyučovacím přístupem založeným na studijních výsledcích („co dělají studenti“), přičemž konstruktivní propojení je dobrý, ale nikoli jediný postup.

Má asi smysl začít co nejdříve, jelikož získat dovednosti spojené s vyššími úrovněmi vzdělání může nějakou dobu trvat (mně to zabralo roky). Abychom se zdokonalili, potřebujeme rovněž vědět, nakolik dobře si vedeme jakožto vyučující i jako univerzity. Mohli bychom nicméně hodnotit kvalitu výuky a pedagogů méně na základě dojmů studentů („co dělá vyučující“) a více na základě jejich skutečných studijních výsledků („co dělají studenti“)? Možná prostřednictvím posuzování esejů jiným pedagogem. Možná prostřednictvím kalibrovaného recenzního řízení. Dokonalé řešení pro hodnocení výuky či pedagogů je třeba teprve nalézt, zatím ho nenašli nikde na světě. Zvládneme tento úkol?

Překlad Jana Olivová. Článek je mírně upravenou verzí textu publikovaného na webu Vesmíru 14. července 2021.

Original English version:

How can we reach teaching excellence?

How do you know you have done a good job? If you are familiar with neuro-linguistic programming (or if you are a student I had the pleasure to teach), you will recognize here a typing question [1]. People typically reply either “I know I did so. It fits my standard” (internal frame of validation) or “people/my boss/students/statistics told/showed me I did a good job” (external frame). What are you? While there is no good or bad answer, this question becomes tricky as a teacher.

Disclaimer: surprisingly, it seems that offending people is not a good way to stimulate a constructive dialogue, and is instead a great means to polarize opinions [2]. Because the topic in this piece is dear to my heart, my goal is more than ever to work together, and therefore I promise not to offend anyone (intentionally, that is).

How do we know we do a good job as teachers? Should we simply follow the method we think is right, independently of the effect on student learning? Or should we instead be only focused on what students tell us work for them? Should we aim at the students liking the topic (or us) or should we only make sure they learn, independently of their pleasure in doing so? Is student pleasure to learn actually linked to their learning outcomes? Is the degree of learning perceived by students a good indicator of their actual learning? How do we measure student learning anyway? And finally, what do we do to improve our teaching, and what does improving our teaching mean in the first place? If you are a teacher, all these questions have certainly crossed your mind. There is obviously no easy answer to these, but let us not get discouraged to seek one thing: providing the best education we can and improving it, trial after trial. This piece reflects on ways to reach teaching excellence in higher education, and how to evaluate its quality, both as persons and institutions.

Student evaluations are not enough

In most countries in the world, as in the Czech Republic, universities have found a one-size-fits-all solution to answer the question “are we doing a good job at providing excellent education?”: student evaluations. Courses and teachers are evaluated by the students at the end of the semester/year. This solution is understandable: this is a relatively time and cost-effective way to address a crucial question for a university. This also may provide useful feedback for the teachers themselves. Nevertheless, several studies [3, 4] have raised an important issue: the correlation between student evaluations and their learning outcomes is pretty weak. In other words, how well students evaluate a course/teacher does not tell much about whether they actually learned what they were meant to. This came to me as disturbing news and yet, not really as a big surprise. Indeed, many factors may bias the way students evaluate a course and/or its teacher: the difficulty of the topic, size of the class, or even gender bias, as women teachers seem less well rated than their male colleagues [3, 4]. I do not even mention that the pool of students taking part in the evaluation is biased [5]. These studies therefore called for implementing other ways to evaluate the quality of courses and teachers. How then to measure whether a course or teacher achieved their purpose?

Before answering this tricky question, one needs to clarify a few things: what do we actually mean by “learning”? That may seem trivial, but there is more than meets the eye. Also, what is actually the purpose of a course and its teacher? Answering this question requires to touch an important topic: the philosophy of teaching. As with different teaching philosophies come different teaching goals. Only after going through these points, we can consider how to improve the teaching quality in universities, which includes how we evaluate such quality.

On learning

Intuitively, we probably all have a vague idea of what “understanding” a topic means. But if we want to implement teaching strategies to provide the best possible education, we need to precisely know what the learning process entails. Luckily, this has been the subject of psychology and pedagogy research for decades [6].

One of the well-established concepts resulting from this research is Bloom’s taxonomy of learning [6]. In short, this taxonomy hierarchizes different levels of learning, from the simplest task to the most complex and demanding one.

Bloom’s taxonomy of learning [6].

You may have never seen this taxonomy, and yet, if you are an academic, you intuitively know that all these levels of learning are required to make a good scientific article, for example. How do we assess students’ level of learning then? Having this taxonomy in mind, we can identify which type of exam assesses which level of learning. Here is an example: “identify this plant species and describe its ecology”. This exam tested for the first two levels of learning only: “remember” and “understand”. Similarly, multiple-choice questions (MCQs) test only for the most basic level of learning, i.e. “remembering”. This is the reason why leading figures in pedagogy proscribe the use of MCQs: certainly, MCQs make the work of the evaluator easier when there are 100s of students; however, if MCQs or similar low-level tests are used across the whole curriculum, this produces students that can “remember”, but for whom we do not know their abilities for higher orders of learning. And yet, when these students become doctoral students, they are suddenly expected to be able to write scientific articles, which requires all levels of learning. The problem is that they have not been trained/tested for such skills. 

This is perhaps a strength of the French education system, what makes the French famous for their “critical thinking”: from high school onwards, students are evaluated via essays. By essay, I mean a work of several pages which supports a well-argued stand, and is structured with an introduction, arguments with examples, and a conclusion. Not far from a scientific article in a way. For example, at the end of high school, students have to pass a final exam for each course (biology, maths, philosophy…). Presented with a question such as “What is the point of explaining a work of art?” (2019 philosophy national exam), the students have to write an essay. Such essay is actually a very good way to evaluate all levels of Bloom’s taxonomy: the students have to use all of them, from “remembering” (philosophy concepts learned during the year) to “create” (writing a structured essay ending with a stand, a conclusion which is personal to the students, based on their knowledge and reflections that they developed along the essay). Easy, huh? Well, I miserably failed at that exam.

Anyway, the essay as an exam becomes the norm in French universities, at least for biology (what I took). This can be scary to students; at least the ones I tortured with essays told me so. Why scary? Well, the “create” part is scary: one needs to take a stand, without knowing if it is the “right” one or not. And “being wrong” seems a very scary thing for students. To have a no-blame culture during the class is thus crucial if we want students to take the risk of making mistakes. Another crucial point: if we want to keep students motivated, it is shown that we need to give them ambitious yet achievable challenges [7]. Not ambitious enough? The students get bored. Too ambitious? The students get discouraged. And as a student, I actually loved these essay exams: I saw them as ambitious challenges, as it was finally time to show I could do more than just vomit knowledge I was fed, so to speak, to show I was able to think for myself. And yet, these challenges remained achievable (given that the student I was, more interested in gothic rock than biology, studied enough to master Bloom’s “remember” level, of course).

Another thing made these challenges achievable: training. Before the final exam, the course would include learning activities to improve every level of Bloom’s taxonomy, from acquiring theoretical knowledge to producing work requiring higher order of learning. This congruence between learning activities and assessment of students’ skills, both aligned towards intended learning outcomes, has been extensively theorized and applied under the name “constructive alignment” [7], and is one of the “learning outcome-based” teaching strategies. Constructive alignment is used in universities in Sweden, where I spent some years.

A shift to learning outcomes-based teaching and to “what students do”

We all strive for education excellence, but what does such excellence depend on? Constructive alignment has a special answer to this question (7), but let us examine what sort of answers exist, each of them relying on different teaching philosophies. Importantly, from each of these philosophies stem different ways of evaluating the quality of courses and teachers.

“What students are”. This is not a secret for anyone: students enroll for different reasons, with different levels of engagement, different natural inclinations for certain skills. Some may want a well-paid job, some do not know what else to do, and few others are natural scholars and interested in academic learning per se. The “what students are” approach to teaching is simple: some students are “good/motivated” (= the natural scholars), and the job of the teacher is to find those. If the other students cannot follow a course, it is not a big problem or even, “losing them” is the goal. I recently had an extremely brilliant student, able to think and solve problems way faster than I could during class time. However, writing essays appeared to be an excruciating task for her. Not the “natural scholar” type. The kind that would be discarded with the “what students are” approach. This approach does not change the status quo: the “natural scholar” students would make it without teachers, as they are intrinsically motivated to learn. As about all the others, they would leave university with the same level of engagement and skills as they entered. With this teaching approach, how are student evaluations considered? Well, a course/teacher being rated bad is actually a good sign: “This course is not for everyone, only for the good ones.” Excellence here is a synonym of being selective, and is the tree that hides the forest: “look at this brilliant student, our teaching is working for the good ones”.

“What the teacher does”. In this approach, the teacher focuses on what he/she can do to improve the quality of education provided, how to make the message clear, or how to motivate students, by varying the content of lectures, learning communication techniques… Compared to the previous approach, it is certainly a great step forward as the teacher spends time and efforts in improving his/her way of teaching. This approach is rewarded by the student evaluations: if the course and teacher are liked by the students, because thanks to the improvement efforts, the teacher explains clearly, is engaging etc., this must mean that the learning is good. Nevertheless, this approach to teaching does not focus on monitoring whether the students reached learning in all levels of Bloom’s taxonomy, and therefore a student evaluation of a course/teacher scoring high does not mean that the students really learned what they were supposed to.

“What students do.” This approach is focused on the end result: the learning outcome. It therefore consists of 1. setting intended learning outcomes; 2. designing teaching activities for students to reach the intended learning outcomes; 3. assess (exam) whether the students reached the intended learning outcomes at the end of the course. The learning activities consist of students performing tasks matching each level of Bloom’s taxonomy. Why is action important? Simply, it is the only thing measurable. What a student thinks is not, we cannot read minds. With courses where students act rather than listen, the students can evaluate whether they are progressing (self-assessment being more fruitful for learning [7]) and the teacher can do so too. Also, higher levels of learning in Bloom’s taxonomy imply active tasks. With “knowledge transfer” (PowerPoint lecture), students never practice the “create” level of learning. Engaging students also keeps them motivated, including the ones that would be lost with other approaches. As mentioned above, giving achievable challenges to students is an efficient way to motivate them, and learning activities up to the highest levels of Bloom’s taxonomy are challenging, yet achievable if we take the time to bring the students there. Indeed, achieving excellence here means a strategy of teaching for deep learning, but this takes time. Consequently, because more time is spent on “climbing” levels of learning, it means to a certain extent sacrificing on the number of topics “covered”. It comes to an important point: do we want students to be living encyclopedias, containing a lot of raw information accessible on demand, or do we instead want them to be able to process this information and produce new ideas? Google is now taking over the encyclopedia role, while making sense of such information is, for now, still better done by humans than Google.

Certainly, the “what students do” approach relies on “what the teacher does”, as it requires the teacher to constantly monitor whether the teaching activities serve the intended learning outcomes and adjust them accordingly, but it goes beyond that, as it aims at the “end product” (= what students do) rather than the process to reach so (= what the teacher does). And this is precisely the blind spot of student evaluations of courses/teachers: as explained above, they evaluate only what the teacher does (clarity of lectures, etc), and not whether the intended learning outcomes are reached by the students.

The need to evaluate learning outcomes instead of students’ impressions. How to do so?

Everyone will agree that we need to know how well we perform at educating students. However, student evaluations of courses/teachers as they are now only assess the quality of what the teacher does, and while it is necessary, it is not enough: we need to know if what we do as teachers leads to students reaching the intended learning outcomes.

How to do that? Well, first of all, we teachers need to set intended learning outcomes. Courses, where we set intended learning outcomes that span all the levels of Bloom’s taxonomy, are important for our students to reach deep learning of the topics we teach them.  

Then, successful, high-quality education means a maximum of students reaching the intended learning outcomes (again, = deep learning spanning Bloom’s taxonomy). How do we know if we manage to do so as teachers? Well, I do not have a perfect solution. Certainly, when we test students, this is what we do. But obviously, as we teachers design the course AND judge if the students reach intended learning outcomes, we face a conflict of interests. So we cannot use student results at the exam to evaluate if we did a good job at teaching them. What about having the students tested by another teacher? We could imagine pairs of teachers that would agree on the intended learning outcomes prior to the start of the course, and one teacher would teach and the other would test the students. The second teacher could be from a different university to reduce conflicts of interest at maximum. Essays as the form of exam would ensure that one exam assesses all levels of Bloom’s taxonomy of learning.

Perhaps, another more doable way to evaluate if we did a good job at teaching would be to use the student results at the final exam, but such exam would be done with a process called calibrated peer review. In brief, instead of the teacher testing the students, such examination is done by the students themselves (they assess each other, anonymously), after they get trained on how to evaluate if learning outcomes are reached or not. This has the advantage to remove the conflict of interests of the teacher being judge and designer of the course. This way, we could base the evaluation of courses/teachers on an average between students’ impressions (the current evaluation) and their success in reaching learning outcomes (from the results of their final exams done with calibrated peer review). What do you say?

In conclusion

What about having only courses that aim at providing all levels of learning up to higher orders? That would mean both training and testing the students for all levels of learning (and forgetting about MCQs and other “memory-only” exams; what about introducing my favorite type of exam, i.e. essays?). Doing that is best achieved with a learning outcome-based teaching approach (“what the students do”), and constructive alignment is a good one - but not the only one. And starting as early as possible may make sense, as acquiring skills related to higher levels of learning may take time (it took years for me). Also, for the sake of improvement, we need to know how well we perform as teachers and as universities. Nevertheless, could we evaluate the quality of courses/teachers less based on students' impressions (“what the teacher does”) and more on their actual learning outcomes (“what the students do”)? Maybe via some inter-teacher examination of essays. Maybe via calibrated peer review. A perfect solution for the evaluation of courses/teachers remains to be found, and has not been found anywhere in the world yet. Are we up to the challenge?