En af mine store kæpheste, når det kommer til e-learnings, er, at der nærmest altid testes med multiple-choice spørgsmål… og at disse alt for ofte ikke er særlig gode.
Men det giver faktisk ret god mening:
- Det er en af de første go-to løsning for de fleste LMS’er såvel som i Articulate og Captivate
- Vi laver ofte materialet først og dernæst spørgsmålene
- Vi bruger markant mere tid på det rigtige svar end på de forkerte
Der er dog visse problemer. For hvis formålet med dem er at træne, vil det ofte resultere i shallow processing. Og hvis formålet er at teste… tester man så overhovedet for det, man ønsker? I de bedre tilfælde testes der for at genkende det rigtige svar. I de dårligere at genkende ord fra det rigtige svar. Og i de dårligste behøver man hverken at læse eller at gætte for den sags skyld…
Men sjældent testes der for at vide det rigtige svar.
Det er heldigvis muligt at lave gode multiple-choice spørgsmål! Og det får du her 7 tips til.
1. Det rigtige svar må ikke skille sig ud
Vi bruger ofte mere tid på det rigtige svar end de(t) forkerte. Det betyder også, at det rigtige svar oftest er både længere og mere specifikt. Sørg derfor for, at alle svarmuligheder minder om hinanden i både længde og ordlyd.
I stedet for et spørgsmål a la ”vælg det rigtige svar…” kan man f.eks. lave en ”vælg det svar, der passer bedst…”. Hvis alle svar ved første øjekast synes rigtige, tvinger man brugeren til at reflektere, bruge sin viden og derved faktisk huske det bedre. Og så er det ikke længere kun at kunne genkende det korrekte svar, men også at kunne forholde sig til detaljerne deri (altså semantisk processing over strulturel).
2. Pas på med variationen
Vi kan ofte have en tendens til at sprede de rigtige svar ud på tværs af spørgsmål. Har vi f.eks. valgt D som det rigtige svar i spørgsmål 1, vælger vi højest sandsynligt ikke D som det rigtige svar i spørgsmål 2 osv.
Det betyder, at man som bruger faktisk kan bruge udelukkelsesmetoden og derfor ikke behøver at forholde sig til indholdet. Du kan derfor med rette have fokus på at ”snyde fjenden” ved at have det rigtige svar samme sted 2 gange i streg. Eller bruge shuffle-funktionen, hvis sådan en findes.
3. Alle svar skal være plausible
Svarmuligheder, som virker åbenlyst forkerte eller værre endnu decideret latterlige fordrer på ingen måde til læring… og i værste fald har de en negativ effekt, ved at det er det forkerte svar og ikke det rigtige, man husker.
Hvor finder vi vores interne læring?
- Kopirummet
- Læringsplatformen
- Outlook
Hvad opbevarer vi på SharePoint?
- Dokumentation
- Kattevideoer
- Information om vores kunder
I samme boldgade opleves det ofte, at det ikke er de forkerte svar, der er åbenlyst forkerte. Men det rigtige svar, der er åbenlyst rigtigt.
Hvor finder vi vores interne læring?
- Teams
- SharePoint
- Læringsportalen
Målet med ethvert spørgsmål må nødvendigvis være at fordre til læring eller at teste brugeren. Ikke at få dem til at trække på smilebåndet eller føle sig talt ned til.
4. Det rigtige svar må ikke optræde i spørgsmålet
Det er en klokkeklar giveaway, hvis et nøgleord i spørgsmålet optræder i det rigtige svar. Så behøver man ikke engang at læse, for øjnene skal nok nå at spotte ordet først.
Et eksempel fra et online-kursus i generativ AI, som jeg tog for nogle måneder tilbage:
What do you call an AI hallucination that occurs when fictitious information is presented as a fact?
- Prompt hallucination
- Sentence hallucination
- Factual hallucination
- Random hallucination
Her kan man altså med det samme matche ”fact” med ”factual”, eller ”fictitious” med sit modstykke ”factual”. Jeg behøvede ikke engang at læse de 3 øvrige svarmuligheder.
5. Undgå “alle” og “ingen af svarene”
Ikke bare kan denne type spørgsmål være både forvirrende og misvisende. De er faktisk også oftest det korrekte svar.
En undersøgelse viste, at enten ”none of the above” eller ”all of the above” er korrekte 52 % af gangene. Så ved konsekvent at vælge en af disse får man en 90 % bedre hitrate end ved at gætte tilfældigt (matematikken nedenfor i kursiv).
Hvis der er 5 svarmuligheder, vil baseline ved random guessing være 20 %, og 25 % ved 4 svarmuligheder osv. Er der 10 spørgsmål, hvor halvdelen har 4 svarmuligheder og den anden har 5, vil baseline altså være 22,5 %. Ved konsekvent at gætte ”all of the above” eller ”none of the above” vil man få rigtigt svar 42,75 % af gangene modsat de 22,5 % ved tilfældige gæt… eller med andre ord en 90 % forbedring. (Jeg er ikke matematiker!)
6. Giv feedback
Feedback er alfa og omega, da det kan give en dybere forståelse for, hvorfor man svarer forkert… eller rigtigt for den sags skyld.
Hvis spørgsmålene (som gennemgået ovenfor) ikke fordrer til læring… så kan feedbacken i det mindste gøre det. Og hvis man alligevel har taget sig tid til at lave gode spørgsmål, så bør man også yde det sidste på at give good feedback.
Jeg sørger altid for, at man også ved rigtigt svar stadig har mulighed for at læse feedbacken på de forkerte svar. Min personlige holdning er, at selvom jeg svarer rigtigt, er det også rart at vide, hvorfor de forkerte svar er forkerte. (Om brugerne så rent faktisk læser den, har jeg desværre ikke nogen data på.)
7. Få andre til at teste spørgsmålene
Et af mine yndlingsbegreber, Curse of Knowledge, beskriver vores manglende evne til intellektuelt at sætte os i andres sted, som ikke har den samme viden. Det betyder, at vi kan være slemme til at lave formuleringer, som giver rigtig god mening for os, men som måske kan være rent volapyk eller i hvert fald ret forvirrende for andre.
En anden ting er, at vi ofte kun tester de rigtige svarmuligheder og glemmer at teste de forkerte.
Sørg derfor for at få andre til at afprøve spørgsmålene. Gerne folk uden for dit team, som ikke har nogen aktier i materialet. Dette er et af vores faste principper… at få en af slutbrugerne til at teste et MVP (minimal viable product).
Okay, de sidste 2 havde ikke specifikt noget med multiple-choice spørgsmål at gøre… men de er stadig vigtige!
Har du selv nogen gode tips til at skrive multiple-choice spørgsmål, så del dem gerne i kommentarfeltet nedenfor 👇
Et par brugbare kilder:
- https://www.businessinsider.com/4-ways-to-outsmart-any-multiple-choice-test-2015-6?r=US&IR=T
- https://www.td.org/magazines/td-magazine/true-or-false-your-test-questions-could-use-some-improvement
- https://kodosurvey.com/sites/default/files/2018-10/Determining%20and%20optimizing%20the%20impact%20of%20T%26D.pdf
Skriv et svar