Denne siden er ment som en hjelper for deg som ønsker å komme i gang med å skrive gode eksamensspørsmål. Den presenterer teorien i bunn, viser riktig formatering av ferdige oppgavesett og går igjennom spørsmålstypene vi bruker på eksamen.
Viktige eksamensteoretiske betraktninger
Content validity
...vil si at eksamen faktisk prøver det vi vil at studentene skal lære av studiet - fortrinnsvis presist reflektert i læringsmålene.
Lag mange nok spørsmål
For å få god bredde i spørsmålene har en firetimers digital eksamen typisk rundt 100 spørsmål.
Hvordan øke content validity?
- lage brede multimorbide kasus (som jo mer og mer tilsvarer virkeligheten legene møter)
- hvis det er sentralt stoff som ikke dekkes av kasuistikkene kan dette inkluderes som frittstående spørsmål i en egen del
- en test med adekvat bredde er viktig for å unngå at studenter slipper ut i arbeidslivet med potensielt farlige kunnskapshull
Sampling validity
...vil si at antallet spørsmål innen ulike tema tilsvarer tyngden fagene har i studieplanen.
En nøkkel til god sampling validity er å lage en mal for hvordan eksamens oppbygning bør være. Malen bør settes opp som en tabell som viser antall spørsmål per fagområde, kognitive nivå osv. Tabellen brukes underveis i eksamensarbeidet for å sørge for riktig fordeling – og dermed validitet på eksamen. Tabellen bør inkludere:
Fordeling på fagområder
- Antall spørsmål fra de ulike fagområdene, eventuelt underområder av fagene
- Til kliniske eksamener - antall spørsmål fordelt på kliniske, parakliniske og basale fag
Fordeling på ulike kognitive nivå
- Spørsmål som tester faktakunnskap
- Spørsmål som tester anvendelse av kunnskap - resonneringsevne
Generelt er det en utfordring å lage flere spørsmål som viser anvendelse av kunnskap.
Oppgaverammer for kliniske kasuistikker
Her rulles en sykehistorie ut gjennom flere deler hvor studentene for hver del får nye kliniske opplysninger fulgt av relevante spørsmål. Når studentene leverer inn en deloppgave sendes de videre i oppgaven uten å kunne gå tilbake.
For hver ny del av kasuistikken gis fasitsvar på de mest sentrale spørsmål i den forrige delen, nye opplysninger og nye spørsmål. Ved å gi fasiten trekker man studenten inn til hovedsporet i beslutningstreet og unngår følgefeil.
Oppgaverammer for basalfag
I basalfagene kan kliniske kasuistikkrammer bli kunstig, men det kan ofte settes en tematisk ramme for en oppgave, eller deler av oppgaven. En løsning kan være å bruke en del av oppgaven til frittstående spørsmål fra faget. Utfordringen blir da å allikevel lage gode spørsmål som tester resonneringsevne.
Bruk av bilder
Hvorfor bruke bilder?
Medisin er et veldig visuelt fag, og bilder kan med stor fordel brukes både i oppgaverammen og i spørsmålene. Det krever imidlertid litt ekstra omtanke å forberede bilder til eksamensbruk.
Bilderettigheter
- Anonoymt materiale (materiale som ikke kan identifisere en pasient) som faglæreren stiller med og som det ikke er knyttet noen eksterne rettigheter til, kan vi bruke uten videre. For eksempel rtg, ekg og histologiske snitt.
- Identifiserende pasientmateriale må vi ha fullt samtykke fra pasienten til å bruke. Personer på bildet må samtykke til bruken av bildet. Samtykkeskjemaet som er utviklet for e-læringsformål kan brukes om man ikke har noe annet. Bilder må anonymiseres, det vil si ikke inneholde pasientinformasjon eller være av en karakter som kan identifisere pasienter.
- Materiale fra eksterne kilder som er belagt med "åpne" rettigheter, for eksempel passende Creative Commons rettigheter, kan vi bruke så lenge vi refererer til kilder og rettighetene.
- Materiale som andre har rettigheter til og som ikke er "åpnet", må vi innhente tillatelse til å bruke, samt oppgi kilde og rettigheter.
- Hvis bildet er fra en lærebok eller en annen kilde som ikke er Open Acess-kilde må man innhente tillatelse til å bruke det i eksamensoppgaven.
I størst mulig grad bør man tilstrebe seg å bruke bilder fra Open Acess-kilder, eller bruke bilder man eier selv. Der kilder må oppgis må oppgaveskriver huske å inkludere referanse når spørsmålene sendes til kommisjonen.
Krav til bildene: format og størrelse
Send inn bildene i riktig størrelse og i JPEG-format. Bildene må ha RGB fargekoding. Det er ikke gitt at et bilde som ble sendt inn for trykk i en lærebok kan brukes i samme format som en del av eksamensoppgavene. Redigering av format kan lett ordnes i Photoshop og lignende bildebehandlingsverktøy. Dersom du ikke behersker det, kan du få bistand.
For hvert bilde må man gjøre to vurderinger når det gjelder størrelsen. Begge vurderingene har en medisinskfaglig basis slik at det er oppgaveskriveren som må gjøre dem.
PC-ene i eksamenslokalet er 22" og har en oppløsning på 1920x1080 pixler.
Hvor stort må bildet være for at man skal se nok detaljer til å kunne svare på spørsmålet?
Bildene behøver ikke være større enn 970 pixler brede. Det er da også viktig at kompresjonsfaktoren ikke reduseres i forhold til utgangsverdien. Det kan medføre at ytterligere detaljer går tapt. Reduser bildet i Photoshop. Det er nytteløst å forsøke å gjøre bildene større enn de er i utgangspunktet - det tilfører ikke noen ny informasjon.
Ta også noe hensyn til nettverkskapasiteten et stort bilde trenger - når det lastes ned av mange studenter samtidig. Bilder i størrelsesorden 1 MB er uproblematiske.
Hvor stort skal bildet være på skjermen i utgangspunktet?
Bildet bør være lite nok til at spørsmålet er oversiktlig på skjermen og blir greit å arbeide med. Oppgi enten hvor bredt eller høyt du vil at bildet skal være, så setter vi dette som en utgangsstørrelse.
Dersom studenten vil se detaljer, kan man zoome inn i bildet ved hjelp av tastekombinasjonen CTRL + og få mer og mer detaljer inntil alle pixlene i bildet vises (dvs. størrelsen du valgte under punktet ovenfor).
Formatering
Tittel på oppgavedokumentene
Oppgavedokumentene skal navngis etter følgende regel:
- «Emnekode-deleksamennr»_oppgavenr eller oppgavenavn_semester+år_ord eller kont.
For eksempel:- MED1100-3_OPPGAVE1_V16_ORD eller
- MED3300-2_PATOLOGI_V17_ORD
- Dersom oppgaven skal ha navn fra flere fagområder skal de settes opp med bindestrek.
F.eks. MED3300-2_mikrobiologi-venerologi_V17_ORD
Nummerering
I dokumentene kommisjonen jobber må alle spørsmål nummereres slik: oppgavenummer.deloppgavenummer.spørsmålsnummer, slik at f.eks. det 4. spørsmålet i deloppgave 3 i oppgave 1 får nummeret 1.3.4.
Det kan være lurt å vente med nummerering til oppgaverekkefølgen er bestemt.
Riktig nummerering forebygger feil både under innleggingen i eksamenssystemet og under sensuren.
Opprett deloppgaver
Marker klart starten på ny deloppgave.
- Lag ny deloppgave når:
- du kommer til et punkt hvor følgefeil kan oppstå dersom studentene ikke får fasit på de foregående spørsmålene,
- eller hvor en spørsmålstekst avslører svaret på et tidligere spørsmål.
- Skriv bare det som er nytt i sykehistorien (eller tilsvarende) i hver deloppgave samt fasiten på de viktigste spørsmålene i forrige deloppgave. Skriv det i fet skrift. Innlegger akkumulerer automatisk sykehistorien fra deloppgave til deloppgave.
Benevning av referanseområder og medikamenter
- Det heter referanseområder eventuelt referanseverdier, ikke normalverdier
- Oppgi referanseområde for alle laboratorieprøver
- Bruk OUS sine referanseområder i oppgavene og vær oppmerksom på at disse kan være ulike avhengig av kjønn og alder
- Bruk norsk tegnsetting (f.eks. desimalkomma) i norske oppgaver
- Benevningen er for eksempel nmol/L bruk stor L
- Oppgi generisk navn på medikamenter
- Temperatur oppgis med oC bak, eks. "Temperaturen til pasienten var 38,2oC"
Inkludér fagområde
På eksamener der spørsmålene kommer fra flere fagområder, og der det er ønskelig at disse skal sensureres etter fagkategori, er det viktig at spørsmålene merkes med fagområde i dokumentet som sendes til fakultetet for innlegging.
Dette gjøres foran hvert spørsmål, f.eks. 4.1.1 (MC) Etikk, eller 4.1.2 (MC) Allmennmedisin.
Eksempeldokument
For å se hvordan et ferdig dokument ser ut når det sendes til fakultetet for innlegging kan du laste ned dette eksempeldokumentet. Dette oppgavesettet er offentliggjort som treningssett.
Formatering av enkeltspørsmål er forklart under hver spørsmålstype lenger ned på siden.
Spørsmålstyper
Valg av spørsmålstype
Vi bruker 4 ulike spørsmålstyper i oppgavene. Du kan bruke både flervalgsspørsmål der ett eller flere svaralternativ skal velges, og kortsvarspørsmål hvor studenten normalt skal besvare med ca. 1-10 setninger.
Ofte kan et spørsmål stilles ved hjelpe av flere av de spørsmålstypene vi bruker. Valget må da baseres på en pedagogisk vurdering. Valg av best egnet spørsmålstype er et tema eksamenskommisjonen kan diskutere.
Poenggivning
Alle oppgaver i settet teller 6 poeng. Hvert spørsmål gir dermed maksimalt 6 poeng. Ved feil eller manglende svar får studenten ikke poeng (null poeng). Det gis ikke trekk i poeng (i form av minuspoeng) ved feil svar på noen av spørsmålstypene.
Essay
Definisjon
- Spørsmål som skal besvares med korte svar i fritekst – vanligvis fra 1 ord til 10 linjer.
- Siden det ikke gis noen hjelp i form av svaralternativ, slik det gjøres på flervalgsspørsmålene, må spørsmålet formuleres svært presist for å unngå flertydighet.
- Forventet omfang på svarteksten bør oppgis i eller etter spørsmålet.
- Tekstboksen hvor studentene svarer på spørsmålet er 100 tegn bred. Det betyr at 1 linje tilsvarer 100 tegn.
Sensur
- Svarene sensureres manuelt.
- Kommisjonen lager en sensorveiledning som produseres sammen med spørsmålet.
- Sensorveiledningen definerer hvordan spørsmålet skal scores, og angir hva som skal være poenggivende. Som et minimum defineres hva som regnes som et halvgodt svar (3 poeng), og et fullgodt svar (6 poeng). Det kan ikke deles ut halve poeng.
Formatering av essayspørsmål
- Marker at dette er et essayspørsmål ved å skrive (E) over spørsmålet.
- Oppgi etter spørsmålet hvor langt du mener et fullgodt svar maksimalt bør være - med god margin, for eksempel: maksimum 3 linjer.
- Studentene ser da en tekstboks på eksamen som er tiltenkt et svar på 3 linjer. Det er imidlertid teknisk mulig for studentene å skrive mer enn boksens størrelse - da får de mulighet til å scrolle nedover for å se hele teksten de har skrevet.
Fordi essayspørsmål sensureres manuelt er det viktig at den som lager spørsmålet produserer en god sensorveiledning som beskriver kravene til poenggivning:
- Det gis vanligvis 3 poeng for halvgodt svar og 6 poeng for fullgodt svar.
- Det gis 0 poeng ved feil eller manglende svar.
- Et minimum er å beskrive hva som skal til for å få 6 poeng og 3 poeng.
- For å sikre best mulig sensurreliabilitet bør sensorveiledningen være forholdsvis detaljert på hva som gir poeng og ikke.
- Bilder kan ikke legges inn i sensorveiledningen. Ved bruk av tabeller og lignende for utregninger/forklaringer må dette skrives som tekst.
Eksempel på hvordan et essayspørsmål settes opp i Word før det legges inn i QP:
Eksempler fra QP
Slik ser det ut på skjermen til studentene i eksamenslokalet:
Multiple choice
Definisjon
- Avkryssingsspørsmål hvor det bare skal og kan avgis ett svar.
- Studenten får typisk 4-6 svaralternativ (distraktorer) hvorav ett er riktig.
- Antallet alternativ er en balanse mellom sannsynligheten for å få rett svar ved ren gjetting (1/n) og muligheten for å finne gode svaralternativ.
Sensur
- Svarene rettes automatisk.
Historikk
- Denne spørsmålsformen er basis for de amerikanske eksamenene i regi av National Board of Medical Examiners (NBME), og det er en hel vitenskap om hvordan man skriver gode MC-spørsmål.
- NBME har laget en ganske stor, men svært lesverdig skriveguide.
- Noen eksempler:
- Alternativene må være unidimensjonale, dvs. at man ikke skal blande f.eks. behandling og diagnose, men holde seg til en av dem.
- Det riktige alternativet må ha tilstrekkelig avstand fra de andre til at det ikke kan reises tvil om riktigheten. Samtidig må de andre alternativene ikke være banale.
- Mange synes at MC-spørsmål egner seg best til fakta-prøving og at det er vanskelig å skrive spørsmål som i større grad utfordrer studenten til resonnering. NBME klarer etter egen mening dette utmerket, så det kan være verdt å lese skriveguiden deres.
Formatering av multiple choice-spørsmål
- Marker at dette er et multiple choice spørsmål ved å skrive (MC) over spørsmålet.
- Etter spørsmålsteksten oppgir du ett svaralternativ per linje og skriver det riktige svaret i fet skrift.
Eksempel på hvordan MC-spørsmål settes opp i Word før det legges inn i QP:
Eksempler fra QP
Slik ser det ut på skjermen til studentene i eksamenslokalet:
Pull-down
Definisjon
- I prinsippet en samling av multiple choice spørsmål som har en felles innledningstekst (hovedspørsmål) og felles svaralternativ.
- Svaralternativene framstilles ikke som trykknapper, men som nedtrekksmenyer der man bare kan velge ett alternativ.
- Vurderingene for utformingen av multiple choice spørsmål gjelder også for pull-down.
- I pull-down spørsmålene kan alle delspørsmål gi poeng. Om svaralternativene for eksempel er JA og NEI, vil både korrekte JA-svar og korrekte NEI-svar gi poeng.
- Ideelt sett bør man lage nedtrekksmenyer ned flere enn to alternativer å velge mellom for å unngå 50 % sjanse for rett svar ved ren gjetting.
Sensur
- Svarene rettes automatisk.
Spesielle hensyn ved bruk av pull-down spørsmål
Det er altså ikke mulig å "helgardere" seg fram til full poengsum. Man må være oppmerksom på at et ubesvart delspørsmål ikke har noe implisitt svar, men gir 0 poeng. Det fordrer visse hensyn under oppgaveskrivingen.
Det følgende spørsmålet, som hadde ja/nei svar, ble tolket av noen studenter slik at de kun behøvde å svare på de riktige alternativene og at de andre underforstått var "nei":
Hvilke to av de følgende blodprøver vil du være spesielt interessert i med tanke på eventuelle bivirkninger av simvastatinbehandlingen?
Spørsmålet burde heller vært formulert slik:
Hvilke av de følgende blodprøver vil du være spesielt interessert i med tanke på eventuelle bivirkninger av simvastatinbehandlingen? Svar på alle alternativene.
En annen sak er hvorvidt man skal oppgi antall rette svar. Det avhenger av hvilken vanskelighetsgrad man tilstreber, og det er en del meningsforskjeller blant lærerne om dette.
Formatering av pull-down spørsmål
- Marker at dette er et pull-down spørsmål ved å skrive (PD) over spørsmålet.
- Etter spørsmålsteksten oppgir du først delspørsmålene, ett per linje, etterfulgt av riktig svar.
- Deretter oppgir du alle svaralternativene, ett per linje.
Eksempel på hvordan PD-spørsmål settes opp i Word før det legges inn i QP:
Eksempler fra QP
Slik ser det ut på skjermen til studentene i eksamenslokalet:
Multiple response
Definisjon
- Avkryssingsspørsmål hvor flere enn ett svaralternativ kan være riktige.
- Ved bruk av multiple response oppgis hvor mange svaralternativ som er riktige i spørsmålsteksten, og vi hindrer at det kan krysses av på flere alternativ.
- Vi gir poeng for riktige svar og ingen fradrag for feil svar.
- Det må være minst like mange gale som rette alternativer for at det ikke skal bli for mange gratispoeng. Aller helst skal det være flere gale alternativ enn rette alternativ for å unngå 50 % sjanse for rett svar ved ren gjetting.
- Hvis det er problematisk å gjøre dette kan det tenkes at spørsmålet egner seg best som pull-down der studenten må svare Ja/Nei, eller Riktig/Galt på hvert alternativ.
Sensur
- Svarene rettes automatisk.
Formatering av multiple response-spørsmål
- Marker at dette er et multiple response spørsmål ved å skrive (MR) over spørsmålet.
- Husk å oppgi i spørsmålsteksten hvor mange svaralternativer som er riktige. Vi begrenser da avkryssingsmulighetene tilsvarende.
- Etter spørsmålsteksten oppgir du ett svaralternativ pr linje og skriver de riktige svarene i fet skrift.
Eksempel på hvordan MR-spørsmål settes opp i Word:
Eksempler fra QP
Slik ser det ut på skjermen til studentene i eksamenslokalet:
