Innledning
Innenfor en seksårsperiode skal det foretas en evaluering av helheten i hvert program. Formålet med evalueringen er å vurdere kvaliteten på programmet og mulighetene for videreutvikling av programmet.
Periodiske programevalueringer for flere program kan gjøres samtidig. På ph.d.-nivå kan evalueringen gjennomføres for studieretninger innenfor et program.
Kvalitetssystemet bruker ordet "programeier" om enheten som er ansvarlig for et studieprogram. Dette kan være både et fakultet eller et institutt, avhengig av hvordan programporteføljen er organisert. Noen oppgaver kan også ligge hos programmet eller fagmiljøet, avhengig av hvordan evalueringen legges opp.
Tema for evalueringen
Evalueringen skal minst omfatte de følgende punktene:
- sammenhengen mellom læringsutbytte, faglig innhold, undervisningsformer og vurderingsordninger
- læringsmiljø
- arbeidslivsrelevans
- internasjonalisering
- infrastruktur
- studentenes eller ph.d.-kandidatenes gjennomføring
Programeier kan legge til tema for evalueringen.
Tidsbruk og planlegging
Periodisk programevaluering foregår i ulike faser:
1. fase: Programeier finner en saksbehandler som starter arbeidet med å
- skrive egenevalueringen
- samle inn materialet som panelet skal motta
Programeier og saksbehandleren må dessuten
- bestemme antall panelmedlemmer og hvor mange timer de skal honoreres/frikjøpes for
- fastslå når panelets arbeid kan starte, det vil si når egenevalueringen og materialet ventelig vil være klare til utsendelse
- finne medlemmer av panelet når man vet antall timer man vil honorere/frikjøpe for og tidspunktet for når materialet er klart til utsendelse
- få panelet godkjent og inngå skriftlig avtale med panelmedlemmene
Skjer dette arbeidet parallelt med saksbehandlerens andre løpende oppgaver, bør det erfaringsmessig settes av rundt tre måneder til materialinnsamlingen og egenevalueringen.
2. fase: Materialet er hos panelmedlemmene. Varigheten av denne fasen bestemmes særlig av de beskjeder de vitenskapelige medlemmene av panelet har gitt om hvor mye tid de trenger.
3. fase: Panelmedlemmene utarbeider / kommer med innspill til rapport og rapporten ferdigstilles. Hvis ikke panelet er svært uenig, kan denne fasen ta 2-4 uker.
Avslutning: Når prosessen er over, skal panelmedlemmene honoreres/frikjøpes.
Saksbehandlerstøtte
I løpet av den periodiske programevalueringen vil det typisk være nødvendig med en saksbehandler som:
- står for kontakten med panelmedlemmene
- skriver notatet med forslag til panel til programeier
- forbereder utbetaling ved honorering/frikjøp
- sammenstiller materialet panelet får tilsendt
- står for utsendelsen til panelmedlemmene
Avhengig av hvordan sekretæroppgavene for egenevalueringen og det eksterne panelet blir organisert, kan det også være nødvendig med saksbehandlerstøtte til følgende oppgaver:
- skrive egenevalueringen
- være sekretær for det eksterne panelets rapport
Samme person behøver ikke står for alle oppgavene, men det kan være en fordel for å holde orden i en prosess som det kan ta over et halvt år å føre i havn og som består av mange forskjellige arbeidsoppgaver.
Oppnevning av eksternt panel
Programeier oppretter et eksternt evalueringspanel, vanligvis etter anbefaling fra programledelsen. Panelet har normalt minst tre medlemmer, og kompetansen deres skal til sammen oppfylle de følgende kravene:
- Panelet skal ha spesialistkompetanse i programmets faglige kjerneområde(r).
- Panelet skal ha kompetanse fra undervisning og/eller forskningsveiledning.
- Panelet skal ha minst én deltaker som er student/ph.d.-kandidat.
- Panelet skal ha minst én deltaker fra arbeids- eller samfunnsliv.
Fakultets-, institutt- eller programledelsen er normalt ikke representert i panelet.
I forbindelse med oppnevningen avklares behov for sekretærbistand til panelet, eller om panelet ønsker å håndtere dette selv.
Sammensetningen av panelet
Programeier avgjør hvor mange deltakere panelet skal ha. Det vil vanligvis være behov for minst to representanter som til sammen oppfyller kravene til spesialistkompetanse, undervisningskompetanse og representasjon fra arbeids- eller samfunnsliv.
Deltakeren som er student/ph.d.-kandidat bør være en aktiv student/ph.d.-kandidat, enten fra det samme programmet eller fra et annet program ved UiO eller fakultetet. Studentrepresentanter oppnevnes vanligvis i samråd med det respektive student- eller fagutvalget.
Det er valgfritt om panelet har deltakere som er ansatt ved UiO, men minst én av deltakerne skal være ekstern.
Deltakere bør ikke være med i programrådet, fakultets-/instituttledelsen eller på annen måte være engasjert i programmets styre eller drift, men vedkommende kan ha hatt slike verv tidligere, og kan være underviser eller sensor på emner som inngår i programmet.
Tidsforløpet for den eksterne evalueringen
Det avtales med panelmedlemmene, fortrinnsvis de vitenskapelige, når det passer å gjennomføre evalueringen, dvs. når de er klare til å motta materialet og når de kan levere første tilbakemelding.
Godkjenning av panelmedlemmer
Fakultetet godkjenner panelmedlemmene. Programeier vurderer om fakultetet spørres før den foreslåtte er spurt, eller om man vil forsikre seg om vedkommendes interesse på forhånd.
Oppnevningen av panelmedlemmer dokumenteres i ePhorte i form av oppnevningsbrev, oversikter over honorar/frikjøp og eventuelle andre avtalte forhold rundt panelets arbeid.
Den direkte kontakten med panelmedlemmene står programeier og saksbehandler for.
Honorar/frikjøp til panelmedlemmene
Saksbehandleren samler de opplysninger som trengs for honorering/frikjøp og fyller ut honoreringsskjema.
Egenevaluering
Programledelsen utarbeider en egenevaluering på grunnlag av resultater, rapporter og annen informasjon som er opparbeidet i perioden siden forrige evaluering.
I egenevalueringen vurderer programledelsen temaene som inngår i den periodiske programevalueringen. Egenevalueringen skal også omfatte en kortfattet gjennomgang av kravene i NOKUTs studietilsynsforskrift.
Grunnlagsmateriale for egenevalueringen
Grunnlagsmaterialet for egenevalueringen kan omfatte blant annet:
- statistikk om opptak og gjennomføring
- tilbakemeldinger fra studenter eller ph.d.-kandidater og eventuelt ansatte
- evalueringer av emner som er obligatoriske eller som tas av mange på programmet
- møtereferater, oppfølgingspunkter mm. fra ledelsens oppfølging av programmet
Utarbeide egenevalueringen
Programledelsen er ansvarlig for at egenevalueringen blir skrevet, og innestår også for de vurderinger som kommer til uttrykk.
Egenevalueringen bør være drøftet i programrådet eller et annet organ med studentrepresentasjon enten i møte eller gjennom skriftlige innspill.
Panelet ser på programmet siden opprettelsen eller siden forrige periodiske evaluering. Et program eller en studieretning kan imidlertid være endret så mye i mellomtiden at en evaluering først er interessant fra et senere tidspunkt. Panelet bør ikke få materiale som beskriver en forlatt tilstand; da unngår man at at panelet unødvendig foreslår å endre noe som allerede er forandret. Egenevalueringen forklarer slike større endringer og beskriver tiden etter.
I dokumenter som omhandler mye mer enn det som gjelder programmet som evalueres, bør delene som er særlig aktuelt for panelet markeres. Dette kan for eksempel gjelde tilsynssensorrapporter og årsrapporter om studiekvalitet.
Ekstern evaluering
Programeier sørger for at panelet får tilgang til egenevalueringen og annet nødvendig evalueringsmateriale. Innenfor de rammene programeier har satt, organiserer panelet selv arbeidet sitt.
På bakgrunn av egenevalueringen og annet tilsendt materiale gir panelet en samlet vurdering av programmet sammen med forslag til tiltak som bør gjennomføres for å forbedre programmet. Den ferdige rapporten sendes til programeier.
Materialet panelet mottar
Panelet får tilsendt dokumenter som gir dem et godt grunnlag for å gjøre vurderingene sine. Dette kan for eksempel inkludere:
- følgebrev med innholdsoversikt og veiledning til materialet.
- eventuell mal for rapporten
- egenevalueringen av programmet
- årlige rapporter om studiekvalitet fra hele rapportperioden
- alle rapporter som trekkes fram i egenevalueringen, f.eks.
- tilsynssensorrapporter
- periodiske emneevalueringer
- studentevalueringer av programmet
- program- og emnebeskrivelser mm.:
- programbeskrivelsen(e for bachelor og master)
- ev. studieretningsbeskrivelser
- ev. fordypningsgruppepresentasjoner / presentasjoner av obligatoriske emnegrupper
- emnebeskrivelser av alle obligatoriske emner på program / studieretning / spesialisering
- emnebeskrivelse av anbefalt ex.fac.
- ev. emnegruppepresentasjoner/emnebeskrivelser av særlig populære tilbud som favner mange av programmets studenter
Panelets arbeid
Panelet organiserer selv arbeidet sitt innenfor de rammene programeier har satt. Det forutsettes ikke at panelet har møter.
Ved uenighet er det viktig å avdekke skinnuenighet som kan oppstå for eksempel ved at panelmedlemmene fra forskjellige hjemmeinstitusjoner er vant til å snakke om samme ting på ulik måte. Reell uenighet mellom panelmedlemmene skal komme til uttrykk i rapporten. Alle panelmedlemmer må mene at deres synspunkt er adekvat gjengitt.
Forslag til oppsett for det eksterne panelets rapport
Rapporten kan bestå av tre deler:
A. Navneliste
- Panelmedlemmenes navn med angivelse av stilling/ansettelsessted og ev. fagområde og sted hvis dette ikke framgår av navn på institutt/institusjon.
- For studentmedlemmet angis studieprogram.
- Instituttets saksbehandlers navn med stilling og tilsettingssted.
B. Liste over det tilsendte materialet:
- rapportmalen
- egenevalueringen av programmet
- andre dokumenter av viktighet for evalueringen
- utskrifter fra nettet av
- programbeskrivelse
- studieretningsbeskrivelser
- emnegruppepresentasjoner med tilhørende emnebeskrivelser for obligatoriske og særlig populære emner
C. Panelets synspunkter organisert etter rapportmalen
Denne delen av rapporten behøver ikke være lang. 2-3 sider er erfaringsmessig nok hvis panelet ikke har mer å si.
Rapporten sendes som N-notat i ePhorte (gjerne som hoveddokument og ikke som vedlegg til et følgebrev) på saksnummeret for evalueringen/kvalitetsarbeidet.
Oppfølging av evalueringen
Resultatene fra evalueringen følges først og fremst opp av programledelsen med støtte fra fagmiljøet og programeier, men inngår også i den jevnlige videreutviklingen av utdanningsporteføljen. Rapporten kan danne utgangspunkt for vedtak om tiltak for forbedring av programmet eller for forslag om nedleggelse.
Offentliggjøring av rapporten
Rapporten er ikke unntatt offentlighet og gjøres normalt tilgjengelig fra programmets nettside.
Arkivering
Som hovedregel skal den løpende saksbehandlingen for evalueringen dokumenteres i ePhorte.