HFs rutine for periodisk programevaluering

Innhold:
1 Hvor ofte?
2 Tidsbruk og planlegging
3 Saksbehandler for gjennomføring av evalueringen
4 Det eksterne evalueringspanelet
  4.1 Krav til panelmedlemmer
  4.2 Den eksterne evalueringens forløp i tid
  4.3 Godkjenning av panelmedlemmer
  4.4 Honorering/frikjøp av panelmedlemmer
  4.5 Kontrakt/vedlegg til utbetaling
  4.6 Antall timer det honoreres/frikjøpes for
5 Materialet panelet mottar
  5.1 Hva panelet får tilsendt
  5.2 Egenevalueringen
  5.3 Problemer knyttet til materialet panelet får tilsendt
6 Utsendelsen av materialet
  6.1 Til de vitenskapelige medlemmene
  6.2 Til studentmedlemmet
7 Panelets arbeid
8 Det eksterne panelets evalueringsrapport
  A. Navneliste
  B. Liste over det tilsendte materialet
  C. Panelets synspunkter
9 Videre oppfølging av evalueringen

1 Hvor ofte?

Minst en gang i løpet av en seksårsperiode i henhold til en plan instituttene har meldt inn. For perioden 2017-2022 har instituttene meldt inn slike startår for evalueringer:

Syklusen 2011-16

2 Tidsbruk og planlegging

Periodisk programevaluering foregår i ulike faser:

1. fase: Instituttet finner en saksbehandler (punkt 2) som starter arbeidet med å

• skrive egenevalueringen (punkt 4.2),
• samle inn materialet som panelet mottar (punkt 4)

Instituttet/programmet/fagmiljøet/saksbehandleren må dessuten

• bestemme antall paneldeltakere (punkt 3.1) og hvor mange timer panelmedlemmene som honoreres/frikjøpes for (punkt 3.6)
• fastslå når panelets arbeid kan starte dvs. når egenevalueringen og materialet ventelig vil være klare til utsendelse,
• finne medlemmer av panelet (punkt 3.1) når man vet antall timer man vil honorere/frikjøpe for (punkt 3.6) og tidspunktet for når materialet er klart til utsendelse,
• få panelet godkjent (punkt 3.3) og inngå skriftlig avtale med panelmedlemmene (punkt 3.5).

Materialet (punkt 4) sendes panelmedlemmene med en avtalt frist for innspill til rapportens innehold.

Skjer dette arbeidet parallelt med saksbehandlerens andre løpende oppgaver, bør det erfaringsmessig settes av rundt tre måneder til materialinnsamlingen og egenevalueringen.

2. fase: Materialet er hos panelmedlemmene. Varigheten av denne fasen bestemmes særlig av de beskjeder de vitenskapelige medlemmene av panelet har gitt om hvor mye tid de trenger.

3. fase: Panelmedlemmene kommer med sine innspill (punkt 6) til rapport (punkt 7) som ferdigstilles og panelmedlemmene honoreres/frikjøpes (punkt 3.4). Hvis ikke panelet er svært uenig, kan denne fasen ta 2-4 uker.

3 Saksbehandler for gjennomføring av evalueringen

Instituttets saksbehandler

• står for kontakten med panelmedlemmene
• skriver notatet med forslag til panel til fakultetet (punkt 3.3)
• forbereder utbetaling ved honorering/frikjøp (punkt 3.4)
• sammenstiller materialet panelet får tilsendt (punkt 4.1)
• står for utsendelsen til panelmedlemmene (punkt 5)
• skriver egenevalueringen (punkt 4.2)
• er sekretær (punkt 6) for det eksterne panelets rapport (punkt 7).

Samme person behøver ikke står for alle oppgavene, men det kan være en fordel for å holde orden i en prosess som det kan ta over et halvt år å føre i havn og som består av mange forskjellige arbeidsoppgaver.

4 Det eksterne evalueringspanelet

4.1 Krav til panelmedlemmer

Standardsammensetningen av et panel er

• minst én student som er student på et annet HF-program - fortrinnsvis tilbudt av et annet institutt siden de enkelte instituttene drifter sine egne programmer relativt likt. Fakultetet har pleid å be HFSU stille slike samtidig med utsendelsen av materialet, se punkt 5.2.
• minst to personer som tilsammen tilfredsstiller følgende krav 
  • Panelet skal ha spesialistkompetanse i programmets faglige kjerneområde(r).
  • Panelet skal ha kompetanse fra undervisning.
  • Panelet skal ha minst én deltaker fra arbeids- eller samfunnsliv.
• Det er valgfritt hvorvidt panelet også har deltakere som er ansatt ved UiO, men minst én skal være UiO-ekstern.
• Ingen kan delta som er med i programrådet, instituttledelsen eller på annen måte er engasjert i programmets styre/drift, men vedkommende kan ha hatt slike verv tidligere, og kan være lærer/bedømmersensor/tilsynssensor på emner som inngår i programmet.

4.2 Den eksterne evalueringens forløp i tid

Det avtales med paneldeltakerne, fortrinnsvis de vitenskapelige, når det passer å gjennomføre evalueringen, dvs. når de er klare til å motta materialet og når de kan levere første tilbakemelding. Tidsrommet fra slutten av vårsemesteret til en gang i september har ofte vist seg å passe. Erfaringsmessig må paneldeltakerne påminnes før og/eller purres etter fristene de har fått. HFSU melder inn et studentmedlem som det avtalte tidsrom passer for (se punkt 5.2).

4.3 Godkjenning av panelmedlemmer

Fakultetet godkjenner de vitenskapelige panelmedlemmene: Instituttene sender på e-post til fakultetet forslag på vitenskapelige panelmedlemmer. Instituttet vurderer selv om fakultetet spørres før den foreslåtte er spurt, eller om man vil forsikre seg om vedkommendes interesse på forhånd.

Når panelsammensetningen er avklart med paneldeltakerne og fakultetet og HFSU har meldt inn studentmedlemmet (punkt 5.2), sender instituttet til fakultetet i ePhorte på programmets saksnummer for kvalitetsrapportering et N-notat med forslag til panelmedlemmer med kort angivelse av

• hvem de er (navn, stilling, tilsettingssted, fag, programtilhørighet – jf. panelrapportens del A),
• antall timer som panelet honoreres/frikjøpes for og ev. andre avtalte forhold rundt panelets arbeid.

Fakultetet sender et svarnotat om at panelsammensetningen er godkjent.

Dette vil også tjene som dokumentasjon av alle deler av prosessen rundt panelsammensetningen og vil være til nytte ved senere evalueringer.

All direkte kontakt med panelmedlemmene står instituttet for.

4.4 Honorering/frikjøp av panelmedlemmer

Saksbehandleren samler de opplysninger som trengs for honorering/frikjøp og fyller ut honoreringsskjema.

• Studentmedlemmer honoreres etter Timelønn i laveste lønnstrinn i stillingskode SKO 1019 Vitenskapelig assistent.
• UiO-interne medlemmer frikjøpes i det lønnstrinn UiO lønner dem i.
• UiO-eksterne medlemmer honoreres etter Timelønn i det lønnstrinn de har som
  • tilsynssensor ved UiO
  • bedømmersensor ved UiO
  • i egen stilling ved et norsk lærested
  • annet (Personalseksjonen har tidligere vært behjelpelig med å finne et egnet lønnstrinn.)

4.5 Kontrakt/vedlegg til utbetaling

Som vedlegg til utbetalingen brukes

• enten kontrakt som panelmedlemmene skriver under på vanlig måte
• eller e-brevet der de gir sitt tilsagn til å delta i panelet på de gitte betingelser

4.6 Antall timer det honoreres/frikjøpes for

Fakultetet har for relativt ensartede programmer som tilbys på bachelor- og masternivå med ingen eller få studieretninger, honorert/frikjøpt paneldeltakerne for 10 timer når fakultetet har stilt med saksbehandler: Paneldeltakerne har sendt inn skriftlige innspill til rapporten, men saksbehandleren har skrevet rapporten. Ved større programmer har panelmedlemmene fått flere timer. Hvis et eller flere panelmedlemmer også skriver rapporten slik at den leveres ferdig til instituttet, økes antallet timer ytterligere for de deltakere dette gjelder. Her har fakultetet ingen presedens for antall timer.

5 Materialet panelet mottar

5.1 Hva panelet får tilsendt

Panelet får tilsendt

• følgebrev med innholdsoversikt (jf. panelrapportens del B) og veiledning til materialet der det bl.a. fremgår at panelets synspunkter organiseres etter rapportmalen.
• malen for rapporten
• egenevalueringen av programmet
• årlige rapporter om studiekvalitet fra hele rapportperioden
• alle rapporter som trekkes fram i egenevalueringen, f.eks.
  • tilsynssensorrapporter
  • periodiske emneevalueringer
  • studentevalueringer av programmet
• skrevet ut fra nettet (Alt tilsendes på papir slik at det vites hvilket materiale panelet bygger på og at alle bygger på det samme.):
  • programbeskrivelsen(e for bachelor og master)
  • studieretningsbeskrivelser
  • fordypningsgruppepresentasjoner / presentasjoner av obligatoriske emnegrupper
  • emnebeskrivelser av alle obligatoriske emner på program / studieretning / spesialisering
  • emnebeskrivelse av anbefalt ex.fac.
  • emnegruppepresentasjoner/emnebeskrivelser av særlig populære tilbud som favner mange av programmets studenter

5.2 Egenevalueringen

Egenevalueringen skrives ihht malen for egenevaluering. I materialgrunnlaget skal tilbakemeldinger fra studenter og eventuelt ansatte inngå. Programledelsen er ansvarlig for at egenevalueringen blir skrevet, og innestår også for de vurderinger som kommer til uttrykk. Egenevalueringen bør være drøftet i programrådet eller et annet organ med studentrepresentasjon enten i møte eller som e-brev-høring. Egenevalueringen sendes også som X-notat i ePhorte ufordelt til HF STUD (gjerne som hoveddokument og ikke som vedlegg til et følgebrev) på programmets saksnummer for kvalitetsrapportering. Egenevalueringen er ikke unntatt offentlighet og kan gis innsyn i før den periodiske evalueringen er fullført. 

5.3 Problemer knyttet til materialet panelet får tilsendt

Panelet ser på programmet siden opprettelsen eller siden forrige periodiske evaluering. Et program eller en studieretning kan imidlertid være endret så mye i mellomtiden at en evaluering først er interessant fra et senere tidspunkt. Panelet bør ikke få materiale som beskriver en forlatt tilstand: Da unngår man at at panelet unødvendig foreslår å endre noe som allerede er forandret. Egenevalueringen forklarer slike større endringer og beskriver tiden etter.

Tilsynssensorrapporter er per fag/displin: En tilsynsrapport i faget x omtaler derfor ikke alltid de emner i faget x som inngår i programmet eller studieretningen. Tilsynssensorrapporter sendes derfor ikke automatisk til panelet.

I dokumenter som omhandler mye mer enn det som gjelder programmet som evalueres, kan det være en ide å markere i dokumentene det som er særlig aktuelt for panelet. Dette gjelder for eksempel tilsynssensorrapporter og instituttenes årsrapporter om studiekvalitet.

6 Utsendelsen av materialet

6.1 De oppnevnte vitenskapelige medlemmene av panelet spørres om de nå vil ha materialet sendt til en annen adresse enn den de ev. tidligere har oppgitt.

6.2 Studentmedlemmet mottar materialet slik: En pakke med materialet legges i HFSUs posthylle i HF-arkivet, og et e-brev sendes til HFSU@hf.uio.no med

• opplysning om at materialet er lagt i HFSUs posthylle
• beskrivelse av oppdraget
• angivelse av timeantall, honorar og frist for første tilbakemelding (HFSU er vanligvis bedt om et panelmedlem først etter at de vitenskapelige paneldeltakerne er funnet og tidsrammen for evalueringen er avtalt med disse.)
• påminnelse om kravet om at vedkommende må være aktiv student på et HF-program tilbudt av et annet institutt
• bønn om navn og e-adresse til en slik studentrepresentant med angivelse av programtilhørighet

HFSU melder så hvem som tar oppdraget. Fakultetet foretar ingen forhåndsgodkjenning av dette medlemmet.

7 Panelets arbeid

Det forutsettes ikke at panelet har møter. Panelet sender inn sine utkast til instituttets saksbehandler på e-post. Alle rapportutkast saksbehandleren skriver, sendes alle panelmedlemmene helt til ingen lenger har innsigelser eller tilføyelser. Ved uenighet er det viktig at saksbehandleren avdekker skinnuenighet som kan oppstå f.eks. ved at paneldeltakerne fra forskjellige hjemmeinstitusjoner er vant til å snakke om samme ting på ulik måte. Reell uenighet mellom panelmedlemmene skal komme til uttrykk i rapporten. Alle panelmedlemmer må mene at deres synspunkt er adekvat gjengitt.

8 Det eksterne panelets evalueringsrapport

Rapporten består av tre deler:

A. Navneliste

• Panelmedlemmenes navn med angivelse av stilling/ansettelsessted og ev. fagområde og sted hvis dette ikke framgår av navn på institutt/institusjon.
• For studentmedlemmet angis HF-studieprogram (bachelor-/masterprogram x).
• Instituttets saksbehandlers navn med stilling og tilsettingssted.

B. Liste over det tilsendte materialet (med spesifisert angivelse under punktene 4 og 5):

1. rapportmalen
2. egenevalueringen av programmet
3. rapporter fra tilsynssensorer og periodisk emneevaluering av viktighet for evalueringen
4. utskrifter fra nettet av
   • programbeskrivelse
   • studieretningsbeskrivelser
   • emnegruppepresentasjoner med tilhørende emnebeskrivelser for obligatoriske og særlig populære emner

C. Panelets synspunkter organisert etter rapportmalen

Denne delen av rapporten behøver ikke være lang. 2-3 sider er erfaringsmessig nok hvis panelet ikke har mer å si.

Rapporten sendes som N-notat i ePhorte ufordelt til HF STUD (gjerne som hoveddokument og ikke som vedlegg til et følgebrev) på programmets saksnummer for kvalitetsrapportering. Den er ikke unntatt offentlighet og gjøres tilgjengelig fra programmets nettside /studiekvalitet/ slik det står i Programskriveveiledningen.

9 Videre oppfølging av evalueringen

Rapporten brukes av instituttledelse, programråd og lærerne som utgangspunkt for vedtak om tiltak for forbedring av studieprogrammet eller om å foreslå nedleggelse.

Når evalueringen er avsluttet og fakultetet har mottatt egeneevalueringen og det eksterne panelets rapport, vil fakultetet følge opp evalueringen med et notat til instituttet der det spørres om hvordan det eksterne panelets anbefalinger vil følges opp. Fakultetet kan også ta opp andre forhold knyttet til programmet. Før instituttets svarfrist vil fakultetet ofte også tilby en samtale for å snakke om oppfølgingen av evalueringen. 

Med instituttets svarnotat avsluttes den periodiske programevalueringen for fakultetets del. Instituttets videre oppfølging inngår i det alminnelige arbeidet med å bedre studiekvaliteten, som er tema i den årlige studiekvalitetsrapporteringen.