Deltakere:

Fra styringsgruppen:

Bjørn Stensaker, Hanna Ekeli, Crina Damsa

Fra prosjektgruppen: 

Jan Arild Dolonen, Ingeborg Fauske Ekdahl

Agenda

1. Status etter våren, og for utvidet pilot høsten 2022
2. Utfordringer
3. Videre planer og tiltak

Referat

1: Status etter våren, og for utvidet pilot høsten 2022

Prosjektgruppen anser at de kommer til å kunne fullføre alle leveransene for prosjektet, men nivået på enkelte punkter kan være lavere enn forventet. Prosjektet nådde ikke målet med 50-100 emner i utvidet pilot, men har opprettet emneclustere på de fleste fakultetene. Erfaringen hittil viser at det vil være avgjørende å kunne delegere styringen av CES-prosjektene ut til enhetene dersom systemet skal rulles ut.

Diskusjon:

• Styringsgruppen spør om enhetene ser nytten i kvalitetssikrede spørsmålsbatterier, eller om de er mest opptatt av å stille egne, lokale spørsmål?
  • Erfaringen fra pilotmiljøene viser at dette er varierende, men de fleste er i det minste interessert i å benytte seg av spørsmålsbatteri til deler av undersøkelsen. Enhetene har selv nominert emnene, men når vi møter miljøene i arbeidsstuer og workshops ser vi at ikke alle ser eller er interessert i den strategiske verdien av systemet enda. Det er allikevel godt oppmøte og god interesse blant pilotmiljøene. Allikevel har noen av pilotemnene måttet trekke seg fra piloten pga. ressursutfordringer lokalt.

2: Utfordringer

Prosjektet opplever at systemet i seg selv er utfordrende å kombinere med evalueringspraksisen ved flere enheter og fagmiljøer på UiO. Vi får sendt ut alle planlagte evalueringer, men det krever innsats fra toppadministrator i CES som følge utilstrekkelige rettigheter og tilganger. Dette gjelder særlig for rollen Prosjektadministrator, som er svært viktig for UiOs desentraliserte evalueringssystem. De samme utfordringene har også oppstått hos andre i sektoren, og det er generelt mer krevende enn forventet å drifte systemet for UH-sektoren. 

Lokalt på enhetene er det også bekymring om at det blir høy terskel og ressurskrevende for å lære seg et nytt system som gjerne bare skal brukes en gang i semesteret. 

En nøkkelutfordring er at systemet er lagt opp for sentralisert bruk, og prosjektet jobber fortsatt med å finne workarounds for å få vårt desentraliserte bruk til å fungere i systemet.

Diskusjon: 

• Styringsgruppen påpeker at det er viktig å tenke på faktorene som spiller inn for god lokal bruk: både å ta høyde for lokal og varierende Canvas-praksis, men også at systemet ikke må ende opp med å føles top-down. Hvordan kan prosjektet støtte opp om praksis som er bottom-up? 
  • De emneansvarlige har en nøkkelrolle. Prosjektet bes vurdere tiltak som kan gjøre systemet mer lettanvendelig og tilgjengelig for emneansvarlige, for eksempel dersom man kunne etablert et bestillingssystem. 
• Bekymringene og tilbakemeldingene om at det er krevende med systemer man bare bruker en gang i semesteret dukker også opp rundt andre systemer, f.eks. Inspera. Dette er en bredere utfordring. Et godt veiledningsapparat vil kunne hjelpe, men det må være enkelt å finne frem til. 
• Prosjektet bør fokusere på måter å incentivere god bruk lokalt, f.eks. ved good practice-eksempler, ildsjeler, testimonials og lignende. Dette er tidkrevende arbeid, men det er viktig at faglærerne ser nytten av systemet med en gang, ellers vil de bare bruke det en gang. Pilotmiljøene er gjerne mer entusiastiske og selvdrevne, og prosjektet må regne med at andre miljøer vil trenge minst like godt støtteapparat ved utrulling. 
• Styringsgruppen nevner også at emneevalueringsdata er en del av større bilde om bruk av data til utvikling på UiO. Bør det etableres en institusjonell støttefunksjon rundt dette? Data literacy er også en viktig del av dette - brukerne må kunne enkelt forstå hva grafer, tall og statistikk fra systemet faktisk betyr, og hvordan dette kan tolkes. Kan datasett og eksempler fra pilotene benyttes videre i opplæring, workshops og lignende?

3: Videre planer og tiltak

• Prosjektet kartlegger muligheter for bestillingsløsning for faglærere, robotisering/RPA-prosesser eller andre automatiske løsninger som kan øke brukervennligheten i systemet.
• Prosjektet leverer også et brev til Sikt som skal videreformidles til leverandøren, der vi beskriver problemene vi opplever med utilstrekkelige roller i systemet, lav brukervennlighet osv. Andre i sektoren opplever de samme problemene, og prosjektet ber Sikt følge opp hvorvidt dette kan forventes å bli snarlig forbedret, og eventuelt når. 
• Prosjektet jobber også videre med å levere veiledningsapparat og spørsmålsbanker.