English version below
Henter vi inn tilstrekkelig relevant informasjon om kvaliteten i undervisningen vår, slik at vi kan foreta gode vurderinger av hva som fungerer godt og hva vi trenger å endre på?
Da vi reviderte kvalitetssystemet på UiO i 2020 var noe av formålet å unngå rapportering for rapporteringens skyld. På programnivå beholdt man de periodiske programevalueringene. På emnenivå innførte UiO en regel om at evaluering fra studentene skal skje midtveis i hvert semester som emnet går, og at resultater fra midtveisevalueringene først og fremst skal deles med studentene som har tatt emnet det aktuelle semesteret. Når NOKUT i sin rapport spør om kunnskapsgrunnlaget for UiO sitt kvalitetsarbeid er tilstrekkelig, siktes det til nettopp denne forenklingen i rapportering som ble foretatt i 2020. De oppfordrer oss eksplisitt til 1. Evaluere om reduksjonen av rapportering gir ønsket effekt; 2. Følge med på om universitetet til enhver tid har et tilstrekkelig kunnskapsgrunnlag for å sikre og videreutvikle utdanningskvaliteten; og 3. Benytte kunnskapsgrunnlaget fra emneevalueringer bedre.
Når det gjelder de 6-årige periodiske programevalueringene er inntrykket i det store og hele at de er til nytte i kvalitetsarbeidet på enhetene. Vi på SV-fakultetet fikk ros fra NOKUT-komiteen for måten vi først kjører en intern evaluering og deretter en ekstern evaluering i de periodiske programevalueringene. På vårt fakultet har vi i tillegg en årlig programgjennomgang, der programleder og utdanningsleder har ansvar for å vurdere status for arbeidet med strategiske områder innen studiekvalitet, kommentere visse nøkkelindikatorer fra årsrapporten for hvert enkelt program, samt å indikere hvilke styrker og utfordringer man ser i gjennomføringen av programmet. Disse programgjennomgangene blir brukt i fakultetets videre dialog og støtte til kvalitetsarbeidet på enhetene, og de ligger til grunn for rapportering om studiekvalitet til instituttledere og fakultetsstyret.
Det ligger i kvalitetssystemet at emneevalueringer skal foretas om lag midtveis hvert semester emnet tilbys, og at tilbakemeldingene skal deles og diskuteres med studentene. Hensikten med slike underveisevalueringer er at studentenes tilbakemeldinger kan komme til nytte allerede samme semester. Fakultet har en praksis om at resultatene av emneevaluering skal sammenfattes og publiseres på programsidene. Fokus for disse sammenfatningene skal være på hvilke endringsområder og tiltak man ønsker å iverksette på bakgrunn av tilbakemeldingene. Basert på de publiserte sammenfatningene er det en endel variasjon i hvordan emneevaluering praktiseres på enhetene. Det er blant annet mange måter å innhente informasjon fra studentene på. Vi ser at noen har fokusgrupper, noen har kontaktpersoner blant studentene som de intervjuer, noen lar studentene diskutere uten emneansvarlige til stede og så innhenter oppsummering fra studentrepresentanter etterpå. Andre, blant annet ISS og de enhetene som har emner som har deltatt i den pågående piloteringen av nytt emneevalueringssystem på UiO, gjennomfører spørreundersøkelser til alle deltakere med både kvantitative og kvalitative mål.
At emneevaluering gjøres forskjellig er ikke nødvendigvis noe problem, kanskje snarere tvert i mot. Det viktige er å finne meningsfulle måter for studentene til å gi tilbakemelding på hva i deres undervisning som fungerer og ikke fungerer, på et tidspunkt som gjøre det mulig for dem å påvirke undervisningen mens den enda pågår. For emneansvarlige og undervisere er hensikten at de får noe de opplever som relevant informasjon som grunnlag for å foreta forbedringer og at de kan et utgangspunkt for en dialog om undervisningen med studentene. Konstruktive innspill og kritikk fra studenter kan være nyttig også for å kunne ta videre i systemet – blant annet til programråd og ledelse - der det handler om mer strukturelle problemer som f.eks. ressursmangel, svikt i koordinering, uhensiktsmessige lokaler eller teknisk utstyr, eller dårlig sammenheng på tvers i et program eller semester. På denne måten er løpende tilbakemelding på emnenivå viktige systemindikatorer på kvaliteten på undervisningen vår. På den positive siden er det mange som opplever å få velfortjent ros fra studentene. Det er jo ikke bare studenter som etterlyser feedback i hverdagen, det gjelder ofte oss ansatte også. Dokumentasjon av egen undervisning og utviklingsprosjekter med evalueringer er i tillegg viktige elementer i en pedagogisk mappe som kan brukes i senere søknader blant annet om faste stillinger, opprykk og som merittert underviser.
Samtidig kan det se ut til at det er en del utfordringer med å få dette med emneevaluering til å fungere helt etter hensikten. Vi har lenge sett at det er vanskelig å få studentene til å delta i evalueringer av undervisningen. Det er smertefullt tydelig på programnivå i Studiebarometeret, der deltakerprosenten for SV-fakultetets studenter har blitt halvert i løpet av de siste fire årene. Problemet med lavt studentengasjement i evalueringer gjenspeiler som nok også på emnenivå. Det er et stort problem også for de ansvarlige for undervisningen når så få studenter bryr seg om å svare. Hvordan kan man være sikre på at man vet hva studentene egentlig syns om hva som fungerer og ikke? Ideen om at underveisevaluering øker studentmotivasjonen for å svare fungerer kanskje ikke alltid slik. Et av de elementene som er viktige for om undervisningen blir vellykket eller ikke fungerer – sånn som undervisere, tema, undervisnings- og vurderingsformater og lokaler - er jo allerede lagt for hele semesteret. Nærmere slutten av semesteret kunne man kanskje legge inn en bolk med sammenfatning, evaluering og eksamen, men dette må i så fall planlegges inn.
Planlegging og gjennomføring av emneevaluering tar nødvendigvis noe tid for emneansvarlig. En del tid kan trolig spares hvis man kan bruke allerede utviklede datainnhentingsrutiner. Eksempler på slike er det vi håper å få til gjennom emneevalueringsprogrammet som er under utvikling på UiO eller mer lokale løsninger som nettskjema med lenke fra Canvas, som blant annet brukes hos ISS. Det er også viktig å understreke at sammenfatningene som skal publiseres på nett ikke trenger å være omfattende tekster. Det er snakk om å angi kort hovedtrekkene i tilbakemeldingene fra studentene og hvilke tiltak man har gjennomført og/eller tenker å gjennomføre.
Det er mange gode grunner til at undervisning på emner som tilbys på universitetet skal evalueres, og at disse evalueringene må inngå som en sentral del av et studiekvalitetssystem. NOKUT-rapporten tilsier at UiO nå etter siste revisjon av kvalitetssystemet er nede på et minimum av hva man tenker en tilstrekkelig gitt vår rolle og ambisjoner om kvalitet. Vi kan kanskje ikke gjøre mindre av evaluering, men vi kan sikkert gjøre ting bedre. Jeg vil gjerne oppfordre undervisere, studieadministrasjon og ledere på enhetene, sammen med studentene, til å diskutere og dele erfaringer med hvordan emneevalueringer kan gjøres innenfor rammene som nå er gitt av kvalitetssystemet på måter som er minst mulig ressurskrevende, men som samtidig bidrar til mest mulig kvalitet og faglig mening.
Editorial: The knowledge platform for our work with the study programme quality – is it good enough?
As you know, the University of Oslo’s (UiO) quality system received NOKUT’s (the Norwegian Agency for Quality Assurance in Education) accreditation after the evaluation in 2022. However, the expert committee had some suggestions for further development work. One of these concerned the knowledge base for the quality work. Do we gather enough relevant information about the quality of our teaching so that we can make good judgements about what is working well and what we need to change?
When we revised the quality system at UiO in 2020, one of the aims was to avoid reporting simply for the sake of reporting. Periodic programme evaluations at programme level were retained. At the course level, UiO introduced a rule that student evaluations should take place midway through each semester of the course, and that the results of the mid-term evaluations should primarily be shared with the students who have taken the course in that semester. When NOKUT asks in its report whether the knowledge base for UiO's quality work is sufficient, it refers to precisely this simplification in reporting that was implemented in 2020. They explicitly encourage us to 1. Evaluate whether the reduction in reporting is having the desired effect; 2. Monitor whether the university always has a sufficient knowledge base to safeguard and further develop the quality of education; and 3. Make better use of the knowledge base from course evaluations.
As regards the 6-year periodic programme evaluations, the overall impression is that they are useful for the quality work in the units. We at the SV Faculty received praise from the NOKUT committee for the way we first run an internal evaluation and then an external evaluation in the periodic programme evaluations. At our faculty, we also have an annual programme review, where the Head of Programme and the Head of Education are responsible for assessing the status of the work on strategic areas of programme quality, commenting on certain key indicators from the annual report for each programme, and indicating the strengths and challenges in the implementation of the programme. These programme reviews are used in the Faculty's further dialogue and support for the quality work in the units, and they form the basis for reporting on programme quality to heads of department and the Faculty Board.
The quality system stipulates that course evaluations should be carried out about halfway through each semester in which the course is offered, and that the feedback should be shared and discussed with the students. The purpose of such interim evaluations is that students' feedback can already be used in the same semester. The faculty has a practice of summarising and publishing the results of course evaluations on the programme pages. The focus of these summaries should be on the areas of change and actions to be taken on the basis of the feedback. Based on the published summaries, there is some variation in how course evaluation is practised in the units. Among other things, there are many ways to gather information from students. We see that some have focus groups, some have contact persons among the students whom they interview, some allow students to discuss without course coordinators being present, and then collect summaries from the student representatives afterwards. Others, such as the Department of Sociology and Human Geography (ISS) and the units with courses that have participated in the ongoing piloting of a new course evaluation system at UiO, conduct surveys of all participants, with both quantitative and qualitative objectives.
The fact that course evaluation is done differently is not necessarily a problem, perhaps quite the opposite. The important thing is to find meaningful ways for students to provide feedback on what works and what doesn't work in their learning, at a time that enables them to influence their learning while it is still going on. For course coordinators and lecturers, the aim is to provide them with what they perceive as relevant information as a basis for making improvements and as a starting point for a dialogue with students about teaching. Constructive input and criticism from students can also be useful to take further in the system, including to programme councils and management, where more structural problems such as lack of resources, coordination failures, inappropriate premises or technical equipment, or poor coherence across a programme or semester are concerned. In this way, continuous feedback at course level is an important systemic indicator of the quality of our teaching. On the positive side, many find that they receive well-deserved praise from students. It's not just students who ask for feedback in their everyday life, it often applies to us staff as well. Documentation of your own teaching and development projects with evaluations are also important elements in a pedagogical portfolio that can be used in subsequent applications for permanent positions, promotion and as a merit-based teacher.
At the same time, it seems that there are some challenges in making this course evaluation work as intended. We have long recognised that it is difficult to get students to participate in evaluations of teaching. This is painfully evident at programme level in the Study Barometer, where the participation rate for SV Faculty students has halved over the past four years. The problem of low student engagement in evaluations is probably also reflected at course level. It is also a major problem for those responsible for teaching, when so few students bother to respond. How can you be sure that you know what students really think about what works and what doesn't? The idea that pre-assessment increases student motivation to respond may not always work that way. Some of the elements that are important for the success or failure of teaching, such as teachers, topics, teaching and assessment formats and premises, have already been decided for the whole semester. Towards the end of the semester, it might be possible to include a module on summarising, evaluating and examining, but this would have to be planned.
Planning and conducting course evaluations necessarily takes some time for the course organiser. Some time can probably be saved if data collection routines that have already been developed can be used. Examples of these are what we hope to achieve through the course evaluation programme that is being developed at UiO, or more local solutions such as the online form with a link from Canvas, which is used by ISS, among others. It is also important to emphasise that the summaries to be published online do not have to be comprehensive texts. It is a question of briefly summarising the main features of the feedback from students and the actions taken and/or planned.
There are many good reasons why the teaching of courses offered at university should be evaluated and that these evaluations must be a central part of a programme quality system. The NOKUT report indicates that after the latest revision of the quality system, UiO is now down to a minimum of what is considered adequate, given our role and ambitions for quality. We may not be able to do less evaluation, but we can certainly do things better. I would like to encourage teachers, programme administrators and unit managers, together with students, to discuss and share experiences on how course evaluations can be carried out within the framework now provided by the quality system, in ways that are least resource-intensive but at the same time contribute to maximising quality and academic meaning.