Det varslede NOKUT-tilsynet av UiOs studiekvalitetssystem er i full gang. UiO leverte nettopp sin dokumentasjon til vurderingskomiteen, basert p? en helhetlig systembeskrivelse og med eksempler fra utvalgte programmer. UiO-styret innf?rte fra 2021 en revisjon av kvalitetssystemet med blant annet tydeligere fokus p? ansvarslinjer og utdanningsledelse p? alle niv? av institusjonen og en st?rre vekt p? det kollegiale fellesskapet omkring undervisning. Sist, men ikke minst ogs? en tydeligere markering av hvor viktig det er med et godt kunnskapsgrunnlag for beslutninger om endringer.
Har gjort en kjempejobb
Fra SV-fakultetet er det tverrfaglige BA-programmet i Offentlig administrasjon og ledelse ved Institutt for statsvitenskap valgt ut av NOKUT som eksempel i systembeskrivelsen. Programleder og studiekoordinator ved ISV og studiekvalitetsansvarlig p? fakultetet har gjennom sommeren gjort en kjempejobb med ? beskrive og dokumentere hvordan man innhenter relevante kvalitetsdata, hvordan disse bearbeides b?de p? enhet og fakultet, og hvordan dette igjen brukes til ? gj?re begrunnede endringer i programmet. I skriveprosessen har det blant annet v?rt ? f? fram hvordan en kvalitetskultur ikke bare avhenger av formelle, referatf?rte m?ter og dokumenter, men ogs? er bundet sammen av gjensidig respekt for kompetanse, holdninger og l?pende uformelle dialoger mellom akt?rene.
UiO er en stor og desentralisert organisasjon der fagmilj?ene f?r utvikle sine egne m?ter ? gj?re ting p?.
Samtidig som dette er blant styrkene ved UiO, blir det interessant ? se om det framst?r som et helhetlig system for utenforst?ende.
NOKUT vil i november gjennomf?re et institusjonsbes?k, der de trolig ?nsker ? snakke med representanter fra de utvalgte programmene, studentene og enhetsledelse, i tillegg til ansvarlige personer p? studiesiden p? UiO. Ferdig innstilling fra NOKUT med konklusjoner kommer i f?rste halvdel av februar 2023. Selv om det er UiOs systematiske kvalitetsarbeid og ikke det enkelte programmet som er under revisjon her, blir det spennende ? f? tilbakemeldingene p? det som er sendt inn. Erfaringen s? langt er at det har v?rt l?rerikt ? beskrive hva man gj?r og hvorfor, og vi vil uansett bruke tilbakemeldingene til ? l?re og forbedre systemet ytterligere.
Pilotering av nytt emneevalueringssystem
NOKUT-prosessen har tydeliggjort betydningen av ? ha et godt beslutningsgrunnlag for kvalitetsarbeid. Emneevaluering utgj?r en grunnstamme i kunnskapsgrunnlaget for UiOs kvalitetssystem. UiO har i ?r anskaffet et emneevalueringssystem som integreres i Canvas, og som er tenkt som et tilbud til emneansvarlige og utdanningsledelse for ? kunne lette datainnhenting og gi muligheter for sammenligninger av resultater p? tvers av emner og programmer. F?rste runde med pilotering av systemet p? enkeltemner ble foretatt i v?r. En andre pilotrunde, der man vil tester ut funksjonaliteten med flere emner (klynger) som kan sees i sammenheng, gjennomf?res n? i h?st.
Flere av v?re enheter er involvert i piloteringen av dette systemet. S? langt virker det som om man f?r noe h?yere svarprosent n?r emneevaluering foretas p? denne m?ten. Systemet tillater b?de sp?rsm?l som stilles p? tvers av flere emner, og sp?rsm?l som stilles spesifikt til studenter p? ett bestemt emne. Et avgj?rende poeng for kvaliteten av dataene man f?r ut av systemet, er at studentene stilles gode sp?rsm?l p? omr?der der man ogs? er i stand til ? fange opp endringer man har gjort i undervisningen. Her burde v?rt fakultet v?re s?rlig egnet til ? komme med faglig funderte sp?rsm?l som kan brukes p? tvers av emner. Fakultetet ved EILIN vil i l?pet av h?sten se p? hvordan v?re fagfolk kan bidra med gode forslag til en slik felles sp?rsm?lsbase.
Skal forst? l?ringsprosessen
N? studentene bruker digitale virkemidler som Canvas, emneevalueringssystem og FS i studiene, legger de igjen digitale spor. Disse kan, forutsatt at vi utnytter det riktig og godt, brukes til ? forbedre undervisningen for den enkelte student. Dette kalles ‘L?ringsanalyse’, som inneb?rer ‘registrering, innsamling, analyse og rapportering av data om elever i en kontekst, der m?lsettingen er ? forst? og forbedre l?ringsprosessen og det sosiale milj?et der l?ring foreg?r’ (ICLA & Siemens 2011, ref. av Langford 2022). Det har nylig kommet ut to aktuelle rapporter om l?ringsanalyse som kan anbefales for interesserte.Den ene rapporten er gjort p? oppdrag av regjeringen og beskriver ulike bruksomr?der der l?ringsanalyse kan v?re til nytte i kvalitetsutviklingsarbeidet. En funksjon som allerede ligger i Canvas, er ? bruke data deskriptivt til ? informere underviseren om studentenes aktivitet i oppgaver man har lagt ut. Er det mange som enda ikke har sett p? den videoen man la ut, eller hvor mange har besvart den forberedende quizen man har bedt studentene forberede seg med? En annen funksjon er at man kan sammenstille data for ? forst? sammenhenger og identifisere relevante indikatorer for l?ring. Har studentene forst?tt de aktuelle begrepene, hvor ligger svakhetene, og hvor b?r vi legge inn mer innsats for ? ?ke forst?elsen? En tredje (og her henter jeg formuleringer fra den regjeringsbaserte rapporten) mer prediktiv variant kombinerer historiske data for ? finne m?nstre og benytter statistisk modellering for ? finne sammenhenger mellom ulike datasett og dermed gi prognoser om blant annet frafall, for eksempel gjennom ? vise trender og framskrivinger.
Hva er typiske risikofaktorer for frafall, eller hva er viktige innsatsfaktorer for bedre l?ringsmilj??
Et siste anvendelsesomr?de det pekes p? i samme rapport, er det som kalles preskriptiv analyse, som gir anbefalinger basert p? kunstig intelligens. P? grunnlag av fortl?pende analyser av flere datakilder kan man f? opp varslinger, beskjeder eller forslag til handlinger rettet mot indikerte studenter enkeltvis eller undergrupper. Eksempelvis kan det g? beskjed til l?rer eller studenten selv hvis studenten sine digitale spor i systemet tilsier at studenten er i risiko for frafall eller forsinket studieprogresjon.
Lite brukt i h?yere utdanning
L?ringsanalyse er s? langt lite brukt i h?yere utdanning, mye p? grunn av utfordringer knyttet til personvern og GDPR . Disse viktige sp?rsm?lene er n? grundig dr?ftet i en UiO-intern rapport, ledet av Malcolm Langford ved Det juridiske fakultet/CELL. om forholdet mellom l?ringsanalyse og GDPR. Der identifiseres et mulighetsrom innenfor GDPR-reglementet opp mot argumentet om allmenn nytteverdi. Rapporten, som n? er p? h?ringsrunde p? UiO, inneholder ulike modeller for hvordan vi som institusjon kan h?ndtere forvaltningen av disse hensynene i konkrete prosjekter for studiekvalitetsforbedring.
Dilemmaene i dette feltet er mange.
Som institusjon og som ledere og undervisere i h?yere utdanning har vi en plikt til ? fortl?pende s?ke kunnskap om kvaliteten p? den undervisningen vi tilbyr, og ? bruke dette som grunnlag for tiltak for ? bedre studiekvaliteten. Slik kunnskap kan innhentes p? ulike m?ter, og det er i stor grad opp til den enkelte enhet med emneansvarlige, sammen med programleder, programr?d og utdanningsleder og ?vrige kolleger, ? vurdere hva som gir det beste og mest relevante grunnlaget for kvalitetsutvikling. Med ?kt bruk av digitale virkemidler i undervisningen ser vi interessante potensialer gjennom l?ringsanalyse til for eksempel ? kunne tilpasse undervisningen bedre for ulike undergrupper av studenter som har ulike m?ter ? l?re p? og l?rer i ulikt tempo.
Samtidig skal vi ikke samle data for rapporteringens egen skyld. Ingen er heller interessert i digitalisering for digitaliseringens skyld.
Bruk av slike virkemidler m? v?re begrunnet i pedagogiske hensyn. Vi skal ogs? til enhver tid ha gode begrunnelser for hva slags data som sammenstilles hvorfor, og det m? v?re gode koblinger fra analyse til tiltak. Og sist, men ikke minst: Vi er helt avhengige av studentenes tillit til det vi gj?r. Studentenes perspektiver og interesser m? v?re sentrale i alle ledd i disse prosessene.
Editorial: An autumn with a focus on the quality of education
There are many ongoing activities relating to quality of education this autumn at the University of Oslo, the various faculties and the individual units, Dean Trine Waaktaar writes in this editorial.
The pre-announced Norwegian Agency for Quality Assurance in Education (NOKUT) audit on the quality of education system at the University of Oslo is fully under way. The University of Oslo recently submitted its documentation to the assessment committee, based on a comprehensive system specification and examples from selected programmes. The University Board has been carrying out an audit of the quality system since 2020 and this work includes a clearer focus on lines of responsibility and education management at all levels of the institution, as well as greater emphasis on the working community relating to teaching. Finally, it also includes a clearer demonstration of how important it is to have a proper platform of knowledge to make decisions relating to changes.
Have done a great job
From the Faculty of Political Sciences, the BA programme in Public Administration and Management at the Department of Political Sciences has been selected by NOKUT as an example for the system specification. The Head of Programme and Programme Coordinator at the DPS and the Educational Quality Manager at the Faculty have done a great job over the summer to specify and document how relevant quality data is collected, how the data is processed at unit and faculty level, as well as how the data is then used to make justified changes to the programme. The process has, among other things, looked at how to foster a quality culture that is not only dependent on formal, minuted meetings and documents but that is also tied together through mutual respect for expertise, attitudes and informal ongoing dialogue between the involved parties.
The University of Oslo is a large, decentralised organisation in which the academic environments have the opportunity to develop their own ways of doing things.
While this is one of the strengths of the University of Oslo, it will be interesting to see to what extent it comes across as a comprehensive system to external parties.
In November, NOKUT will conduct a visit to the institution and will likely wish to speak with representatives from the selected programmes, students and unit management, as well as the staff responsible for the programmes at the University of Oslo. The final recommendations, with conclusions, from NOKUT are expected to arrive during the first half of February 2023. Even though the audit looks at the University of Oslo’s systematic quality work rather than individual programmes, it will still be interesting for us to receive feedback on what we have submitted. Experience to date teaches us that it has been useful for us to describe what we do and why and we will absolutely use the feedback to learn and further improve the system.
Piloting of new course evaluation system
The NOKUT process has highlighted the importance of having a good decision-making basis in relation to quality work. Course evaluations constitute one of the foundations of the platform of knowledge for the University of Oslo quality system. This year, the University of Oslo has acquired a course evaluation system that integrates with Canvas and will be offered to course coordinators and programme managers to facilitate data collection and provide opportunities to compare results across courses and programmes. The initial piloting of the system for individual courses took place this spring. A second pilot round, during which the functionality will be tested with multiple courses (clusters) that can be contextualised will take place this autumn.
Several of our units are involved with the piloting of the system. So far, it appears that there is a somewhat higher response rate when course evaluations are carried out in this way. The system allows for both questions asked across multiple courses and questions asked specifically to students on a particular course. One crucial point relating to the quality of the data generated by the system is that students must be asked appropriate questions in connection with areas for which we are able to identify the changes we have made to teaching. In this context, the Faculty should be well-placed to propose academically founded questions that can be used across courses. This autumn, the Faculty, represented by EILIN, will look at how our academics can contribute suitable proposals for such a shared question database.
Learning analytics
When students use digital tools, such as Canvas, the course evaluation system and FS in their programmes, they leave behind digital traces. Provided we utilise them correctly and properly, these can be used to improve teaching for the individual students. This is referred to as ‘Learning analytics’, which involves ‘registering, collecting, analysing and reporting data about students in a context with the aim of understanding and improving the learning process and the social environment in which learning takes place’ (ICLA & Siemens 2011, referenced by Langford 2022). Recently, two relevant reports were published in relation to learning analytics and we can recommend the reports for y interested readers. One of the reports was commissioned by the government, and describes various areas of application in which learning analytics can be useful for quality development work. One function that is already available in Canvas relates to using data descriptively to inform the teacher about student activity in ongiong assignments. How many students have yet to watch the video you posted or how many have completed the preparatory quiz they were asked to complete? Another function allows you to compile data to understand correlations and identify relevant learning indicators.
Have the students understood the relevant concepts, where are the weaknesses and where should we increase our efforts to improve understanding?
A third (and here I have taken the wording from the government-commissioned report) and more predictive variant combines historical data to identify patterns and uses statistical modelling to identify correlations between different datasets in order to generate prognoses relating to e.g. dropout. What are the typical risk factors associated with dropping out , or what are the key input factors for improving the learning environment? A final area of application that is highlighted in the same report is what we refer to as prescriptive analysis, which provides recommendations based on artificial intelligence. On the basis of continuous analyses of multiple data sources, we can configure alerts, notifications or suggestions for actions aimed at indicated students, individually or by groups. A message can, for example, be sent to the teacher or student themselves if the student’s digital traces in the system indicate that the student is at risk of dropout or delayed academic progress.
Limited use
So far, there has been limited use of learning analytics in higher education, largely due to challenges relating to privacy and GDPR. These important issues have now been thoroughly addressed in an internal University of Oslo report, led by Malcolm Langford from the Faculty of Law/CELL,. One opportunity is identified within the GDPR in connection with the argument relating to the public interest. The report, which is now undergoing a consultation process at the University of Oslo, includes a number of models for how we, as an institution, can manage the administration of these considerations in specific projects intended to improve the quality of education.
There are numerous dilemmas in this field.
As an institution and as managers and teachers in higher education, we have a duty to continuously seek out knowledge regarding the quality of the teaching we deliver and use this as the basis for improving the quality of education. There are many different ways to collect such knowledge, and it is largely up to the individual units and the course coordinators, together with the programme coordinators, programme councils and programme managers and other colleagues, to assess what results are the best and most relevant basis for quality development. With the increasing use of digital tools in teaching, we can see the interesting potential of using learning analytics to e.g. better facilitate teaching for various student subgroups that learn in different ways and at different paces.
At the same time, it is important not to collect data purely for the sake of reporting. Nor is anyone interested in digitalisation for the sake of digitalisation. The use of such tools has to be justified on educational grounds. We also need to have proper justifications at all times in relation to the data that is compiled , and there must be reasonableconnection between analysis and action. Last, but not least: We are completely reliant on students having faith in what we do. The perspectives and interests of students must be key at all levels of these processes.