Uddannelses- og Forskningsministeriet har gennemført en række valideringsanalyser af det endelige spørgeskema.
Den overordnede konklusion af valideringen er, at de ni teoretiske indikatorer, som Læringsbarometeret er bygget op omkring, er valide og kan genfindes i det danske data.
Valideringen benytter både traditionelle valideringsmetoder og mere avancerede metoder, som tester samvariation, intern konsistens og påvirkning fra udefrakommende faktorer inden for hver af de ni indikatorer i Læringsbarometeret.
Baggrund: Kvalitativ og kvantitativ pilottest i udviklingen af Læringsbarometer
I foråret 2018 har Danmarks Evalueringsinstitut (EVA) og Epinion gennemført en kvalitativ og en kvantitativ pilottest af tidligere udgaver af spørgeskemaet til Læringsbarometeret. Resultaterne indgik i de efterfølgende justeringer af spørgeskemaet.
I den kvalitative pilottest blev 29 studerende interviewet, hvoraf seks er engelsksprogede. Interviewene er gennemført som semistrukturerede kvalitative telefoninterview. Forud for interviewene havde ekspertpanelet og UFM udpeget særlige fokusområder for interviewene. Resultaterne viste at de fleste studerende forstod spørgsmålene. Enkelte steder var der problemer med at forstå meningen med enkelte ord eller sætninger.
Danmarks Evalueringsinstitut (EVA) har gennemført den kvalitative pilottest på vegne af Uddannelses- og Forskningsministeriet.
I maj 2018 blev spørgeskemaet testet i en kvantitativ pilottest. Epinion sendte spørgeskemaet ud til 16.200 studerende fra 13 institutioner. 3.500 studerende svarede på spørgeskemaet, hvilket giver en svarprocent på 21,6 procent. Resultaterne fra den kvantitative pilottest er brugt til efterfølgende valideringsanalyser.
Spørgeskemaet i den kvantitative pilottest havde 19 backup-spørgsmål. Backup-spørgsmålene skulle skabe ekstra fyld i spørgeskemaet for bedre at kunne se, hvor lang tid, de studerende ville bruge på at svare på spørgeskemaet. De spørgsmål, der blev valgt, er spørgsmål der kan supplere LEARN-indikatorerne hvis de efterfølgende valideringsanalyser skulle vise et behov for det. Backup-spørgsmålene er foreslået af EVA på baggrund af erfaringer fra tidligere spørgeskemaundersøgelser, og udvalgt af ekspertpanelet.
Pilotvalidering
Resultaterne fra den kvantitative pilottest blev valideret på tre niveauer:
- Enkeltspørgsmål er testet i forhold til indikatorerne
- De ni indikatorer fra LEARN er testet
- Den samlede model er testet med ekstern validitet og faktoranalyse
Resultaterne viser overordnet at spørgeskemaet empirisk passer til de teoretiske forventninger. På skalaniveau har syv ud af ni indikatorer tilfredsstillende værdier for intern konsistens. Resultaterne fra en konfirmativ faktoranalyse bekræfter i store træk, at de teoretiske dimensioner i LEARN kan genfindes empirisk i de indsamlede pilotdata, og at de enkelte spørgsmål passer til de tilhørende indikatorer.
Valideringsresultaterne blev opsummeret i et notat til ekspertpanelet og referencegruppen. Af notatet fremgår også mulige ændringsforslag til spørgeskemaet på baggrund af valideringerne.
EVA har lavet valideringsrapporter fra pilottesten: En rapport med skalavalideringsanalyser af resultaterne fra pilottesten for at se, om skalaerne fra LEARN virker på samme måde i Læringsbarometeret. Den anden rapport er en undersøgelse af LEARN-indikatorernes styrke, hvis udvalgte backup-spørgsmål inkluderes. EVA har undersøgt spørgeskemaet på overordnet niveau og på sektorniveau.
- Læs EVA's rapport om skalavalideringer - pilot (pdf)
- Læs EVA's rapport af udvidede skalavalideringer - pilot(pdf)
Resultaterne fra pilottestene og valideringen af pilotdata blev præsenteret for ekspertpanelet og referencegruppen. Resultaterne dannede grundlag for justeringer af spørgeskemaet.