Pilottest og validering

Der er foretaget to pilottest og omfattende valideringsanalyser af spørgeskemaet til Læringsbarometeret. Valideringsanalyserne har dannet grundlag for den endelige justering af spørgeskemaet.
Kontakt
David Vestergaard Eriksen
Fuldmægtig
Tlf.: +45 72 31 79 83
Email: dav@ufm.dk
Sune Quorning Christiansen
Souschef
Tlf.: +45 72 31 80 04
Email: sac@ufm.dk

Resultaterne fra pilottestene og valideringsanalyserne er præsenteret for ekspertpanelet og referencegruppen. Resultaterne har dannet grundlag for diskussioner om, hvordan spørgeskemaet skulle justeres. 

Kvalitativ og kvantitativ pilottest

I foråret 2018 har Danmarks Evalueringsinstitut (EVA) og Epinion gennemført en kvalitativ og en kvantitativ pilottest af spørgeskemaet til Læringsbarometeret.

I den kvalitative pilottest blev 29 studerende interviewet, hvoraf seks er engelsksprogede. Interviewene er gennemført som semistrukturerede kvalitative telefoninterview. Forud for interviewene havde ekspertpanelet og UFM udpeget særlige fokusområder for interviewene. Resultaterne viste at de fleste studerende forstod spørgsmålene. Enkelte steder var der problemer med at forstå meningen med enkelte ord eller sætninger.

Danmarks Evalueringsinstitut (EVA) har gennemført den kvalitative pilottest på vegne af Uddannelses- og Forskningsministeriet. 

I maj 2018 blev spørgeskemaet testet i en kvantitativ pilottest. Epinion sendte spørgeskemaet ud til 16.200 studerende fra 13 institutioner. 3.500 studerende svarede på spørgeskemaet, hvilket giver en svarprocent på 21,6 procent. Resultaterne fra den kvantitative pilottest er brugt til efterfølgende valideringsanalyser. 

Spørgeskemaet i den kvantitative pilottest havde 19 backup-spørgsmål. Backup-spørgsmålene skulle skabe ekstra fyld i spørgeskemaet for bedre at kunne se, hvor lang tid, de studerende ville bruge på at svare på spørgeskemaet. De spørgsmål, der blev valgt, er spørgsmål der kan supplere LEARN-indikatorerne hvis de efterfølgende valideringsanalyser skulle vise et behov for det. Backup-spørgsmålene er foreslået af EVA på baggrund af erfaringer fra tidligere spørgeskemaundersøgelser, og udvalgt af ekspertpanelet. 

Validering af spørgeskemaet

Resultaterne fra den kvantitative pilottest er valideret på tre niveauer: 

  • Enkeltspørgsmål er testet i forhold til indikatorerne
  • De ni indikatorer fra LEARN er testet
  • Den samlede model er testet med ekstern validitet og faktoranalyse

Resultaterne viser overordnet at spørgeskemaet empirisk passer til de teoretiske forventninger. På skalaniveau har syv ud af ni indikatorer tilfredsstillende værdier for intern konsistens. Resultaterne fra en konfirmativ faktoranalyse bekræfter i store træk, at de teoretiske dimensioner i LEARN kan genfindes empirisk i de indsamlede pilotdata, og at de enkelte spørgsmål passer til de tilhørende indikatorer.

Valideringsresultaterne blev opsummeret i et notat til ekspertpanelet og referencegruppen. Af notatet fremgår også mulige ændringsforslag til spørgeskemaet på baggrund af valideringerne. 

EVA har lavet valideringsrapporter fra pilottesten: En rapport med skalavalideringsanalyser af resultaterne fra pilottesten for at se, om skalaerne fra LEARN virker på samme måde i Læringsbarometeret. Den anden rapport er en undersøgelse af LEARN-indikatorernes styrke, hvis udvalgte backup-spørgsmål inkluderes. EVA har undersøgt spørgeskemaet på overordnet niveau og på sektorniveau. 

Senest opdateret 23. oktober 2018