Validering og pilottest

Valideringsanalyser af de ni teoretiske indikatorer i Læringsbarometeret kan genfindes i data fra 2018-målingen. Her kan du læse om analysen og de forudgående pilotundersøgelser
Kontakt
David Vestergaard Eriksen
Specialkonsulent
Tlf.: +45 72 31 79 83
Email: dav@ufm.dk
Sune Quorning Christiansen
Fg. Analysechef
Tlf.: +45 72 31 80 04
Email: sac@ufm.dk

Uddannelses- og Forskningsministeriet har gennemført en række valideringsanalyser af det endelige spørgeskema.

Den overordnede konklusion af valideringen er, at de ni teoretiske indikatorer, som Læringsbarometeret er bygget op omkring, er valide og kan genfindes i det danske data.

Valideringen benytter både traditionelle valideringsmetoder og mere avancerede metoder, som tester samvariation, intern konsistens og påvirkning fra udefrakommende faktorer inden for hver af de ni indikatorer i Læringsbarometeret.

Baggrund: Kvalitativ og kvantitativ pilottest i udviklingen af Læringsbarometer

I foråret 2018 har Danmarks Evalueringsinstitut (EVA) og Epinion gennemført en kvalitativ og en kvantitativ pilottest af tidligere udgaver af spørgeskemaet til Læringsbarometeret. Resultaterne indgik i de efterfølgende justeringer af spørgeskemaet.

I den kvalitative pilottest blev 29 studerende interviewet, hvoraf seks er engelsksprogede. Interviewene er gennemført som semistrukturerede kvalitative telefoninterview. Forud for interviewene havde ekspertpanelet og UFM udpeget særlige fokusområder for interviewene. Resultaterne viste at de fleste studerende forstod spørgsmålene. Enkelte steder var der problemer med at forstå meningen med enkelte ord eller sætninger.

Danmarks Evalueringsinstitut (EVA) har gennemført den kvalitative pilottest på vegne af Uddannelses- og Forskningsministeriet. 

I maj 2018 blev spørgeskemaet testet i en kvantitativ pilottest. Epinion sendte spørgeskemaet ud til 16.200 studerende fra 13 institutioner. 3.500 studerende svarede på spørgeskemaet, hvilket giver en svarprocent på 21,6 procent. Resultaterne fra den kvantitative pilottest er brugt til efterfølgende valideringsanalyser. 

Spørgeskemaet i den kvantitative pilottest havde 19 backup-spørgsmål. Backup-spørgsmålene skulle skabe ekstra fyld i spørgeskemaet for bedre at kunne se, hvor lang tid, de studerende ville bruge på at svare på spørgeskemaet. De spørgsmål, der blev valgt, er spørgsmål der kan supplere LEARN-indikatorerne hvis de efterfølgende valideringsanalyser skulle vise et behov for det. Backup-spørgsmålene er foreslået af EVA på baggrund af erfaringer fra tidligere spørgeskemaundersøgelser, og udvalgt af ekspertpanelet. 

Pilotvalidering

Resultaterne fra den kvantitative pilottest blev valideret på tre niveauer: 

  • Enkeltspørgsmål er testet i forhold til indikatorerne
  • De ni indikatorer fra LEARN er testet
  • Den samlede model er testet med ekstern validitet og faktoranalyse

Resultaterne viser overordnet at spørgeskemaet empirisk passer til de teoretiske forventninger. På skalaniveau har syv ud af ni indikatorer tilfredsstillende værdier for intern konsistens. Resultaterne fra en konfirmativ faktoranalyse bekræfter i store træk, at de teoretiske dimensioner i LEARN kan genfindes empirisk i de indsamlede pilotdata, og at de enkelte spørgsmål passer til de tilhørende indikatorer.

Valideringsresultaterne blev opsummeret i et notat til ekspertpanelet og referencegruppen. Af notatet fremgår også mulige ændringsforslag til spørgeskemaet på baggrund af valideringerne. 

EVA har lavet valideringsrapporter fra pilottesten: En rapport med skalavalideringsanalyser af resultaterne fra pilottesten for at se, om skalaerne fra LEARN virker på samme måde i Læringsbarometeret. Den anden rapport er en undersøgelse af LEARN-indikatorernes styrke, hvis udvalgte backup-spørgsmål inkluderes. EVA har undersøgt spørgeskemaet på overordnet niveau og på sektorniveau. 

Resultaterne fra pilottestene og valideringen af pilotdata blev præsenteret for ekspertpanelet og referencegruppen. Resultaterne dannede grundlag for justeringer af spørgeskemaet. 

Senest opdateret 07. januar 2020