Please download to get full document.

View again

of 12
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.

Studiesucces of -falen van eerstejaarsstudenten voorspellen: een nieuwe aanpak

Category:

Slides

Publish on:

Views: 5 | Pages: 12

Extension: PDF | Download: 0

Share
Related documents
Description
ARTIKELEN Studiesucces of -falen van eerstejaarsstudenten voorspellen: een nieuwe aanpak Peter G.M. van der Heijden, David J. Hessen & Theo Wubbels * In dit methodologische artikel wordt een nieuwe aanpak
Transcript
ARTIKELEN Studiesucces of -falen van eerstejaarsstudenten voorspellen: een nieuwe aanpak Peter G.M. van der Heijden, David J. Hessen & Theo Wubbels * In dit methodologische artikel wordt een nieuwe aanpak gepresenteerd om te kijken naar studiesucces. De responsvariabele studiesucces wordt gecodeerd als een ordinale variabele met de categorieën (i) vertrek in jaar 1, (ii) vertrek na jaar 1 dan wel langer studeren dan 4 jaar, (iii) diploma in jaar 4 en (iv) diploma in jaar 3. Studiesucces wordt voorspeld met ordinale regressie, waarbij gebruik wordt gemaakt van gegevens beschikbaar in het studievoortgangsysteem van de Faculteit Sociale Wetenschappen (FSW) van de Universiteit Utrecht. In de presentatie van de resultaten wordt de nadruk gelegd op het interpreteren van de kansen dat een student in een van de vier categorieën van de variabele Studiesucces terechtkomt. Door de tijd heen worden analyses verricht, waarbij de tentamenresultaten een steeds belangrijkere rol blijken te krijgen. Er wordt een Excel-programma gepresenteerd waarmee de kansen van een individuele student eenvoudig kunnen worden bepaald door zijn gegevens in te voeren. De gepresenteerde methodiek is eenvoudig door andere instellingen in het hoger onderwijs te implementeren. Inleiding Op vele plekken in Nederland en in de wereld wordt gekeken naar de voorspelling van studiesucces in het wetenschappelijk onderwijs. Dit gebeurt zowel in de wereld van het onderzoek van het hoger onderwijs (zie bijvoorbeeld Annema & Ooijvaar, 2011; Bruinsma & Jansen, 2009; Cassidy, 2011; Jansen & Bruinsma, 2005; Meeuwissen, Van Wensveen & Severiens, 2011; De Koning & Loyens, 2011; Torenbeek, Suhre, Jansen & Bruinsma, 2011; Visser, 2011; Willcoxson, 2010) als in de wereld van de institutional research (zie bijvoorbeeld Brogt, Sampson, Comer, Turnbull & McIntosh, 2011; Campbell, 2007; Whitmer, Fernandes & Allen, 2012; Yu, DiGangi, Jannasch-Pennell & Kaprolet, 2010). In deze bijdrage wordt in dit door velen betreden onderzoeksgebied een nieuwe methodische aanpak uiteengezet, die relatief eenvoudig is te implementeren. De nieuwe aanpak wordt toegelicht met statistische analyses voor de Faculteit Sociale Wetenschappen van de Universiteit Utrecht. * Prof. dr. P.G.M. van der Heijden is werkzaam bij de afdeling Methoden en Technieken, Faculteit Sociale Wetenschappen, Universiteit Utrecht en bij de onderzoeksafdeling S3RI van de University of Southampton. Dr. D.J. Hessen is werkzaam bij de afdeling Methoden en Technieken, FSW, Universiteit Utrecht. Prof. dr. T. Wubbels is werkzaam bij het Facultair Management Team van de FSW, Universiteit Utrecht. Tijdschrift voor Hoger Onderwijs 2012 (30) 4 233 Peter G.M. van der Heijden, David J. Hessen & Theo Wubbels Het oorspronkelijke doel was om studiesucces in de universitaire bacheloropleiding te voorspellen op basis van eenvoudig beschikbare gegevens uit de studentenadministratie. Vanuit de literatuur komen daarvoor data over geslacht, leeftijd, en eerder verworven kennis en vaardigheid in aanmerking (zie bijvoorbeeld Bruinsma & Jansen, 2009; Onzenoort, 2009). Daarbij werd in een eerste fase gekeken naar het langstuderen, dat wil zeggen naar studenten die nog in het vijfde studiejaar staan ingeschreven omdat zij in de voorgaande jaren geen diploma hebben gehaald. Dit langstuderen werd op verschillende momenten in de studie voorspeld op basis van achtergrondkenmerken van studenten, zoals geslacht, eindexamencijfers en de tot dan toe behaalde studieresultaten. Gaandeweg werden ook data over studenten die niet langstudeerden in het project betrokken, namelijk zij die uitvallen in het eerste jaar of later en zij die in drie of vier jaar het diploma behalen. Aan het uitgangspunt geen andere gegevens te gebruiken dan die reeds beschikbaar zijn in de studentenadministratie, werd vastgehouden. De methodische vernieuwing van de voorgestelde aanpak bestaat uit een aantal onderling verbonden elementen, waarbij niet ieder element uniek is, maar het geheel een nuttig en makkelijk toepasbaar instrumentarium oplevert: (i) Er wordt slechts gebruik gemaakt van variabelen die beschikbaar zijn in een studievoortgangsysteem. Men spreekt bij dit soort toepassingen wel van institutional research. Een voordeel van dit type toepassingen is dat men de gegevens van volledige cohorten kan gebruiken en niet slechts van een (soms niet-representatieve) steekproef. Een ander voordeel is dat deze werkwijze goedkoop is, omdat er geen data verzameld hoeven te worden. Een nadeel van institutional research is natuurlijk dat psychologische variabelen zoals leerstrategieën en persoonlijkheidseigenschappen niet meegenomen worden. (ii) De uitkomstmaat is studiesucces of -falen. Waar in veel onderzoek als operationalisering van studiesucces kwantitatieve variabelen als aantal behaalde studiepunten en/of het gemiddelde tentamencijfer (zie bijvoorbeeld De Koning & Loyens, 2011; Torenbeek et al., 2011; Meeuwisse et al., 2011), dan wel dichotome variabelen als drop-out of het behalen van de propedeuse worden gehanteerd (bijvoorbeeld Bruinsma & Jansen, 2009), is hier op basis van het studievoortgangsysteem een ordinale variabele gecreëerd die beleidsmatig van belang lijkt. De categorieën zijn: binnen één jaar met de studie stoppen; later dan in het eerste studiejaar zonder diploma met de studie stoppen dan wel langstuderen ; een diploma behalen in het vierde studiejaar; een diploma behalen in het derde studiejaar. Deze variabele wordt verder studiesucces genoemd, waarbij zij aangetekend dat een deel van de categorieën gebrek aan succes beschrijven. Een andere ordinale uitkomstmaat is recent gebruikt door Annema & Ooijevaar (2011), die voor het examencohort het behalen van een hogeronderwijsdiploma binnen 4 jaar, binnen 5 tot 8 jaar, of (nog) niet hanteren. (iii) De uitkomstmaat studiesucces wordt voorspeld met ordinale regressie, een generalisatie van logistische regressie (Annema & Ooijevaar gebruiken hier 234 Tijdschrift voor Hoger Onderwijs 2012 (30) 4 Studiesucces of -falen van eerstejaarsstudenten voorspellen: een nieuwe aanpak het verwante multinomiale regressiemodel). Een van de resultaten van de analyse, gegeven de waarden op de verklarende variabelen (geslacht, gemiddelde examencijfers, enzovoort), bestaat uit de kansen van studenten om in een van de vier categorieën terecht te komen. Er kan hierdoor per verklarende variabele bekeken worden of deze een significante bijdrage levert aan de voorspelling van de studiesuccescategorieën. Als er sprake is van een significante bijdrage, dan wordt het interessant te bezien hoe de kansen voor studenten om in een bepaalde categorie te vallen veranderen als de waarden op de verklarende variabele veranderen. Juist de verandering van de kansen geeft een helder inzicht in het belang van individuele variabelen (gecorrigeerd voor de andere variabelen in het model). In de presentatie van de resultaten speelt de interpretatie van het model in termen van kansen een centrale rol (vergelijk Bruinsma & Jansen, 2009, die kansen presenteren in de context van survivalanalyse). (iv) De uitkomsten van de analyses kunnen ook worden gebruikt om voor individuele studenten te bezien wat hun kansen zijn om in ieder van de vier categorieën genoemd in (i) terecht te komen. Hiervoor is een gemakkelijk te hanteren tool geprogrammeerd die de kansen op de vier categorieën geeft wanneer de kenmerken van de student in een Excel-spreadsheet zijn ingevoerd. (v) De data worden door de tijd heen geanalyseerd, waarbij de variabele het aantal behaalde cursussen als verklarende variabele voor uiteindelijk studiesucces steeds wordt aangepast. Hierdoor kunnen ook vragen beantwoord worden als wat de kans op studiesucces is nadat de studie al een aanvang heeft genomen en er dus tentamenresultaten zijn. Andere artikelen waarin er aandacht is voor de voorspelling van studiesucces met door de studie heen veranderende gegevens zijn Willcoxson (2010) en De Koning & Loyens (2011). In wat volgt wordt eerst inzicht gegeven in de door ons gebruikte gegevens. Dan volgt een methodesectie waarin het statistische model uit de doeken wordt gedaan. Vervolgens worden enkele resultaten gepresenteerd. Er wordt geëindigd met een discussie en aanbevelingen. Gegevens Om te kunnen constateren of studenten langstudeerders worden, is een gegevensbestand nodig waarin studenten tot in hun vijfde jaar ingeschreven kunnen zijn. Hiertoe zijn de gegevens van de volledige cohorten 2006 (eerste studiejaar ) en 2007 van de Faculteit Sociale Wetenschappen van de Universiteit Utrecht uit ons studievoortgangsysteem OSIRIS gebruikt; in totaal 2134 studenten. Van deze studenten zijn er 96 buiten beschouwing gelaten omdat ze vrijstellingen hebben (89 studenten) of een moeilijk in te delen studieverloop, zodat 2037 studenten in de analyses zijn betrokken. Deze studenten zijn ingedeeld in de vier categorieën besproken in de inleiding. Tijdschrift voor Hoger Onderwijs 2012 (30) 4 235 Peter G.M. van der Heijden, David J. Hessen & Theo Wubbels Verklarende variabelen zijn geslacht (1641 vrouwen en 396 mannen), leeftijd, gemiddeld eindexamencijfer, eindexamencijfer wiskunde, vwo-examenprofiel (zoals economie en maatschappij ), de studierichting (algemene sociale wetenschappen (ASW, n = 274), culturele antropologie (CA, n = 162), onderwijskunde (OWK, n = 54), pedagogiek (PED, n = 516), psychologie (PSY, n = 946) en sociologie (SOC, n = 85)), inschrijvingsdatum, en het aantal behaalde cursussen. Voorspellingen van het studiesucces zijn berekend voor momenten waarop nieuwe informatie over studenten beschikbaar komt en die beleidsmatig interessant lijken. De Universiteit Utrecht kent twee semesters die elk bestaan uit twee blokken, waarbij binnen ieder blok twee cursussen van 7,5 ECTS behaald kunnen worden. Mede gezien de datum van het voorlopige studieadvies (februari) is gekozen voor vier voorspellingen: voorafgaand aan de studie; na blok 1 (aantal behaalde cursussen is 0, 1 of 2); na blok 2 (aantal behaalde cursussen is 0, 1, 2, 3 of 4); begin van tweede studiejaar (aantal behaalde cursussen loopt theoretisch van 0 tot 8). Overwogen is ook om de behaalde cijfers in de analyses te betrekken, maar hier is van afgezien omdat de studierichtingen onvergelijkbare cursussen hebben, en omdat studenten die niet deelnemen aan tentamens te veel missing data zouden krijgen die niet op eenvoudige wijze geïmputeerd zouden kunnen worden. Voor ongeveer 300 studenten ontbrak het gemiddelde eindexamencijfer en het eindexamencijfer wiskunde, en van ongeveer 50 studenten was de inschrijvingsdatum niet bekend. Bij de groep van 300 studenten gaat het voornamelijk om studenten afkomstig uit het hbo. Deze studenten zijn als het ware missing by design, en het gebruiken van bijvoorbeeld multipele imputatie (Van Buuren, 2012) heeft als nadeel dat ontbrekende gegevens van de hbo-studenten worden gevuld alsof zij direct afkomstig waren van het voortgezet onderwijs. Dit zou tot niet-valide imputaties leiden. Dit probleem is als volgt opgelost: stel er is een variabele met ontbrekende waarde X; er is een dummy-variabele D aangemaakt die aangeeft of iemand een score heeft op X (D = 1) ofwel dat die score ontbreekt (D = 0). In de vergelijking (zie de methodesectie) zijn dan de variabelen D en X opgenomen. Dit leidt dan tot b 0 + b 1 D + b 2 DX, waarbij b 0 het intercept is, en b 1 en b 2 regressiegewichten. Het resultaat is dat voor de groep met ontbrekende gegevens het gemiddelde b 0 wordt geschat en voor de groep die waarden heeft op X, (b 0 + b 1 ) + b 2 X, dus een afwijkend gemiddelde en een effect van variabele X. In de missing data-literatuur spreekt men hier van de indicatormethode (Van Buuren, 2012). Statistisch model De afhankelijke variabele, studiesucces, wordt genoteerd als Y met waarden k = 1, 2, 3 en 4, corresponderend met de vier categorieën gedefinieerd in de inleiding. Er is gebruik gemaakt van ordinale regressie (het proportional odds-model, zie bijvoorbeeld Agresti, 2007). Het model is 236 Tijdschrift voor Hoger Onderwijs 2012 (30) 4 Studiesucces of -falen van eerstejaarsstudenten voorspellen: een nieuwe aanpak Log (P(Y k) / P(Y k) = b 0k b 1 X (voor k = 1, 2, 3) waarbij X staat voor een vector van verklarende variabelen en b 1 voor corresponderende regressiegewichten. Er worden dus drie logistische regressies simultaan geschat, waarbij de effecten van verklarende variabelen identiek zijn in de drie logistische regressies (namelijk b 1 ), en slechts de intercepten b 0k, die de hoogte van de kansen van categorieën van studiesucces (de afhankelijke variabele) bepalen, verschillen voor de drie logistische regressies. Een andere manier om het logistische regressiemodel te schrijven is als P(Y k) = exp (b 0k b 1 X) / [1 + exp (b 0k b 1 X)] en zo zijn voor de waarden van de verklarende variabelen in X de cumulatieve kansen P(Y = 1), P(Y 2) en P(Y 3) te bepalen, waarbij P(4) = 1 P(Y 3). Vervolgens zijn hieruit de kansen P(Y = 2) en P(Y = 3) af te leiden als P(Y = 2) = P(Y 2) P(Y = 1), en P(Y = 3) = P(Y 3) P(Y 2). Hierbij staat bijvoorbeeld P(Y = 1) voor de kans dat een student uitvalt in jaar 1, en P(Y 2) voor de som van kansen dat een student in het eerste jaar uitvalt (P(Y = 1)), of daarna uitvalt dan wel langstudeerder wordt (P(Y = 2)). De schattingen zijn uitgevoerd met IBM SPSS statistics 20, procedure PLUM, waarbij de zogenaamde logit-link en verder de default-opties zijn gebruikt. Er worden kansen geschat met behulp van de formule voor P(Y k). Hierbij wordt onderzocht of en hoe deze kansen worden beïnvloed door verklarende variabelen uit het studievoortgangsysteem OSIRIS. Voor de geschatte kansen zijn predictie-intervallen te bepalen met de niet-parametrische bootstrapmethode (Efron & Tibshirani, 1993). In IBM SPSS zijn 50 bootstrapsteekproeven gegenereerd. De analyse van iedere bootstrapsteekproef levert b-waarden. Deze 50 vectoren van b-waarden zijn te gebruiken om 50 vectoren van vier kansen te genereren. Op basis van deze 50 vectoren van vier kansen zijn vier bootstrapstandaardfouten voor de kansen te berekenen. Deze zijn te gebruiken om 95%-betrouwbaarheidsintervallen te berekenen voor de vier kansen geschat op basis van de steekproef (vergelijk figuur 1, hierna). De significantie van de parameters in tabel 3 (hierna) laat zien dat de steekproefomvang van ongeveer 2000 voor het schatten van dit model ruim voldoende is. Resultaten Voorspelling van studiesucces Tabel 1 geeft voor de verschillende verklarende variabelen de percentages in de vier studiesuccescategorieën weer. Voor wat betreft de uitval in het eerste jaar doen mannen het met 38,6% aanzienlijk slechter dan vrouwen (23,7%). Studenten ASW (39,8% uitval), Pedagogiek (35,9%) en Sociologie (34,1%) vallen vaker in het eerste jaar uit dan gemiddeld en studenten Psychologie met 17,3% uitval in het eerste jaar juist minder vaak. Uit tabel 2 blijkt dat het gemiddelde eindexamencijfer, het eindexamencijfer wiskunde en de inschrijvingsdatum samenhan- Tijdschrift voor Hoger Onderwijs 2012 (30) 4 237 Peter G.M. van der Heijden, David J. Hessen & Theo Wubbels Tabel 1 Percentage studenten in de verschillende studiesuccesgroepen voor geslacht en studierichting (percentages). Uitval in Uitval na Diploma Diploma jaar 1 jr 1/langst in jr 4 in jr 3 Totaal n Man Vrouw ASW CA OWK PED SOC PSY totaal Tabel 2 Leeftijd, gemiddeld eindexamencijfer, eindexamencijfer wiskunde, inschrijvingsdatum en aantal gehaalde cursussen (gemiddelden) in de vier categorieën van studiesucces. Uitval in Uitval na Diploma Diploma jaar 1 jr 1/langst in jr 4 in jr 3 Leeftijd Gemiddeld Wiskunde Inschrijv.datum Aantal behaalde cursussen in blok in blok aan einde jr Inschrijvingsdatum 145 is 7 augustus en 150 is 2 augustus gen met studiesucces. Hoe hoger de cijfers en hoe eerder de inschrijfdatum, hoe minder kans op uitval. In de ordinale regressiemodellen bleken leeftijd, het vwo-examenprofiel van de studenten en het cohort waartoe ze behoorden geen statistisch significante bijdrage te leveren aan de voorspelling van studiesucces. In de analyse met louter gegevens voorafgaand aan de studie (zie tabel 3) waren de voorspellende variabelen gemiddeld vwo-eindexamencijfer, vwo-eindexamencijfer wiskunde, inschrijvingsdatum (hoe eerder, des te beter het studiesucces), opleiding en geslacht significant. Na blok 1 neemt de variabele aantal behaalde cursussen de rol van 238 Tijdschrift voor Hoger Onderwijs 2012 (30) 4 Studiesucces of -falen van eerstejaarsstudenten voorspellen: een nieuwe aanpak Tabel 3 Ordinale regressiemodellen. De regressiegewichten van de eindmodellen zijn getoond. Deze regressiegewichten zijn gebruikt om tot de schattingen van kansen te komen. Positieve gewichten laten zien dat een hogere waarde op de variabele leidt tot een grotere kans om in een hogere categorie van de afhankelijke variabele terecht te komen. Variabelen Vooraf Na blok 1 Na blok 2 Na jaar 1 D gem. eindexamencijfer *** Gem. eindexamencijfer.65 *** D wiskunde ** ** *** wiskundecijfer.15 *.20 ***.18 **.21 *** D Inschrijvingsdatum -.96 *** ** ** Inschrijvingsdatum.01 ***.01 ***.01 * Opl ASW *** -.89 *** -.57 *** -.39 * Opl CA -.78 *** *** -.90 *** -.89 *** Opl OWK -.71 *** Opl Ped -.67 *** *** Opl Soc *** 1.61 *** Opl Psy ref ref ref ref Man -.65 *** -.57 *** -.40 ** -.39 ** Vrouw ref ref ref ref Aantal vakken n.v.t *** 2.30 *** 1.48 *** Wald toetsen *p .05; **p .01; ***p .001; ref geeft aan dat de categorie gebruikt is als referentiecategorie. gemiddeld eindexamencijfer over: deze laatste variabele heeft dan geen statistisch significante bijdrage meer aan de voorspelling van het studiesucces. De voorspellingskracht van het aantal behaalde cursussen neemt door de tijd heen toe. Een tool voor de kans op studiesucces Met behulp van de logistische regressie is een tool ontwikkeld waarmee voor individuele studenten de kans op studiesucces kan worden berekend, dat wil zeggen: de kansen om in de verschillende categorieën van de variabele studiesucces terecht te komen. In figuur 1 staat een afbeelding van een voorbeeld van de invoer in de tool (bovenin: de studentkenmerken) en de uitkomst (onderin: de kansen op studiesucces): voor een vrouwelijke psychologiestudente die als gemiddeld vwo-eindexamencijfer een 7 heeft, voor het eindexamen wiskunde een 7 heeft en ingeschreven is op 1 juli, vinden we een kans van 8% om uit te vallen in jaar 1, een kans van 6% om daarna uit te vallen of langstudeerder te worden, een kans van 15% om een diploma te halen in het vierde studiejaar, en een kans van 71% om een diploma te halen in het derde studiejaar. Deze kansen zijn desgewenst optelbaar: indien de laatste twee categorieën geïnterpreteerd worden als Tijdschrift voor Hoger Onderwijs 2012 (30) 4 239 Peter G.M. van der Heijden, David J. Hessen & Theo Wubbels Figuur 1 Een tool waarmee kansen op studiesucces van individuele studenten kunnen worden voorspeld. positief studiesucces en de eerste twee als negatief, dan is de kans voor deze studente op positief studiesucces 86%. In het gele gebied zijn andere getallen in te vullen en kunnen door de cel aan te klikken met een keuzelijst de waarden op geslacht en opleiding veranderd worden. Uit het 95%-betrouwbaarheidsinterval van de kansen blijkt dat voor deze vrouwelijke psychologiestudente de marge voor kansen rond 10% ongeveer plus-min 2% is, en voor kansen in de buurt van 50% plus-min 5%. Voor kleinere opleidingen dan Psychologie (n = 946) worden deze betrouwbaarheidsintervallen groter: bijvoorbeeld voor Onderwijskunde (n = 54, resultaten hier niet getoond) zijn de marges ongeveer twee tot drie keer zo groot. Met behulp van de tool zijn voor vrouwelijke psychologiestudenten met verschillende kenmerken de kansen op studiesucces berekend. De resultaten, weergegeven in tabel 4, illustreren hoezeer die kansen verschillen als functie van de gezamenlijke studentkenmerken. In rij 1 ziet men in de laatste vier kolommen kansen indien er geen waarden bekend zijn bij gemiddeld vwo-eindexamencijfer, vwoeindexamencijfer wis
Similar documents
View more...
Search Related
We Need Your Support
Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

Thanks to everyone for your continued support.

No, Thanks