PowerPoint presentatie Frank Hubers en Eric Visser - ERIM

Impact-evaluatie PEDE programma
Drs. Frank Hubers
Prof. Dr. Dinand Webbink

• Inleiding
• Beschrijving interventie
• Methoden en Model
• Dataverzameling
• Bevindingen
• Conclusie
Inhoud

Inleiding
• Samenwerking ECSP – Children Asking
• Wat is een impactevaluatie?
– Onderzoek naar het oorzakelijke effect van een interventie
– Attributie staat centraal
– Gebruikmakend van een vergelijkbare controlegroep

Onderzoeksvraag:
Inleiding
• “Wat is de impact van het PEDE project op de
deelnemende kinderen?”
Schoolprestaties
Gedrag

Kenmerken PEDE-project
• Naschoolse opvang met bijles
• 4 dagen in de week, 1,5-2 uur per dag, voor of na regulier onderwijs
• Kleine groepen (max 12 kinderen)
• Lokale kerken voorzien lokalen
• PEDE-docenten zijn vrijwilligers (getraind)
• Doelgroep: kinderen tussen 6-12 jaar oud (basisonderwijs)
• Arme regio’s (favelas) in Brazilie

Methoden en model
• Controlegroep:
– Kinderen van de scholen waar CA-deelnemers ook zitten
– Vergelijkbare sociaal-economische achtergrond
• Maar zijn deze kinderen vergelijkbaar? (Selection bias)
– Risico dat CA kinderen trekt die slechter scoren
– …of juist meer gemotiveerd zijn!
• Daarom:
– Gebruik maken van longitidunaal karakter van onze data:
• Herhaalde metingen van personen
• Dus zowel voor als na de behandeling
• En zowel behandelde als onbehandelde groep

Methoden en model
: Fixed effects van individu i
ECSP Conferentie – De Toekomst van Fondsen in de Filantropie
21 maart 2013

• Plan voor dataverzameling
– Schoolprestaties
• Rapporten
• Eindtest- scores
– Gedrag
Dataverzameling
• Spijbelen (afwezigheid regulier onderwijs)
• Questionnaire (vragen over alchohol, drugs en wangedrag)

Dataverzameling
• Dataverzameling (proces)
– Uitgevoerd door lokale CA staf
– Rapporten door CA verzameld bij scholen
– Questionnaires afgenomen bij scholen en CA project
– Veldbezoek ECSP in november 2011
• Belangrijkste verkregen data:
– 2,700 rapporten (1 rapport = 1 kwartaal)
• (850 kinderen/ 4 scholen / 7 kwartalen)
– 250 Questionnaires
• Niet verkregen:
– Eindtest scores

Rapporten
Periode 1 2 3 4 5 6 7 Totaal
E.M.E.F Capistrano de Abrue 165 172 174 160 164 164 126 1.125
E.E. Rev. Mattathias 30 31 31 32 47 47 47 265
E.M.E.F. Prof. Flávio 310 301 462 1.073
E.E. Paulo Kobayashi 16 76 76 76 244
Totaal 195 513 205 509 287 749 249 2.708
Behandelde groep Controle groep
E.M.E.F Capistrano de Abrue 14 161
E.E. Rev. Mattathias 18 31
E.M.E.F. Prof. Flávio 75 481
E.E. Paulo Kobayashi 1 91
Totaal 108 764
ECSP Conferentie – De Toekomst van Fondsen in de Filantropie
21 maart 2013

• Algemeen:
Bevindingen
– Positief effect op onderwijsprestaties
– Meest duidelijke effecten op taal:
• Deelname levert gemiddelde leerling een stijging op van 0.4 SD in
taal op

Bevindingen
(1) (2) (3) (4)
Rapportcijfer Taal Rekenen Wetenschap Geschiedenis
PEDE 0.437*** -0.118 0.151 -0.282
(0.143) (0.210) (0.375) (0.254)
Observaties 2,435 2,426 2,203 2,243
R-squared 0.069 0.058 0.045 0.053
Aantal kinderen 833 834 795 815
(5) (6) (7) (8)
Rapportcijfer Aardrijkskunde Gym Gemiddeld Absentie
PEDE 0.286 -0.339 0.113 -0.0260
(0.424) (0.485) (0.179) (0.316)
Observaties 2,120 2,108 2,447 1,621
R-squared 0.027 0.013 0.075 0.020
Aantal kinderen 752 752 838 626
ECSP Conferentie – De Toekomst van Fondsen in de Filantropie
21 maart 2013

• Heterogene effecten:
– Meisjes:
• Positieve effecten op prestaties.
Bevindingen
• Geen effect op absentie regulier onderwijs
– Jongens:
• Geen positef effect op prestaties
• Subsitiegedrag: deelname CA heeft negatief effect op deelname
aan regulier onderwijs
• Deze absentie leidt tot negatief effect op prestaties
• Effect op schoolprestaties indien gecontroleerd voor absentie, is
positief

Bevindingen
Alleen jongens
ECSP Conferentie – De Toekomst van Fondsen in de Filantropie
(1) (2) (3) (4)
Rapportcijfer Taal Rekenen Wetenschap Geschiedenis
PEDE 0.252 -0.343 0.0683 -0.144**
(0.336) (0.310) (0.100) (0.0572)
Observaties 1,220 1,215 1,091 1,120
R-squared 0.081 0.064 0.069 0.064
Aantal kinderen 424 424 400 414
(5) (6) (7) (8)
Rapportcijfer Aardrijkskunde Gym Gemiddeld Absentie
PEDE -0.173*** 0.304* -0.0147 0.401***
(0.0546) (0.180) (0.214) (0.0878)
Observaties 1,062 1,056 1,224 821
R-squared 0.024 0.019 0.080 0.050
Aantal kinderen 383 383 426 324
21 maart 2013

• Analyse is positief:
Conclusies
– PEDE positief effect op lezen en schrijven (vooral bij meisjes)
– Opvallend effect in vergelijking met andere interventies
– Relatief ‘goedkope’ interventie
• Verbeterpunt:
– Let op de jongens! Zij (of ouders) zien deelname aan PEDE als
vervanging voor regulier onderwijs!
• Interessant voor vervolgonderzoek:
– Effect van PEDE op gedrag kinderen (criminaliteit etc).

Questionnaires
PEDEControle- P-waarde
deelnemersgroep Sociaaleconomisch achtergrond (PPI score) 34,5 37,8 0.033
Gemiddeld aantal broers/zussen 2,6 2,7 NS
% religieus 85,3% 67,2% 0.005
% waarvan ouders religieus 73,8% 68,0% NS
% rokers 0,3% 0,1% NS
% dat wel eens alcohol drinkt 0.0% 0.2% NS
% dat afgelopen jaar problemen heeft gehad met de leraar
(self reported)
18,2% 9,3% 0.057
% dat afgelopen jaar problemen heeft gehad met zijn/haar
ouders (self reported)
11,9% 8,3% NS
% dat afgelopen jaar problemen heeft gehad met de politie
(self reported)
5,8% 1,8% NS
% dat verwacht in de toekomst een diploma hoger onderwijs
te behalen
86,7% 90,1% NS
% dat verwacht in de toekomst te zullen trouwen 86,4% 91,1% NS
% dat verwacht in de toekomst kinderen te zullen krijgen 87,7% 87,9% NS
% dat aangeeft tevreden of heel tevreden te zijn over
haar/zijn leven
100,0% 100,0% NS
% dat aangeeft ongelukkig te zijn (score< 6) 1,5% 2,9% NS
Gemiddeld cijfer voor geluk op schaal 1-10 9,8 9,6 NS
Totaal aantal observaties 68 181
ECSP Conferentie – De Toekomst van Fondsen in de Filantropie
21 maart 2013