10.09.2013 Views

Hofstee schrijft - NIP

Hofstee schrijft - NIP

Hofstee schrijft - NIP

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

foto’s: shutterstock<br />

28<br />

de psycholoog / april 2013<br />

psychologie als wedstrijd<br />

auteur: wim hofstee<br />

FORUM:<br />

integer wetenschappelijk onderzoek<br />

psychologie<br />

als wedstrijd


de psycholoog / april 2013 29<br />

psychologie als wedstrijd


30<br />

de psycholoog / april 2013<br />

psychologie als wedstrijd<br />

auteur: wim hofstee<br />

Volgens Wim <strong>Hofstee</strong> berust wetenschappelijk<br />

onderzoek op al dan niet geor ganiseerde scepsis.<br />

Fraude en zelfbedrog, zeker binnen de mens- en<br />

maatschappijwetenschappen, zijn volgens hem niet<br />

louter incidenten maar liggen juist structureel op de<br />

loer. ‘Willen we de spanning erin houden, dan moeten<br />

we er een wedstrijd van maken.’ Eric-Jan Wagemakers<br />

en Mark van Vugt dienen hem van repliek.<br />

In principe kan er over<br />

onderzoeksintegriteit geen<br />

enkel meningsverschil<br />

of misver stand be staan:<br />

‘integer wetenschappelijk<br />

onderzoek’ is een pleonasme.<br />

Integriteitscodes zijn<br />

een vorm van ju ridische<br />

overproductie: bedrog, met name<br />

ook zelfbedrog, is eenvoudigweg<br />

onweten schappelijk. Zulke codes<br />

zijn zelfs eerder verdacht, omdat<br />

hun bestaan suggereert dat er ook<br />

zoiets als niet-integer, bijvoorbeeld<br />

politiek of commercieel gevoelig<br />

onderzoek zou zijn. Dat is er wel,<br />

maar dat is dus onwetenschap.<br />

(Vergelijk daarentegen bijvoorbeeld<br />

‘integere poli tiek’: dat is<br />

haast een slogan in tegenspraak<br />

met zichzelf, hoogstens geschikt<br />

om de aandacht af te lei den van<br />

de ingebouwde bedrieglijke kant<br />

ervan; het pleonasme is hier eerder<br />

‘kiezers bedrog’. In tegere handel<br />

verkoopt ook niet lekker).<br />

Bij professies hebben codes<br />

een functie. De nip-code is ‘…het<br />

hulpmiddel voor de psycholoog<br />

om […] tot een verantwoorde<br />

eigen keuze te komen’ in ethische<br />

dilemma’s waar in ‘…verschillende<br />

basisprincipes […] gelijktijdig<br />

geldig zijn, maar met elkaar op gespannen<br />

voet kunnen staan’. Maar<br />

onderzoek als zodanig kent per<br />

definitie geen ethische dilemma’s.<br />

Stel je voor dat een wetenschappelijke<br />

code het aan jouw verantwoordelijkheid<br />

zou overlaten<br />

of en wanneer je gegevens mag<br />

vervalsen, verzinnen, onder de pet<br />

houden, enzovoort… Aan sporingen<br />

tot integer onderzoek en colleges<br />

wetenschapsethiek (in Tilburg ooit<br />

gegeven door Diederik Stapel) zijn<br />

misschien geschikt als vorm van<br />

reclame voor de bühne – alhoewel<br />

ook die buitenwacht van de<br />

weeromstuit extra achterdochtig<br />

zou moeten worden als er op iets<br />

zo van zelfsprekends wordt gehamerd.<br />

Een moreel perspectief heeft<br />

ook nog als bedenkelijke consequentie<br />

dat er onderscheid wordt<br />

gemaakt, tussen moord en doodslag,<br />

onderzoeksfraude en sloppy<br />

science. Dat werkt het standaardverweer<br />

van overtreders in de hand<br />

dat ze weliswaar foutjes hebben<br />

gemaakt, maar niet fout waren. Allerlei<br />

vormen van kanskapitalisatie<br />

en confirmation bias zijn echter<br />

precies even onwetenschappelijk<br />

als fabricatie van gegevens. Onderzoek<br />

berust op – al dan niet georganiseerde<br />

– scepsis, tegenspraak<br />

en achterdocht; de ontkenning, de<br />

tegenwerping en de onge lovigheid<br />

zijn er grondpassen van. Ze zijn<br />

de onmisbare tegenhanger van de<br />

vreugde over de schoonheid van de<br />

vondst.<br />

Nu de praktijk Dat alles<br />

gezegd zijnde, wordt het tijd<br />

om onder ogen te zien dat,<br />

in de wetenschappelijke onderzoekspraktijk,<br />

fraude<br />

en zelfbedrog niet louter<br />

incidenten zijn maar structureel<br />

op de loer liggen. Dat geldt<br />

in elk geval voor de mens- en


maatschappijwetenschappen in<br />

de ruime zin, dus in clusief met<br />

name de gezondheidswetenschap.<br />

Hun gevoeligheid voor ophef<br />

berust op het feit dat er, na kritisch<br />

effectonderzoek met inbegrip van<br />

ongewenste neveneffecten, betrekkelijk<br />

weinig van overblijft<br />

– niet niks, want alles hangt wel<br />

een beetje met alles samen zodat je<br />

met voldoende power vrijwel alles<br />

significant kunt krijgen – maar<br />

zelden genoeg om echt warm van<br />

te worden. Zoals columnist Jan<br />

Blokker ooit schreef: ‘Anders dan<br />

Archimedes kan de psycholoog ook<br />

nooit “Eureka” roepen. De ene keer zal<br />

een lichaam dat hij in een vloeistof<br />

heeft gedompeld, meteen zinken,<br />

maar de volgende keer komt het tot<br />

zijn verbazing weer bovendrijven. Een<br />

wet kan hij er nooit uit formuleren.<br />

Als hem iets per ongeluk lukt moet hij,<br />

net als een theoloog, van een mirakel<br />

spreken.’<br />

Nu is dat uiteraard overdreven,<br />

en het gebrek aan slam-bangeffecten<br />

ligt ook niet aan de wetenschappen<br />

in kwestie zelf, maar<br />

aan hun object: mensen vormen<br />

naar redelijke maatstaven zootjes<br />

ongeregeld, of zo men wil, nietlineaire<br />

dynamische systemen,<br />

die ook nog een keer eigenwijs<br />

kunnen reageren op wetenschappelijke<br />

feedback. Veel om echt over<br />

naar huis te schrijven of hoog van<br />

de toren te blazen hebben deze<br />

wetenschappen dan ook niet te<br />

bieden. Eigenlijk moeten ze het<br />

juist vooral hebben van het relativeren<br />

van breed gedeelde opinies.<br />

Maar de meeste mensen willen<br />

meer: stelligheden in plaats van<br />

voorzich tige, immer voorlopige en<br />

aanvechtbare, feilbare conclusies.<br />

Of dat verlangen voortkomt uit<br />

hun existentië le onzekerheid (zoals<br />

beoefenaren van de learned professions<br />

elkaar graag voorhou den),<br />

of gewoon uit een speelse behoefte<br />

aan magie en sterke verhalen, mag<br />

in het midden blijven. Hoe dan ook<br />

levert dat verlangen een voedingsbodem<br />

voor irrationele virussen in<br />

de communicatie tussen onderzoeker<br />

en gehoor – niet louter het bredere<br />

publiek, maar ook het in ternwetenschappelijke,<br />

dat eveneens<br />

uit mensen bestaat. Dat komt dus<br />

in deze gedachtegang niet doordat<br />

de weten schap wordt besmet of<br />

overvleugeld door politieke of<br />

commercië le mo tieven, maar door<br />

een ge meenschappelijke factor:<br />

behoefte aan schone schijn en free<br />

lunches. De wereld wil ook wel eens<br />

een keer bedrogen worden.<br />

Het klassieke voorbeeld van georganiseerde<br />

zinsbegoocheling is<br />

selectieve publicatie, in de zin van<br />

het onderdrukken van nulresultaten,<br />

met als gevolg dat hetgeen wel<br />

de pers haalt, gemiddeld uit overschattingen<br />

van effecten bestaat.<br />

De organisatie bestaat uit een<br />

sa menspel van auteurs, reviewers,<br />

redacteuren, uitgevers en lezers,<br />

waarin de verantwoordelijk heid<br />

voor het bedrog als het ware oplost<br />

de psycholoog / april 2013 31<br />

psychologie als wedstrijd<br />

Kanskapitalisatie en<br />

confirmation bias zijn<br />

even onwetenschappelijk<br />

als fabricatie van<br />

gegevens


32<br />

de psycholoog / april 2013<br />

psychologie als wedstrijd<br />

auteur: wim hofstee<br />

Mensen vormen zootjes<br />

ongeregeld, of zo men wil,<br />

niet-lineaire dynamische<br />

systemen<br />

in collectief zelfbedrog. Remedies<br />

zijn onder andere vooraanmelding<br />

van ex perimenten en het openen van<br />

mogelijkheden voor publicatie van<br />

replicaties ongeacht de uit komst. Ze<br />

getui gen van een mate van naïviteit.<br />

Ze veronderstellen na melijk een zuiver<br />

weten schappelijke atti tude bij de<br />

actoren in kwestie; als die assumptie<br />

zou zijn vervuld, zou den ze overbodig<br />

zijn. De realiteit is dat bijvoorbeeld<br />

onderzoekers die de klok ken<br />

der victorie zouden luiden als de<br />

theorie waarin ze geloofden door<br />

de feiten wordt afgezwakt, met een<br />

lampje zijn te zoeken. Ze zouden wel<br />

gek zijn. En wat het gehoor betreft:<br />

bijvoorbeeld ook bankiersbedrog,<br />

‘vraag niet hoe het kan, maar geniet<br />

ervan’, voorziet in een breed gedeelde<br />

behoefte. Bedenk trouwens ook dat<br />

in meta-analyses een oorspronkelijke<br />

verteke ning pas wordt gecorrigeerd<br />

als de gezamenlijk steekproefgrootte<br />

van de replicaties tot onein dig nadert.<br />

Een subtielere vorm van misleiding,<br />

of misschien beter: een voorbeeld<br />

van de manier waarop bedrog<br />

is doorgedrongen in de haarvaten<br />

van empirisch effectonderzoek, is<br />

methodo logisch van aard. Over nulresultaten<br />

gesproken: ongeveer het<br />

eerste wat een student leert is dat je<br />

een nulhypothese niet kunt bewijzen,<br />

alleen verwerpen. Een insignificant<br />

resultaat is dus gewoon geen<br />

resultaat, het is leeg, jammer van de<br />

moeite, had je net zo goed niet kunnen<br />

doen. De geschiedenis van de<br />

methodologie kent wel pogingen om<br />

de significantietoets door iets rationelers<br />

te vervangen, maar die pogingen<br />

zijn voornamelijk … geschiedenis.<br />

Zo diep is de confirmation bias, in<br />

dit geval via de geraffineerde omweg<br />

van de ontkrachting, verankerd in de<br />

methodologische regelgeving zelf.<br />

Het achterliggende motief is dat de<br />

zwakte van de ver banden en effecten<br />

onder het karpet wordt geveegd door<br />

de significantietoets; immers, die<br />

maakt alleen onderscheid tussen<br />

al dan niet. Met name psychologen<br />

kijken als konijnen in die koplamp.<br />

Een betrekkelijk actuele vorm<br />

van productie van schijn, of zeg maar<br />

gewoon liegen met statistiek, is het<br />

adverteren van relatieve kansen en<br />

risico’s. Stel, je hebt teveel slechte<br />

cholesterol in je bloed. Bij wijze van<br />

primaire preventie (je hebt ‘nog’<br />

geen cardiovasculaire geschiedenis)


kun je je kans op een hartaanval<br />

in de komende x jaar met 33%<br />

reduceren (rela tieve risicoreductie,<br />

rrr) door die x jaar lang cholesterolremmers<br />

te slikken. Ja, het kost<br />

wat en je hebt een gerede kans op<br />

bijverschijnselen, maar daar zijn<br />

ook weer middeltjes voor, en per<br />

slot, 33% is niet niks. Alleen, het<br />

verhaal wordt even anders als je op<br />

het idee komt te vra gen hoe groot<br />

dat risico eigenlijk om te beginnen<br />

(absoluut) was. Stel dat het antwoord<br />

is: zo’n drie procent. Daar<br />

kun je dan dus één procent van af<br />

krijgen (absolute risicoreductie,<br />

arr) door te slik ken. Per honderd<br />

mensen die dat doen krijgt<br />

er derhalve eentje minder een<br />

hartaanval. Anders ge zegd, de kans<br />

dat uitgerekend jij baat hebt bij dit<br />

hele gedoe is één procent. Nu staan<br />

er ogenblikkelijk klassiek-sta tistici<br />

op die betogen dat persoonlijke<br />

kansen niet bestaan, dat er met<br />

arr’s en nnt’s (numbers needed to<br />

treat) niet lekker te rekenen valt, en<br />

dergelijke terzijdes. Maar heel misschien<br />

zul je je toch even achter de<br />

oren krabben en je realiseren dat je<br />

eventue le ‘therapietrouw’ niet veel<br />

meer zal voorstellen dan een ritueel<br />

om gezondheidsgoden gun stig<br />

te stem men. Geloofsbelijdenis in<br />

plaats van wetenschap, vallen voor<br />

gezichtsbedrog.<br />

Al deze en andere voorbeelden<br />

zijn samen te vatten als<br />

‘selectiviteit’ (zoals in ‘selec tieve<br />

verontwaardiging’): shoppen in de<br />

verzameling van mogelijke operationalisaties<br />

van een construct, de<br />

alternatieven voor gegevensverwerving,<br />

verwerkingsmodellen, tot<br />

en met accenten in de rapportage<br />

en de reviewing – dat alles in het<br />

kader van ‘effect’-bejag. Bedrog dus.<br />

Zo mogelijk nog onwetenschappelijker<br />

is vervolgens de operationistische<br />

manoeuvre: je eist dat alleen<br />

exacte replica’s van het onderzoek<br />

meetellen, en bestempelt iedere<br />

afwijking als kunst fout. Zo wordt<br />

een theorie of hypothese ingesponnen<br />

in een protocollair web en<br />

wordt de laatste druppel bloed er<br />

uitgezogen; wat overblijft is louter<br />

schijn.<br />

Moraal? In de geschetste<br />

constellatie is het lastig laveren<br />

tussen cynisme en purisme. Voor<br />

degene die zelf onderzoek wil<br />

doen is de conclusie duidelijk<br />

genoeg: die kan, zo als gezegd,<br />

niet an ders dan bij zijn of haar<br />

wetenschappelijke leest blijven, en<br />

hopen op de once-in-many-lifetimes<br />

vondst die geen ophef nodig heeft.<br />

Maar bij moraal gaat het niet over<br />

die eerste per soon enkelvoud,<br />

maar over de manier waarop we<br />

anderen tege moet treden. Daarbij<br />

is het rea listische uitgangspunt dat<br />

schone schijn wekken verleidelijk<br />

is – in de on derzoeksrapportage<br />

net zo goed als in de geldhandel<br />

of het verkiezingsprogram – en<br />

dat alleen een enkele vreemdeling<br />

in Jeruzalem goudeerlijk zal<br />

blijken. In het algemene geval<br />

zullen mensen onder hevig zijn<br />

aan tegenstrijdige motieven en<br />

verlangens, in dit verband: naar<br />

feite lijkheid en schijn, realisme<br />

en een goed gevoel, rationaliteit<br />

en romantiek. Van buitenaf gezien<br />

zal dat ook op onszelf slaan.<br />

Wie moraliseert zonder dat in<br />

de gaten te hebben, is hypocriet<br />

– niet noodzakelijk in de zin<br />

van bewuste huichelarij, maar<br />

in de letterlijke betekenis van<br />

onvol doende kritisch jegens zich-<br />

zelf. Gans onwetenschappelijk,<br />

derhalve.<br />

Een extra reden om voorzichtig<br />

te zijn met moraliseren is dat<br />

bedriegers zelf er door gaans de nobelste<br />

bedoelingen op na houden;<br />

mij althans is in de wetenschappelijke<br />

context op die regel zelfs geen<br />

uitzondering bekend. Het komt<br />

erop neer dat ze iets geloven, dat<br />

ze van gevoelen zijn dat de mensheid<br />

gebaat is met de verbreiding<br />

van dat geloof, en dat con frontatie<br />

met de empirie alleen maar kan<br />

leiden tot verlies aan charisma,<br />

magie en ‘effect’. Over valorisatie<br />

gesproken: gezien de maatschappelijke<br />

behoefte aan drama is daar<br />

op zich niks mis mee, het is alleen<br />

onwetenschappelijk.<br />

Nu kan men tegenwerpen dat,<br />

ongeacht de bedoeling, onwetenschappelijk<br />

gedrag mo reel verwerpelijk<br />

is aangezien het schade aanricht.<br />

Maar dat vergt een moeizame<br />

discussie. Meestal wordt namelijk<br />

iets bedoeld als morele schade,<br />

het type letsel waarvoor Pussy<br />

Riot twee jaar strafkamp kreeg:<br />

scha de bij het gehoor dat vroeg of<br />

laat in zijn goed gelovigheid wordt<br />

te leurgesteld, dan wel ten aanzien<br />

van ‘de’ wetenschap die aan<br />

geloofwaar digheid in boet. Maar<br />

wat dat laatste betreft: wetenschap<br />

is per definitie geen kwestie<br />

van ge loof, en hoe duidelijker dat<br />

wordt, des te beter. Ontmaskering<br />

van bedrog is een weliswaar hardhandige<br />

maar eff ectieve manier<br />

om dat in te wrijven; maar daarvoor<br />

moet er natuurlijk wel eerst<br />

ie mand be drog hebben gepleegd.<br />

Wat be treft het eerste, morele<br />

schade bij het ge hoor: vanuit de<br />

weten schap gezien is het moeilijk<br />

vol te houden dat het schadelijk is<br />

de psycholoog / april 2013 33<br />

psychologie als wedstrijd


34<br />

de psycholoog / april 2013<br />

psychologie als wedstrijd<br />

auteur: wim hofstee<br />

als men sen van een ge loof val len.<br />

Al met al kan zelfs met enig gevoel<br />

voor ironie worden gesteld dat<br />

bedriegers de weten schap en haar<br />

gehoor een dienst be wijzen, zij het<br />

dan ondanks zichzelf.<br />

Wat overblijft is dat de wetenschap<br />

het aan zichzelf verplicht<br />

is corrigeren de maatre gelen te<br />

treffen tegen bedrog en, zeker<br />

wanneer dat mythische propor ties<br />

aanneemt, jegens de acto ren in<br />

kwestie. Die ondankbare taak moet<br />

ook nog eens worden uitgevoerd<br />

in het besef van ei gen feilbaarheid;<br />

morele verontwaardiging kan ge-<br />

sjoemelwetenschap - eric-jan wagenmakers<br />

Volgens wim hofstee gaat het slecht met<br />

de psychologie als wetenschap: behoefte<br />

aan schone schijn, zelfbedrog, selectieve<br />

publicatie, effectbejag en bedrog zouden alle<br />

hoogtij vieren. helaas, misschien heeft hofstee<br />

gelijk. de commissie-levelt bestempelde<br />

sommig psychologisch onderzoek recentelijk als<br />

“slodderwetenschap”. maar het is hier beter te<br />

spreken van sjoemelwetenschap: onderzoekers<br />

die zichzelf en hun collega’s een rad voor ogen<br />

draaien om te kunnen publiceren in prestigieuze<br />

vaktijdschriften. in Ontsporing be<strong>schrijft</strong> diederik<br />

stapel zijn handelswijze in de tijd dat hij naar eigen<br />

zeggen nog geen data verzon: “er zijn veel manieren<br />

om de wereld mooier te maken. elke psycholoog<br />

heeft een gereedschapskist vol met statistische<br />

en methodologische procedures voor als het even<br />

tegenzit. ik gebruikte deze procedures om lelijke<br />

bevindingen weg te gummen en matige resultaten<br />

op te poetsen” (p. 165). sjoemelwetenschap pur sang.<br />

Natuurlijk is er hoop op verbetering. in de eerste<br />

plaats is de psychologie zich de laatste jaren steeds<br />

meer bewust geworden van het feit dat er überhaupt<br />

een probleem is. een special issue van Perspectives<br />

on Psychological Science (open access, zie http://<br />

pps.sagepub.com/content/7/6.toc) bevat achttien<br />

voeglijk ach terwege blijven, want<br />

die zet al leen maar de omstanders<br />

op het verkeerde, namelijk<br />

onweten schappelijke been.<br />

Is er, tot slot, een remedie<br />

tegen de saaiheid van een consequent<br />

wetenschappelijke aanpak?<br />

Welzeker. In aanleg is die vervat in<br />

Robert Mertons organized skepticism.<br />

In een psychologisch verantwoorde<br />

versie van klokkenluiden<br />

bestaat de lol uit het relativeren<br />

van andermans theorie, in plaats<br />

van die van jezelf. Schaakmeester<br />

en methodoloog Adriaan de Groot<br />

riep ons op de tegenstander in huis<br />

te halen: geen opponent, geen Elopunten.<br />

De Raad voor Maatschappelijke<br />

Ontwikkeling publi ceerde<br />

onlangs in veel breder verband<br />

een advies onder de titel Tegenkracht<br />

organiseren. Het is ui teraard,<br />

vanuit de ivoren toren bekeken,<br />

een loffelijk streven de wetenschap<br />

te ont doen van magie, charisma<br />

en het daarvoor noodzakelijke<br />

bedrog; maar protocollering,<br />

vooraanmel ding van hypothesen,<br />

exacte replicatie en verder ver toon<br />

van wetenschappelijke integri teit<br />

zullen ten onder gaan in collectief<br />

gegeeuw van verve ling. Willen<br />

artikelen over de vertrouwenscrisis in de psychologie.<br />

deze artikelen brengen het probleem in kaart maar<br />

bevatten ook concrete voorstellen voor verandering.<br />

het voorstel van hofstee is de wetenschappelijke<br />

weddenschap: samen met een opponent bedenkt<br />

de onderzoeker een informatief experiment, en de<br />

uitkomst daarvan bepaalt de winnaar. in de strijd om<br />

hun gelijk houden de tegenstrevers elkaar eerlijk, en<br />

zo wordt sjoemelwetenschap vanzelf voorkomen.<br />

een belangrijk element van de weddenschap is<br />

natuurlijk dat er van tevoren wordt vastgelegd hoe<br />

de gegevens zullen worden geanalyseerd. dit idee is<br />

in theorie heel aantrekkelijk, en ik ben zelf verwikkeld<br />

in een aantal ‘adversarial collaborations’ die veel lijken<br />

op wat hofstee voorstelt.<br />

het weddenschapsvoorstel van hofstee heeft<br />

echter een groot nadeel: wat als de tegenpartij geen<br />

weddenschap aan wil gaan? dit kan zijn omdat de<br />

tegenpartij te druk is, bang is om te verliezen, of<br />

overleden. Van deze drie redenen is de angst om te<br />

verliezen misschien nog wel de meest beperkende.<br />

sommige onderzoekers hebben hun hele carrière<br />

gebouwd op het aantonen van een enkel sexy effect,<br />

en deze onderzoekers hebben in de weddenschap<br />

alles te verliezen en weinig te winnen. een<br />

dergelijke utilitaire instelling getuigd natuurlijk van


we de spanning erin houden, dan<br />

moeten we er een wedstrijd van<br />

maken. De sce nario’s daarvoor liggen<br />

klaar: als je twee hypothesen<br />

over effectgrootte tegen elkaar in<br />

het strijdperk brengt, zal doorgaans<br />

de meer sceptische van de<br />

twee met de eer gaan strijken (dat<br />

kan zelfs de nulhypothese zijn).<br />

Alleen, zulke modellen vergen<br />

een grondige mentale herprogrammering:<br />

de onderzoeker kan<br />

niet meer pre tenderen de waarheid<br />

in pacht te hebben. Dat kan<br />

alleen bij de gratie van be drog.<br />

sjoemelwetenschap, en zelfs van een zekere lafheid,<br />

maar dit is desalniettemin de harde realiteit.<br />

het wekt dan ook geen verwondering dat<br />

de wetenschappelijke weddenschap nooit is<br />

aangeslagen sinds hofstee dit voorstel voor het<br />

eerst opperde, 29 jaar geleden in Acta Psychologica.<br />

in de praktijk blijkt de menselijke lafheid sterker dan<br />

de wil om te winnen, of de wil om de waarheid te<br />

achterhalen.<br />

hoe kan sjoemelwetenschap voorkomen worden<br />

zonder een wetenschappelijke weddenschap?<br />

welnu, er is maar een probaat middel:<br />

vooraanmelding van design en analyse. hofstee<br />

vindt dit moraliserend, naïef en bovenal saai. maar<br />

daarmee vergeet hij dat vooraanmelding ook een<br />

cruciaal onderdeel is van de wetenschappelijke<br />

weddenschap. Zonder menselijke tegenstrever<br />

kan vooraanmelding beschouwd worden<br />

als een noodzakelijke voorwaarde voor een<br />

wetenschappelijke weddenschap met moeder<br />

Natuur.<br />

Vanzelfsprekend mag de onderzoeker ook<br />

na vooraanmelding nog steeds aanvullende,<br />

alternatieve analyses uitvoeren. maar door<br />

de vooraanmelding is het glashelder welke<br />

analyses van tevoren gepland waren, en welke<br />

Over de auteur<br />

Wim <strong>Hofstee</strong> is emeritus hoogleraar psychologie aan de Rijksuniversiteit Groningen.<br />

E-mail: w.k.b.hofstee@rug.nl. (Met dank aan Lidia Arends, Jos ten Berge,<br />

Anne Bunt, Vittorio Busato, Trudy Dehue, Maarten Derksen, Arne Evers, Jan ter<br />

Laak, Gerrit Lang, Wei Ji Ma, Theo Kuipers, Ivo Molenaar en Fenna Poletiek,<br />

wier commentaren tot correcties, aanscherpingen en een enkele nuancering<br />

hebben geleid. Een punt dat verschillenden van hen naar voren brachten, is dat<br />

in een bredere maatschappelijke context onderzoekers wel degelijk met ethische dilemma’s<br />

te maken hebben: moet je bijvoorbeeld overwegen uitkomsten betreffende<br />

iq-verschillen tussen groepen onder de pet te houden omdat er polit iek misbruik<br />

van kan worden gemaakt? Ik heb dat punt laten liggen, ook al omdat het me niet<br />

aanspreekt, maar er valt natuurlijk meer over te zeggen.)<br />

In de praktijk blijkt de<br />

menselijke lafheid sterker<br />

dan de wil om te winnen<br />

analyses achteraf werden verzonnen, wellicht<br />

geïnspireerd door de data zelf. dit onderscheid<br />

tussen confirmatieve en exploratieve analyses is<br />

essentieel om zelfbedrog en sjoemelwetenschap<br />

te voorkomen. alleen vooraangemelde statistische<br />

toetsen zijn te vertrouwen. dit is consistent met de<br />

lekeninterpretatie van hoe wetenschap bedreven<br />

zou moeten worden: een onderzoeker bedenkt<br />

een hypothese en doet daarna een experiment om<br />

gericht die ene hypothese te toetsen. gesjoemel<br />

achteraf hoort daar niet bij.<br />

Eric-Jan Wagenmakers is als hoogleraar verbonden aan de<br />

Afdeling Psychologische Methodenleer van de Universiteit<br />

van Amsterdam. E-mail: ej.wagenmakers@gmail.com.<br />

de psycholoog / april 2013 35<br />

psychologie als wedstrijd


36<br />

de psycholoog / april 2013<br />

psychologie als wedstrijd<br />

probleem van de gebrekkige theorievorming - mark van vugt<br />

fraude, misleiding, en zelfbedrog zijn inherent aan<br />

wetenschapsbeoefening, volgens wim hofstee,<br />

en dat geldt met name voor de psychologische<br />

wetenschap omdat absolute zekerheden ontbreken en onze<br />

onderzoeksinstrumenten feilbaar zijn. ik ga een heel eind<br />

mee in zijn pleidooi voor een meer sceptische benadering<br />

van onderzoek, maar ik verwacht niet dat psychologische<br />

wetenschappers op grote schaal gaan samenwerken<br />

om concurrerende hypothesen tegen elkaar te toetsen.<br />

reputatie- en gezagsverlies liggen immers op de loer.<br />

om fraude en (zelf)bedrog te voorkomen verwacht<br />

ik meer van maatregelen die de transparantie van de<br />

wetenschapsbeoefening vergroten zoals het vooraf<br />

vastleggen van het design en de hypothesen van onderzoek,<br />

het rapporteren van de individuele bijdragen van de<br />

wetenschappers in publicaties, en het openbaar maken<br />

van protocollen en datasets. ook verwacht ik – misschien<br />

tegen beter weten in – wel iets van moraliteitsinterventies<br />

in de psychologische onderzoekspraktijk, zoals een gedegen<br />

ethische toetsing van protocollen, uitsluiting van deceptie<br />

van proefpersonen (hetgeen in alle gedragswetenschappen<br />

met uitzondering van de (sociale) psychologie onacceptabel<br />

is), en zelfs de publieke ondertekening van een ethisch<br />

contract, zoals promovendi aan de erasmus universiteit<br />

rotterdam onlangs hebben gedaan. ik deel hofstee’s mening<br />

dat de onderzoekspraktijk door deze maatregelen saaier<br />

wordt – hij noemt dat een ‘collectief gegeeuw van verveling’.<br />

dat is evenwel de prijs die we met z’n allen moeten betalen<br />

om de schade te repareren en het imago van de psychologie<br />

als serieuze wetenschap te herstellen.<br />

maar er ontbreekt nog iets anders fundamenteels in<br />

onze wetenschapsdiscipline waardoor fraude en zelfbedrog<br />

voortdurend op de loer liggen. dat is het probleem van de<br />

gebrekkige theorievorming binnen de psychologie. geen<br />

methodoloog of statisticus kan ons daarbij helpen helaas.<br />

sla een willekeurig introductieboek open in de sociale,<br />

cognitieve of ontwikkelingspsychologie, en wat je krijgt is<br />

Psychologen zijn heel veel bezig<br />

met vragen over de vorm en veel te<br />

weinig met vragen over de functie,<br />

historie en ontwikkeling<br />

een wirwar van minitheorieën, hypothesen, fenomenen en<br />

onderzoeksbevindingen die misschien allemaal empirisch<br />

houdbaar zijn, maar die niet gebaseerd zijn op een coherente<br />

theorie over het menselijke brein en gedrag.<br />

even ter vergelijking: de economische wetenschappen<br />

gaan uit van één theorie over menselijk gedrag, namelijk de<br />

rational choice theory die zegt dat mensen hun opbrengsten<br />

maximaliseren. alle economen beseffen dat deze theorie alleen<br />

bij benadering werkt maar het is wel een gemeenschappelijk<br />

denkkader van waaruit hun wetenschap opereert en<br />

van waaruit ze resultaten interpreteren. dat leidt tot een zeer<br />

conservatieve manier van wetenschapsbeoefening, en weinig<br />

spectaculaire vondsten, maar daarmee wordt de ruimte voor<br />

charlatans, fantasten, en (zelf)bedriegers klein gehouden.<br />

de psychologische wetenschap is veel spannender. er kunnen<br />

immers door innovatieve paradigma’s te hanteren snel<br />

nieuwe effecten worden gevonden, zonder dat men nog<br />

precies weet hoe het werkt en hoe het past binnen een breder<br />

theoretisch kader. als voorbeelden uit mijn eigen subdiscipline<br />

noem ik de onderzoekslijnen naar social priming effects, embodied<br />

cognition en power. dit zijn florerende programma’s<br />

met veel spectaculaire bevindingen waarin veel psychologische<br />

wetenschappers actief zijn en goed werk doen. Niemand<br />

weet echter nog precies hoe het mechanisme achter<br />

deze fenomenen werkt en waarom het in het ene lab wel en in<br />

het andere lab niet wordt gevonden. ik heb het gevoel dat de<br />

theorie soms achter de data aanloopt in de psychologie.<br />

onze eigen Nobel-prijswinnaar, de evolutiebioloog Niko<br />

tinbergen, schreef dat je vier fundamentele vragen moet<br />

stellen om een fenomeen echt goed te begrijpen – de functie,<br />

geschiedenis, ontwikkeling en vorm. dus als onderzoeker van<br />

bijvoorbeeld empathie moet je weten wat de evolutionaire<br />

functie van empathie is, hoe de evolutionaire geschiedenis<br />

van dit kenmerk eruit heeft gezien, hoe het zich ontwikkelt in<br />

de levensloop van het individu, en hoe en wanneer het zich uit<br />

(vorm). mijn indruk is dat we als psychologen heel veel bezig<br />

zijn met vragen over de vorm, maar veel te weinig met vragen<br />

over de functie, historie en ontwikkeling. daardoor neemt de<br />

kans op ontsporing in onderzoek toe. hofstee heeft gelijk dat<br />

de psychologie in crisis is. maar om daaruit te komen, hebben<br />

we behoefte aan een krachtig theoretisch kader – en dat is<br />

volgens mij de evolutietheorie.<br />

Mark van Vugt is evolutionair denkend psycholoog en als hoogleraar<br />

verbonden aan de afdeling Sociale en Organisatiepsychologie van<br />

de Vrije Universiteit Amsterdam. Hij heeft een blog op Psychology<br />

today. Email: m.van.vugt@vu.nl.


Cursusaanbod dialeCtisChe GedraGstherapie<br />

Dialectische gedragstherapie is het meest onderzochte behandelprogramma voor mensen met<br />

een borderline persoonlijkheidsstoornis. DGT is een kosteneffectieve behandelmethode, die voorkomt<br />

dat professionals burn-out raken. In Nederland bestaan meer dan 25 DGT teams, waarvan<br />

het merendeel al langer dan 10 jaar bestaat.<br />

Dialexis, het opleidings- en trainingsinstituut voor DGT in Nederland, heeft in nauwe samenwerking<br />

met het instituut van Marscha Linehan in Seattle, een trainings- en workshopaanbod afgestemd<br />

op de Nederlandse GGZ. De toepassing van DGT bij borderline patiënten met co morbide<br />

stoornissen (verslaving, eetstoornissen), in verschillende settings (forensische psychiatrie, jeugdzorg,<br />

licht verstandelijk gehandicaptenzorg, binnen een intramurale setting), maar ook de implementatie<br />

en organisatie van DGT programma’s is onderwerp. Supervisie die leidt tot certificering<br />

van individuele therapeuten en trainers, en tot accreditering van teams is eveneens mogelijk.<br />

INTENSIEVE DGT TRAINING<br />

10 T/m 14 mAART EN 3 T/m 7 NoVEmbER 2014<br />

in 2014 organiseert dialexis een intensieve 10 daagse dGt training die opleidt tot dGt<br />

therapeut/trainer. de training is toegankelijk voor therapeuten en trainers, maar ook<br />

managers die betrokken zijn bij de opbouw van een dGt programma zijn welkom.<br />

DGT ADVANCED TRAINING<br />

3 EN 4 okTobER 2013<br />

de advanced training, toegankelijk voor deelnemers die een intensieve 10 daagse dGt<br />

training hebben gevolgd. Zij biedt de mogelijkheid de kennis van dGt te updaten,<br />

interventies en technieken te verfijnen, en casuisitiek in te brengen.<br />

aCCreditatie is verleend, C.q. aanGevraaGd bij de FGZp,vGCt, nip,nvvp, nvo, v&v.<br />

Voor meer informatie, het totale aanbod (incompany trainingen behoren tevens tot de mogelijkheden) ga naar:<br />

www.dialexisadvies.nl info@dialexisadvies.nl dinsdag en donderdag: 06 51282074<br />

Een greep uit het nieuwe<br />

opleidingsaanbod 2013-2014<br />

• Postmaster opleiding tot Gz-psycholoog met aandachtsgebied ouderenzorg<br />

• Hoogbegaafde volwassenen in de ggz<br />

• Persoonlijkheidsstoornissen bij ouderen<br />

• Cultuursensitief behandelen<br />

• Autisme en depressie<br />

20 september 2013<br />

Jubileumcongres 15 jaar Gz-psycholoog<br />

Vraag het programmaboek aan:<br />

www.rinogroep.nl/aanvraag<br />

St. Jacobsstraat 12-14 | 3511 BS Utrecht | T (030) 230 84 50 | E infodesk@rinogroep.nl<br />

Mentaliseren in behandelrelaties II<br />

www.rino.nl/464 15 en 22 mei 2013<br />

Appreciative Inquiry<br />

www.rino.nl/244 17 mei en 7 juni 2013<br />

Dementie - nieuwe inzichten<br />

www.rino.nl/112 29 mei en 12 juni 2013<br />

Narratieve Exposure Therapie (NET)<br />

www.rino.nl/344 5 en 6 juni 2013<br />

Hoogbegaafdheid in het onderwijs en de GGZ<br />

www.rino.nl/529 13 en 27 juni 2013<br />

Eetstoornissen bij jongeren<br />

www.rino.nl/187 2 , 9 en 23 september 2013<br />

Aandachtgerichte cognitieve therapie: training<br />

www.rino.nl/429 start 3 september 2013<br />

Cognitief Gedragstherapeutisch Werker VGCt<br />

www.rino.nl/459 start 4 september 2013<br />

kijk voor ons volledige aanbod op: www.rino.nl<br />

Leidseplein 5 - 1017 PR Amsterdam - (020) 625 08 03 - info@rino.nl<br />

www.rinogroep.nl/<br />

CONGRESSEN<br />

MENSEN KENNIS

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!