Het gemiddelde als (achterhaald) wereldbeeld

Hoe statistiek verhult, misleidt en resulteert in een illusie van begrip

Het gemiddelde is een prominent stuk gereedschap in de gereedschapskist van de onderzoeker. Misschien wel hét belangrijkste stuk gereedschap. In alle vakgebieden die werken met data is het gemiddelde eigenlijk niet meer weg te denken.

Het gemiddelde heeft zich diep in ons denken genesteld. Té diep. Het gemiddelde staat voor een wereldbeeld—en dan wel één dat compleet achterhaald is. Als we het gemiddelde verwerpen, dan heeft dat grote consequenties voor onze kijk op onderzoek én het alledaagse leven.

Mijn eigen onderzoek

Het probleem met het gemiddelde werd me eerst duidelijk door mijn eigen onderzoek. Sinds 2020 werk ik aan een PhD-onderzoek over kinderen met taalontwikkelingsstoornissen (TOS). De belangrijkste inzichten die ik opdeed, hadden echter minder betrekking op het onderzoeksobject zelf—TOS—en meer op het doen van onderzoek zelf.

Ik begon mijn PhD-onderzoek met de motivatie om iets te weten te komen over kinderen met TOS als groep. Ik zou gaan uitzoeken waarom kinderen met een TOS naast hun taalproblemen ook moeite hebben met sociale cognitie en zelfregulatie. Ik had een duidelijke vraagstelling, en ik wilde het antwoord voor eens en voor altijd vaststellen.

Althans, dat was de bedoeling.

Ik begon me steeds meer te realiseren dat TOS een verzamelbak is voor kinderen die om verschillende redenen taalproblemen hebben. Taal is, neuropsychologisch gezien, een complex systeem. Het bestaat uit verschillende componenten (klankproductie, grammatica, woordbegrip, auditieve verwerking, …), en elk van deze componenten kan onafhankelijk verstoord raken. We kunnen deze kinderen allemaal het label TOS geven, maar dan verliezen we al snel de heterogeniteit van de groep uit het oog.

Mensen die werken met kinderen met TOS weten dat overigens al lang—'elk kind met TOS is anders’ hoor je van leerkrachten. Toch proberen we in onderzoek weer te generaliseren over ‘kinderen met TOS’, alsof ze één homogene groep zijn.

Veel andere onderzoekers zijn op hetzelfde probleem gestrand.

Een revolutie in academia

De invloedrijke Russische psycholoog Lev Vygotsky realiseerde zich 100 jaar geleden al: hetzelfde gedrag kan worden veroorzaakt door verschillende psychologische processen.

Dit lijkt triviaal, maar toch beginnen pas de afgelopen decennia de implicaties van dit inzicht steeds meer door te dringen in de sociale wetenschappen. Maar neem je Vygotsky’s inzicht serieus, dan word je gedwongen heel anders te kijken naar wetenschappelijk onderzoek, en naar de wereld als geheel.

Zo wordt persoonlijkheid tegenwoordig steeds meer gezien als situatie-afhankelijk. Je bént niet introvert of extravert. Dit zijn abstracte generalisaties—labels die we op onszelf plakken als we proberen de grotere patronen te zien in ons gedrag.

Maar de werkelijkheid is complexer.

Ik merk zelf bijvoorbeeld dat ik anders functioneer in drukke omgevingen dan in rustige omgevingen. In een drukke omgeving, waarin veel mensen aan het woord zijn, hou ik me eerder afzijdig. Mensen kunnen dan het idee krijgen dat ik stil, verlegen of saai ben. In een rustige situatie, waarin iedereen zich afwachtend opstelt, ben ik eerder geneigd om het initiatief te nemen.

Ben ik ‘introvert’? Moeilijk te zeggen, het hangt van de situatie af.

Onderzoekers beginnen ook anders te denken over neuropsychologisch onderzoek. Eerder werd gedacht dat hetzelfde type gedrag direct in verband kan worden gebracht met één en dezelfde structuur in het brein. Maar tegenwoordig realiseren onderzoekers zich steeds meer dat dezelfde psychologische taken kunnen worden uitgevoerd op basis van verschillende breinnetwerken. Bij twee mensen die allebei de taak met succes volbrengen kunnen er toch totaal verschillende gebieden actief zijn in het brein (sterker nog, dit is eerder de regel dan de uitzondering).

Dus wat zegt de ‘gemiddelde’ activiteit?

Hoe het gemiddelde misleidt

Zie hieronder hoe het gemiddelde de werkelijkheid verdraait.

De figuur laat grafieken zien met uiteenlopende scoreverdelingen. De punten zijn op totaal verschillende manieren verdeeld over de grafiek, maar toch hebben ze dezelfde gemiddelden (én zelfs dezelfde variantie, een maat voor de spreiding van data). Voor een psychologische paper waarin gemiddelden worden gerapporteerd zijn deze samples dus hetzelfde.

Het probleem met te vroeg samenvatten (het gemiddelde is een soort samenvatting), is dat je direct aan de complexiteit voorbijgaat. Je trekt één conclusie uit een diverse groep fenomenen die misschien wel meer van elkaar verschillen dan dat ze gemeen hebben. En alle variatie betitel je simpelweg als ‘meetruis’.

Het gemiddelde buiten de Ivoren Toren

Ook in het dagelijks leven ‘middelen’ we wat af. Stereotypes zijn eigenlijk ook een soort gemiddelden. We vergelijken mannen met vrouwen, Nederlanders met buitenlanders, hoger opgeleiden met lager opgeleiden.

Natuurlijk: zoek, en je zult gegarandeerd verschillen in gemiddelden vinden tussen groepen. En onder bepaalde voorwaarden kunnen die verschillen ons ook wel iets vertellen. Maar door ons blind te staren op het ‘gemiddelde’, gaan we al snel denken dat een bepaald type gedrag veroorzaakt wordt door het groepslidmaatschap zelf.

We denken bijvoorbeeld dat iemand graag kinderen wil “omdat” ze een vrouw is. Terwijl er ook veel vrouwen zijn die helemaal geen kinderen willen, of zelfs spijt hebben van het moederschap. Of we denken dat iemand gewelddadig is “omdat” hij uit dit of dat land komt—maar waarom is de meerderheid van de mensen uit dat land dan niet gewelddadig? Misschien ligt het toch wat complexer…

Gooien we dat soort stereotypes in de prullenbak, dan maken we ruimte voor een complexer begrip van de situatie.

Niet het gemiddelde… Maar wat dan wel?

Maar hoe kunnen we nog enige conclusies trekken als we geen gebruik maken van gemiddelden?

We hoeven niet te concluderen “iedereen is anders”, om ons er daarmee makkelijk vanaf te maken. Want daarmee zeggen we eigenlijk dat de wereld totaal onbegrijpelijk is. Ja, de wereld—en de menselijke geest voorop—is ongekend complex, maar dat betekent niet dat we helemaal niet kunnen generaliseren. En ergens moeten we ook wel, want we hebben nou eenmaal een kompas nodig om op te varen. “Elke situatie is weer anders” biedt daarbij geen enkel houvast.

Maar laten we generaliseren op een verantwoordelijke manier.

Uiteindelijk is het gemiddelde een aggregaat (samenvatting) van data. Het gemiddelde staat daarmee voor de methode (vertaald op basis van Todd Rose):

Eerst aggregeren, dan analyseren.

Maar je kan pas verantwoord samenvatten als je de materie hebt begrepen. Als je direct overgaat tot aggregeren, kan het zijn dat je totaal verschillende zaken op één hoop gooit.

In plaats van hele groepen over een kam te scheren, is het verstandiger om eerst een goed begrip te vormen van individuen in de groep. Je ziet dan al snel: al die individuen zijn compleet anders. Misschien blijkt de ‘groep’ ineens te bestaan uit verschillende ‘subgroepen’, waardoor je realiseert dat een uitspraak over de gehele ‘groep’, voor zover die al bestaat, eigenlijk de plank misslaat (Ik denk dat dit bijvoorbeeld opgaat voor kinderen met TOS).

Deze methode wordt genoemd:

Eerst analyseren, dan aggregeren.

Zo doen we recht aan de complexiteit van de wereld.

En mijn onderzoek dan?

Hopelijk heb ik je ervan kunnen overtuigen dat het gemiddelde meer verdoezelt dan verheldert. Dat het staat voor een wereldbeeld dat ervan uitgaat dat complexe fenomenen eenvoudig kunnen worden teruggebracht tot een enkel getal, een simpele regel, een pasklaar hokje.

Maar hoe zit dat dan met mijn eigen onderzoek? Werk ik dan zelf niet met gemiddelden? Jawel. Ik begon aan mijn PhD project met de intentie om conclusies te trekken over ‘kinderen met TOS’. Pas verderop in mijn project begon ik in te zien wat een moeilijk verhaal dit eigenlijk is.

Om recht te doen aan de grote diversiteit onder kinderen met TOS ben ik later gaan werken met single-case onderzoeken. Daarbij wordt data eerst geanalyseerd op individueel niveau, en pas later worden de grotere patronen geïdentificeerd. Mocht ik het nog eens over doen, dan zouden dit soort onderzoeksopzetten een grotere rol hebben gespeeld in mijn onderzoek.

De gifbeker die ik met dit stuk heb ingeschonken, moet ik dan ook zelf leegdrinken: ook mijn eigen onderzoeken waarin ik werk met gemiddelden moeten met een flinke korrel zout genomen worden.

Meer weten: lees het boek ‘The End of Average’ van Todd Rose.

Ik sta op een kruispunt: ga ik verder in de wetenschap, of word ik liever journalist of schrijver? Het Culturele Ik is een poging om mezelf als schrijver te ontwikkelen en een portfolio op te bouwen. Als je hieronder je e-mailadres achterlaat, krijg je nieuwe essays gratis in je inbox. Zo mis je er nooit één, én je steunt mij er ook mee. Elke nieuwe abonnee helpt me weer een stap dichter bij het overtuigen van een redactie of uitgever om met mij samen te werken. Klik op het hartje als je het stuk waardeerde, of laat een reactie achter om te vertellen wat je ervan vond.

Vond je dit interessant? Dan zijn deze essays ook iets voor jou: