Wat moeten studenten leren over statistiek?

Al in 1954 verscheen er het welbekende boekje van Darrell Huff How to lie with statistics. Het is geen handboek voor bedriegers, maar een waarschuwing aan het brede publiek. Huff laat zien hoe o.a. bedrijven statistiek op een foute manier naar hun hand zetten. Inmiddels is het boekje bij de zoveelste druk en heeft het navolging gevonden, bijvoorbeeld in titels als How to lie with charts (G.E. Jones) en How charts lie (A. Cairo) op het gebied van grafieken. Terecht, want het is natuurlijk nog steeds zo dat data regelmatig bewust, of vaak ook onbewust, misleidend geanalyseerd en gepresenteerd worden.

Geen uitleg over valkuilen

Maar als docent statistiek leer je je studenten eigenlijk alleen hoe het wél moet. Wanneer ik voor de collegebanken sta om statistiek te onderwijzen, dan geef ik de studenten nette voorbeelden. Ik leg ze uit hoe ze iets op de correcte manier doen. Slechts hier en daar wijs ik ze op valkuilen. Ik vertel ze over vals positieve en vals negatieve uitkomsten, maar ik ga er niet diep op in hoe vaak deze incorrecte uitkomsten wel niet opduiken in de wetenschappelijke literatuur. En ik ga al helemaal niet in op ‘p-hacking‘: het net zo lang klooien met je data tot er iets spannends uitkomt, en dan alleen dat ene publiceren. Dat ene is dan waarschijnlijk een vals positieve uitkomst en bovendien niet gebaseerd op een theorie of hypothese waarvoor je de data verzameld hebt. Daarover heb ik het dus niet. Ik vertel ze vooral wat ze wel moeten doen, veel minder wat zij en anderen niet zouden moeten doen.

Opgeschoonde datasets

De datasets waar de studenten mee oefenen zijn keurig netjes opgeschoond, hebben zelden missende getallen en alleen wanneer we daar specifiek op willen wijzen, laten we er uitbijters in. Er kan niet veel mee fout gaan. Met levensechte data wel. Veel universiteiten geven een lesmodule integriteit, en eigenlijk hoop ik dat mijn studenten niet bewust zullen sjoemelen. Maar er is een groot grijs gebied in statistiek waarvan ze onvoldoende kennis of begrip hebben en waar de verleiding groot zal zijn om dan maar met de genade mee te werken richting een interessant resultaat (en dus onbewust de statistiek verkeerd toe te passen). Dat geldt waarschijnlijk ook voor aardig wat onderzoekers van wie ze de publicaties gaan lezen. Zelfs zonder kwade opzet komt er nogal wat foutieve statistiek naar buiten. We trainen onze studenten er niet in dat risico te herkennen.

Producenten of consumenten van statistiek

Als ik zo mijn collegezaal in kijk, zie ik een gevarieerd gezelschap: sommigen zullen onderzoekers worden, anderen consulenten, beleidsmedewerkers, managers, activisten of wat dan ook. Heel wat studenten zullen zich niet verder bekwamen in statistiek. Veel van hen zullen eerder de statistische gegevens van anderen gaan gebruiken dan zelf statistiek toepassen. Zouden we ze niet duidelijker moeten waarschuwen voor foute conclusies als gevolg van onwetendheid, nonchalance of soms zelfs echt bedrog (zie o.a. Makin & Orban de Xivry (2019)[i] of Reinhart (2015)[ii])? En waarom laten we ze niet oefenen met het herkennen van problemen? Mijns inziens is daar veel te winnen. Dan moeten we wel een aantal elementen schrappen uit het lesprogramma om daar plaats voor te maken. Of we geven ze gewoon allemaal een exemplaar mee van How to lie with statistics.

Noten

[i] Makin, T.M. & Orban de Xivry, J.-J., 2019, Science forum: ten common statistical mistakes to watch out for when writing or reviewing a manuscript. eLife 2019;8:e48175 doi: 10.7554/eLife.48175.

[ii] Reinhart, A, 2015, Statistics done wrong: the woefully complete guide. No Starch Press, ISBN-13: 978-1593276201. (or https://www.statisticsdonewrong.com/data-analysis.html)

Hoofdfoto: Pinocchio, Joe Penniston op Flickr

Zie ook:

• Website van Alberto Cairo, auteur ‘How charts lie’ (Engels) http://albertocairo.com/
• Website van Yan Holtz over slechte en misleidende grafieken (Engels) https://www.data-to-viz.com/caveats.html
• Presentatie Casper Albers over veelvoorkomende statistische fouten: http://docplayer.nl/126164525-Statistische-zonden-een-overzicht-van-twijfelachtige-onderzoekspraktijken-en-hoe-deze-te-herkennen.html