De peilingen: geen palingen, maar soms toch wel glibberig

De verkiezingen zijn voorbij. De rust lijkt weergekeerd in peilingland.Nu we de uitslag kennen, is dit een moment om de peilingen te evalueren. De zes belangrijkste peilers waren I&O Research, Kantar Public, het LISS-Panel, Peil, de Politieke Barometer en De Stemming. Hoe brachten zij het er af? Niet slecht. Maar er waren toch wel een paar missers. Politieke peilingen blijven lastig.

De tabel hieronder bevat de prognoses op basis van de laatste peilingen van de zes peilers (in zetels). Die peilingen zijn één of twee dagen voor de verkiezingen gepubliceerd. Daarbij moet worden opgemerkt dat De Stemming eerder is gestopt met peilen dan de andere peilers. Dat kan tot verschillen in de uitkomsten leiden. De rode cellen geven prognoses aan die op zijn minst vier zetels afwijken van de echte uitslag. Die afwijkingen zijn zo groot dat je ze niet toeschrijven aan de onzekerheidsmarges van de steekproef. Er is dus sprake van ‘echte’ afwijkingen.

Het is vooral misgegaan bij de VVD. Alle peilers gaven deze partij te weinig zetels. Het LISS-Panel en De Stemming zaten er maar liefst negen zetels naast. I&O Research, Kantar Public en Peil zaten met zes zetels ook nog behoorlijk mis.

Ook bij PVV waren er afwijkingen, maar in mindere mate dan bij de VVD. I&O Research zat vier zetels te laag. Peil en De Stemming kwamen vier zetels te hoog uit. En bij GroenLinks weken drie peilers af. Drie peilers, I&O Research, het LISS-Panel en Peil kwamen met te hoge schattingen.

Je kunt je afvragen waarom het bij de prognose voor de VVD alle peilers mis zaten. Er zijn minstens drie mogelijke oorzaken:

• - 

  Gebrek aan representativiteit. Alle peilers maakten gebruik van een web panel. Omdat de leden van die panels zijn geworven met zelfselectie of er sprake is van veel non-respons, zijn die peilingen niet representatief. Dat bleek bijvoorbeeld ook het geval bij de parlementsverkiezingen in Engeland in 2015. Zie: http://peilingpraktijken.nl/weblog/2016/01/het-debacle-van-de-engelse-peilingen/
• - 

  Verandering op laatste moment. Het is denkbaar dat kiezers op het laatste moment (na de laatste peiling) van mening zijn veranderd. De Turkse troebelen in Rotterdam op de zaterdagavond voor de verkiezingen zouden een rol kunnen hebben gespeeld. Waardering voor het kordate optreden van premier Mark Rutte kan zijn vertaald in meer stemmen voor de VVD.
• - 

  Hogere opkomst. De opkomst bij deze verkiezingen was duidelijk hoger dan de vorige keer (81,4% tegen 74,6%). Je kunt je afvragen waar die nieuwe kiezers vandaan zijn gekomen en op wie die hebben gestemd. Misschien vonden ze het ineens nodig om vooral op de VVD te stemmen.

De onderste regel in bovenstaande tabel geeft aan hoeveel een peiling afwijkt van de werkelijke uitslag. Het getal geeft aan hoeveel zetels bij een verkeerde partij zijn terecht gekomen. Op grond van dit criterium is de Politieke Barometer de beste. Die peiling zat er ‘maar’ 16 zetels naast. De Stemming in het LISS panel zaten er het meest naast: elk maar liefst 30 zetels.

De slechte prestaties van het LISS-Panel zijn opvallend. Deze peiling is de enige die gebaseerd is op een nette aselecte steekproef. Dat zou moeten leiden dat een representatieve peiling. Aan de andere kant was de vraagstelling van deze peiling heel anders. Respondenten moesten in de vorm van een percentage aangeven of ze gingen stemmen. En ook moesten ze voorkeuren voor partijen in de vorm van percentages aangeven.

Deden de peilers het bij deze verkiezingen beter dan bij de vorige verkiezingen in 2012? Dat lijkt niet het geval te zijn. De grafiek hieronder toont de afwijkingen van alle peilers in 2017 (blauw) en 2012 (rood). Er is één peiling beter dan de vorige keer: de Politieke Barometer met een afwijking van 16. Twee peilingen doen het slechter: De Stemming en het LISS Panel, beide met een afwijking van 30.

Het zou mooi zijn als de peilers een verklaring voor de afwijkingen zouden kunnen geven. Het kan heel informatief zijn om een na-peiling te doen. Dat is een peiling die na de verkiezingen wordt gehouden en die terugvraagt naar het stemgedrag bij de verkiezingen. Een dergelijk onderzoek zou bijvoorbeeld antwoord kunnen geven op de volgende vragen:

• - 

  Hebben de kiezers in de laatste peiling iets anders gezegd dan in het stemhokje?
• - 

  En wordt dat verschil veroorzaakt door een verandering van de mening op het laatste moment?
• - 

  Wie zijn die kiezers die vorige keer niet hebben gestemd en nu wel?

Hopelijk voeren alle peilers een dergelijk onderzoek uit en worden de uitkomsten daarvan bekend gemaakt.