Bij het uitvoeren van een survey-onderzoek kan er van alles misgaan. Een van de belangrijkste problemen is het optreden van non-respons. Non-respons is het verschijnsel dat u van iemand die in de steekproef is getrokken de gewenste informatie niet krijgt. De vragenlijst blijft leeg.
Non-respons leidt ertoe dat u minder gegevens krijgt dan u van plan was. Dat leidt in principe niet tot onjuiste conclusies. Wel zullen de onzekerheidsmarges in de schattingen groter zijn. U kunt dus minder precies schatten.
De situatie is ernstiger wanneer de non-respons selectief is. Dit verschijnsel doet zich voor als, ten gevolge van non-respons, bepaalde groepen onder- of oververtegenwoordigd zijn in het onderzoek. Gedraagt een ondervertegenwoordigde groep zich duidelijk anders met betrekking tot de te onderzoeken kenmerken dan de oververtegenwoordigde groep, dan leidt dit tot een vertekening in de uitkomsten. Anders gezegd: een schatting valt systematisch te hoog of te laag uit.
|
Voorbeeld: onderzoeken van het CBS Dat non-respons tot vertekening kan leiden, is gebleken bij een aantal onderzoeken van het CBS. Bij de Enquête Slachtoffers Misdrijven bleken mensen die 's avonds thuis bang zijn, minder bereid om mee te doen aan onderzoek. Bij woningbehoeftenonderzoeken is de tevredenheid met de huidige woning groter onder weigeraars dan onder respondenten. Bij onderzoek naar het verplaatsingsgedrag worden mobielere mensen minder vaak thuis aangetroffen (en dat was juist het onderwerp van het onderzoek). En bij verkiezingsonderzoeken zijn het vooral de respondenten die gaan stemmen. |
Non-respons kan verschillende oorzaken hebben. Daarom is het goed de non-respons op basis van deze oorzaken in groepen te verdelen. Uit onderzoek van non-respondenten is gebleken dat de diverse groepen nogal kunnen verschillen in hun effecten op de schattingen. Elk type non-respons kan leiden tot een ander soort vertekening.
 |
 |
 |
| Niet thuis | Weigering | Niet in staat |
Eerst moet u contact maken met de personen die u hebt geloot in de steekproef. Als dat niet lukt, dan noemen we dat non-respons als gevolg van geen contact.
Is het wel gelukt om contact te maken, dan kunt u vaststellen of deze personen behoren tot de doelpopulatie. Is dat niet het geval, dan bent u klaar. Ze horen dan niet thuis in de steekproef. Ze hoeven daarom geen vragenlijst in te vullen. U kunt deze personen negeren als een geval van overdekking. Behoren deze personen wel tot de doelpopulatie, dan moet u overhalen om mee te werken aan het onderzoek. Lukt dat niet, dan is er sprake van non-respons als gevolg van weigering.
Ook al behoren de geselecteerd personen tot de doelpopulatie en willen ze meewerken aan het onderzoek, dan kunnen er toch nog omstandigheden zijn die het onmogelijk maken om mee te werken. Voorbeelden zijn ziekte of taalproblemen. Er is dan sprake van non-respons omdat ze niet in staat zijn om mee te werken.
Als geselecteerde personen behoren tot de doelpopulatie, het mogelijk is contact met ze te leggen, ze ook wel willen meewerken en er geen andere omstandigheden zijn die dat verhinderen, dan pas is er sprake van respons.
In het land Samplonië staan de verkiezingen voor de deur. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. U voert een opinieonderzoek uit om te schatten hoeveel procent van de kiezers denkt te gaan stemmen op die partij. Om te kijken hoe goed die schatting is, herhaalt u het trekken van de steekproef een groot aantal malen. Voor elke steekproef bepaalt u het percentage stemmers op de NOP. Zo krijgt u een hele reeks schattingen. Daarvan is een histogram gemaakt.
De linker grafiek laat zien wat er gebeurt als er geen non-respons optreedt. De schattingen liggen netjes geconcentreerd om het werkelijke percentage stemmers in de hele populatie (25,4%). De schatter is dus zuiver.
 |
 |
De rechter grafiek laat zien wat er gebeurt als er non-respons optreedt. De kans op non-respons neemt toe met de leeftijd. Bij jongeren is de kans op non-respons gelijk aan 20%, Bij mensen van middelbare leeftijd is die kans 50% en bij de ouderen is de kans op non-respons opgelopen naar 80%. De schattingen vallen systematisch te laag uit.
Waarom zijn de schattingen te laag? Dat komt omdat ouderen ondervertegenwoordigd zijn in de steekproeven. De non-respons is vooral hoog bij die ouderen. En het zijn nu net ook de ouderen die op de NOP stemmen. Kortom, er zitten steeds te weinig NOP-stemmers in de steekproef.
Merk op dat bij het optreden van non-respons de variatie in de waarde van de schattingen groter is. Ook dat is een effect van non-respons. Immers, non-respons leidt tot kleiner steekproeven, en dus tot grotere onzekerheidsmarges.