Achtergronden | Survey-onderzoek

Wat is survey-onderzoek?

Survey-onderzoek, enquête-onderzoek, opinie-onderzoek, peiling, poll, ... Het zijn allemaal verschillende namen voor hetzelfde. Het gaat om onderzoek waarbij we op systematische wijze vragen stellen aan een (vaak groot) aantal mensen. Die vragen meten meningen, motieven, gedrag of andere kenmerken van die mensen. Met de antwoorden kunnen we vervolgens de karakteristieken van een groep mensen in kaart brengen.

Bij survey-onderzoek gaat het niet om de individuele personen, maar om het gedrag van de groep als geheel. Die groep noemen we de populatie. We beschrijven de populatie in de vorm van kengetallen zoals aantallen, percentages of gemiddelden.

Een steekproef trekken

Als we de mening of het gedrag van een groep mensen in kaart willen brengen, dan ligt het op het eerste gezicht voor de hand om daarvoor vragen aan elk lid van de groep voor te leggen. Zo ging dat vroeger altijd. En zo gaat het nu nog steeds bij volkstellingen die in veel landen elke 10 jaar worden gehouden. Miljoenen mensen ondervragen kost echter heel veel tijd en geld. Daar komt ook nog bij dat veel mensen er niet van gediend zijn om voortdurend te worden lastig gevallen met peilingen. We kunnen de nadelen van het volledig onderzoeken van een groep mensen verminderen door alleen een steekproef uit de groep te onderzoeken. Ook op basis van onderzoek van slechts een steekproef van mensen kunnen we conclusies trekken over de groep als geheel. Dit is echter alleen mogelijk als de steekproef op wetenschappelijk verantwoorde wijze is getrokken. Hiervoor moet aan twee voorwaarden zijn voldaan:

• We moeten de mensen in de steekproef selecteren met een echt lotingsmechanisme.

• Elke persoon in de groep moet zelfde kans hebben om in de steekproef getrokken te worden.

Een steekproef die door loting tot stand komt, noemen we ook wel een kanssteekproef. Als we met gelijke kansen loten, dan noemen we dat een aselecte steekproef.

We merken op dat het ook mogelijk is om met ongelijke kansen te loten. Dan wordt het wat ingewikkelder om schattingen te berekenen voor kengetallen als percentages en gemiddelden. Dit valt buiten bet bestek van deze website.

Schattingen maken

Met de gegevens uit de steekproef kunnen we schattingen maken van kenmerken in de populatie. Als we een aselecte steekproef hebben getrokken, dan is een percentage in de steekproef een goede schatting voor een percentage in de populatie. En een gemiddelde in de steekproef is een goede schatting voor het gemiddelde in de populatie.

Wat is een goede schatting? Schattingen voor een aselecte steekproef hebben twee belangrijke eigenschappen:

• Deze schattingen zijn zuiver. Als we het onderzoek een heleboel keer zouden herhalen, dan zouden we zien dat de schattingen gemiddeld goed uitkomen op de waarde in de populatie die we willen schatten. Er vindt geen systematisch onder- of overschatting plaats.

• De omvang van de steekproef bepaalt de precisie van de schatting. Daarbij geldt dat de precisie toeneemt naarmate de steekproef groter is.

Er bestaat geen verband tussen de precisie van een schatting en de omvang van de populatie. Het is dus niet zo dat we voor een grotere populatie een grotere steekproef nodig hebt om dezelfde precisie te bereiken.

Voorbeeld: Verkiezingen in Samplonië

In dit voorbeeld kunnen we zien wat de invloed van de steekomvang is op de nauwkeurigheid van de schatter.

In het land Samplonië staan de verkiezingen voor de deur. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. In een opinieonderzoek schatten we hoeveel procent van de kiezers gaat stemmen op die partij. Om een idee te krijgen hoe nauwkeurig die schatting is, herhalen we het trekken van de steekproef een groot aantal malen. Voor elke steekproef bepalen we het percentage stemmers op de NOP. Zo krijgen we een hele reeks schattingen. Daarvan maken we een histogram gemaakt.

In de linker gerafiek hebben we dat gedaan voor steekproeven van omvang 500. In de rechter grafiek was de steekproefomvang 2000. De vertikale zwarte lijn in de beide grafieken geeft het onbekende percentage aan in de populatie (25,4%). In beide grafieken liggen de schattingen keurig gespreid om de te schatten waarde. Soms zijn de schattingen wat te laag en soms wat te hoog, maar gemiddeld zijn ze goed. We kunnen daarom in beide gevallen concluderen dat de schatter zuiver is.

Steekproeven van omvang 500	Steekproeven van omvang 2000

In de rechter grafiek liggen alle schattingen veel dichter in de buurt van de te schatten waarde.De schattingen zijn dus nauwkeuriger. Een vier maal zo grote steekproef leidt tot een twee maal zo nauwkeurige schatting.

Onzekerheidsmarges

Met de gegevens uit een steekproef kunnen we schattingen maken van allerlei kenmerken in de populatie. En schatting komt nooit exact overeen met de waarde in de populatie. Hij kan er wel dicht in de buurt liggen. Maar wat is dicht in de buurt?

Omdat we loten bij het trekken van de steekproef, kunnen we de theorie van de kansrekening toepassen. Die zegt dat grootheden als het gemiddelde en het percentage in de steekproef bij benadering een zogenaamde Normale verdeling hebben. Dit betekent dat we kunnen uitrekenen hoe ver eens schatting af kan liggen van de werkelijke waarde. Zo krijgen we een betrouwbaarheidsinterval.

Een betrouwbaarheidsinterval geeft een ondergrens en een bovengrens waartussen de werkelijke waarde met een zeer grote waarschijnlijkheid zal liggen. Meestal wordt voor die waarschijnlijkheid een waarde van 95% genomen. We krijgen dan het 95%-betrouwbaarheidsinterval. We kunnen dan zeggen dat met 95% zekerheid de werkelijke waarde in het interval zal liggen.

Er is een direct verband tussen de breedte van het betrouwbaarheidsinterval en de omvang van de steekproef. Naarmate we een grotere steekproef nemen, zal het betrouwbaarheidsinerval kleiner worden. We kunnen dan een preciezere schatting maken.

Bij het publiceren van de uitkomsten van survey-onderzoek is het belangrijk om niet alleen schattingen te vermelden maar ook de onzekerheidsmarges. Daarmee krijgen de gebruikers een duidelijk beeld van de precisie van de cijfers.

Voorbeeld: een Amerikaans opinieonderzoek In een opinieonderzoek op 17 maart 2003 werd aan een steekproef van 776 Amerikanen (telefonische) gevraagd of ze het eens waren met de oorlogsverklaring van Amerika aan Irak. 665 personen waren het er mee eens. Naast de cijfers wordt ook de onzekerheidsmarge vermeld (margin of error). Deze is gelijk aan 4,5%. Dit betekent dat het betrouwbaarheidsinterval loopt van 61,5% tot 70,5%. We kunnen dus concluderen dat het aantal voorstanders in de populatie met grote waarschijnlijkheid zal liggen tussen 61,5% en 70,5%.

Voorbeeld: Onzekerheidsmarges voor de verkiezingen in Samplonië

In dit voorbeeld kunnen we laten zien wat de invloed van de steekomvang is op de breedte van het betrouwbaarheidsinterval.

In het land Samplonië staan de verkiezingen voor de deur. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. In een opinieonderzoek schatten we hoeveel procent van de kiezers gaat stemmen op die partij. Vervolgens rekenen we het 95%-betrouwbaarheidsinterval uit. We herhalen dit hele proces 30 keer voor steekproeven van omvang 500. Daarna doen we hetzelfde nog een keer voor steekproeven van omvang 2000. In de grafiek hieronder geven we de betrouwbaarheidsintervallen weer als een horizontale blauwe lijnstukken.

We kunnen in de grafieken hieronder twee aspecten van betrouwbaarheidsintervallen naderen bekijken:

• De breedte van de intervallen. Als de steekproefomvang groter is, zal de breedte van het interval kleiner zijn. De schattingen zijn dus preciezer.

• De betrouwbaarheid. Het gaat hier om 95%-betrouwbaarheidsintervallen. Dat houdt in dit gemiddeld in 95% van de gevallen het betrouwbaarheidsinterval het te schatten populatiegemiddelde (25,4%) zal moeten bevatten. In beide grafieken bevatten 29 van de 30 betrouwbaarheidsintervallen inderdaad de te schatten waarde.

Steekproeven van omvang 500	Steekproeven van omvang 2000

Uit de experimenten kunnen we concluderen dat in principe de betrouwbaarheid niet afhangt van de omvang van de steekproef, maar de precisie wel.