Achtergronden | Online-onderzoek

Voordelen en nadelen van online-onderzoek

Online-onderzoek is een speciale vorm van een survey of peiling waarbij mensen de vragenlijsten via het internet invullen. Online-onderzoek heeft de laatste jaren een grote vlucht genomen. Dat komt omdat dit type onderzoek zo op het eerste gezicht wel een aantal aantrekkelijke voordelen heeft:

• Voordeel 1: Het is eenvoudige om toegang te krijgen tot een grote groep potentiële respondenten. Zo deden 170.000 mensen mee aan het onderzoek 21minuten.nl ("Nederland heeft antwoorden nodig, antwoorden die alleen u kunt geven"). In het Radar Testpanel van de TROS zitten meer dan 40.000 mensen en ruim 30.000 mensen doen mee aan het énVandaag Opinie Panel.

• Voordeel 2: Het opzetten en uitvoeren van een online-onderzoek is goedkoop. Het is niet meer nodig om papieren vragenlijsten te drukken en te verzenden. Ook hoeven er geen enquêteurs te worden ingeschakeld om bij mensen thuis langs te gaan of ze vanuit een call-center te bellen.

• Voordeel 3: Een online-onderzoek kan heel snel worden uitgevoerd. Het komt voor dat een onderzoek helemaal binnen een dag wordt afgehandeld. In de ochtend wordt een vragenlijst gemaakt en op het Internet gezet. De rest van de dag worden kan de vragenlijst worden ingevuld. En 's avonds kunnen we de uitkomsten van het onderzoek bekend maken.

• Voordeel 4: Een vragenlijst op het Internet biedt veel mogelijkheden die traditionele papieren vragenlijsten niet hebben. Zo kunnen we de vragen informatiever en aantrekkelijker maken door het opnemen van zaken als beeld (foto, video), geluid en animaties.

Tegenover deze voordelen staan ook nadelen. Die tasten de validiteit van de uitkomsten aan. De peiling meet dan niet wat hij beoogt te meten:

• Nadeel 1: Onderdekking. Dit verschijnsel doet zich voor wanneer we mensen uit de populatie niet in het de steekproef kunnen selecteren. Dit doet zich voor bij online-onderzoek. Immers, mensen zonder internet zullen nooit in het onderzoek terecht kunnen komen. Het gaat vooral om ouderen, mensen met een lage opleiding en allochtonen.De groep mensen die we kunnen bereiken via het internet, zal daarom geen goede afspiegeling zijn van de bevolking.

• Nadeel 2: Zelfselectie. De onderzoeker loot de steekproef niet netjes uit de populatie. In plaats daarvan zet hij de vragenlijst op het internet en vervolgens wacht hij af wie reageert. Dat zijn alleen mensen die de beschikking hebben over internet, toevallig de de website bezoeken, en besluiten om mee te doen aan het onderzoek. Het is duidelijk dat we zo als onderzoeker geen enkele controle hebben over het selectieproces.

• Nadeel 3: Meetfouten. Bij een online-onderzoek zijn er geen interviewers die de respondenten kunnen helpen bij het geven van de juiste antwoord. De respondent moet het helemaal in zijn eentje doen. En die is niet altijd zo gemotiveerd om de vragenlijst correct in te vullen. Dit kan leiden tot veel meetfouten.

Voorbeeld: De NS Publieksprijs 2005 Met zelfselectie lopen we het risico dat specifieke groepen de mogelijkheid aangrijpen om ervoor te zorgen dat ze oververtegenwoordigd zijn in het onderzoek. Daarmee ontstaat de mogelijkheid om de uitkomsten van het onderzoek te manipuleren. Bij de NS-Publieksprijs 2005 kon iedereen via een website zijn stem uitbrengen op één van de zes genomineerde boeken. Winnaar werd uiteindelijk een niet-genomineerd boek: de Nieuwe Bijbelvertaling. Bijna 72% van de ruim 92.000 stemmers kozen voor dit boek. Er was een campagne gevoerd door onder anderen het dagblad Trouw, de Evangelische Omroep, het Nederlands Bijbelgenootschap, de Katholieke Bijbelstichting en de Protestantse Kerk om te stemmen op de nieuwe bijbelvertaling. De gang van zaken was niet tegen de regels. Het zal echter duidelijk zijn dat de stemmers niet een goede afspiegeling waren van de Nederlandse bevoking.

Een traditionele peiling of een online-peiling?

De Tweede Kamerverkiezingen van 22 november 2006 boden een mooie gelegenheid om een traditionele survey te vergelijken met een online-peiling. In de tabel hieronder kunnen we de werkelijke uitslag (zetelverdeling) vergelijken met de voorspellingen van drie opiniepeilers (vlak voor de verkiezingen) en de uitkomst van het Nationaal Kiezersonderzoek 2006. Dit NKO werd uitgevoerd door het CBS samen met de Stichting Kiezersonderzoek Nederland (SKON).

Van de drie opiniepeilers deed de Politiek Barometer van Interview-NSS het nog het beste. Deze marktonderzoeker zat er gemiddeld 1,27 zetel naast. Dan volgt Peil.nl van Maurice de Hond met een gemiddelde afwijking van bijna anderhalve zetel. Het slechtst was de voorspelling van De Stemming van TNS-NIPO. Hier was afwijking gemiddeld 2 zetels.

Alle drie de opiniepeilers maakten voor hun voorspellingen gebruik van online-onderzoek. Bij het NKO is de traditionele onderzoeksaanpak gehanteerd. Het CBS trok een nette kanssteekproef uit de Nederlandse bevolking. Vervolgens gingen enquêteurs op bezoek bij de geselecteerde personen. Waar dat niet mogelijk was, werden ze telefonisch benaderd, of de vragenlijst werd opgestuurd. Het is opvallend hoe dicht de voorspelling van het NKO lag bij de werkelijke uitslag.

Voorbeeld: een opiniepeiling

Online-onderzoek wordt vaak gebruikt voor opiniepeilingen. De reden ligt voor de hand: een online-onderzoek is goedkoop en snel. We kunnen het dus vaak doen. Met het voorbeeld hieronder laten we zien dat zo'n peiling tot verkeerde uitkomsten kan leiden.

In het land Samplonië staan de verkiezingen voor de deur. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. We voeren een opinieonderzoek uit om te schatten hoeveel procent van de kiezers denkt te gaan stemmen op die partij. Om te kijken hoe goed die schatting is, herhalen we het trekken van de steekproef een groot aantal malen. Voor elke steekproef bepalen we het percentage stemmers op de NOP. Zo krijgen we een hele reeks schattingen. Daarvan kunnen we een histogram maken.

De linker grafiek laat zien wat er gebeurt als we de steekproeven uit hele populatie trekken. De schattingen liggen netjes geconcentreerd om het werkelijke percentage stemmers in de hele populatie (25,4%).

Steekproeven uit hele populatie	Steekproeven uit internet-populatie

Trekken we de steekproeven uit alleen de groep mensen met Internet, dan vallen de schattingen systematisch te laag uit. Waarom zijn de schattingen te laag? Dat komt omdat ouderen ondervertegenwoordigd zijn in de steekproeven. Het zijn immers de ouderen waarbij het internet-bezit lager is. En het zijn nu net ook de ouderen die op de NOP stemmen. Kortom, er zitten steeds te weinig NOP-stemmers in de steekproef.

De bioloog en de vissen

We illustreren de problemen van online-surveys nog eens aan de hand van het volgende verhaal. Stel u bent bioloog en u moet vaststellen hoe het staat het de gezondheid van de vissen in twee meren. Daarvoor wilt u een steekproef van vissen onderzoeken. Het probleem bij het linker meer is dat u er niet bij kunt. U kunt daar geen enkele vis onderzoeken. En bij het rechter meer mag u alleen vissen onderzoeken die spontaan boven water uitspringen.

De grote vraag is nu: wat kunt zeggen over de gezondheid van alle vissen in de twee meren als u alleen vissen hebt onderzocht die spontaan uit het rechter meer springen? Hoe staat het met de vissen die stilletjes op de bodem liggen? En zijn uw conclusie over het rechter meer zonder meer van toepassing op de vis in het linker meer? Voelt u al nattigheid?