• Het is eenvoudige om toegang te krijgen tot een grote groep potentiële respondenten. Zo deden 170.000 mensen mee aan het onderzoek 21minuten.nl ("Nederland heeft antwoorden nodig, antwoorden die alleen u kunt geven"). In het Radar Testpanel van de TROS zitten meer dan 40.000 mensen en ruim 30.000 mensen doen mee aan het EénVandaag Opinie Panel.

• Het opzetten en uitvoeren van een online-onderzoek is goedkoop. Het is niet meer nodig om papieren vragenlijsten te drukken en te verzenden. Ook hoeven er geen enquêteurs te worden ingeschakeld om bij mensen thuis langs te gaan of ze vanuit een call-center te bellen.

• Een online-onderzoek kan heel snel worden uitgevoerd. Het komt voor dat een onderzoek helemaal binnen een dag wordt afgehandeld. In de ochtend wordt een vragenlijst gemaakt en op het Internet gezet. De rest van de dag worden kan de vragenlijst worden ingevuld. En ’s avonds kunnen de uitkomsten van het onderzoek bekend worden gemaakt.

• Een vragenlijst op het Internet biedt veel mogelijkheden, dan traditionele papieren vragenlijsten. Zo kunnen de vragen informatiever en aantrekkelijker worden gemaakt door het opnemen van zaken als beeld (foto, video), geluid en animaties.

• Nadeel 1: Onderdekking. Dit verschijnsel doet zich voor wanneer mensen in de populatie niet in het de steekproef geselecteerd kunnen worden. Dit doet zich voor bij online-onderzoek. Immers, mensen zonder internet zullen nooit in het onderzoek terecht kunnen komen. Het gaat vooral om ouderen, mensen met een lage opleiding en allochtonen.De groep mensen die we kunnen bereiken via het internet, zal daarom geen goede afspiegeling zijn van de populatie.

• Nadeel 2: Zelfselectie. De steekproef wordt niet netjes geloot uit de populatie. In plaats daarvan wordt de vragenlijst op het internet gezet en er wordt afgewacht wie reageert. Dat zijn dan alleen personen die de beschikking hebben over internet, toevallig de de website bezoeken, en besluiten om mee te doen aan het onderzoek. Het is duidelijk dat we zo als onderzoeker geen enkele controle hebben over het selectieproces.

De Tweede Kamerverkiezingen van 22 november 2006 boden een mooie gelegenheid om een traditionele survey te vergelijken met een online-survey In de tabel hieronder kunnen we de werkelijke uitslag (zetelverdeling) vergelijken met de voorspellingen van drie opiniepeilers (vlak voor de verkiezingen) en de uitkomst van het Nationaal Kiezersonderzoek 2006. Dit NKO werd uitgevoerd door het CBS samen met de Stichting Kiezersonderzoek Nederland (SKON).

Van de drie opiniepeilers deed de Politiek Barometer van Interview-NSS het nog het beste. Deze marktonderzoeker zat er gemiddeld 1,27 zetel naast. Dan volgt Peil.nl van Maurice de Hond met een gemiddelde afwijking van bijna anderhalve zetel. Het slechtst was de voorspelling van De Stemming van TNS-NIPO. Hier was afwijking gemiddeld 2 zetels.

Alle drie de opiniepeilers maakten voor hun voorspellingen gebruik van online-onderzoek. Bij het NKO is de traditionele onderzoeksaanpak gehanteerd. Het CBS trok een nette kanssteekproef uit de Nederlandse bevolking. Vervolgens gingen enquêteurs op bezoek bij de geselecteerde personen. Waar dat niet mogelijk was, werden ze telefonisch benaderd, of de vragenlijst werd opgestuurd. Het is opvallend hoe dicht de voorspelling van het NKO lag bij de werkelijke uitslag.

Online-onderzoek wordt vaak gebruikt voor opiniepeilingen. De reden ligt voor de hand: een online-onderzoek is goedkoop en snel. We kunnen het dus vaak doen. Met de demonstratie hieronder laat zien dat zo'n peiling tot verkeerde uitkomsten kan leiden..

In het land Samplonië staan de verkiezingen voor de deur. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. We voeren een opinieonderzoek uit omte schatten hoeveel procent van de kiezers denkt te gaan stemmen op die partij. Om te kijken hoe goed die schatting is, herhalen we het trekken van de steekproef een groot aantal malen. Voor elke steekproef bepalen we het percentage stemmers op de NOP. Zo krijgen we een hele reeks schattingen. Daarvan wordt een histogram gemaakt.

Om een reeks simulaties uit te voeren, moeten we eerst de omvang van de steekproef instellen. Dat kan door klikken op het groene vierkantje onder Steekproef. Na elke keer klikken verschijnt een andere waarde. Er kan worden gekozen uit een omvang van 200, 400 of 800.

We kunnen ook kiezen of we de steekproef uit de hele populatie loten of alleen uit de mensen die internet hebben. Dat doen we door te klikken op het groene vierkantje onder Survey. We starten de simulatie door te klikken op Start.

Waarom zijn de schattingen te laag? Dat komt omdat ouderen ondervertegenwoordigd zijn in de steekproeven. Het zijn immers de ouderen waarbij het internet-bezit lager is. En het zijn nu net ook de ouderen die op de NOP stemmen. Kortom, er zitten steeds te weinig NOP-stemmers in de steekproef.

We illustreren de problemen van online-surveys nog eens aan de hand van het volgende verhaal. Stel u bent bioloog en u moet vaststellen hoe het staat het de gezondheid van de vissen in twee meren. Daarvoor wilt u een steekproef van vissen onderzoeken. Het probleem bij het linker meer is dat u er niet bij kunt. U kunt daar geen enkele vis onderzoeken. En bij het rechter meer mag u alleen vis onderzoeken die spontaan boven water uitspringt.