Mensen zijn er ongekend slecht in om verslag te doen van hun gedrag of intenties. En ze zijn er nóg slechter in om zinnige voorspellingen te doen.

Het is inmiddels een beetje een kringverjaardag anekdote geworden, maar het is echt waar dat ik in een ver verleden ben opgeleid tot academisch onderzoeker.

Ergens in een universiteitskantoortje zit misschien nog steeds wel een mentor te balen dat ik van het academische pad ben afgedwaald.

Anyway, de nummer één les die me is bijgebleven over het doen van nuttig en bruikbaar onderzoek, is dat je nooit alleen maar uit kunt gaan van wat mensen zeggen.

Maar don’t take my word for it, het was David Ogilvy die zei:

Wat heb jij drie dagen geleden gegeten?

Laten we eens kijken. Wat heb jij 3 dagen geleden op voor avondeten?

Als je al op het juiste antwoord komt, kost dat waarschijnlijk meer tijd dan je zou nemen tijdens een survey, en misschien heb je wel een hulplijn nodig gehad. En dan nog is er een kans dat je per ongeluk denkt aan het eten dat je 2 of 4 dagen geleden op hebt. Maar daar zal ik nooit achter komen. En dat is precies het hele probleem.

Hou dat in gedachten als we nu gaan kijken naar een paar typische marketing vragen:

Wanneer begon je na te denken over de aanschaf van de waspoeder die je 4 maanden geleden kocht?

Wat zorgde ervoor dat je dit merk bent gaan overwegen?

Waarin vond je het betekenisvol onderscheidend van andere merken in het schap?

Zou je dit merk waspoeder overwegen waar je ergens in de afgelopen 3 weken een reclame van hebt gezien?

Weet jij veel. En who cares?

Waarom mensen niks weten

Hoe kan het zo moeilijk zijn om dit soort vragen te beantwoorden?

Het simpele antwoord is dat mensen weinig aandacht hebben voor de meeste dingen die ze doen, des te meer als het gaat om alledaagse aankopen.

Je eet je avondeten omdat dat nu eenmaal vaste prik is. Dat is wat je doet voordat je de vaatwasser inruimt en op de bank ploft met Netflix en een reep chocola.

Je koopt waspoeder omdat het op is. Maar bovenal is het simpelweg één van de dingen die je snel in je mandje gooit voordat je kunt afrekenen en wat leukers kunt gaan doen dan boodschappen kopen.

Omdat je weinig nadenkt bij die dingen, kun je er achteraf ook weinig zinnigs over zeggen.

Waarom mensen niet kunnen voorspellen

En dat geldt des te meer voor het doen van voorspellingen over de toekomst.

Ik las laatst in ‘s lands grootste dagblad een onderzoek waarin mensen werd gevraagd waar ze op zouden besparen als het nodig was om rond te kunnen komen.

Meer dan 60% gaf aan een lange vakantie in het buitenland over te slaan als dat nodig was.

En dat is niet gek. Want als je een wegstreep oefening voor je neus krijgt met een stel opties waarvan de vakantie by far de duurste is, dan is het de logische, rationele keuze om die aan te vinken.

Maar dat zegt precies niks over hoe mensen daadwerkelijk keuzes maken in hun aankoopgedrag als het er op aan komt. Dan blijkt dat veel mensen de zomervakantie zien als de zuurverdiende beloning na een jaar lang hard werken, en is het wel de laatste aankoop waar ze ooit over achter hun oren zouden krabben. Des te meer bij die groep mensen die niet de luxe heeft om meer dan 1 keer per jaar op vakantie te gaan.

Maar er is nog een probleem: gevoel

Behalve dat mensen de meeste dingen met bijzonder weinig aandacht doen, is er nog een probleem.

Het gevoel dat mensen ergens bij hebben, zorgt ervoor dat ze een ander beeld van zichzelf hebben dan past bij de realiteit. Het kan zorgen voor overschatting of juist onderschatting.

Dus stel je voor.

Anne (m/v) en Sanne (m/v) willen eigenlijk 4 keer per week naar de sportschool, maar in de realiteit gaan ze 3 keer per week. Daar balen ze van, want ze voldoen niet aan hun eigen sportieve verwachtingen. Dat vervelende gevoel kleurt hun beeld van de werkelijkheid. Dus als je ze zou vragen hoe vaak ze gemiddeld sporten, dan is er een goede kans dat ze dat serieus onderschatten.

Andersom werkt het ook.

Stel je voor dat iemand ervoor kiest om minder vlees te gaan eten vanuit milieu overwegingen. Dat geeft een heel goed gevoel, want je doet iets dat moeite kost, maar dat wel sociaal wenselijk is. Het kan zomaar zijn dat diegene overschat hoe vaak ze kiezen voor een alternatief, omdat de keren dat ze het daadwerkelijk doen zo’n lekker gevoel geeft.

Biedt sample size de oplossing?

Nu hoor ik je denken. Als de één overschat, en de ander onderschat, dan compenseert dat toch onderaan de streep? Ja, soort van.

Als je sample representatief is en bovendien groot genoeg voor statistische significantie, dan kun je met een stuk minder scepsis beginnen aan je data analyse.

Maar ook al is een datapool van statistisch significant formaat, als de kwaliteit van de data in beginsel te wensen overlaat, heb je nog steeds een probleem. De factor mens vlak je niet uit met volume.

Zijn surveys dan nutteloos?

Nee, natuurlijk niet. Maar je moet je wel goed afvragen welke rol je ze toedient. Ik vind het zelf bijvoorbeeld nogal tricky om de effectiviteit van je campagne volledig af te meten aan een nul - één meting.

Don’t get me wrong, ik vraag heel graag dingen uit bij onze klanten en leads, en ik ga ook dolgraag met ze in gesprek. De inzichten die we op die manier op doen, zowel kwalitatief als kwantitatief, zijn een mooie aanvulling op andere informatie.

Die verschillende perspectieven en databronnen vullen elkaar aan en beantwoorden samen onze onderzoeksvraag.

Dus als ik wil weten of een campagne succesvol was, kijk ik bijvoorbeeld naar veranderingen in zoekgedrag, klikgedrag, browse gedrag, aankoopgedrag én naar survey of interview data als anekdotische aanvulling.

Lees hier meer over hoe je met meerdere informatiebronnen tot een goed beeld van attributie komt, of lees hier hoe wij het effect van onze eerste above the line campagne hebben gemeten.

Een laatste voorbeeld

De allereerste keer dat ik een acquisition survey online zette bij Goboony, had ik een trucje uitgehaald om de kwaliteit van de data te checken.

De vraag was simpel:

Hoe heb je Goboony leren kennen?

De multiple choice antwoorden waren sneaky. Want tussen de opties had ik ook 2 advertentiekanalen gestopt die we destijds helemaal niet gebruikten, TV en Radio.

En natuurlijk waren er een paar mensen die die opties aanvinkten. Ze waren op één hand te tellen, maar toch is het exemplarisch voor dit soort data.

Natuurlijk was die survey nuttig, maar het werd ook meteen duidelijk dat een survey nooit het hele verhaal vertelt. Want vaak roepen mensen maar wat.

De korte versie voor sleepyheads

• Mensen zijn bijzonder slecht in het rapporteren over hun gedrag of intenties

• Ze zijn nog slechter in het voorspellen van hun eigen gedrag

• Dat maakt surveys niet nutteloos, maar het is gevaarlijk om ze als enige bron van informatie te gebruiken

• Zie survey en interview data als één van meerdere informatiebronnen die samen je onderzoeksvraag kunnen beantwoorden

• Lees daar meer over in dit artikel