ATL3: Hoe meet je het resultaat van je above the line campagne?
Je hebt de knoop doorgehakt, de CFO is overtuigd of geblinddoekt, en ook de media is ingekocht. De eerste above the line campagne voor je scaleup is zometeen een feit. Maar nu begint het echte werk pas: het campagne effect aantonen.
Of je nou harde targets wil halen of gewoon voldoende vertrouwen wil vinden om überhaupt door te investeren, het is nog niet zo eenvoudig om achteraf een goede analyse te doen. Wij zijn er uiteindelijk wel in geslaagd, en in dit artikel vertellen we hoe.
Je verwachtingen vooraf
Een geslaagde analyse begint bij duidelijke verwachtingen. Maak die niet te wetenschappelijk, maar gewoon simpel en praktisch. Wij gingen 3,5 week op drie radiozenders adverteren, 1 week op 1000 abri's en halverwege startte ook de online advertising op social en Google display network. Toen vroeg ik mezelf af, waar ga ik dit in terugzien? En wat voor metrics kunnen we bekijken om dat te checken?
Online zoekgedrag
Allereerst verwachtte ik dat er meer interesse in ons merk zou ontstaan. Dat zouden we dan simpelweg terugzien in branded searches en direct traffic.
Daarnaast wilde ik zien dat er meer interesse in de categorie zou ontstaan. Met dat doel in gedachten gingen we tenslotte ook beginnen met investeren in ATL kanalen, en het was het uitgangspunt van de briefing voor de creatives. Dit zouden we terug kunnen zien in online zoekgedrag. Denk daarbij aan product geörienteerde zoekwoorden als 'camper huren' en varianten.
Tegelijk vond ik het heel lastig om in te schatten hoe groot de investering moet zijn om dit effect te gaan zien. Markt creëren kan vast niet makkelijk zijn, maar ik geloof er heilig in dat ATL kanalen effectiever worden naarmate je ze vaker gebruikt. Dus al zou ik geen marktgroei zien na deze campagne, dan zou ik alsnog reden kunnen zien om door te gaan.
Website gedrag
Verder verwachtte ik ook dat de inzet van radio en out of home onze online advertentiekanalen effectiever zou maken. Concreet verwachtte ik hogere CTR's voor social en search advertising. En daarmee dus ook extra verkeer vanuit die bestaande kanalen.
Daarnaast verwachtte ik een toename in het aantal marketing qualified visitors. Dat is een metric die wij hebben bepaald, en het komt neer op unieke bezoekers die aan minstens 1 van 3 criteria voldoen die hun kans op conversie bovengemiddeld hoog maakt. Het zijn dus bezoekers die zich serieus verdiepen in ons aanbod.
En last but not least: conversies
Als laatste kon ik toch niet anders dan opschrijven dat ik ook extra huurverzoeken zou verwachten als effect van de campagne. We kopen zichtbaarheid in middels typische top of funnel kanalen, maar als ik meer kwaliteits verkeer verwacht dan kunnen conversies toch ook niet uitblijven?
Je ziet het al, mijn verwachtingen bestrijken dus de hele funnel. Van zoekgedrag naar gedrag op de website naar omzet. Door langs de hele funnel verschillende metrics te onderzoeken kom je er ook pas echt goed achter waar het effect van de campagne tot uiting komt.
De resultaten analyse
De verwachtingen zijn duidelijk, dan is het achteraf zaak om ze te toetsen. Een spannend moment. Gelukkig begint het makkelijk met het online zoekgedrag. Branded searches data konden we simpelweg uit Google search console halen, en hetzelfde geldt voor de categorie zoekwoorden. Omdat we stijf op de top positie ranken voor de commerciele zoekwoorden hebben we een 100% impression share, en dus is het zoekvolume dat we in search console zien gelijk aan het marktvolume.
Ik heb het zoekgedrag in de campagneperiode vergeleken met hetzelfde aantal dagen er direct voor. Omdat onze business nogal seizoensgebonden is (we verkopen een vakantieproduct), heb ik dezelfde vergelijking gemaakt voor vorig jaar.
Met name het effect voor het zoekgedrag op categorie termen was sterk, waar ik erg blij mee was. Er was ook een branded search effect maar daar was ik niet zo van onder de indruk.
De toename die we dit jaar zagen was voor beide type zoekwoorden significant groter dan vorig jaar. Dankzij statistische analyse weten we dat dit geen toeval kan zijn. Dat betekent overigens nog niet per definitie dat de campagne de oorzaak was, alleen maar dat er überhaupt een oorzaak was. Maar daarover zometeen meer.
Het bewijzen van de statistische significantie was overigens nog niet zo simpel, omdat je eigenlijk het verschil tussen twee verschillen vergelijkt. Het helpt dan als je data collega een statistisch genie is.
Voor toename in brand interesse hebben we ook nog naar direct traffic gekeken. Daar zagen we sterke groei ten opzichte van vorig jaar, maar precies wat we ook zonder campagne hadden verwacht. We zijn tenslotte een scaleup dus groei is de standaard. Van de campagne verwacht je éxtra groei.
Effectievere online advertising
Om te kijken of de CTR van search en social advertising is toegenomen door de inzet van radio en outdoor reclame hebben we naar twee dingen gekeken
Voor search ads is de vraag of de CTR in de campagneperiode hoger is dan daarvoor, en hoe lang na de campagne dat effect eventueel aanhoudt. Helaas konden we hier geen betrouwbare uitspraken over doen omdat we tijdens de campagneperiode andere wijzigingen in onze advertising setup hadden gemaakt die ook invloed hadden op de CTR.
Voor social hadden we een ad campaign opgezet specifiek voor deze campagne, dus was er niet echt een eenduidige vergelijking mogelijk tussen de tijd voor de campagne en tijdens.
Wel hadden we de campagne gesplitst op basis van de gebieden waar outdoor advertising draaide. Dus een A variant van de campagne draaide in de gemeenten waar abri's hingen, en een B variant in de rest van Nederland.
Op deze manier meten we dus niet een overall campaign effect, maar specifiek het effect van de abri's. En gelukkig maar, want in de gebieden waar abri's hingen was de CTR op onze eerste social ads touchpoints 29% hoger. Dit verschil was highly significant. We zagen ook een soortgelijk effect voor search advertising toen we achteraf de CTR's per gebied vergeleken.
Onze aanpassingen in de search ads en de geo split in onze social ads zijn beide goede voorbeelden van hoe je van tevoren na moet denken over je ad setup om achteraf conclusies te kunnen trekken. En zorg dat je tijdens de campagne dus ook niets doet dat de resultaten kan vertroebelen.
Traffic quality
Om te ontdekken wat er gebeurde met de koop intentie van ons verkeer hebben we een analyse gedaan van het aandeel marketing qualified visitors (MQV). Specifiek keken we hoeveel procent van de bezoekers met product interesse voldeed aan minstens één van de MQV criteria. En dan vóór, tijdens en na de campagne.
Het goede nieuws is dat dit percentage omhoog schoot in de campagneperiode. Omdat radio, outdoor en online bewust allemaal op een ander moment live gingen en radio en outdoor daarnaast ook een harde einddatum hadden, konden we ook goed checken voor effecten van individuele kanalen. Gelukkig zien we dat alle drie echt hun eigen bijdrage lijken te hebben geleverd aan de campagne, althans wat betreft de MQV metric.
Toen we gingen kijken hoe het aandeel MQV's zich ontwikkelde na de campagne ontdekten we een belangrijke nuance. Nadat het aandeel meer dan 10 procentpunten steeg tijdens de campagneperiode, bleef het erna even lang stabiel op dit hogere niveau. Dat was weliswaar een heel fijn effect, maar in mijn ogen onmogelijk in zijn geheel toe te wijzen aan de campagne.
Nadat ik er wat dieper ingedoken was, zag ik dat er voor de campagne al sprake was van een toename, al was het wel een heel bescheiden effect. Het lijkt me dus aannemelijk dat de campagne een al aanwezig seizoenseffect flink versterkt heeft. Met andere woorden: ook zonder de campagne zou het aandeel serieus geïnteresseerden naar verwachting zijn toegenomen in deze periode, maar dan wel aanzienlijk minder sterk.
Conversie analyse
Zo waren er al heel wat goede effecten te zien in de analyse, dus je kunt je voorstellen hoe benieuwd ik was naar het effect op conversies. Nogmaals, ik ging deze investering in zichtbaarheid nooit helemaal afrekenen op verkoopcijfers, maar om de waarde van de campagne te begrijpen hoort dit stuk er ook bij. En met het extra kwaliteits verkeer had het er wel alle schijn van dat we een resultaat konden gaan zien.
Voor de analyse hebben we de omzet trendlijnen van 2019 tot 2023 naast elkaar gelegd. Meteen werd duidelijk dat er iets bijzonders aan de hand was. De afgelopen drie jaren begon de omzet precies in dezelfde week te dalen, net voor de zomer. Logisch, want de meeste zomerboekingen zijn dan gewoon binnen.
Deze specifieke week viel in 2023 precies na de radio en outdoor reclame. En dit jaar zagen we in plaats van een sterke daling een sterke stijging. Uiteindelijk werd de daling ook pas drie weken later ingezet. Dat betekent dus een hoop extra omzet. Dit is in vier jaar niet eerder gebeurd.
Ook in dit geval zou ik niet zomaar roepen dat dit volledig aan de campagne is toe te schrijven. Er zijn heel veel factoren die het boekingsgedrag sturen, en op de meesten hebben we waarschijnlijk niet eens invloed. Maar tegelijk weet ik zeker dat de campagne hier aan bijgedragen heeft, ook al zullen we nooit weten hoeveel precies.
“Je investeert in de campagne voor groei die er zonder de campagne niet zou zijn geweest. Dit moet je dus ook bij de campagne opzet en media inkoop goed in het vizier hebben. ”
Welk verhaal vertelt de analyse?
En dat is misschien het belangrijkst in je analyse, om in je analyse de uitkomsten niet te optimistisch uit te leggen, maar juist wat conservatiever te zijn. Als je een goed verhaal wil hebben voor de CFO of voor investeerders dan wil je niet overkomen alsof je hebt zitten zoeken naar bevestiging. Vertel het eerlijke verhaal, en benoem juist ook altijd de learnings, de tegenvallers en de open vragen waar nog geen antwoord op is.
Let ook op in je analyse dat het aantonen van groei niet genoeg is. Als scaleup moet je sowieso groei laten zien. Je investeert in de campagne voor groei die er zonder de campagne niet zou zijn geweest. Dit moet je dus ook bij de campagne opzet en media inkoop goed in het vizier hebben. Zorg er ook voor dat de verschillende kanalen die je inzet niet tegelijk live gaan of aflopen, zodat je het effect van elk apart kunt duiden. Eigenlijk moet je de campagne als één grote A/B test zien. Je wil zonder twijfel de incrementele waarde van de campagne kunnen bewijzen.
Achteraf ben je dan ook een soort detective die speurt naar aanwijzingen. Als je bijvoorbeeld ziet dat de CTR van 1,1% naar 1,21% is gestegen, dan zul je aanvankelijk misschien niet steil achterover slaan. Maar realiseer je daarna dan snel dat je onderaan de streep wel 10% meer bezoekers naar je website haalt. En als je dan aan de bovenkant van je funnel ook nog eens een toename in interesse ziet, én daarnaast een toename in traffic quality en dus conversies, dan gaan die verschillende kleine effecten serieus optellen. Of eigenlijk vermenigvuldigen, maar you get the point.
De conclusie: was de campagne succesvol?
Dus, alles in beschouwing genomen, hoe kijk ik terug op onze eerste ATL campagne?
Uiteindelijk heb ik de volgende effecten kunnen noteren:
Een toename in merk interesse waar ik niet van onder de indruk ben
Een toename in categorie interesse die gigantisch belangrijk is voor ons. Dit is de meest wezenlijke uitkomst en dit geeft direct het vertrouwen om te blijven investeren in dit soort campagnes.
Effectievere online advertising, zeer waarschijnlijk dankzij de inzet van radio en outdoor
Een toename in marketing qualified visitors die de toekomstige commerciële waarde van de campagne aantoont
Een trendbreuk in omzetcijfers die we in jaren niet hebben gezien, en dus extra omzet die minstens deels te verklaren zou moeten zijn door de campagne
Van al deze effecten weet ik niet precies hoe groot het aandeel van de campagne was, maar ik ga er wel vanuit dat de campagne hoe dan ook positief heeft bijgedragen.
Uiteindelijk was het hoofddoel van deze analyse om één vraag te beantwoorden: hebben we voldoende vertrouwen om door te investeren? En het antwoord is ja.
De korte versie voor sleepyheads
Ga je een ATL campagne draaien? Schrijf dan van tevoren je verwachtingen op
Richt je media inkoop en campagne opzet zo in dat je die verwachtingen écht kunt toetsen
Je wil aantonen wat het effect van de campagne is geweest
Het gaat niet zomaar om groeicijfers, maar om groei die er zonder de campagne niet zou zijn geweest
Trek de tijd uit voor je analyse en haal je slimste collega's erbij, en minstens één die kan testen voor statistische significantie
Vergeet je CFO niet als die nog geblinddoekt in een kast verstopt zit
Een serie over ATL campagnes
Dit artikel is het derde deel in een driedelige serie artikelen over above the line reclame. Lees vooral verder:
