“O, doen jullie dat zo?”
Die vraag hoorden we meer dan eens tijdens onze workshop over A/B-testen in CRM en e-mailmarketing. We hadden bètatesters uitgenodigd die ons helpen nieuwe functies vorm te geven, en mensen die SEINō regelmatig gebruiken. Aan tafel zaten mensen van Funnelboost, Happy Horizon, PI Marketing, Termeer Groep, Doktor Online en Mepal: bureaus en merken die hun dagelijkse werkwijze met elkaar vergeleken.
We kwamen om te luisteren
We wilden begrijpen hoe teams nu tests bedenken en uitvoeren. Waarom testen ze, en waar loopt het werk vast? Met die vragen begonnen we, zonder meteen naar oplossingen te zoeken. Terwijl iedereen in FigJam zijn werkwijze uittekende, vulde het bord zich met post-its. Sommige beschreven stappen die goed werken. De rode lieten zien waar het schuurt: dit kost te veel tijd, hier wordt het ingewikkeld, hier raken we iets kwijt.
Hetzelfde doel, een andere werkwijze
Iedereen wilde uiteindelijk hetzelfde: experimenten uitvoeren om betere keuzes te maken. Maar de route ernaartoe verschilde per team. Sommigen gebruikten een aparte calculator om in te schatten of een verzending voldoende volume had en hoelang een test moest lopen. Ideeën en resultaten stonden in spreadsheets of presentaties. Als er meerdere tests tegelijk liepen, werd het trekken van conclusies lastiger.
Het viel ons op hoe open mensen vertelden over wat wel en niet werkte. Terwijl ze hun aanpak vergeleken, gaven ze elkaar tips. Wij leerden veel, maar de gesprekken waren ook voor de deelnemers waardevol: ze konden ideeën van elkaar meenemen naar hun eigen team.
Als inzichten verloren raken
Een deelnemer vertelde hoe testresultaten soms blijven liggen:
“Ik heb heel veel A/B-tests door elkaar lopen. Ik hou ze allemaal bij in Excel, maar dan moet ik nog een moment vinden om ze uit te werken. Daardoor raken de tests voor mijn gevoel een beetje verloren.”
Excel hield bij welke tests liepen. De resultaten omzetten in inzichten die het team bij de volgende campagne kon gebruiken, kostte nog steeds veel tijd.
Een kleine aanpassing, een onverwachte uitkomst
Een deelnemer deelde een testuitkomst die tegen de verwachting van het team inging:
“Juist het toevoegen van ‘Schrijf je in’ zorgde ervoor dat de conversieratio daalde. We dachten juist dat het zou helpen om duidelijker te zijn.”
‘Schrijf je in’ leek duidelijker, maar werkte in deze test juist minder goed. Zulke voorbeelden maakten het gesprek waardevol: deelnemers deelden niet alleen wat ze hadden getest, maar ook wat hen verraste. Dat gaf anderen weer ideeën om hun eigen aannames te toetsen.
Drie stippen maakten de prioriteiten zichtbaar
Nadat iedereen zijn werkwijze had uitgetekend, legden we de rode post-its bij elkaar. Welke problemen hoorden bij elkaar? Waar liepen meerdere mensen tegenaan? Samen groepeerden we de knelpunten. Sommige gingen over het kiezen van een testidee, het opstellen van een hypothese en het inschatten van de impact. Andere over het analyseren van resultaten en het vastleggen en delen van inzichten.
Daarna kreeg iedereen drie stippen om te plakken bij de problemen die voor hen het belangrijkst waren. Het was een van onze favoriete momenten van de middag. Je zag de prioriteiten van de groep op het bord ontstaan.
De meeste stemmen gingen naar het goed voorbereiden van een A/B-test, het inschatten van de mogelijke impact en het vastleggen van de uitkomst. Ook resultaten analyseren kreeg stemmen. Vooral de aandacht voor de voorbereiding van het experiment viel ons op. De lastige vragen kwamen vaak al vóór het resultaat: Wat is onze hypothese? Waarom is deze test de moeite waard? Is er genoeg volume en wanneer kunnen we de uitkomst beoordelen?
Wat dit voor SEINō kan betekenen
De workshop wees ons op drie gebieden om verder te onderzoeken: tests voorbereiden, resultaten interpreteren en eerdere inzichten makkelijker terugvinden. Sommige deelnemers gebruiken nu een aparte calculator om vóór een test het volume en de looptijd in te schatten, en daarna Excel om tests en resultaten bij te houden. Dat zijn hun huidige hulpmiddelen; de workshop heeft nog niet bepaald welke stappen in SEINō thuishoren.
We onderzoeken of SEINō het plan voor een test en de resultaten op één plek kan bewaren. Zo kan een team terugzien waarom het de test deed, wat eruit kwam en welke beslissing daarop volgde. We leggen dit idee eerst aan gebruikers voor voordat we bepalen wat we bouwen.
Wat deelnemers na afloop zeiden
Uit de reacties na afloop bleek dat ook de deelnemers het waardevol vonden om werkwijzen te vergelijken:
“Goede sessie, kort en doelgericht. Goed om te leren van andere processen en te zien hoe iedereen met dezelfde dingen worstelt.”
“Heel interessant om te horen waar andere ook tegen aanlopen. Ik hoor graag als er vervolg stappen zijn! :)”
Het was mooi om te horen dat mensen benieuwd zijn naar het vervolg en met ons willen blijven meedenken.
Hoe we verdergaan
We werken de input uit tot een paar eerste ontwerpen en leggen de eerste schermen weer aan de groep voor. We hopen dat binnen een paar weken te doen. We willen ontdekken welke onderdelen van het voorbereiden en documenteren van een test makkelijker worden in SEINō, en welke stappen teams liever in hun bestaande tools houden. Hun feedback bepaalt hoe we de eerste bètaversie vormgeven.
Aan iedereen die erbij was: dank dat jullie lieten zien hoe jullie werken, ook waar het nog rommelig is. Juist die eerlijkheid geeft ons iets om mee verder te gaan.