Testy A/B reklam na serwisie Facebook

Jak przeprowadzić skuteczne testy A/B reklam w serwisie Facebook

Sylwester Kwiatkowski Facebook, Facebook Ads, Strategia

W poprzednim artykule Typowe błędy, które powstrzymują Cię od zrobienia efektywnych reklam na Facebooku jako jeden z nich wskazałem Nie testowanie reklam.

Czy często zdarza Ci się, że wiesz lepiej?.
Wydaje Ci się, że:
Bardzo dobrze dobraliśmy grupę docelową, te kreacje są świetne, spędziliśmy nad nimi tyle czasu, w końcu graficy zrozumieli, który czerwony to nasz czerwony.
I ta Helvetica tak pięknie wygląda na tym obrazku. A call to action nawet obudzi śpiącego.

Ale pojawia się pytanie:
Czy, aby na pewno?
Odpowiedzią jest statystyka. Odpowiedzią są Testy A/B.

Testy A/B

Testy A/B nazywane czasem również split testami, są metodą dzięki, której możesz dowiedzieć, która grupa docelowa, który headline, tekst reklamy, zdjęcie, call to action, miejsce wyświetlania reklamy czy dowolna kombinacja powyższych przynosi lepsze efekty.

Dlaczego testy A/B są takie ważne? Dlatego, że chodzi o pieniądze. Przyjrzyjmy się dwóm kreacjom poniżej. Celem tej kampanii było pozyskanie na Landing Page danych kontaktowych osób zainteresowanych pożyczką. Kreacje mają dokładnie takie same wszystkie elementy poza zdjęciem:

Split testy reklam na serwisie Facebook

Jak widać druga kreacja miała znacznie niższy koszt kliknięcia. Niemniej celem reklamy było pozyskiwanie leadów i tu pierwsza reklama okazała się być znacznie tańsza. A teraz wyobraźmy sobie, że naszym celem jest wygenerowanie 1 000 leadów miesięcznie. Przy pierwszej kreacji budżet konieczny do realizacji tego celu wynosi 4 220 EUR, przy użyciu drugiej 5 810 EUR.

Przygotowywanie uporządkowanego procesu testów A/B

Klęska urodzaju

Jeśli wyobrazisz sobie liczbę zmiennych jakie można testować otwiera się przed Tobą ocean możliwości. Możesz testować takie zmienne jak: wiek, płeć, zainteresowania, lokalizacje, tekst reklamy, zdjęcie, miejsce wyświetlania reklamy. Niemniej w tym oceanie możesz się utopić. Załóżmy, że chcesz przetestować pięć zdjęć, cztery podpisy pod zdjęciem i pięć grup docelowych. To daje Ci ponad 100 kombinacji.

Przygotowanie takiego testu to nie tylko wyzwanie jak to technicznie zrobić w Menadżerze Reklam czy Power Editorze. To także problem związany z budżetem koniecznym do przeprowadzenia tak szerokiego zakresu testów. Dla każdej z kombinacji potrzebujesz przynajmniej kilkudziesięciu interakcji, żeby móc wyciągać jakiekolwiek wnioski.

I tu kryje się kolejne zagrożenie – jeśli nie przeprowadzisz testów w sposób uporządkowany i zdyscyplinowany ich wyniki będą w istocie bezużyteczne.

Zatem, aby przeprowadzić efektywne testy A/B musisz dokonać kilku mniej lub bardziej “rażących uproszczeń” ;). Podstawą do świadomego dokonywania tych uproszczeń jest znajomość struktury kampanii na Facebooku.

Struktura kampanii na Facebooku

Kampania

Kampania jest nadrzędnym elementem w strukturze konta reklamowego. Na jej poziomie definiujesz tylko model reklamowy który realizuje Twój cel. Kampania może używać tylko jednego modelu. Mogą to być polubienia fanpage, przejścia na stronę, konwersje, itd.

Na przykład jeżeli Twoim celem jest przekierowanie użytkowników Facebooka na stronę gdzie mają dokonać zakupu lub zarejestrować się na newsletter wybierasz model “Website Conversions”.

Do realizacji testów A/B możesz używać wielu kampanii, ale na początku sugeruję używać jednej do jednego zestawu testów. Używanie wielu kampanii ma swoje zalety, ale na początku może być Ci trudno analizować dane rozsiane po wielu kampaniach.

Zestaw reklamowy

Kluczowy element, to na jego poziomie definiujesz grupę docelową, miejsce wyświetlania reklamy, czas wyświetlania, metodę rozliczeń i optymalizacji oraz co szczególnie istotne budżet.

Kampania może zawierać wiele zestawów reklamowych i to one są podstawowym elementem w przeprowadzaniu testów A/B.

Reklama

Konkretna kreacja, która będzie wyświetlana użytkownikom Facebooka. W zależności od rodzaju kampanii kreacja może być zdjęciem, linkiem do strony, video, zawierać przycisk.
Zestaw reklamowy może zawierać dowolną liczbę reklam, jednak ja pokażemy później nie warto testować reklam na poziomie jednego zestawu reklamowego.

Zaczynaj szeroko

Jeśli chcesz mieć kontrolę nad procesem testowania i rezultaty, z których rzeczywiście możesz wyciągnąć wnioski potrzebna jest odrobina dyscypliny i konsekwencji. Musisz po prostu dokonać kilku wyborów i ograniczyć liczbę testów A/B wykonywanych w jednym procesie testowania.

Miej założenia, ale pozwól sobie na to, że statystyka może Cię zaskoczyć.

Facebook oferuje w Managerze Reklam tzw. Breakdown czyli pokazywanie statystyk kampanii, zestawu reklamowego czy reklamy w rozbiciu na płeć, wiek, lokalizację, miejsce wyświetlania reklamy. Płeć i wiek to jedne z najbardziej istotnych statystycznie zmiennych jeśli chodzi o potencjalną skuteczność reklamy.

Jednak: zazwyczaj mamy zdefiniowaną grupę docelową, mamy też jakieś wyniki badań. Dlatego na początku sugeruję nie testować płci i wieku. Nie robić poszczególnych segmentów na te zmienne – wygodniej będzie po prostu założyć maksymalnie szeroką i jednocześnie właściwą dla naszego produktu grupę docelową w ramach tych dwóch zmiennych.

Przykładowo jeżeli Twój produkt to biżuteria i według badań core targetem są mężczyźni kupujący pierścionki w wieku 30-35 lat spróbuj rozszerzyć grupę docelową do powiedzmy wieku 24-45. Możesz też rozszerzyć grupę na kobiety, ale pamiętaj wtedy o relewantnych kreacjach. Ważne, żeby dokonać wyboru świadomie i w oparciu o poważne przesłanki. Jeżeli strategia Twojego biznesu nie zakłada komunikacji skierowanej do kobiet, nie przeprowadzaj takiego eksperymentu.

Sugeruję natomiast skupienie się na innym czynniku, np. na zainteresowaniach w tym przykładzie mogą to być zainteresowania związane ze ślubem czy bycie w związku.

I właśnie podczas testowania tej zmiennej możesz zobaczyć statystyki w rozbiciu na wiek oraz płeć i ewentualnie podjąć dalsze decyzje co do zmian czy testowania w tych zmiennych. Takie podejście też często przynosi niespodziewane rezultaty. Może właśnie okazać się, że mimo naszych założeń naszym produktem interesują się np. ludzie starsi niż zakładaliśmy.

Kluczowe zmienne do testowania definiujące grupę docelową

Kluczowe zmienne, które według mają ogromne znaczenie to wspomniane wcześniej płeć i wiek, ale również:

  1. Kraj
  2. Zainteresowania
  3. Mobilny system operacyjny
  4. Zdjęcie
  5. Tytuł pod zdjęciem i treść reklamy
  6. Status relacji
  7. Miejsce wyświetlania reklamy
  8. Landing Page

O ile kraj nie ma znaczenia jeśli działamy tylko na rynku lokalnym, czy mobilny system operacyjny może mieć znaczenie np. jeśli istnieje silna korelacja pomiędzy charakterystyką użytkowników np. iPhone, a naszym produktem czy marką to jednym z najciekawszych i kryjących największe możliwości jest obszar związany z testowaniem targetowania dotyczącego zainteresowań.

Jak testować targetowania w zależności od zainteresowań

Tak jak wspomniałem wcześniej moim zdaniem właśnie w targetowaniu związanym z zainteresowaniami kryje się największa moc Facebooka. Facebook dość skrupulatnie śledzi aktywność użytkowników. Nie tylko fanpage’e, które lubią, ale również treści, z którymi wchodzą w interakcje.

Na podstawie aktywności przypisuje do konkretnej grupy zainteresowań. W ten sposób możemy dotrzeć do użytkowników zainteresowanych tematami związanymi z macierzyństwem, motoryzacją, zrównoważonym rozwojem czy nowymi technologiami. Możemy też dotrzeć do fanów konkretnych fanpage’y.

Z pewnością są to zmienne, które mogą mieć zdecydowany wpływ na Twoje wyniki. I zdecydowanie warto przetestować czy jeśli masz produkt czy markę skierowaną do matek małych dzieci to czy lepsze będzie targetowanie na kobiety zainteresowane macierzyństwem czy też na fanki marki Pampers.

Zainteresowania możesz definiować na poziomie zestawu reklamowego:

Menedżer reklam - targetowanie poprzez zainteresowania

Podstawowa zasada: testuj tylko pojedyncze zainteresowania w ramach jednego zestawu reklamowego.

Dlaczego?

Niestety Facebook nie pokaże Ci rozbicia statystyk na poszczególne zainteresowania. Wiec jeśli w ramach zestawu reklamowego masz dwa zainteresowania (tak jak na powyższym obrazku) to nigdy nie dowiesz się, które z nich jest lepsze. A może być tak, że ludzie zainteresowani Pampers generują znakomite wyniki, a zainteresowani Huggies bardzo słabe – przeciętnie da to średni wynik i uznasz, że ta grupa jest nieinteresująca i możesz stracić okazję.

Używaj oddzielnych zestawów reklamowych

Podstawową zasadą jest zawsze używanie oddzielnych zestaw reklamowych do testowania każdej zmiennej czy hipotezy.

Dlaczego?

Po pierwsze na poziomie zestawu reklamowego mamy możliwość kontroli budżetu, co pozwoli nam na alokacje takiego, który pozwoli zrealizować test istotny statystycznie.

Po drugie to właśnie na poziomie zestawu reklamowego możesz definiować targetowania czy miejsca wyświetlania reklamy, a zatem kluczowe zmienne z punktu widzenia testowania.

Po trzecie analiza efektywności na poziomie zestawu reklamowego jest najbardziej intuicyjna.

Jak testować kreacje

Tak jak wspominałem Facebook umożliwia umieszczenie w jednym zestawie wielu reklam. Niestety posługując się swoim algorytmem po bardzo krótkim czasie emisji wybiera jedną najbardziej efektywną i właściwie przeznacza cały budżet alokowany w danym zestawie na emisję tej reklamy. Z tego powodu właściwie nie da się testować wielu reklam umieszczając je w jednym zestawie. Co ważne jak pokazało wiele eksperymentów nie zawsze wybór Facebooka jest najlepszy ponieważ oparty jest zazwyczaj na małej próbie i dokonywany jest zbyt wcześnie

Często wybiera on reklamę, która wcale nie jest najbardziej efektywna. Dlatego niezwykle ważne jest, żeby testować kreacje umieszczając je w oddzielnych zestawach reklamowych. Technicznie rzecz ujmując są to jednakowe zestawy o dokładnie takich samych parametrach (budżet, targetowanie, miejsce wyświetlania itd) różniące się tylko reklamą zawartą w zestawie.

Takie podejście ma oczywiście swoje wady ponieważ konkurujesz sam ze sobą trafiając do tej samej grupy docelowej i nie masz kontroli nad izolowaniem eksperymentu.

Na szczęście Facebook wychodzi na przeciw oczekiwaniom reklamodawców i przygotował narzędzie Facebook Split Test umożliwiające przeprowadzenie uporządkowanych testów A/B. Jest dostępne z poziomu Menadżera reklam lub Power Editora. Niestety jego wadą jest to, że można go używać tylko w niektórych modelach reklamowych: Konwersje, Instalacje Aplikacji i Generowanie Leadów. O szczegółach tego narzędzia napiszemy w kolejnym artykule.

Co ważne: nie trać czasu na niuanse, testuj zdecydowane różnice. Nie ma sensu testowanie zdjęcia, które różni się w detalach. Testuj kompletnie różne kreacje. To samo dotyczy innych elementów: tekstu reklamy, headline, call to action itd.

Nigdy nie testuj na raz więcej niż jednego elementu, bo nie będziesz wiedzieć co było istotne.
Przetestuj na początku np. 3 zdjęcia. Gdy wybierzesz jedno testuj różny headline itd.

Jaki budżet przeznaczyć na testowanie

Odpowiedź nie jest jednoznaczna. To zależy głównie od tego jak wiele elementów będzie testowane. Generalnie zasada powinna być taka, że każdy element powinien być testowany do poziomu gdzie możemy mówić o jakiejś istotności statystycznej. To znaczy, że w granicach rozsądku jest przyjęcie założeń, że:

  • jeżeli celem kampanii są wyświetlania/zasięg mimum dla każdego testowanego zestawu to uzyskanie kilku tysięcy wyświetleń
  • jeżeli celem są interakcje/reakcje/kliknięcia to minimum to kilkadziesiąt, najlepiej powyżej 100 interakcji w każdym testowanym zestawie
  • jeżeli celem są konwersje to minimum to podobnie jak wyżej, niemniej już przy około 20 można zacząć wyciągać wnioski.

Budżet zatem można sobie policzyć estymując koszt poszczególnej akcji. Jeżeli np. przeciętny koszt konwersji wynosi 20 zł to potrzebujemy minimum 400 zł na każdy testowany zestaw (20zł x 20 = 400 zł).

To kolejny powód dlaczego należy podchodzić do testowania w sposób uporządkowany i zdyscyplinowany. Po prostu nie będzie Cię zazwyczaj stać na przetestowanie wszystkiego.

Niezwykle ważne jest też ustawienie stawki i optymalizacji. Niestety, kwestie zarządzania stawkami i optymalizacji są zbyt obszerne, aby poruszać je w tym artykule. Poświęcimy temu oddzielny artykuł. Na tą chwilę najlepiej na początku ustawić automatyczną. Jeżeli ustawisz manualnie zbyt małą wartość testy mogą w ogóle się nie rozpocząć.

Podsumowanie: dobre praktyki przeprowadzania testów A/B:

Zredukuj liczbę przeprowadzonych testów:

To jest ściśle związane z dokonanymi wcześniej wyborami biznesowymi i marketingowymi. Oraz z posiadanymi już informacjami z badań i wcześniejszych eksperymentów.

Jeżeli Twój produkt jest dla kobiet nie przeprowadzaj testów A/B na grupie mężczyzn, chyba, że masz solidną hipotezę, że produkt ten może być kupowany przez mężczyzn dla kobiet. Jeżeli nie prowadzisz i nie zamierzasz prowadzić działalności za granicą nie przeprowadzaj testów w innych krajach. Jeżeli masz wiedzę z innych prowadzonych kampanii, że Landing Page A konwertuje gorzej niż Landing Page B, nie testuj tego ponownie. Jeżeli masz informację z badań konsumenckich jakie są główne cechy produktu cenione przez Twoich klientów nie eksperymentuj z tekstami reklam mówiących o czymś innym.

Po prostu musisz zredukować liczbę zmiennych do testowania i założyć, że coś już wiesz – inaczej testowanie nie będzie możliwe.

Zdefiniuj dwa makro eksperymenty:

Nie da się przetestować wszystkiego na raz. Wybierz dwie kluczowe zmienne np. zainteresowania i zdjęcie. Zacznij test od wyboru grupy docelowej. Zrób zestawy reklamowe różniące się pod kątem właśnie tej zmiennej. Potem na wybranej grupie testuj poszczególne zdjęcia przygotowując oddzielne zestawy na tej samej grupie, ale z różnymi kreacjami.

Od ogółu do szczegółu:

Kiedy masz za sobą pierwszą rundę testów i masz wybraną grupę docelową i zdjęć schodź głębiej. Testuj tekst reklamy, call to action, miejsce wyświetlania. Po to, żeby na końcu uzyskać optymalną kombinację wszystkich elementów.

Nigdy nie przestawaj testować:

Kiedy wydaje Ci się, że perfekcyjna kombinacja grupy docelowej, reklamy została odnaleziona zacznij testować od początku. Dlaczego? Dlatego, że niestety na cykl, życia reklamy na Facebooku jest zazwyczaj krótki. To co działało dziś może nie działać jutro. Trzeba być na to przygotowanym.

Na koniec

Na początku maja przygotujemy dokładne HOWTO: „Krok po kroku – jak przeprowadzić testy A/B”.
Jeżeli chcesz je otrzymać zapisz się na nasz newsletter lub pisz na sylwester.kwiatkowski@gmail.com.

Praktyk i szkoleniowiec, od ponad 10 lat związany ze światem marketingu. Łączy poparte wieloletnim doświadczeniem agencyjnym umiejętności z tym, co sprawia mu największą przyjemność – przekazywaniem wiedzy w nieszablonowy sposób. Więcej…