Ile można zyskać dzięki zmianie treści na przycisku i jednego zdjęcia? Blisko 60 mln dolarów! Właśnie tyle datków zdobyli sztabowcy Baracka Obamy w 2008 r. dzięki dwóm prostym modyfikacjom na stronie. Skąd wiedzieli, co zmienić? Przeprowadzili testy A/B. Ty też możesz wykorzystać ich moc i zwiększyć konwersję witryny czy produktu cyfrowego. I wcale nie musisz kandydować na prezydenta. Dowiedz się, jak to zrobić.
Z tego artykułu dowiesz się:
- czym są testy A/B,
- jak krok po kroku przeprowadzać testy,
- skąd brać pomysły, co weryfikować,
- jakich błędów unikać w trakcie testowania,
- czy warto wprowadzać zmiany przetestowane przez innych.
Jak to zrobił Obama
Podczas kampanii prezydenckiej w 2008 r. datki, które Barack Obama otrzymywał przez internet, pochodziły od subskrybentów jego biuletynu mejlowego. Aby się do niego zapisać, wspierający musieli wejść na stronę kampanii i wypełnić formularz, który pojawiał się po kliknięciu w czerwony przycisk „Sign Up” (przykład 1)1. I to ten przycisk oraz zdjęcie przyszłego prezydenta zmienili jego sztabowcy. Ale nie od razu. Najpierw przeprowadzili kontrolowane eksperymenty online, czyli po prostu testy A/B.
Słuchaj „Marketer+” Podcast
Warto wiedzieć
Testy A/B to ilościowa metoda badawcza, która polega na porównaniu minimum dwóch wersji tego samego elementu (np. przycisku czy nagłówka) i sprawdzeniu, która działa lepiej. Użytkownicy są losowo dzieleni na grupy i każda z nich w tym samym czasie widzi inny wariant. Gdy uzbiera się odpowiednia liczba osób, na podstawie ich zachowań (np. kliknięć w przycisk) można określić, która wersja lepiej realizuje założone cele.
Pracownicy Obamy wytypowali cztery różne teksty na przyciski, trzy zdjęcia (jedno z innym tekstem) oraz trzy materiały wideo (które miały pojawiać się zamiast fotografii). Następnie na ich bazie stworzyli 24 wersje strony i w tym samym czasie każdą z nich wyświetlali innej grupie losowo dobranych użytkowników. W ten sposób sprawdzili wszystkie możliwe wersje i okazało się, że najskuteczniejszy był wariant z rodzinnym zdjęciem Obamy i przyciskiem „Learn more”2.
Jak to robią inni
Skala testów zależy od wielkości firmy i liczby jej odbiorców. Najwięksi gracze planują eksperymenty w ramach rozbudowanych strategii. Google, Spotify i Amazon przeprowadzają tysiące eksperymentów rocznie. Netflix uruchamia ich tak dużo, że każdy użytkownik bierze udział w kilku jednocześnie (przykład 2). Żeby uniknąć kolizji, platforma korzysta nawet ze specjalnego narzędzia, które działa jak harmonogram i filtr w jednym – pozwala sprawdzić, czy testy nie nachodzą na siebie i czy nie sprawdzają tego samego obszaru3.
Jak Ty możesz to zrobić
Spokojnie, na początek przygody z eksperymentami nie musisz mieć wielkiego zespołu i robić tysięcy testów. W mniejszej skali testowanie jest dużo prostsze. Wystarczy, że zaczniesz od pojedynczych eksperymentów, które pomogą Ci wprowadzić pierwsze optymalizacje, wyciągnąć wnioski i zbudować własną kulturę testowania.
Sposób, w jaki będziesz prowadzić testy A/B, zależy również od tego, czy Twoja firma działa na rynku od lat, czy dopiero startuje. Dojrzałe organizacje mają przewagę – zazwyczaj dysponują danymi o zachowaniach użytkowników i narzędziami analitycznymi, dzięki którym mogą tworzyć hipotezy oparte na twardych insightach, a to ułatwia rozpoczęcie przygody z testowaniem.
Wskazówka
W przypadku nowych firm na rynku równie ważne jak optymalizacja konwersji jest samo poznanie odbiorców i odkrycie, co tak naprawdę na nich działa. Nastaw się na szybkie, proste eksperymenty, które pozwolą Ci w krótkim czasie wysnuć pierwsze wnioski o użytkownikach.
Test A/B krok po kroku
Eksperymenty mogą dać Ci ogromną wartość, ale tylko jeśli zostaną poprawnie przeprowadzone. Potrzebujesz na nie planu. Zdarza się, że firmy wykonują testy bez niego, lecz w ten sposób marnują tylko czas i pieniądze. Aby tego uniknąć, przejdź przez kilka kluczowych etapów – od określenia celów, przez ustalenie priorytetów aż po analizę wyników i wyciąganie wniosków. Oto sześć kroków, które pomogą Ci przeprowadzać dobre testy A/B4.
Krok 1: Zdefiniuj sukces
Zanim zaczniesz test, określ, co uznasz za sukces. Odpowiedz na dwa pytania:
- Do czego służy Twoja witryna?
- Jeśli miałaby lepiej robić jedną rzecz, co by to było?
Dzięki nim stworzysz kwalifikowalne wskaźniki sukcesu, czyli konkretne wartości, które mają wzrosnąć po przeprowadzeniu testu5.
Kwalifikowalne wskaźniki sukcesu to nic innego jak cele konwersji (tabela). Oczywiście różnią się one w zależności od branży. Jeśli prowadzisz sklep internetowy, głównym wskaźnikiem sukcesu może być np. średni przychód przypadający na jednego użytkownika.
Równie ważne są tzw. mikrokonwersje, czyli małe kroki prowadzące do głównej konwersji. Może to być przejście do kolejnego etapu procesu zakupowego, dodanie produktu do koszyka, wejście na stronę produktową czy zapisanie się na newsletter.
Takie mniejsze cele są szczególnie przydatne, gdy ruch na stronie jest niewielki i nie możesz czekać, aż uzbierasz wystarczającą liczbę głównych konwersji (np. zakupów), aby test osiągnął istotność statystyczną.
Krok 2: Wskaż najsłabsze ogniwa
Gdy już ustalisz wskaźniki sukcesu i cele konwersji, zwróć uwagę na najsłabsze punkty Twojej witryny, np. sprawdź dane analityczne i wytypuj miejsca, w których użytkownicy najczęściej rezygnują (ramka 1). To te wąskie gardła warto poprawić w pierwszej kolejności.
Zastanów się też nad przyczyną problemów. W e-commerce użytkownicy mogą odpadać na stronie produktowej przez źle wyeksponowaną promocję czy ukryte najważniejsze cechy produktu. Klienci mogą także porzucać proces przy kasie, gdy po raz pierwszy zobaczą koszty przesyłki lub odstraszy ich zbyt długi formularz. Z kolei w nawigacji gubią się przez nieintuicyjne menu czy brak filtrów. Może też blokować ich konieczność założenia konta lub brak szybkiej rejestracji z kontem społecznościowym.
Krok 3: Postaw hipotezę
Każdy test A/B musi mieć hipotezę. W uproszczeniu: najpierw identyfikujesz problem (Krok 2: Wskaż najsłabsze ogniwa), potem zamieniasz go na konkretne pytanie badawcze, a na końcu tworzysz hipotezę – czyli przewidywanie, co stanie się po wprowadzeniu danej zmiany6.
Oto jak może to wyglądać:
- Problem: mało osób klika w przycisk z CTA.
- Pytanie: czy zmiana koloru przycisku zwiększy liczbę kliknięć?
- Hipoteza: jeśli zmienię kolor przycisku na czerwony, to liczba kliknięć wzrośnie.
Hipoteza powinna być precyzyjna, możliwa do przetestowania i oparta na danych lub wcześniejszych obserwacjach. Często pomocne okazuje się poprzedzenie testu badaniami jakościowymi, np. wywiadami z użytkownikami, które pokazują nie tylko, gdzie jest problem, ale też, co go powoduje. Badania jakościowe zwykle prowadzi się na niewielkiej próbie, a dopiero testy A/B pozwalają określić, czy problem rzeczywiście jest masowy.
Wskazówka
Gdy stawiasz hipotezę, pomyśl od razu o tym, jak ją zweryfikujesz. To pomoże Ci później wybrać odpowiednie metryki i upewnić się, że test będzie miał sens statystyczny.
Krok 4: Ustal priorytety
Kiedy zaczniesz szukać pomysłów na testy A/B, ich lista może okazać się bardzo długa. Nie przetestujesz jednak wszystkiego od razu – ograniczają Cię przecież czas, budżet, uwaga zespołu i ruch w serwisie. Dlatego warto nadawać zadaniom priorytety, np. przy użyciu macierzy wpływu i wysiłku (ramka 2).
Krok 5: Ustal metryki
Pracę nad konkretnym już testem A/B rozpocznij od zdefiniowania, jak ma wyglądać wariant testowy. Pamiętaj, że zazwyczaj dobrze jest, gdy zmiany dotyczą tylko jednego elementu i nie wiążą się z gruntowną przebudową strony.
Następnie ustal metryki, czyli wskaźniki, które pokazują, czy zmiana naprawdę przynosi pożądane efekty. Możesz śledzić wiele typów metryk jednocześnie:
- Metryki główne (primary) – stanowią główny wskaźnik sukcesu, to np. współczynnik konwersji, współczynnik klikalności, liczba rejestracji czy średnia wartość koszyka.
- Metryki pomocnicze (secondary) – pomagają zrozumieć kontekst, np. jak użytkownicy poruszają się po stronie albo w którym momencie odpadają z lejka.
- Metryki strażnicze (guardrail) – działają jak hamulec bezpieczeństwa: pilnują, żeby wzrost jednej wartości nie odbył się kosztem innej. Jeśli CTR rośnie, ale jednocześnie spada retencja, NPS lub średni przychód na użytkownika, to znak, że zmiana może przynieść więcej szkody niż korzyści. Dobry wariant nie tylko wygrywa w kontekście metryki głównej, lecz także nie niszczy innych wskaźników7.
Zapamiętaj
Metryka i cel konwersji to nie to samo. W testach A/B cele konwersji (Krok 1: Zdefiniuj sukces) są tym, co chcesz osiągnąć. Metryka z kolei jest tym, co mierzysz, żeby sprawdzić, czy udało się to osiągnąć. Przykład? Jeśli prowadzisz blog, celem konwersji jest, by użytkownik przeczytał artykuł. Metrykami, które śledzisz, by to sprawdzić, są natomiast kliknięcia w przycisk „Czytaj więcej” oraz czas spędzony na stronie z tekstem.
Teraz czas wybrać narzędzie do przeprowadzania testów. Weź przy tym pod uwagę budżet, którym dysponujesz, oraz złożoność planowanego eksperymentu.
Kolejny krok to ustalenie, jak długo powinien trwać test. Zależy to od tego, ilu użytkowników musi wziąć w nim udział, aby wynik był wiarygodny. Weź pod uwagę aktualny poziom konwersji, minimalną zmianę, którą chcesz wychwycić oraz próg istotności statystycznej – czyli wskaźnik dający pewność, że wynik nie jest dziełem przypadku. Standardowo przyjmuje się poziom 95% lub wyższy.
Brzmi skomplikowanie? Spokojnie, zazwyczaj narzędzia do testów A/B (np. Optimizely) mają wbudowane kalkulatory, które zrobią te obliczenia za Ciebie.
Krok 6: Testuj i analizuj wyniki
Pozostało już tylko przeprowadzić test i na bieżąco monitorować jego wyniki. W oparciu o dane będziesz w stanie podjąć decyzję o dalszych krokach. Wdrażamy wersję testową?
Przeprowadzamy kolejną iterację? A może porzucamy pomysł, bo okazał się klapą?
Wskazówka
Nawet przy dużym ruchu warto prowadzić test przynajmniej 1–2 tygodnie, aby wychwycić naturalne wahania w zachowaniu użytkowników8.
To bardzo ważne, żeby przy podejmowaniu tych decyzji opierać się na wynikach eksperymentu, a nie własnych domysłach. Twoje przekonania są subiektywne, a odbiorcy mogą myśleć inaczej niż Ty. Jak powiedział słynny amerykański statystyk William Edwards Deming: „Bez danych jesteś wyłącznie kolejną osobą z opinią”. Jednocześnie pamiętaj, by wyniki sprawdzać dwa razy i zawsze upewniać się, że są one właściwe.
Wskazówka
Prawo Twymana mówi: „Każda liczba, która wygląda ciekawie lub inaczej, jest zwykle błędna”9. Jeśli więc wynik testu pokazuje skok konwersji o 75%, potraktuj go jako sygnał ostrzegawczy. Dane, które mocno się wyróżniają, mogą wynikać z błędu, zewnętrznych zakłóceń albo źle ustawionego eksperymentu. Zanim zaczniesz świętować, sprawdź wszystko kilka razy.
Gdy masz już wiarygodne wyniki, podziel się nimi w organizacji. To pomaga w budowaniu kultury eksperymentowania, zwłaszcza jeśli dopiero rozpoczynasz przygodę z testami A/B. Na początku warto nastawić się przede wszystkim na naukę. Pierwsze testy to eksploracja – pokazują, jak działa proces i gdzie naprawdę kryją się szanse. To ważne, żeby Twój zespół miał tego świadomość i nie zniechęcał się, gdy eksperyment będzie do kosza, bo coś pójdzie nie tak.
Wskazówka
Duża część eksperymentów może pokazywać, że Twoje przewidywania były błędne. To zupełnie normalne. Przez to samo przechodzą specjaliści z Netfliksa, Microsoftu czy Binga10. Tak już po prostu jest – trudno przewidzieć, co i w jaki sposób wpłynie na użytkowników. To tylko kolejny argument za tym, żeby eksperymentować. Szkoda przecież tracić czas i energię na wdrażanie zmian, które nie przyniosą efektu lub, co gorsza, wpłyną negatywnie na konwersję.
Wpływ testów A/B na zadowolenie użytkowników
Zmieniasz treść nagłówka albo kolor przycisku – konwersja leci w górę, a klienci klikają jak szaleni. Ale czy to zawsze dobra wiadomość? Niekoniecznie. Bo to, że klikają, nie oznacza, że polecą. Mała zmiana w treści lub designie może podbić kliknięcia, ale jednocześnie obniżyć zaufanie, lojalność, a w efekcie – NPS, czyli Net Promoter Score – wskaźnik pokazujący, na ile użytkownicy są skłonni polecać Twoją markę innym.
Testy A/B skupione wyłącznie na krótkoterminowych metrykach takich jak wzrost konwersji mogą prowadzić do decyzji, które z czasem pogarszają jakość doświadczenia użytkownika. Przykładowo: manipulacyjny język czy clickbaitowe nagłówki mogą zwiększyć zaangażowanie, ale też zniechęcić użytkowników, osłabić zaufanie do marki i negatywnie wpłynąć na NPS. Dlatego ważne jest, by analizować nie tylko, co użytkownicy robią, lecz także to, jak się z tym czują.
Jak zbadać to w testach? Warto starać się mierzyć oba cele jednocześnie: konwersję i NPS. Możesz to zrobić poprzez krótką ankietę wysłaną po transakcji do użytkowników z obu wariantów. Dzięki temu porównasz nie tylko to, czy kupili, lecz także to, czy polecą. Dodaj NPS jako jedną z metryk. To świetne uzupełnienie twardych KPI, bo dobrze pokazuje emocjonalną reakcję i intencje (przykład 3). Pamiętaj jednocześnie, że w przypadku NPS potrzebujesz z reguły większej próby lub dłuższego okna pomiarowego, aby uzyskać istotność statystyczną.
Wskazówka
Małe czy duże zmiany – co testować?
- W codziennej pracy skup się raczej na testach, które sprawdzają pojedyncze zmiany. Dzięki nim nauczysz się eksperymentowania, będziesz bezpiecznie optymalizować swój produkt i poznawać użytkowników.
- Jeśli czujesz, że w którymś elemencie czai się większy potencjał, którego małymi zmianami nie da się już osiągnąć, nie bój się sprawdzić nieco większej modyfikacji (przykład 4 ). Jeśli nowa wersja przyniesie pozytywny efekt, zacznij ją optymalizować małymi zmianami.
- Co z rewolucyjnymi zmianami? Np. całkowitym redesignem witryny? Rób je tylko w wyjątkowych sytuacjach, np. gdy konwersja jest niska, a witryna mocno odstaje od standardów rynkowych. Poprzedź je jednak badaniami z użytkownikami i porządną analizą12.
Ważna wskazówka na koniec
Zanim wykorzystasz wiedzę z naszego artykułu i zaczniesz optymalizować konwersję z testami A/B, zapamiętaj jeszcze jedno: „Każdy wynik jest wartościowy”.
Wiele osób frustruje się, gdy eksperymenty nie potwierdzają ich hipotez. Np. zmiana treści na przycisku miała zwiększyć liczbę pobrań
e-booka, tymczasem ją obniżyła. Wtedy pojawia się myśl: „Test się nie udał”.
W rzeczywistości jest odwrotnie! Eksperyment się udał, bo zapobiegł wdrożeniu pomysłu, który obniża konwersję. Każdy test – niezależnie, czy potwierdza, czy obala hipotezę – pomaga Ci ulepszać Twój produkt lub witrynę, bo mówi Ci, co działa, a co nie. A ta wiedza pozwala Ci zwiększać konwersję.
Ciąg dalszy nastąpi
Po przeczytaniu artykułu wiesz już, czym są testy A/B i na co zwracać uwagę przy ich przeprowadzaniu. Pokazaliśmy Ci już też pierwsze przykłady eksperymentów z treścią i designem. Drugą część tekstu poświęcimy im w 100%. Z artykułu dowiesz się, jakie elementy testować, by zwiększyć konwersję, oraz znajdziesz w nim inspirujące przykłady i gotowe pomysły na eksperymenty.
- D. Siroker, P. Koomen, „Testy A/B. Od kliknięcia do klienta”, Gliwice 2014, s. 7–11.
- D. Siroker, „Obama’s $60 million dollar experiment”
- „It’s All A/Bout Testing: The Netflix Experimentation Platform”– Netflix Technology Blog
- Kroki do udanego testu A/B znajdziesz w książce: D. Siroker, P. Koomen, „Testy A/B. Od kliknięcia do klienta”, Gliwice 2014, s. 19–31.
- D. Siroker, P. Koomen, „Testy A/B. Od kliknięcia do klienta”, Gliwice 2014, s. 20.
- „Jak stawiać hipotezy i pytania badawcze”
- A. Verma, „Understanding and implementing guardrail metrics: Your system’s safety net”
- T. Neusesser, „A/B Testing 101”
- R. Kohavi, D. Tang, Y. Xu, „Kontrolowane eksperymenty online. Praktyczny przewodnik po testach A/B”, Gliwice 2024, s. 59.
- Tamże, s. 31–32 „A/B Testing to Optimize Customer Happiness using Net Promoter Score at Magoosh”
- Więcej o temacie przeczytasz w artykule: A. Birkett, „Local Maximum: what it is, and how to get over it in A/B Testing”, dostęp online: https://cxl.com/blog/local-maximum
- A. Birkett, „Local Maximum: what it is, and how to get over it in A/B Testing”
