Na co warto zwracać uwagę stosując testy A/B?
Pomimo tego, że większość osób potrafi doskonale zaplanować testy A/B, to zdarza się, że po ich uruchomieniu pojawiają się błędy oraz zaburzone i nieistotne wyniki. Zaprezentuję 5 przykładów swego rodzaju pułapek w testach A/B których należy być świadomym oraz przedstawię, jak ich unikać.
Spis treści
Masz zbyt wiele wariantów do testowania
Na pewno zdarzało Ci się niejednokrotnie mieć chęć przetestowania jak największej liczby wariantów, bo pomyślałeś, że któryś z nich na pewno zadziała, a im szybciej to zrobisz tym lepiej. Doskonały pomysł,… no właśnie jednak nie do końca.
W większości przypadków testowanie wielu wariantów na raz nie jest dobrym pomysłem. Proces optymalizacji tego nad czym pracujesz, powinien opierać się na hipotezach, natomiast rzucanie przypadkowych pomysłów nigdzie Cię nie zaprowadzi. Musisz wiedzieć, że im więcej wariantów w obrębie jednego testu uruchomisz, tym większa szansa, że jeden z nich zostanie uznany za zwycięzcę, podczas gdy tak naprawdę nim nie będzie.
Realizując test zgadzamy się z prawdopodobieństwem wystąpienia błędu jego wyników, a to dlatego że testy A/B uwzględniają tylko część całej bazy Twoich użytkowników i tym samym istnieje niepewność co do rzeczywistych rezultatów. Z mojego doświadczenia wynika, że w jednym teście nie należy uruchamiać więcej niż trzech wariantów, a to dlatego że przy większej ilości wariantów zdecydowanie wzrasta prawdopodobieństwo wystąpienia błędu. Dlatego ograniczaj liczbę wariantów w swoich testach.
Duża obawa przed testami wielowymiarowymi
Być może jednak czasem zdarza Ci się pomyśleć, że nie powinieneś przeprowadzać konkretnego testu w wielu odmianach, bo będzie to zbyt kosztowne, a poza tym wyniki wielu z nich nie będą ważne.
Sukces testu wielowymiarowego zależy od tego, jak ten test zrealizujesz. Skonfigurowane prawidłowo testy w wielu odmianach, są doskonałym narzędziem do testowania różnych czynników oraz ich kombinacji. Używanie jednego testu wielowymiarowego do jednoczesnego testowania wielu czynników na stronie wydaje się skomplikowane, ale takie być nie musi. Ważne, abyś pamiętał o tym, aby nie testować zbyt wielu wariantów, o czym już wiesz z pierwszego punktu. Istotne jest także sprawdzanie wyników w kolejnym teście, dzięki czemu możesz zweryfikować zwycięzcę swojego testu, przeprowadzając kolejny test A /B, porównując zwycięską kombinację z grupą kontrolą, czyli podstawową do testu.
Zatrzymanie testu zbyt wcześnie
Po uruchomieniu testu i osiąganiu mało atrakcyjnych wyników, pomyślisz, że skoro test został uruchomiony całe 4 dni temu i wypada słabo to lepiej go po prostu przerwać. Wiele razy mogą pojawić się całkiem dobre powody, aby wcześniej przerwać test. Jednak decyzja o sukcesie lub porażce koncepcji Twojego testu wymaga zdecydowanie więcej niż tych całych 4 dni testowania. Każdy test wymaga minimalnego zakresu czasowego, aby móc w ogóle stwierdzić, czy dana koncepcja działa, czy też nie.
W ciągu pierwszych kilku dni testu często można zauważyć gwałtowne wahania wyników. Zdarza się, że na przykład osiągane wartości są bardzo małe, co może być wynikiem całkowitego przypadku. Z drugiej strony zupełnie przez przypadek, Twój klient kupi tak drogi produkt, że wyniki będą niesamowicie wielkie i nieco sztucznie generując wysokie wartości.
Bardzo często dochodzi do sytuacji, że mało atrakcyjne wyniki na początku testu mogą się odwrócić z czasem, a wariant testowy wykaże znaczący, pozytywny efekt po na przykład 2 tygodniach od uruchomienia. Przed testem dobrze jest oszacować, jak długo musi on trwać i trzymać się tego. Pamiętaj, żeby zawsze zachować spokój i go kontynuować zgodnie z przyjętym na początku harmonogramem.
Wyłączanie i edycja wariantów w trakcie trwania testu
Myślisz sobie, że skoro jeden wariant testu nie zadziałał tak jak byś chciał, to po prostu go zmienisz lub wyłączysz w trakcie trwania. Pamiętaj, że jeśli któryś z Twoich wariantów realizowanego testu działa tak słabo, że Twoje cele biznesowe są zagrożone, oczywiście naturalne jest, że będziesz chciał wyłączyć ten wariant, ale edycja bądź wyłączenie wariantu w środku trwania testu może sfałszować jego ostateczne wyniki.
Jeżeli jakiś wariant testu zostanie zamknięty już w ciągu kilku pierwszych dni od startu, zalecam jednak rozpoczęcie testu ponownie, ale bez wykluczonego wariantu. W tym przypadku strata czasu nie jest zbyt duża, a osiągnięte wyniki będą dużo bardziej wiarygodne.
Mylna pewność przyszłych długofalowych wyników w oparciu o testy
Po udanie przeprowadzonym teście przeważnie tworzone się prognozy dotyczące wielkich przychodów, które zostaną wygenerowane w przyszłości na podstawie wyników testów. W rezultacie mamy pięknie wyglądające prezentacje dla kierownictwa firmy bądź klientów oraz zawierające sugestie, że konkretna koncepcja testowa przyniesie wzrost przychodów o 25% w ciągu najbliższych 6 miesięcy. Brzmi to doskonale, ale… nie jest do końca tak pięknie.
Z reguły testy A/B sprawdzają, czy dana koncepcja prowadzi do zmian w zachowaniu klientów. Test jest jednak krótkoterminowy i co prawda widać, że na przykład współczynnik konwersji wzrasta o 15%, ale jednak ta zmiana nie mówi nic o wpływie na długoterminowe zachowanie klientów i wskaźniki KPI, takie jak satysfakcja i ich lojalność.
Aby mieć takie dane, test musiałby trwać zdecydowanie znacznie dłużej, aby zarejestrować efekty przyzwyczajenia lub zmiany w potrzebach użytkowników. Mamy też efekt nowości, o którym należy pamiętać, gdyż użytkownicy przyzwyczajają się do nowości i to, co jeszcze dziś robi na nas wrażenie, jutro będzie wyłącznie przyzwyczajeniem i nie będzie szczególnie mocno dostrzegane. W związku z tym powstanie błędne założenie, że mierzony krótkoterminowy efekt z przeprowadzonego testu stanie się stałym trendem i tym samym w pełni przewidywalnym projektem na przyszłość.
Podsumowanie
Jeśli będziesz polegać wyłącznie na danych ze swojego narzędzia testowego, może to prowadzić do błędów i zagrozić wiarygodności wyników w szerszym zakresie. Aby tego uniknąć, powinieneś trzymać się przytoczonych zasad, których warto przestrzegać na każdym etapie testu.
W przypadku testów A/B bardzo często istnieje swego rodzaju konflikt między ściśle badawczym zapotrzebowaniem na trafność testu, a rzeczywistymi potrzebami biznesowymi firmy. Musisz znaleźć właściwą ścieżkę pośrednią, aby testy zawsze dawały praktyczne, odpowiednie wyniki, a dane testowe były wystarczająco wiarygodne, a w konsekwencji były faktyczną szansą na rozwój.