Drodzy Gracze Forge of Empires,
W ostatnim czasie otrzymaliśmy liczne komentarze dotyczące testów A/B i sposobu ich przeprowadzenia. W szczególności chodzi o uwagi na temat testów A/B dla Forge Plus i aktualizacji codziennych wyzwań. Dlatego pomyśleliśmy, że warto byłoby udzielić nieco więcej informacji na temat naszego podejścia do testów A/B i dlaczego są one integralną częścią rozwoju Forge of Empires.
Zacznijmy od definicji testu A/B. Test A/B to standardowy test branżowy, często używany przez programistów do monitorowania reakcji graczy na daną funkcjonalność. Przy takich testach losowo wybiera się dwie lub więcej grup. Składają się z grupy testowej (grupa „A”), która uzyska dostęp do pewnej funkcji oraz grupy kontrolnej (grupa „B”), która nie ma do niej dostępu. Dzięki temu porównaniu programiści mogą bezpośrednio monitorować zmiany w zachowaniu graczy i oceniać wpływ testowanej funkcjonalności na rozgrywkę. Robimy to za pomocą zarówno ilościowych, jak i jakościowych informacji zwrotnych. Musimy wziąć pod uwagę oba te aspekty. Pamiętajcie też, że opinie na forum to tylko jeden z wielu obszarów, z których otrzymujemy informacje.
Weźmy za przykład ostatnią aktualizację codziennych wyzwań. Mając na uwadze obie grupy, możemy porównać wiele aspektów (w tym codzienne uczestnictwo, zaangażowanie, epoki uczestniczących osób itp.). To pomaga nam ustalić, czy ta zmiana była korzystna i atrakcyjna dla naszych Graczy. Jeśli wyniki nie pokazują pozytywnego trendu, możemy sięgnąć głębiej i sprawdzić, czy wystąpiły jakieś problemy. W końcu możemy interweniować i albo dostosować funkcję, albo całkowicie z niej zrezygnować.
Dlatego testy A/B są dla nas niezbędne. Pozwalają nam uzyskać dostęp do bardziej znaczących danych w oparciu o realne środowisko. Dzięki tym danym możemy udoskonalić nasze funkcje i zidentyfikować potencjalne problemy.
Co więcej, udostępnienie nowej funkcji mniejszej grupie użytkowników pozwala nam skuteczniej monitorować opinie i zapobiegać potencjalnemu wybuchowi frustracji, który mógłby się zdarzyć, gdybyśmy od razu udostępnili funkcje wszystkim użytkownikom.
Forge of Empires to oczywiście wielka gra. Jest wspierany przez setki tysięcy graczy z wielu światów. Ale to również oznacza, że wiele może pójść nie tak. Testy A/B są absolutną koniecznością, jeśli chcemy zmniejszyć ryzyko związane z przedstawieniem nowej funkcji tak dużej grupie odbiorców. Konsekwencją wydania nietestowanej funkcjonalności mogą być negatywne interakcje z grą - zarówno dla Graczy, jak i dla nas.
Należy również podkreślić, że testy A/B nie są selektywne. Żaden gracz nie utrzyma żadnej długoterminowej przewagi ani nie zostanie wstępnie wybrany do grupy testowej. Być może zauważyliście, że są pewne funkcje, których nie możemy przetestować za pomocą testów A/B, ponieważ korzyści byłyby zbyt znaczące, aby były uczciwe, a my chcemy zachować uczciwość w grze. Wybór do testów jest czysto losowy, a uczciwość nie jest jedynym tego powodem; dzieje się tak również dlatego, że element losowy jest integralną częścią jakości wyników testu.
Mamy nadzieję, że to wyjaśnia, dlaczego testy A/B są tak ważne dla naszej strategii rozwoju i pozostaną stałym elementem przyszłych aktualizacji.
Wasz,
Zespół Forge of Empires
W ostatnim czasie otrzymaliśmy liczne komentarze dotyczące testów A/B i sposobu ich przeprowadzenia. W szczególności chodzi o uwagi na temat testów A/B dla Forge Plus i aktualizacji codziennych wyzwań. Dlatego pomyśleliśmy, że warto byłoby udzielić nieco więcej informacji na temat naszego podejścia do testów A/B i dlaczego są one integralną częścią rozwoju Forge of Empires.
Zacznijmy od definicji testu A/B. Test A/B to standardowy test branżowy, często używany przez programistów do monitorowania reakcji graczy na daną funkcjonalność. Przy takich testach losowo wybiera się dwie lub więcej grup. Składają się z grupy testowej (grupa „A”), która uzyska dostęp do pewnej funkcji oraz grupy kontrolnej (grupa „B”), która nie ma do niej dostępu. Dzięki temu porównaniu programiści mogą bezpośrednio monitorować zmiany w zachowaniu graczy i oceniać wpływ testowanej funkcjonalności na rozgrywkę. Robimy to za pomocą zarówno ilościowych, jak i jakościowych informacji zwrotnych. Musimy wziąć pod uwagę oba te aspekty. Pamiętajcie też, że opinie na forum to tylko jeden z wielu obszarów, z których otrzymujemy informacje.
Weźmy za przykład ostatnią aktualizację codziennych wyzwań. Mając na uwadze obie grupy, możemy porównać wiele aspektów (w tym codzienne uczestnictwo, zaangażowanie, epoki uczestniczących osób itp.). To pomaga nam ustalić, czy ta zmiana była korzystna i atrakcyjna dla naszych Graczy. Jeśli wyniki nie pokazują pozytywnego trendu, możemy sięgnąć głębiej i sprawdzić, czy wystąpiły jakieś problemy. W końcu możemy interweniować i albo dostosować funkcję, albo całkowicie z niej zrezygnować.
Dlatego testy A/B są dla nas niezbędne. Pozwalają nam uzyskać dostęp do bardziej znaczących danych w oparciu o realne środowisko. Dzięki tym danym możemy udoskonalić nasze funkcje i zidentyfikować potencjalne problemy.
Co więcej, udostępnienie nowej funkcji mniejszej grupie użytkowników pozwala nam skuteczniej monitorować opinie i zapobiegać potencjalnemu wybuchowi frustracji, który mógłby się zdarzyć, gdybyśmy od razu udostępnili funkcje wszystkim użytkownikom.
Forge of Empires to oczywiście wielka gra. Jest wspierany przez setki tysięcy graczy z wielu światów. Ale to również oznacza, że wiele może pójść nie tak. Testy A/B są absolutną koniecznością, jeśli chcemy zmniejszyć ryzyko związane z przedstawieniem nowej funkcji tak dużej grupie odbiorców. Konsekwencją wydania nietestowanej funkcjonalności mogą być negatywne interakcje z grą - zarówno dla Graczy, jak i dla nas.
Należy również podkreślić, że testy A/B nie są selektywne. Żaden gracz nie utrzyma żadnej długoterminowej przewagi ani nie zostanie wstępnie wybrany do grupy testowej. Być może zauważyliście, że są pewne funkcje, których nie możemy przetestować za pomocą testów A/B, ponieważ korzyści byłyby zbyt znaczące, aby były uczciwe, a my chcemy zachować uczciwość w grze. Wybór do testów jest czysto losowy, a uczciwość nie jest jedynym tego powodem; dzieje się tak również dlatego, że element losowy jest integralną częścią jakości wyników testu.
Mamy nadzieję, że to wyjaśnia, dlaczego testy A/B są tak ważne dla naszej strategii rozwoju i pozostaną stałym elementem przyszłych aktualizacji.
Wasz,
Zespół Forge of Empires