Юзеры распределяются на группы local ngrow на стороне клиента с помощью remote config https://firebase.google.com/docs/remote-config путем добавления нового user property ”ngrow_test_group” с соответствующими значениями (local | ngrow)
Юзеры распределяются по группам рандомно и равномерно(50/50)
Промечаются только новые юзеры, если трафик достаточный для этого(хотя бы 1000 юзеров на сегмент и/или 5к новых юзеров в день на группу), если нет, можно запустить тест через несколько дней/недель после начала распределения юзеров по группам, чтобы накопилось достаточное кол-во юзеров
В данный момент есть проблема с определением валидности пуш токена для контрольной группы(local) - для этого предлагаем создать сегменты с сайлент пушами (те они не будут отрисовываться на экране телефона), которые будут дублировать активные сегменты, но они будут видны в firebase. Таким образом мы сможем справедливо сравнивать 2 группы юзеров между собой, которые будут отличаться только параметром ngrow_test_group, а остальные параметры будут идентичны
Метрики на которых мы будем замерять эффект определяются заранее и не могут включать в себя длину сессии или аналогичные метрики
Тест проводится 1 месяц (c учетом необходимых объемов, которые будут оговорены в процессе интеграции) после чего собирается итоговый отчет в котором замеряется эффект от пушей ngrow vs local
Требования к АБ тесту
K
Written by Kirill Slobodianiuk
Updated over a year ago