Опис завдання
А/А-тестування мобільного застосунку.
Необхідно порахувати результати A/A-тесту, перевіряючи метрику якості FPR (будемо перевіряти на конверсії в покупку). Відомо, що спліт-система зламана.
Потрібно перевірити твердження про поламку і знайти її причини, якщо спліт-система дійсно зламана.
| 1 |
c4ca4238a0b923820dcc509a6f75849b |
1 |
v2.8.0 |
0 |
| 2 |
c81e728d9d4c2f636f067f89cc14862c |
0 |
v2.9.0 |
0 |
| 3 |
eccbc87e4b5ce2fe28308fd9f2a7baf3 |
1 |
v2.9.0 |
0 |
| 4 |
a87ff679a2f3e71d9181a67b7542122c |
1 |
v2.8.0 |
0 |
| 5 |
e4da3b7fbbce2345d7772b0674a318d5 |
1 |
v2.8.0 |
0 |
| ... |
... |
... |
... |
... |
| 127014 |
d1f082ede77b17a99a9b0b240daf7bdf |
0 |
v2.8.0 |
0 |
| 127015 |
94f0d540830ccdc6b29c1938eea445cc |
0 |
v2.8.0 |
0 |
| 127016 |
709f74cf9721328e98be6f216e8a05a8 |
1 |
v2.9.0 |
0 |
| 127017 |
1767ae3f8ffec269d9ed0ac0ede68d90 |
1 |
v2.8.0 |
0 |
| 127018 |
8dd8503c49b5e8c6aaea1ed7f0c49765 |
1 |
v2.8.0 |
0 |
127018 rows × 4 columns
Опис колонок
uid - ідентифікатор користувачаexperimentVariant - варіант експериментуversion - версія додаткаpurchase - факт покупки
Завдання
- Запустіть A/A-тест.
- Порахуйте FPR на рівні \(\alpha = 0.05\) (ставте підвибірки без повернення обсягом 1000). Ви побачите, що \(FPR > \alpha\)! Нам потрібно навпаки — щоб було менше.
- Знайдіть причини поламки спліт-системи, орієнтуючись на результати експерименту (підказка: знайдіть аномалію у версії додатка).
- Напишіть висновки, які можна зробити на основі аналізу результатів A/A-тесту.
Вам доступна версія мобільного застосунку (МЗ) кожного користувача. Цю корисну інформацію можна використати для дослідження проблеми:
- Порахуйте конверсію (коефіцієнт покупок), групуючи за варіантом і версією МЗ. Можливо вже стане зрозуміло де саме причини поломки
- Порахуйте
pvalue для кожної версії МЗ
- Знайдіть версії, де
pvalue < 0.05
- Виключіть версію з
pvalue < 0.05 з основної таблиці даних
- Повторно запустіть розрахунок FPR через A/A. Тепер \(FPR < \alpha\)
- Ви знайшли поламку